분석이 일단락된 폴더는 대체로 비슷하다. 그림이 열두어 개, 표가 몇 개, 반년치 미팅 자료가 날짜별로 쌓여 있고 파일 이름에 붙은 버전 표시 중 어느 것이 마지막인지는 만든 사람만 안다. 결과는 충분해 보이고 이제 쓰기만 하면 된다고 생각한다. 그런데 막상 문서를 열면 며칠이 지나도 서론의 세 번째 문장을 넘지 못한다. 막히는 자리는 대개 같다. 열두 개의 그림이 합쳐져 독자가 무엇을 다르게 믿어야 하는지가 아직 정해지지 않은 것이다. 원고를 쓰는 일은 연구 질문과 분석과 그림과 주장과 근거의 경계를 다시 맞추는 설계 과정이고 문장 교정과 참고문헌 서식은 그 설계가 끝난 뒤에 오는 공정이다. 순서를 뒤집으면 잘 다듬어진 보고서가 나온다. 주장을 설계한다는 것은 무엇을 말할지 정하면서 그 말이 무너지는 조건을 함께 적는 일이다. 무너지는 조건이 없는 문장은 어떤 관측으로도 반대할 수 없고 반대할 수 없는 문장은 심사에서도 후속 연구에서도 방어되지 않는다. 만들 것은 네 가지다. 주장과 근거를 짝지은 지도, 그림의 서사, 원고 각 절의 논리, 그리고 근거 검증과 반론 점검의 기록이다. 네 가지 모두 원고 본문을 쓰기 전에 만들어지고 원고가 고쳐질 때마다 함께 고쳐진다.
우리가 이 데이터를 분석했다는 문장과 이 분석이 어떤 현상을 보여 준다는 문장은 종류가 다르다. 앞은 수행한 일에 대한 보고이고 뒤는 세상에 대한 주장이다. 보고에는 성실함이 담기고 주장에는 책임이 담긴다. 분석도 보고도 시간순으로 하다 보면 반년 동안 쌓인 미팅 자료의 순서가 그대로 원고의 순서로 옮겨 오는데 그 순서는 저자에게만 익숙하다. 독자는 이 연구가 무엇을 밝혔는지 알고 싶어서 원고를 열지, 저자가 어떤 경로로 여기까지 왔는지 알고 싶어서 열지 않는다. 표본 집단의 구성, 처리 파이프라인, 모델과 참조 자료의 버전은 주장이 성립하는 조건이고 방법 절과 보충 자료에서 한 글자도 틀리지 않게 적혀야 하는 근거다. 자료의 규모가 큰 분야일수록 이 조건이 주인공 자리로 올라오는데 큰 코호트와 새 파이프라인 자체가 성과처럼 느껴지기 때문이다. 코호트의 크기는 어떤 주장을 가능하게 하는 자원이고 그 자원으로 무엇을 갈랐는지 말하지 않으면 원고는 자원 소개서로 읽힌다.
원고가 어느 쪽인지는 결과 절의 소제목만 이어 읽어 보면 30초 안에 드러난다. 소제목이 데이터 처리 단계로 읽히면 아직 보고서이고 발견한 현상이 순서대로 전개되면 주장 체계다. 이어 읽었을 때 하나의 이야기가 들리지 않으면 그 원고에는 아직 목차가 없는 것이다. 중심 문장을 정하는 질문도 하나다. 이 연구가 끝난 뒤 독자가 무엇을 다르게 믿어야 하는가. 답이 한 문장으로 나오지 않으면 그 원고는 두세 편의 논문이 섞여 있는 형태이고 섞인 채로 투고하면 심사자마다 다른 논문을 읽고 다른 요구를 보내온다. 한 문장으로 좁히는 과정에서 잘려 나가는 결과가 아깝게 느껴지겠지만 잘린 결과는 사라지지 않고 다음 원고의 중심이 된다. 15장에서 그린 field map은 그 한 문장이 어떤 대화에 끼어드는지 알려 주고 17장에서 미리 정한 판정 기준은 결과를 읽을 강도를 이미 정해 두었으며 18장의 결정 기록은 공저자들과 무엇을 주장하기로 합의했는지 보여 준다. 파트 2의 세 장이 만든 문서가 여기서 원고의 재료가 된다.
역설계의 절차는 단순하다. 중심 주장을 먼저 적어 놓고 그 주장이 참이라면 무엇이 관측되어야 하는지 묻고 그 관측이 다른 이유로는 나올 수 없었는지 다시 묻는다. 첫 질문의 답이 받치는 주장의 목록이 되고 둘째 질문의 답이 대안 설명의 목록이 되며 아직 손에 없는 관측이 남은 분석과 실험의 목록이 된다. 이미 얻은 결과에서 거꾸로 출발하면 결과의 목록이 만들어지는데 결과의 목록에서는 무엇이 빠졌는지 보이지 않는다. 주장과 근거를 짝지어 적은 표를 claim-evidence 지도라고 부른다. 만드는 시점은 분석이 절반쯤 남았을 때가 가장 좋다. 그때 만들면 빈칸이 남은 분석의 계획서가 되고 다 끝난 뒤에 만들면 같은 빈칸이 말할 수 없는 것의 목록이 된다. 둘째 질문이 가장 어려운데, 자기 주장을 무너뜨릴 설명을 스스로 떠올리는 일이라 훈련 없이는 잘 나오지 않는다. 표는 원고 폴더의 한 파일에 두고 분석이 진행되는 동안 계속 고친다.
| 칸 | 적는 것 | 비어 있으면 |
|---|---|---|
| 주장 | 독자가 다르게 믿어야 하는 한 문장 | 결과는 있는데 원고의 중심이 없다 |
| 가르는 관측 | 주장과 대안 설명을 갈라놓는 관측 | 결정적인 결과를 골라내지 못한다 |
| 현재 근거 | 그 관측을 담은 그림과 수치의 위치 | 아직 하지 않은 분석이 남아 있다 |
| 대안 설명 | 같은 관측을 낳을 수 있는 다른 원인 | 심사에서 그 질문을 처음 받는다 |
| 무너지는 조건 | 어떤 결과가 나오면 철회하는가 | 검증 가능한 주장이 아직 아니다 |
| 허용되는 표현 | 근거가 허용하는 서술의 강도 | 문장마다 강도를 새로 협상한다 |
중심 주장은 하나로 제한하고 받치는 주장은 셋에서 다섯까지만 둔다. 받치는 주장마다 그것이 중심 주장에 왜 필요한지 한 줄로 적어 보면 개수는 저절로 줄어든다. 여덟 개까지 늘어난 목록에는 중심과 무관한 결과와 같은 주장의 반복이 섞여 있고 앞은 다른 논문으로 보내고 뒤는 하나로 합친다. 무너지는 조건 칸이 이 지도의 중심이다. 철회 조건을 적을 수 없는 문장은 어떤 관측으로도 반대할 수 없고 반대할 수 없으면 지지할 수도 없다. 이 칸이 비는 것은 대개 주장이 너무 넓기 때문이며 어떤 조건에서 어떤 대상에 성립한다는 형태로 좁히면 조건이 따라 나온다. 좁힌 주장이 약해 보이는 것은 표 안에서뿐이고 심사자 앞에서는 조건이 붙은 주장이 훨씬 오래 버틴다. 대안 설명 칸도 같은 시기에 채워야 값이 나가는데 투고 뒤에 처음 떠올린 대안 설명은 이미 심사자가 먼저 적어 보낸 뒤이기 때문이다. 첫 판은 30분 안에 끝내는 것이 목표이고 빈칸을 드러내는 것이 목적이다.
허용되는 표현 칸에는 근거가 감당하는 서술의 강도를 미리 고정한다. 관찰한 것, 연관을 확인한 것, 예측이 맞은 것, 기전을 보인 것, 인과를 가른 것은 서로 다른 강도이고 같은 동사로 쓸 수 없다. 강도를 문장마다 새로 정하면 같은 결과가 어느 절에서는 시사하고 어느 절에서는 입증하는 일이 생기며 그 불일치는 저자보다 심사자가 먼저 발견한다. 데이터가 받쳐 주지 않는 문장은 등급을 낮춰 가설이나 향후 연구 방향으로 옮긴다. 옮겨 놓으면 그 문장은 결론 자리에서 빠지고 다음 연구의 출발점 자리에 남으므로 아까워서 결론에 붙들고 있을 이유가 없다. 지도의 어느 칸이든 비어 있는 채로 두어도 되지만 비어 있다는 표시는 남겨야 한다. 표시 없이 비워 두면 몇 주 뒤에 그 칸을 확인하고 비운 것인지 아직 확인하지 못한 것인지 구분할 수 없다. 표시가 남아 있으면 공저자에게 지도를 그대로 넘겨도 어디를 봐 달라는 말이 따로 필요하지 않다. 표가 다 채워졌는지는 첫 판의 기준이 되지 못한다. 새 세션을 시작한 에이전트에게 이 표를 주었을 때 어느 주장이 근거 없이 서 있는지와 어떤 분석이 남았는지를 짚어 낼 수 있는가로 판단한다. 무너지는 조건 칸이 빈 행이 있다면 그 행은 아직 인상에 머물러 있고 그것을 확인한 것만으로 첫 판은 제 몫을 한 것이다.
서론은 독자를 저자와 같은 문제 앞에 데려다 놓는 곳이다. 네 단계로 설계한다. 분야가 중요하게 여기는 현상이나 문제를 세우고 지금의 지배적 설명이 그 현상의 무엇까지 설명하는지 밝히고 그 설명으로 풀리지 않는 구체적인 어긋남을 드러내고 이 연구가 어떤 관점과 근거로 그 틈에 들어가는지 말한다. 세 번째 단계가 서론의 무게를 결정한다. 알려진 바가 없다는 문장은 쓰기는 쉽지만 검증할 수 없고 그 분야를 아는 심사자에게는 문헌을 덜 읽었다는 신호로 읽힌다. 무엇이 아직 불확실한지, 어떤 두 결과가 서로 맞지 않는지, 어떤 조건에서는 확인되었지만 다른 조건에서는 확인되지 않았는지를 쓰면 그 틈이 손에 잡힌다. 15장에서 그린 field map의 합의된 사실이 두 번째 단계의 재료이고 같은 지도에 표시해 둔 논쟁 중인 해석과 비어 있는 근거가 세 번째 단계의 재료다. 지도를 미리 그려 둔 사람은 두 단계를 옮겨 적는 데서 시작하고 그리지 않은 사람은 서론을 쓰면서 지도를 처음 그린다. 뒤의 경우에 서론이 오래 걸리는 것은 문장 때문이 아니고 분야의 구조를 그때 처음 만들고 있기 때문이다.
연구 목적이 마지막 문단에서 갑자기 등장하면 앞의 세 단계와 끊긴다. 목적은 세 번째 단계에서 드러낸 어긋남에서 필연적으로 따라 나와야 하고 독자가 목적 문장을 읽기 전에 이미 그 연구가 필요하다고 느껴야 한다. 앞의 빈틈과 뒤의 목적이 맞지 않으면 심사자는 그 사이에 적히지 않은 다른 이유가 있다고 읽으며 그 의심은 원고 전체에 남는다. 문헌을 저자별로 나열하면 문단은 연대기가 되고 독자는 각 논문과 이 문제의 관계를 스스로 계산해야 한다. 하나의 설명을 세운 뒤 그 설명을 지지하는 근거를 함께 인용하고 설명이 흔들리는 지점에서 반대 근거를 인용하면 문단이 논증이 된다. 10장에서 다룬 인용의 기능 분류가 여기서 각 논문의 자리를 정해 준다. 어떤 인용은 문제의 중요성을 세우고 어떤 인용은 지배적 설명의 근거이며 어떤 인용은 그 설명이 맞지 않는 사례다. 같은 논문이 서론과 고찰에서 다른 기능으로 쓰이는 일도 흔하므로 기능을 표시해 두면 인용의 중복도 함께 정리된다. 반론 점검으로 중심 주장이 좁아지면 빈틈 서술도 함께 좁혀야 하므로 서론은 주장이 확정된 뒤에 한 번 더 읽는다.
결과 절은 독자가 중심 주장을 믿게 되는 순서로 놓는다. 실험한 순서와 그 순서가 같은 경우는 드물고 같다면 대개 우연이다. 두 순서가 어긋나는 이유는 분석이 탐색으로 시작하기 때문이다. 무엇이 나올지 모르는 상태에서 여러 방향을 동시에 열어 두고 보다가 그중 하나가 답이 되면, 나머지 방향은 답을 받치는 배경이나 대안 설명을 지우는 근거로 자리를 바꾼다. 첫 결과는 독자가 연구 질문과 데이터의 신뢰성을 이해하는 출발점이 맡는다. 가장 화려한 결과를 앞에 놓으면 독자는 그것을 믿을 근거가 없는 상태에서 읽게 되고 뒤에서 근거가 나와도 첫인상은 되돌아오지 않는다. 각 소절은 질문 하나, 답 하나, 그 답을 받치는 그림 하나 이상의 구조를 갖는다. 답 없이 관측만 나열된 소절은 결과가 되지 못한 자료의 묶음이고 독자는 그때 저자가 무엇을 주장하는지 스스로 정해야 한다. 소제목은 발견한 현상을 말한다. 사용한 방법의 이름을 소제목에 걸면 독자는 그 절이 무엇을 밝혔는지 본문을 다 읽고 나서야 알게 되고 어떤 분석을 돌렸는지는 어차피 방법 절에 적혀 있다.
이전 절의 답이 왜 다음 질문을 낳는지 한 문장으로 쓸 수 없으면 두 절은 그저 나란히 놓여 있다. 순서를 바꿔도 아무것도 달라지지 않는다면 아직 배열이 이루어지지 않은 것이다. 배열을 고칠 때 가장 큰 저항은 시간을 많이 쓴 분석에서 나온다. 석 달이 들어간 분석을 뒤로 미루거나 보충 자료로 내리는 결정은 감정적으로 어렵지만 투입한 시간은 그 결과가 앞에 와야 할 근거가 되지 못한다. 위치를 정하는 기준은 하나다. 이 결과가 없을 때 중심 주장이 어디까지 약해지는가. 예상과 다른 결과와 서로 모순되는 결과도 중심 주장의 경계를 만든다면 원고에 들어가며 무너지는 조건 칸에 적어 둔 항목과 관련된 결과라면 특히 그렇다. 그런 결과를 저자가 먼저 내놓으면 심사자는 저자가 자기 데이터를 끝까지 보았다고 판단하고 감춘 결과는 대개 재분석 요구와 함께 되돌아온다. 배열이 확정된 다음에 그림 번호를 매긴다. 번호를 먼저 붙이면 순서를 바꿀 때마다 본문의 참조를 함께 고쳐야 하고 고치다 빠뜨린 참조 하나가 투고 직전에 나온다.
원고에 들어갈 그림을 순서대로 한 장씩 붙여 놓고 각 패널에 대해 여섯 가지를 적는다. 화면에서 넘겨 보는 것보다 인쇄해 책상에 늘어놓는 편이 낫고 이 작업의 결과물을 그림 서사(figure story)라고 부른다.
시간이 아깝게 느껴지는 것이 이 작업의 요점이다. 빠르게 넘기면 보이지 않고 한 줄씩 적는 동안에만 보이는 것들이 있다. 설명을 붙이지 않으면 무엇을 보여 주는지 알 수 없는 패널, 앞 패널과 같은 주장을 다른 형태로 반복하는 분석, 중심 서사와 관계없이 관성으로 남은 결과, 원본 근거 없이 발표 자료에만 존재하는 수치, 그림 순서와 결과 절의 논리가 어긋나는 지점이 여기서 드러난다. 다섯째 항목이 가장 자주 비고 가장 유용하다. 이 패널이 없으면 어떤 주장이 무너지는지 적을 수 없는 패널은 중심 주장에 봉사하고 있지 않다는 뜻이다. 그런 패널은 보충 자료로 내리거나 지우거나 그 패널이 실제로 받치는 주장을 원고에 세우는 셋 중 하나로 처리한다. 세 번째를 고르는 경우가 생각보다 많은데 중심 주장이 처음부터 좁게 잡혀 있었다는 뜻이기 때문이다. 여섯째 항목은 심사 대응에서 값을 한다. 재분석 요구가 왔을 때 원본 데이터와 스크립트의 위치가 적혀 있으면 며칠 걸릴 일이 반나절로 줄어들고 적혀 있지 않으면 자기 그림을 자기가 다시 찾는 데 시간을 쓴다.
이 검수를 AI에게 맡기면 검수의 효과가 사라진다. 패널 순서를 정해 달라고 하면 그럴듯한 답이 나오지만 저자가 각 패널에서 무엇을 말할 수 있는지 모르는 상태는 그대로 남는다. 심사자의 질문은 그림에 대해 들어오고 답은 저자가 한다. 사람이 여섯 항목을 먼저 적은 뒤에 반복되는 패널이나 설명되지 않은 도약을 찾게 하는 순서로는 유용하다. 순서가 뒤집히면 서사가 그림에 맞춰지고 저자는 자기가 만들지 않은 논리를 방어하는 자리에 서게 된다. 그림을 다시 그리는 작업도 사람의 판단이 앞선다. 축 이름과 범례와 글자 크기를 고치는 일은 도구가 빠르게 해내지만 어느 패널을 남기고 어느 패널을 합칠지는 그림 서사를 적어 본 사람만 안다. 18장에서 미팅 슬라이드를 다시 만들 때 쓴 기준이 여기서도 그대로 쓰이고 한 장에서 하나의 판단만 요청한다는 원칙은 원고의 그림에서 더 엄격해진다. 슬라이드는 발표자가 옆에서 설명하지만 그림은 혼자 남아서 읽히기 때문이다.
원고에는 자기 데이터 대신 문헌이 근거인 문장들이 있다. 서론과 고찰의 대부분이 그렇고 결과 절에서 관측에 해석을 다는 문장도 그렇다. 이런 문장이 심사에서 가장 자주 걸리는데 저자에게는 확인한 기억이 있지만 어디서 확인했는지는 남아 있지 않은 상태이기 때문이다. 확인하는 절차는 자기 데이터를 확인하는 절차와 같다. 주장에서 출발해 근거까지 내려가고 내려간 자리에서 실제로 무엇이 쓰여 있는지 본다. 위키가 있으면 내려가는 길이 이미 만들어져 있다는 것이 차이다. 4장에서 만든 source note가 논문과 원고 문장 사이의 중간 기착지이고 그 note에 적어 둔 한계와 조건이 판정의 재료가 된다. 길이 없으면 같은 확인을 할 때마다 PDF를 다시 찾는 시간이 통째로 붙는다. 확인할 문장을 고르는 순서는 중요도로 정한다. 중심 주장을 직접 받치는 문장, 심사자가 반드시 물을 문장, 다른 분야의 결과를 끌어온 문장이 앞에 오고 원고의 모든 인용을 같은 깊이로 확인할 시간은 어차피 없다.
원고의 문장 하나
↓ 완전한 질문으로 검색
후보 wiki page
↓ 관련 문장과 맥락 확인
짝지어진 source note
↓ 필요하면 원문 PDF
직접 지지 / 부분 지지 / 맥락만 제공 / 반대 근거
↓
문장 수정 또는 인용 선택검색은 후보를 좁히는 단계다. BM25 점수가 높다는 것은 비슷한 단어가 많다는 뜻이고 지지 여부는 점수로 정해지지 않는다. 9장에서 다룬 대로 완전한 질문으로 물으면 후보의 질이 올라가지만 올라간 뒤에도 결과는 여전히 후보다. 판정은 네 갈래로 나뉜다. 직접 지지는 그 논문의 결과가 이 문장이 말하는 관계를 그대로 보인 경우다. 부분 지지는 방향은 같지만 대상이나 조건이 달라서 원고 문장에 조건을 덧붙여야 하는 경우이고 실제로는 이 갈래가 가장 많다. 맥락만 제공하는 논문은 인용을 유지하되 문장이 거기에 기대는 인상을 주지 않게 고친다. 반대 근거는 왜 다른 결과가 나왔는지 다루는 자리에서 쓰거나 주장의 범위를 좁히는 데 쓴다. 제목과 초록만 보고 인용을 추가하는 일은 이 절차를 통째로 건너뛰는 것이고 초록이 본문 결과보다 강하게 쓰인 논문에서 특히 자주 사고가 난다. 인용을 넉넉히 달아 두면 안전해진다는 감각도 여기서 깨지는데 지지하지 않는 인용은 검증 비용만 늘리고 심사자가 그중 하나를 확인해 지지하지 않는다는 것을 발견하면 나머지 인용의 신뢰도까지 함께 떨어뜨린다.
근거의 강도가 논문마다 다르다는 점도 판정에 들어간다. 어떤 연구는 외부의 독립적인 기준과 얼마나 일치하는지로 신뢰를 얻고(Theodoris 외, 2023), 어떤 연구는 기존 방법과의 직접 비교로 신뢰를 얻는다(Cui 외, 2024). 신뢰를 만드는 방식이 다른 논문들을 한 문장 뒤에 나란히 인용하면 독자는 그것들을 같은 강도로 읽으므로 그 차이가 중요한 자리에서는 문장을 나눈다. 근거를 찾지 못하면 그 사실을 드러내고 문장의 강도를 낮추거나 무엇을 분석해야 자기 데이터로 그 말을 할 수 있는지 정한다. 후자가 나오는 자리가 원고를 쓰다가 분석으로 되돌아가는 자리이고 되돌아가는 일은 근거 구조가 실제로 작동했다는 신호다. 이 분야 논문처럼 써 달라는 요청과 이 문장을 지지하는 논문을 찾아 달라는 요청을 한 번에 시키면, 문체는 그럴듯한데 근거는 확인되지 않은 문장이 나온다. 문체를 참고하는 일과 과학적 주장의 근거를 대는 일은 다른 작업이므로 세션도 나누고 산출물도 나눈다. 문체 참고는 저자가 검토하면 끝나지만 근거 확인은 원문까지 내려가야 끝난다.
고찰의 첫 문단에는 중심 질문에 준 가장 직접적인 답이 온다. 그 답은 claim-evidence 지도의 중심 주장 칸에 이미 적혀 있으므로 새로 만들 것이 없다. 우리는 무엇을 분석했다는 문장으로 첫 문단을 시작하면 답을 아직 쓰지 않은 것이고 독자는 결과 절을 한 번 더 읽는 기분이 된다. 답을 쓴 다음에는 그 답이 기존 설명을 강화하는지, 적용 범위를 좁히는지, 반박하는지, 대체하는지를 밝힌다. 네 가지 중 어느 것인지 정하지 않으면 고찰은 결과의 재진술로 끝나고 이 연구가 분야를 어떻게 바꾸는지는 심사자가 스스로 판단하게 된다. 이어서 가장 중요한 기전이나 실용적 함의를 하나만 골라 깊게 다룬다. 함의를 여러 개 늘어놓으면 각각이 얕아지고 얕은 함의는 근거 없이 확장한 주장으로 읽힌다. 그 뒤에 대안 설명과 근거의 경계를 정리하고 한계를 짧게 쓰고 다음 연구가 풀어야 할 질문을 남긴다.
한계를 다룰 때 두 가지 실패가 자주 보인다. 변명을 본문 곳곳에 흩뿌리면 저자가 자기 결과를 믿지 않는다는 신호가 되고 읽는 사람은 어느 결론까지 살아 있는지 알 수 없게 된다. 반대로 불편한 결과를 빼면 심사자가 그곳을 정확히 찾아낸다. 한계는 한곳에 모아 짧게 쓰고 근거가 정한 경계로 제시한다. 표본이 적다는 서술보다 이 규모에서 어떤 크기의 효과까지 검출할 수 있었는지를 쓰는 편이 방어하기 쉽고 17장에서 미리 정해 둔 판정 기준이 있으면 그 문장을 새로 만들 필요가 없다. 향후 방향에는 현재 결론을 실제로 가를 질문을 쓴다. 15장에서 시작해 계속 쌓아 온 미해결 질문 목록에서 이 연구가 답한 항목을 지우고 나면 남은 줄이 그 후보이고 목록을 유지해 온 사람은 향후 방향을 새로 지어내지 않는다. 더 큰 코호트에서 검증이 필요하다는 문장은 어느 논문에나 붙일 수 있어서 아무것도 말하지 않으며 어떤 조건에서 어떤 결과가 나오면 이 결론이 뒤집히는지를 쓰면 그것이 곧 다음 연구의 설계가 된다. 18장의 결정 기록에 공저자들과 어디까지 말하기로 합의했는지가 남아 있으면, 마감을 앞두고 결론의 강도를 처음부터 다시 협상하지 않아도 된다.
한 문단은 하나의 중심 주장을 세우고 근거, 반례, 해석, 함의까지 밀고 나가는 단위다. 문단을 나누는 기준은 주장의 개수다. 길이가 비슷해졌다고 자르거나 화면에서 길어 보인다고 끊으면 논리 단위가 깨진다. 한 문단에 주장이 둘 들어 있으면 독자가 어느 근거를 어느 주장에 붙일지 스스로 나누어야 하고 나누는 방식이 저자의 의도와 다르면 그 문단은 오해된 채로 읽힌다. AI가 만든 짧은 토막 문단을 그대로 이어 붙이면 이 구조가 무너진다. 토막들은 각각 사실이지만 그 사이의 논리는 저자의 머릿속에만 있고 원고에는 적혀 있지 않다. 초고를 AI로 만들었다면 각 문단의 중심 주장을 먼저 정하고 그 주장에 필요한 문장만 남기는 방식으로 다시 짠다. 이 절에서는 살펴본다는 식의 안내 문장은 지우고 그곳에 실제 과학적 내용을 넣는데 안내 문장은 저자가 구조를 설명해야 한다고 느낄 때 나오고 구조가 잘 잡힌 문단은 설명 없이도 읽힌다.
AI가 원고를 대신 쓰는 일과 근거 구조를 점검하는 일은 다른 작업이다. 이 문단을 써 달라는 요청은 원고를 만들고 이 문단의 중심 주장이 무엇인지 말해 보라는 요청은 원고를 검사한다. 검사 결과는 참고 자료이고 판정은 저자가 한다. 요약이 저자의 의도와 다르게 나왔다면 그 문단이 실제로 그렇게 읽힌다는 뜻이므로 요약을 반박할 자리에서 문단을 고친다. 서사의 주어는 현상, 근거, 측정, 모델, 제약으로 둔다. 어떤 연구진이 무엇을 보고했다는 문장이 이어지면 원고는 문헌 목록의 산문판이 되고 독자가 알아야 할 대상은 문장 뒤로 밀린다. 숫자는 근거가 허용하는 정밀도까지만 쓴다. 표본이 스물인 실험에서 소수점 둘째 자리까지 적힌 비율은 정밀해 보이는 만큼 근거를 넘어선 것이고 그런 자리 하나가 원고 전체의 수치를 의심하게 만든다.
초고가 서면 저자는 자기 원고를 가장 못 읽는 사람이 된다. 같은 문장을 여러 번 읽으면서 논리의 빈틈을 머릿속에서 자동으로 메우기 때문이고 메운 것은 원고에 적혀 있지 않은데도 저자에게는 적혀 있는 것처럼 보인다. 그래서 반박은 따로 설계한다. 반박은 주장이 어디서 무너지는지 찾는 작업이고 무너지는 곳을 찾아 주장을 고치는 것이 정상적인 결과다. 아무것도 고치지 않고 끝난 반박은 대개 반박이 약했다는 뜻이다. 시점도 결과를 가른다. 마감 직전에 하는 반박은 고칠 시간이 없어서 형식으로 끝나고 초고가 서고 공저자에게 돌리기 전이 가장 값이 나가는 시점이다. 그 시점에는 주장을 좁히는 결정도 아직 비용이 적다. 아래 여섯 질문을 원고 전체에 한 번씩 던지고 답이 막히는 곳을 표시한다.
AI에게 이 질문들로 원고를 공격하게 할 때 두 가지 실패가 나온다. 표본이 작다거나 다른 코호트에서 검증이 필요하다는 식의 일반적인 반론만 반복하는 경우는 원고만 주었을 때 생긴다. Claim-evidence 지도와 그림 서사를 함께 주면 반론이 구체적인 자리를 짚기 시작하고 어느 패널이 어느 주장을 받치지 못하는지까지 나온다. 다른 하나는 원고에 없는 사실을 지어내 반론의 근거로 쓰는 경우다. 모든 반론에 근거의 위치를 함께 물어 어느 그림, 어느 표, 어느 논문에서 나온 지적인지 대게 하고 위치를 댈 수 없는 반론은 검토 목록에서 뺀다. 지적이 그럴듯할수록 이 확인이 중요한데, 그럴듯한 반론을 그대로 받아들여 주장을 낮추면 근거가 있는 결론까지 함께 약해지기 때문이다. 반론도 원자료와 설계로 검증한다. 반론의 질은 무엇을 함께 주었는지로 정해지고 원고만 건네고 좋은 반론을 기대하는 일은 배경 없이 미팅에 들어가 판단을 요구하는 일과 같다.
반박이 끝나면 각 주장에 대해 유지, 축소, 철회 중 하나를 정한다. 유지하려면 대안 설명을 배제하는 근거가 원고 안에 있어야 하고 그 근거가 저자의 머릿속에만 있으면 축소가 맞다. 축소는 조건을 덧붙이는 형태로 하고 어떤 조건에서 어떤 대상에 성립한다는 문장으로 다시 쓴다. 철회한 주장은 다음 연구의 질문 자리로 옮겨 둔다. 이 결정을 AI가 대신할 수 없다는 점이 이 절의 요점이다. 이 근거로 여기까지 말하겠다는 판단은 그 결과를 감당하는 사람이 내리고 감당한다는 것은 심사에서 방어하고 후속 연구에서 되돌아올 몫을 받는다는 뜻이다. 강하게 쓰라는 압력은 공저자에게서도 오고 마감에서도 오며 자기 자신에게서도 온다. 그 압력과 근거의 경계가 충돌하는 자리에서 무엇을 고르는지가 결국 그 연구자의 평판을 만든다.
앞의 아홉 절이 하나의 순환으로 이어진다.
분야의 맥락 (15장 field map)
↓
중심 질문과 중심 주장
↓
Claim-evidence 지도
↓
빈칸을 메우는 분석과 실험
↓
그림 서사 → 결과의 논리 → 서론과 고찰
↓
근거 검증과 반론 점검
└──────────→ 수정된 주장과 다음 분석눈여겨볼 곳은 마지막 화살표다. 반론 점검의 결과가 주장의 수정으로 돌아가고 수정된 주장이 지도를 바꾸며 바뀐 지도가 새 빈칸을 만든다. 한 번 쓰고 끝나는 작업으로 보면 이 되돌림이 낭비처럼 보이지만 논문은 이 고리를 여러 번 돈다. 투고 전에 두어 번 돌고 심사 대응이 고리를 한 번 더 도는 일이며 다음 논문의 출발점도 이 고리에서 남은 빈칸에서 나온다. 지도와 그림 서사를 문서로 남겨 두면 여러 번 도는 비용이 크게 줄어든다. 남겨 두지 않으면 심사 의견이 왔을 때 어느 주장이 어느 근거 위에 서 있었는지를 처음부터 복원해야 하고 복원한 기억은 원래의 판단과 조금씩 어긋난다. 여섯 달 전의 자신은 이미 남이라서, 그때의 판단을 지금 다시 만들면 다른 판단이 나온다. 지도를 갱신하는 시점은 분석이 하나 끝날 때와 주장이 하나 바뀔 때 둘뿐이고 그 두 시점에만 손대면 문서가 원고를 따라다니는 부담이 크지 않다. 고리를 도는 횟수는 줄일 수 없지만 한 바퀴의 비용은 줄일 수 있다. Claim-evidence 지도와 그림 서사는 원고가 바뀌면 함께 바뀌는 문서이므로 원고 폴더에 두되, 심사 대응 단계에서 다시 열게 되므로 투고한 뒤에도 지우지 않는다. 문헌 근거 검증에서 나온 판단은 위키로 되돌리는데 어떤 논문이 어떤 주장을 직접 지지하는지와 두 논문의 결과가 왜 어긋나는지는 다음 원고에서도 다시 필요하기 때문이다.
고리를 여러 번 도는 동안 원고의 상태가 바뀐다. 쓰던 원고가 투고되고 심사에 들어가고 출판되거나 멈춘다. 원고 작업 공간은 그 상태를 폴더로 표현하고 원고 하나가 작업 단위가 된다.
Manuscript/
├── AGENTS.md
├── wiki/
│ ├── index.md 지도와 현재 규칙
│ ├── log.md 구조와 규칙의 변경 이력
│ ├── manuscript-logs/ 원고별 작업 로그
│ ├── figures/ 그림 규격과 제작 규칙
│ ├── tables/ 표 규칙
│ ├── writing-style/ 문체 규칙
│ ├── reviews/ 심사와 리뷰 대응
│ ├── submissions/ 투고 절차
│ ├── affiliations/ 소속 표기
│ └── recurring-feedback/ 반복해서 지적된 것
├── paper_{프로젝트}/ 진행 중인 원고
├── Reviews/ 심사 중
├── Published/ 출판됨
└── Standstill/ 멈춘 원고폴더 이름은 예시이므로 자기 말로 바꾸어 쓴다. 배치에서 지켜야 하는 것은 상태를 폴더로 표현하는 것과 로그를 원고 폴더 밖으로 뽑아내는 것 둘이다. 원고가 지금 어느 단계에 있는지는 폴더의 위치가 말해 주고 파일 이름에 붙인 최종이나 날짜 표시는 그 일을 하지 못한다. 상태가 바뀌면 원고 폴더를 통째로 옮기므로 안에 든 파일의 이름을 고칠 일이 없고 심사 의견이 왔을 때 어느 폴더를 열어야 하는지도 정해져 있다. 위키의 하위 폴더는 원고 작업의 국면마다 하나씩 둔다. 그림 규격, 표 규칙, 문체, 투고 절차, 소속 표기, 심사 대응, 반복해서 지적된 것이 각각 자기 자리를 갖는다. 한 원고에서 배운 것이 다음 원고에 그대로 쓰이는 자리가 이 국면별 문서들이고 같은 내용을 원고 폴더 안에 적어 두면 그 원고가 끝나는 순간 함께 묻힌다. 원고별 로그는 wiki/manuscript-logs/ 아래에 원고마다 한 파일씩 두고 덧붙이기만 하며 항목의 형식은 17장에서 쓴 여덟 항목과 같다. Claim-evidence 지도와 그림 서사는 원고 폴더 안에 두는데 원고가 바뀔 때마다 함께 바뀌는 문서이기 때문이다.
아래 블록은 AI 도구의 채팅창에 그대로 붙여 넣는 프롬프트다. 원고 작업 공간을 처음 세울 때 쓰는 프롬프트다. 빈 폴더에서 에이전트를 실행하고 그대로 붙여 넣은 뒤, 꺾쇠 자리만 자기 원고에 맞게 바꾼다.
이 빈 폴더를 원고 작업 공간으로 세팅해 줘.
1. AGENTS.md를 만들고 두 가지를 강제 규칙으로 적어 줘. 세션을 시작하면 AGENTS.md와 wiki/index.md를 먼저 읽는다는 것, 그리고 원고 폴더 안에 로그 파일을 만들지 않고 모든 작업 로그를 wiki/manuscript-logs/ 아래에 덧붙인다는 것이다.
2. 상태별 폴더를 만들어 줘. 심사 중인 원고는 Reviews/, 출판된 원고는 Published/, 멈춘 원고는 Standstill/에 두고 진행 중인 원고는 최상위에 각자의 폴더로 둔다. 상태가 바뀌면 폴더를 통째로 옮기고 파일 이름으로는 상태를 표시하지 않는다는 규칙을 AGENTS.md에 함께 적어 줘.
3. wiki/ 아래에 index.md와 log.md를 만들고 manuscript-logs/, figures/, tables/, writing-style/, reviews/, submissions/, affiliations/, recurring-feedback/ 폴더를 만들어 줘. 각 폴더에는 무엇을 담는 자리인지만 두 줄로 적은 index.md를 두고 규칙 본문은 비워 둬.
4. <첫 원고 이름> 폴더를 만들어 줘.
5. wiki/manuscript-logs/<첫 원고 이름>.md를 만들고 첫 항목을 여덟 항목 형식으로 시작해 줘. 무엇이 이 작업을 촉발했는지, 그때 원본이 어떤 상태였는지, 무엇을 실행했는지, 무엇을 확인했는지, 무엇을 발견했는지, 무엇을 결정했는지, 무엇이 남았는지, 어떤 산출물이 나왔는지를 순서대로 적는다.
6. 확인 결과에는 확인됨, 불일치, 미확인, 보류, 재실행필요 다섯 라벨만 쓴다고 wiki/index.md에 적어 줘.
7. 만든 파일과 아직 비어 있는 파일을 구분해서 보고해 줘.