위키는 근거와 관계를 유지하고 무엇을 주장할지와 그 주장의 강도는 연구자가 정한다. 두 역할을 섞으면 위키가 논문을 만들어 준다는 기대가 생기고 그 기대는 반드시 배신당한다. 대학원 세미나에서 한 시간짜리 발표를 맡은 사람이 있다고 하자. 위키에는 관련 논문 정리가 마흔 편 들어 있고 종합 문서도 몇 개 만들어 두었다. 여기서 “이 주제로 발표 자료를 만들어 달라”고 요청하면 마흔 편의 요약이 순서대로 이어진 문서가 나온다. 그 문서는 사실관계가 대체로 맞고 형식도 깔끔하지만 청중이 한 시간 뒤에 무엇을 다르게 알게 되는지가 어디에도 없다. 발표는 그 하나를 먼저 정하고 그것을 위해 마흔 편 중 여섯 편을 고르고 나머지 서른네 편을 말하지 않기로 결정하는 일이다. 선택이 빠진 산출물은 위키의 사본이고 사본은 원본보다 항상 나쁘다.
위키에서 나오는 산출물은 성격에 따라 네 갈래로 묶인다. 다음에 무엇을 할지 정하는 것, 어떤 주장을 어떻게 조립할지 정하는 것, 다른 사람을 움직이는 것, 그리고 이해를 옮기는 것이다. 갈래가 다르면 필요한 근거의 종류도 다르고 실패하는 방식도 다르다. 아래 표의 가운데 열이 실제로 산출물의 형태를 정한다. 도와야 할 결정이 무엇인지 답할 수 없다면 그 산출물은 아직 만들 준비가 되지 않은 것이다. 오른쪽 열은 산출물이 어디에서 출발하는지를 보여 준다. 대부분의 산출물은 개별 논문 페이지 위에 놓인 종합층에서 출발한다. 이 책이 근거로 삼은 연구용 위키에는 wiki page가 17,591건 있고 그 위의 종합층은 overview 590건, concept 408건, question 550건이다.
| 산출물 | 도와야 하는 결정 | 주로 끌어오는 층 |
|---|---|---|
| 연구 아젠다와 질문 지도 | 다음에 무엇을 할 것인가 | question, overview |
| 리뷰와 원고 개요 | 이번에 무엇을 주장할 것인가 | overview, concept |
| 근거 표와 주장 지도 | 각 주장이 무엇에 기대는가 | paper page, source note |
| 분석 인계 문서와 결정 메모 | 누가 무엇을 어디까지 하는가 | concept, agenda |
| 강의 노트와 슬라이드 | 청중이 무엇을 다르게 알게 되는가 | overview, concept |
| 인터랙티브와 해설 | 관계를 어떤 형태로 보게 할 것인가 | overview, paper page |
| 학생 학습 자료와 논문 읽기 안내 | 무엇을 어떤 순서로 읽는가 | question, paper page |
17,591건을 훑어 무엇을 쓸지 고르는 일은 사람도 에이전트도 하지 못한다. 실제로 작동하는 경로는 590건의 overview 중 지금 질문에 해당하는 두세 건을 고르고 거기에서 아래로 내려가 필요한 논문만 다시 읽는 것이다. 그래서 종합층이 얇으면 산출물 제작이 곧바로 막힌다. 논문 페이지만 많고 overview가 없는 위키에서는 산출물을 만들려 할 때마다 처음부터 종합을 해야 하고 그 종합은 산출물이 끝나면 함께 사라진다. 4장과 9장이 종합 문서 갱신을 ingest와 질의의 완료 조건으로 삼은 이유가 여기서 드러난다. 종합층은 그 자체로는 아무에게도 보이지 않는 중간 산물처럼 보이지만 산출물을 만드는 시점이 되면 그 층이 있는지 없는지가 전부를 가른다. 위키를 만들 때 들인 노력의 값은 산출물을 만들 때 지불된다. 같은 근거가 독자에 따라 다른 산출물이 된다는 점도 표가 보여 준다. 어떤 방법의 한계를 정리해 둔 concept 문서 하나는 연구 아젠다에서는 다음 분석을 제한하는 조건으로 쓰이고 강의에서는 학생이 그 방법을 처음 쓸 때 조심할 지점으로 쓰이며 원고에서는 고찰 문단의 한 문장으로 쓰인다.
세 산출물이 같은 문서를 가리키지만 꺼내 오는 부분과 말하는 강도가 서로 다르다. 한 번 정리해 둔 것이 여러 작업에서 다시 쓰인다는 1장의 이익은 이 지점에서 회수된다. 각 산출물이 자기 판본을 따로 만들기 시작하면 반년 뒤에는 어느 것이 현재의 판단인지 알 수 없게 되고 그때는 네 개의 비슷한 문서를 놓고 무엇이 맞는지 다시 정해야 한다. 산출물을 만들다 보면 위키의 어느 부분이 실제로 쓸 만한지도 드러난다. 종합 문서에 연결되지 않은 고립 페이지의 수를 세는 감사 스크립트가 카테고리별 연결 비율을 집계하지만 그 감사가 잡는 것은 연결의 유무까지이고 연결의 강도는 잡지 못한다. 링크가 걸려 있는데도 막상 주장을 세우려 하면 그 링크가 아무것도 지탱하지 못하는 경우가 있다. 종합 문서에 논문 제목만 나열되어 있고 그 논문이 기존 지식을 어떻게 바꾸는지에 대한 문장이 없을 때 그런 일이 생긴다. 산출물 제작은 기계 감사가 잡지 못하는 이 종류의 빈틈을 드러내는 가장 확실한 방법이다.
연구 아젠다는 근거와 긴장, 공백, 가능한 분석, 그리고 언제 멈출지가 하나로 이어진 실행 문서다. 아젠다가 주제 목록으로 끝나는 이유는 대체로 중간 단계를 건너뛰었기 때문이다. 흥미롭다는 감각에서 곧바로 할 일 항목으로 넘어가면 그 항목이 왜 지금 필요한지가 문서 안에 남지 않고 몇 주 뒤에 자신이 다시 읽어도 무엇을 하려던 것인지 복원되지 않는다. 위키에서 아젠다로 가는 길은 다음 순서를 지날 때 실행 가능한 문서가 된다.
반복해 등장하는 질문
↓
현재 위키가 지지하는 답과 그 답의 경계
↓
논문 사이의 긴장 또는 빈칸
↓
검증 가능한 연구 질문
↓
필요한 데이터와 분석
↓
예상 결과, 대안 설명, 중단 기준
↓
아젠다 문서와 후속 작업첫 단계는 이미 반복된 질문을 찾는 것이다. 9장의 질의 기록과 10장의 구조 분석을 지나면 같은 질문이 다른 표현으로 여러 번 올라와 있다. 이 책이 파트 1 내내 따라온 여섯 편에서는 그 질문이 평가에 관한 것이었다. 다섯 편의 모델 논문이 모두 자기 모델이 쓸 만하다고 말하는데 쓸 만하다는 말을 뒷받침하는 방식이 서로 다르다. 어떤 논문은 이미 확립된 외부 사실과 예측이 맞아떨어진다는 것으로 신뢰를 만들고 어떤 논문은 같은 과제에서 다른 방법과 겨루어 이겼다는 것으로 만들며 또 어떤 논문은 기존 분석 파이프라인에 끼워 넣었을 때 결과가 나아졌다는 것으로 만든다. 반복된 질문을 찾는 일은 기억에 의존하지 않는 편이 낫다. 질의를 던질 때마다 그 질문을 question 페이지나 별도의 질문 목록에 한 줄로 남겨 두면, 몇 달치가 쌓였을 때 어떤 질문이 여러 번 다른 표현으로 올라왔는지가 눈에 보인다. 질문 지도는 그렇게 모인 질문을 주제별로 묶고 각 질문 옆에 지금 답할 수 있는지 여부를 적어 둔 문서다. 답할 수 있는 질문은 종합 문서로 가고 답할 수 없으면서 반복되는 질문이 아젠다의 후보가 된다. 답을 얻은 질문도 지우지 않고 답과 그 답의 경계를 붙여 남기는데 같은 질문이 반년 뒤에 다시 올라왔을 때 이미 정리된 것인지 아닌지를 그 기록으로 판단하기 때문이다.
두 번째 단계는 지금 위키가 지지하는 답과 그 답의 경계를 적는 것이다. 경계를 적는 일이 답을 적는 일보다 중요하다. 위 사례에서 위키가 지지할 수 있는 답은 세 가지 신뢰 전략이 존재한다는 사실까지이고 어느 전략이 더 믿을 만한지는 지지하지 못한다. 세 전략이 서로 다른 평가 자료와 다른 성공 기준을 쓰기 때문이다. 여기서 긴장이 드러난다. 같은 분야의 논문들이 같은 축에서 비교된 적이 없다는 것, 그러면서도 서로를 인용해 계보를 만들고 있다는 것이 긴장이다. 세 번째부터가 아젠다의 본체다. 긴장을 검증 가능한 질문으로 바꾸려면 무엇이 참일 때와 거짓일 때 관찰이 달라지는지를 적어야 한다. “외부 사실 일치로 검증된 모델이 방법 대 방법 벤치마킹에서도 같은 순위를 유지하는가”는 검증할 수 있고 “어느 모델이 더 나은가”는 참과 거짓을 가를 관찰을 지정하지 못한다. 앞의 질문은 필요한 자료와 분석을 스스로 지정한다. 두 종류의 평가를 같은 모델 집합에 적용하고 순위를 비교하면 되기 때문이다. 질문이 자기가 필요한 분석을 지정하지 못하면 아직 충분히 좁혀지지 않은 것이다.
이 문서를 새 세션의 에이전트에게 주었을 때 다음에 무엇을 해야 하는지와 그 결과를 어떻게 읽어야 하는지가 위키의 어느 문서를 근거로 설명되어야 한다. 아젠다 문서에 들어가는 항목은 일곱 가지다. 무엇을 위한 아젠다인지를 적는 목적, 지금 위키가 지지하는 답과 경계를 적는 현재 근거, 좁혀진 연구 질문, 그 질문에 답하기 위해 실제로 돌려야 하는 분석, 그 분석이 어떤 결과를 구별해 낼 수 있는지를 적는 판별력, 예상과 다른 결과가 나왔을 때 그것을 어떻게 읽을지 미리 적는 실패 해석, 그리고 이 아젠다가 끝났을 때 손에 남는 구체적인 산출물이다. 일곱 항목 중 가장 자주 빠지는 것이 판별력과 실패 해석이다. 어떤 결과가 나오든 사후에 설명할 수 있는 분석은 판별력이 없고 판별력이 없는 분석은 시간만 쓰고 아무것도 정하지 못한다. 실패 해석을 미리 적어 두면 결과가 나온 뒤에 해석을 만들어 내는 일도 줄어든다. 중단 기준을 미리 적는 것이 아젠다와 주제 목록을 가르는 지점이다. 어떤 결과가 나오면 이 방향을 접는지, 어느 시점까지 무엇이 확인되지 않으면 그만두는지를 적어 두면 나중에 그 판단을 감정 없이 할 수 있다. 이미 시간을 쓴 뒤에 그만둘지 결정하려 하면 들인 시간이 판단을 흐린다. 흥미로운 주제를 적어 두는 목록과 실행을 정하는 아젠다는 다른 파일에 두는데 판별력과 중단 기준이 없는 항목은 실행되지 않은 채 목록에만 남기 때문이다. 아젠다는 미공개 실행 계획이므로 작업 폴더의 agenda 층에 두고 공개된 논문 지식을 담는 위키에는 넣지 않는다. 두 층이 섞이면 위키를 다른 사람과 나눌 때 무엇을 걸러 내야 하는지 매번 다시 판단해야 한다. 아젠다와 위키 사이에는 양방향 링크를 만들어, 아젠다에서 근거로 삼은 종합 문서로 갈 수 있고 그 종합 문서에서도 이 질문이 어떤 아젠다로 이어졌는지 보이게 한다.
원고를 쓰기 시작할 때 가장 흔한 실수는 위키에 있는 내용을 순서대로 옮기는 것이다. 위키가 답하는 질문과 원고가 답하는 질문이 다르기 때문에 그렇게 하면 반드시 실패한다. 위키는 “이 분야에 대해 지금 무엇을 아는가”에 답하도록 만들어져 있고 원고는 “이번 논문이 무엇을 주장하는가”에 답해야 한다. 앞의 질문은 아는 것을 모두 담을수록 좋아지고 뒤의 질문은 주장에 필요하지 않은 것을 덜어낼수록 좋아진다. 두 질문을 분리하지 않으면 원고는 넓고 평평해지고 읽는 사람은 저자가 무엇을 말하려는지 끝까지 알 수 없다. 원고 설계에서 위키의 각 층이 맡는 역할은 다르다. Overview와 concept에서는 현재의 합의와 그 합의가 성립하는 범위를 뽑아 온다. 도입부에서 무엇을 전제로 깔고 시작할 수 있는지가 여기서 정해진다. Question 페이지에서는 아직 풀리지 않은 긴장을 뽑아 온다. 원고가 왜 지금 필요한지에 대한 답이 대체로 여기에 있다. 논문 페이지와 source note에서는 각 문단을 지탱할 근거와 수치를 확인한다.
리뷰 개요와 원고 개요는 위키에서 꺼내 오는 것이 다르다. 리뷰는 분야의 현재 상태를 정리하는 글이므로 overview 층에서 가장 많은 것을 가져오고 기여는 기존 결과들을 어떤 배치로 놓았는지에서 나온다. 원고는 새 결과가 중심이므로 위키에서 그 결과의 배경과 해석할 때 비교할 선행 연구를 가져온다. 리뷰를 쓸 때 위키를 그대로 옮기고 싶은 유혹이 더 크고 그래서 실패도 더 자주 일어난다. 리뷰의 기여는 무엇을 어떤 축으로 묶었는지에 있으며 축을 정하는 일은 위키가 대신해 주지 않는다. 원고의 형태를 정하는 것은 아젠다 문서 쪽이다. 이 원고를 누가 읽는지, 중심 주장이 하나로 말해 무엇인지, 문단이 어떤 순서로 놓여야 하는지, 그리고 지금 없어서 추가로 돌려야 하는 분석과 새로 만들어야 하는 그림이 무엇인지를 아젠다에서 가져온다. 이 네 가지가 정해지기 전에 문장을 쓰기 시작하면 나중에 대부분을 버리게 된다. 원고 개요는 위키의 근거와 아젠다의 방향을 합쳐 만든다. 어느 한쪽만으로는 개요가 서지 않는다.
문장을 쓰는 단계에서는 다시 아래로 내려간다. 원고에 들어갈 주장은 종합 문서의 문장을 그대로 옮겨 쓰지 않고 그 문장이 기대고 있는 논문 페이지와 source note를 열어 확인한다. 수치와 조건이 결론을 좌우하는 대목에서는 원문 PDF까지 내려간다. Source note는 원문으로 가는 경로일 뿐이라는 4장의 원칙이 여기서 다시 적용된다. 종합 문서는 여러 논문을 압축하는 과정에서 조건을 떨어뜨리기 마련이고 떨어진 조건이 원고에서는 결정적일 수 있다. 위키가 원고 설계에서 가장 잘하는 일은 없는 것을 알려 주는 것이다. 문단마다 그 문단을 지탱할 근거를 위키에서 찾아 붙이다 보면 근거가 붙지 않는 문단이 반드시 나온다. 그 문단은 지금 자료로는 쓸 수 없는 문단이거나 아직 돌리지 않은 분석이 필요한 문단이거나 애초에 필요하지 않은 문단이다. 셋 중 어느 것인지 판정하고 나면 원고를 쓰기 전에 해야 할 일의 목록이 만들어진다. 다 쓴 뒤에 근거가 없다는 것을 발견하면 문단을 통째로 버리게 되고 그때는 그 문단을 쓰는 데 든 시간이 이미 사라진 뒤다. 주장의 강도를 정하는 일은 위키가 대신할 수 없는 몫이다. 위키는 어떤 문장에 대해 그것을 지지하는 논문이 세 편이고 그중 두 편은 측정 조건이 다르다는 것까지 말해 줄 수 있다. 거기서 “그러므로 일반적으로 성립한다”고 쓸지, “특정 조건에서 관찰되었다”고 쓸지, 아니면 “아직 결론을 내리기 어렵다”고 쓸지는 사람이 정한다. 같은 근거 위에서도 세 문장은 모두 쓸 수 있고 셋 중 어느 것을 고르느냐가 연구자의 판단이다. 근거 표와 주장 지도는 이 판단을 눈에 보이게 만드는 산출물이다.
움직이는 화면을 만들기 전에 물어야 할 것은 이 관계가 정지된 문장으로 전달되지 않는지 여부다. 인터랙티브가 실제로 도움이 되는 경우는 네 가지로 좁혀진다. 여러 대상을 같은 축 위에서 비교해야 하는데 축이 여러 개일 때, 하나의 자료나 결정이 여러 갈래의 후속 작업에 영향을 줄 때, 시간에 따라 상태가 바뀌어 한 시점의 그림으로는 변화를 볼 수 없을 때, 그리고 계층이나 의존 관계나 되먹임 구조가 있어 선형 문장으로 따라가기 어려울 때다. 네 조건 중 어디에도 해당하지 않으면 표 하나나 문단 하나가 더 낫다. 해당 여부는 그 관계를 말로 설명해 보고 어디서 막히는지를 보면 판단할 수 있다. 제작 순서는 질문에서 시작해 위키로 되돌아오는 여섯 단계다. 먼저 이 화면이 답해야 할 질문을 한 문장으로 적고 그 질문에 필요한 근거만 고른다. 다음으로 화면에 올라갈 각 값이 어느 문서의 어느 항목에서 왔고 어떤 변환을 거쳤는지를 명세로 남긴다. 그 다음에 사용자가 무엇을 조작할 수 있는지를 설계하고 조작 결과가 근거와 어긋나지 않는지 검증하고 마지막으로 위키와 아젠다에서 이 화면을 가리키는 링크를 만든다. 여섯 단계 중 세 번째가 가장 자주 생략되고 생략되면 몇 달 뒤에 화면의 숫자가 어디서 왔는지 아무도 답하지 못한다.
출처 명세가 필요한 이유는 사용자가 화면을 조작하기 때문이다. 축을 바꾸고 필터를 걸고 범위를 좁히는 동안에도 각 값이 무엇을 뜻하는지가 변하지 않아야 하는데 값의 출처가 기록되어 있지 않으면 조작할수록 의미가 흐려진다. 특히 위험한 것은 조합이 존재하지 않는 칸과 값이 0인 칸을 구분하지 않는 화면이다. 어떤 모델이 어떤 평가를 받은 적이 없어서 비어 있는 칸과, 평가를 받았는데 점수가 낮은 칸은 완전히 다른 사실인데 둘 다 빈칸이나 0으로 보이면 “이 조건에서는 효과가 없다”는 잘못된 읽기가 만들어진다. 없음과 낮음을 구분하는 표시를 넣는 일이 화면을 예쁘게 만드는 일보다 우선한다. 검증 단계에서 확인할 것은 세 가지다. 화면에 나온 값이 원자료의 값과 같은지, 조작할 수 있는 모든 조합에서 화면이 사실과 어긋나는 상태를 만들지 않는지, 그리고 화면만 보고 내릴 수 있는 결론이 근거가 지지하는 범위를 넘지 않는지다. 세 번째가 가장 어렵고 가장 자주 실패한다. 비교 화면은 비교 가능하지 않은 것들도 나란히 놓이는 순간 비교 가능해 보이게 만들기 때문이다. 서로 다른 평가 자료로 얻은 점수를 같은 막대그래프에 놓으면 그 그래프는 존재하지 않는 순위를 만들어 낸다.
인터랙티브와 함께 자주 만들어지는 것이 해설과 논문 읽기 안내다. 셋은 같은 재료를 쓰지만 독자가 다르다. 인터랙티브는 이미 대상을 아는 사람이 관계를 탐색하도록 돕고 해설은 처음 접하는 사람이 무엇이 왜 문제인지 이해하도록 돕고 읽기 안내는 앞으로 원문을 읽을 사람에게 순서와 주의할 지점을 준다. 세 가지를 한 문서에 섞으면 아는 사람에게는 길고 모르는 사람에게는 불친절한 문서가 나온다. 재료가 같다는 이유로 합치지 않고 위키의 같은 문서를 셋이 함께 가리키게 하는 편이 낫다. 인터랙티브를 만들지 않기로 결정하는 것도 결과다. 만드는 데 드는 시간보다 고치는 데 드는 시간이 크고 근거가 갱신되면 화면도 함께 갱신해야 한다. 한 번 발표하고 버릴 자료라면 정적인 그림이 낫고 여러 사람이 반복해서 쓸 자료이거나 자기 자신이 반년 뒤에 다시 열어 볼 자료일 때 인터랙티브가 값을 한다. 시각적으로 인상적이라는 이유만으로 만든 화면은 대체로 한 번 보이고 잊힌다. 만들지 않기로 했다면 그 판단도 아젠다에 한 줄로 남겨 두는데 그러지 않으면 반년 뒤에 같은 고민을 처음부터 다시 하게 된다.
산출물은 위키에서 나오지만 위키를 대신하지 않는다. 슬라이드의 한 문장이 위키의 종합 문서보다 최신인 상태가 생기면 그때부터 모든 작업이 어긋난다. 다음 사람이, 혹은 반년 뒤의 자신이 근거를 확인하려고 위키를 열었을 때 거기에는 옛 판단이 남아 있고 새 판단은 어느 발표 파일 안에 들어 있기 때문이다. 산출물은 특정 시점에 특정 독자를 향해 만든 것이므로 시간이 지나면 낡는 것이 정상이고 정본은 낡으면 고쳐지는 것이 정상이다. 두 성격을 구분하지 않으면 위키가 정본의 지위를 잃는다. 새 해석은 산출물을 만드는 과정에서 자주 생긴다. 근거를 나란히 놓고 순서를 정하는 동안 이전에는 보이지 않던 관계가 보이기 때문이다. 그중에서 위키로 되돌릴 것은 다시 쓸 수 있는 비교와 판단뿐이다. 이번 발표에서만 의미 있는 순서 배치나 이 원고에서만 쓰는 강조는 되돌리지 않는다. 저장 여부를 가르는 조건은 9장이 정한 그대로다. 여러 문서를 비교해 다시 쓸 수 있는 판단이 만들어졌는가를 묻고 그렇다면 종합 문서를 실제로 고치고 그렇지 않다면 산출물 안에 두고 끝낸다.
공개된 지식과 미공개 작업을 나누는 일은 처음부터 지켜야 한다. 논문에서 나온 지식은 위키가 소유하고 실행 계획과 미공개 결과와 원고 초안은 아젠다나 해당 작업 폴더가 소유한다. 저자 순서, 제출할 저널, 경쟁 그룹의 동향, 심사 대응 전략처럼 프로젝트에 속한 판단도 위키에 넣지 않는다. 나누는 이유는 위키가 공유되거나 외부에 노출될 수 있기 때문이고 더 실질적으로는 한번 섞인 층을 나중에 분리하는 일이 거의 불가능하기 때문이다. 문서 수백 개에서 어느 문장이 공개 가능한 지식이고 어느 문장이 미공개 판단인지 사후에 가려내는 작업은 처음부터 나누는 비용보다 훨씬 크다. 분석 인계 문서와 결정 메모는 소유가 특히 헷갈리는 산출물이다. 두 문서 모두 근거는 위키에서 오지만 내용의 대부분은 누가 무엇을 어디까지 하는지와 그렇게 정한 이유이므로 작업 폴더가 소유한다. 인계 문서에서 위키로 돌아갈 것은 그 분석을 하기로 한 판단이 문헌의 어느 근거에 기대고 있는지 한 줄뿐이고 나머지는 작업 폴더에 남는다. 결정 메모도 마찬가지여서 결정 자체는 프로젝트의 것이고 결정을 뒷받침한 문헌 근거만 종합 문서에 반영된다. 두 종류를 섞어 위키에 넣으면 몇 달 뒤 위키가 프로젝트 관리 도구처럼 보이기 시작하고 다른 프로젝트에서 그 위키를 다시 쓰기 어려워진다.
외부로 나가는 산출물에서 걷어내야 하는 것도 있다. 로컬 파일 경로, 내부 지침 문서의 문장, 작업 과정에서 에이전트가 남긴 진행 상황 서술이 그런 것들이다. 위키 안에서는 유용한 정보지만 슬라이드나 원고나 공유 문서에 들어가면 읽는 사람에게는 잡음이고 때로는 노출되면 곤란한 정보다. 산출물을 내보내기 전에 한 번 훑는 절차를 두면 대부분 걸러진다. 걸러야 할 항목이 매번 비슷하므로 세 번쯤 반복되면 운영 규칙으로 적어 둘 만하다. 되돌리지 않기로 결정하는 판단도 명시적으로 해야 한다. 에이전트와 나눈 모든 대화와 만들어진 모든 일회성 산출물을 위키에 저장하면 위키는 빠르게 쓸모를 잃는다. 문서 수가 늘면 검색 후보가 늘고 후보 중 실제로 쓸 만한 것의 비율이 떨어지고 결국 위키를 여는 일이 부담이 된다. 앞서 본 감사 도구가 세는 고립 페이지 중에는 애초에 만들 이유가 없었는데 만들어진 문서가 섞여 있다. 무엇을 남기지 않을지 정하는 일이 무엇을 남길지 정하는 일과 같은 비중을 가진다.
산출물 제작을 익히는 데는 세 가지 형태가 서로 다른 근육을 쓴다. 세 가지 모두 같은 골격을 지나지만 어디에서 막히는지가 다르다. 공통 골격은 질문을 정하고 근거를 고르고 출처를 기록하고 검증하고 위키로 되돌리는 다섯 단계다. 셋을 한꺼번에 하려 하지 말고 하나씩 끝까지 만들어 보는 편이 낫다. 한 형태를 끝까지 만들어 보면 나머지 둘에서 어느 단계가 어려울지 미리 보이기 때문이다. 첫째는 한 장짜리 연구 아젠다다. 관련 논문 여덟에서 열두 편을 놓고 그 사이의 빈칸을 찾아 앞 절의 일곱 항목으로 정리한다. 여덟 편은 빈칸이 보이기 시작하는 최소 규모이고 열두 편이 넘으면 한 장에 담기지 않는다. 이 프로젝트가 훈련하는 것은 버리는 일이다. 열두 편 중 아젠다에 실제로 등장하는 논문은 서넛이면 충분하고 나머지는 그 서넛의 위치를 정하는 배경으로만 쓰인다.
둘째는 원고 지도다. Overview 하나를 중심에 놓고 중심 주장 한 문장을 정한 뒤, 그 주장을 지탱할 문단 넷에서 여섯 개를 배치하고 각 문단마다 어떤 근거가 있고 무엇이 없는지를 적는다. 이 프로젝트가 훈련하는 것은 순서다. 같은 근거를 가지고도 문단 순서가 달라지면 독자가 도달하는 결론이 달라지고 순서를 바꿔 보는 동안 어느 문단이 사실은 필요 없는지가 드러난다. 각 문단에 없는 것을 적는 칸이 비어 있으면 그 문서는 요약에 머문다. 셋째는 인터랙티브 해설이다. 논문이나 개념 셋 이상의 관계를 한 화면에서 탐색할 수 있게 만들고 화면의 각 값이 어디서 왔는지를 함께 기록한다. 이 프로젝트가 훈련하는 것은 표현 형식의 선택이다. 만들고 나서 같은 내용을 표로 옮겨 보면 대부분의 경우 표가 충분하다는 것을 알게 되고 표로 충분하지 않은 소수의 경우가 인터랙티브가 필요한 조건이다. 그 경험을 한 번 하고 나면 다음부터는 만들기 전에 판단할 수 있다.
에이전트에게 맡길 수 있는 일의 경계는 세 프로젝트에서 모두 같다. 후보 논문을 모으고 근거를 표로 정렬하고 문단 순서의 대안을 여러 개 만들고 화면에 들어갈 값의 출처 명세를 채우는 일은 에이전트가 빠르고 성실하게 한다. 어떤 긴장을 연구 질문으로 삼을지, 중심 주장을 어느 강도로 말할지, 어떤 결과가 나오면 그만둘지는 사람이 정한다. 두 종류를 구분하지 않고 산출물 전체를 맡기면 형식은 갖추었지만 아무것도 결정하지 않는 문서가 나온다. 결정을 담지 않은 산출물은 읽는 사람에게 판단을 그대로 넘기고 그러면 산출물을 만든 의미가 없어진다. 세 프로젝트의 실패 신호는 각각 다르다. 아젠다에 중단 기준이 없으면 그 문서는 주제 목록이다. 원고 지도에서 없는 근거를 적는 칸이 비어 있으면 그 문서는 요약이다. 인터랙티브에 출처 기록이 없으면 그 화면은 그림이다. 세 신호는 만든 뒤에 한 번 훑으면 바로 보이므로 완성했다고 판단하기 전에 자기 산출물에서 세 가지를 확인한다.
원자료 ingest
↓
위키 연결
↓
질문과 종합
↓
아젠다와 산출물
↓
새 근거, 수정, 더 좁혀진 질문
└──────────────────────→ 위키 갱신이 책의 순환 도표에서 왼쪽 아래 화살표가 위키를 자라게 한다. 그때의 화살표는 새 자료가 기존 판단을 어떻게 바꾸는지를 종합 문서에 반영하는 일이었다. 같은 순환을 산출물 쪽에서 보면 화살표가 하나 더 있다. 산출물을 만드는 과정에서 발견된 것이 위키로 돌아오는 화살표다. 아젠다를 쓰다가 이 질문에 답할 근거가 없다는 것을 알게 되거나 원고 문장을 쓰다가 종합 문서의 서술이 조건을 빠뜨렸다는 것을 알게 되거나 인터랙티브를 만들다가 두 논문의 수치가 같은 축에 놓일 수 없다는 것을 알게 되는 일이 여기에 해당한다. 대화를 기억으로 바꾸는 순환은 기억을 연구와 표현으로 바꾸고 그 결과를 다시 기억에 반영하는 단계까지 이어진다. 순환이 한 바퀴 돌았다는 것은 위키를 고칠 근거가 생겼다는 뜻이다. 산출물을 만들기 전의 위키와 만든 뒤의 위키는 문서 수가 비슷해도 같지 않다. 어느 종합 문서가 실제로 쓸 만했고 어디가 비어 있었는지를 알고 있기 때문이다. 그 앎이 다음 ingest의 우선순위를 정한다. 한 바퀴가 실제로 돌았는지는 산출물을 만들기 전과 만든 뒤에 위키에서 달라진 문장이 있는가로 확인한다. 달라진 문장이 하나도 없다면 그 산출물은 위키를 읽기만 한 것이고 그런 산출물은 여러 개를 만들어도 다음 산출물이 쉬워지지 않는다. 종합 문서의 한 문단이 고쳐졌거나 새 question 페이지가 하나 생겼다면 다음에 같은 주제로 산출물을 만들 때 그만큼 덜 걸린다.