파트 2의 여섯 장에서 논문을 읽고 주장을 쓰며 새 사람에게 건넬 산출물을 만들었다. 이 산출물이 늘어도 학생의 실력이 저절로 늘지는 않는다. 논문을 위키에 넣고 요약을 받으면 그 내용을 안다고 느끼기 쉽지만 그 느낌과 실제로 아는 것 사이의 거리는 멀다. 요약을 문서 없이 설명하고 원문과 대조하고 다른 사람의 질문에 답해 봐야 그 거리가 드러난다. 이 확인에는 사람이 직접 시간을 써야 한다. 도구가 빨라지면 자료를 모으고 정리하는 시간은 줄어도 이해와 판단에 드는 시간은 남는다. 읽고 쓰고 말하는 훈련을 건너뛰면 산출물만 늘고 실력은 그대로다. 학생이 이 구분을 놓치면 연구 결과의 강도를 스스로 정하지 못한다. 지도하는 사람이 놓치면 같은 오해가 다음 학생에게 전달된다.
논문을 넣고 정리 문서를 받으면 그 논문이 무엇을 했는지가 몇 문단으로 정리되어 나온다. 잘 쓰여 있고 읽기 편하다. 문제는 읽기 편하다는 것 자체에 있다. 읽는 데 힘이 들지 않으면 머릿속에서 다시 구성하는 단계가 생략되고 생략된 채로 이해했다는 느낌만 남는다. 며칠 뒤에 그 논문에 대해 질문을 받으면 답이 나오지 않고 그때 다시 문서를 열게 된다. 아주 빠른 학생은 요약만 보고도 여러 지식을 서로 잇는다. 대부분의 경우는 그렇게 되지 않는다. 지식이 이어지려면 그 내용을 자기 구조 안에 놓아야 하고 그 놓는 작업은 읽는 것과 다른 작업이다.
요약은 두 번째 읽기로 돌아올 자리를 마련한다. 서문에서 적은 대로 조건이 하나 붙는다. 정리 과정에서 나오는 내용을 이해되지 않더라도 눈으로 한 번은 읽어야 한다는 것이다. 길지 않다. A4 반 장 정도다. 이 한 번의 읽기가 있는 것과 없는 것의 차이가 크다. 읽어 두면 나중에 그 주제에 대한 질문이 생겼을 때 어디를 열어야 하는지 알게 되고 열어서 다시 읽을 때 두 번째 읽기가 된다. 읽지 않고 넘기면 그 문서는 폴더 안에만 있고 머릿속에는 없다. 4장에서 ingest의 완료 조건에 종합 층 연결을 넣은 것도 같은 이유였다. 연결하려면 기존 종합 문서를 읽어야 하고 읽는 순간 그 논문이 어디에 놓이는지를 생각하게 된다.
에이전트를 쓰면 시간이 줄어들 것 같지만 실제로는 옮겨 간다. 원문을 처음부터 끝까지 읽는 시간은 줄고 대신 확인하고 판단하는 시간이 는다. 정리 문서가 원문과 어긋나지 않는지 대조하는 시간, 이 논문이 기존 판단을 어떻게 바꾸는지 정하는 시간, 그리고 그 판단을 문장으로 적는 시간이 새로 생긴다. 이 시간들은 건너뛸 수 있고 건너뛰면 실제로 빨라진다. 빨라진 만큼 남는 것이 없어질 뿐이다. 처음 이 방식을 쓰는 사람이 겪는 것도 대체로 이 순서다. 몇 주 동안 논문이 빠르게 쌓이고 몇 달 뒤에 그중 무엇을 기억하고 있는지 물으면 답이 잘 나오지 않는다.
배우는 과정만 놓고 보면 오히려 시간이 더 걸릴 수도 있다. 예전에는 논문 한 편을 읽고 넘어갔다면 지금은 읽고 정리하고 기존 문서와 대조하고 어긋나는 자리를 확인하고 판단을 적는다. 단계가 늘었으므로 한 편당 드는 시간은 비슷하거나 더 길다. 달라지는 것은 그 시간의 결과가 남는가다. 예전 방식에서 읽은 논문 스무 편은 기억에만 있고 서로 이어져 있지 않았다. 지금은 스무 편이 문서로 남고 서로를 가리키며 반년 뒤에 그 위에서 시작할 수 있다. 그래서 이 도구의 강점은 배우는 과정을 체계화하고 지식을 구조적으로 배열하는 데 있다. 배움 자체를 대신해 주지는 않는다.
지식이 자기 것이 되었는지 확인하는 방법 가운데 가장 확실한 것은 설명해 보는 것이다. 문서를 보지 않고 다른 사람에게 이 논문이 무엇을 했고 왜 중요한지 말해 보면, 아는 부분과 모르는 부분이 곧바로 갈린다. 말하다가 막히는 대목은 아직 이해하지 못한 것이다. 이 확인은 글로는 잘 되지 않는다. 글은 고쳐 쓸 수 있고 문서를 보면서 쓸 수 있어서 쓰는 동안에는 아는 것처럼 느껴지기 때문이다. 그래서 소리 내어 말해 보는 훈련을 따로 해야 한다. 12장에서 채팅으로 묻는 방식을 주로 쓰는 이유로 든 것과 같은 원리다. 말로 질문을 만드는 동안 자기가 아는 것을 자기 입으로 다시 읽게 되고 그 과정에서 한 번 더 생각하게 된다.
에이전트를 상대로 하는 설명도 훈련이 된다. 이 논문을 이렇게 이해했다고 말해 보고 어디가 어긋나는지 물으면 답이 온다. 다만 여기에는 한계가 있다. 에이전트는 설명이 이상해도 대체로 받아 주고 받아 주는 답에서는 자기가 틀렸다는 것을 알기 어렵다. 사람에게 설명하면 표정에서 먼저 드러난다. 그래서 두 가지를 함께 쓴다. 혼자 정리할 때는 에이전트에게 설명해 보며 다듬고 정리가 되었다고 느끼면 사람에게 설명한다. 두 번째 단계를 빠뜨리면 자기 이해의 구멍을 발견할 기회가 사라진다.
아래 블록은 AI 도구의 채팅창에 그대로 붙여 넣는 프롬프트다. 이해했는지 확인하는 데 쓸 수 있는 요청이 하나 있다. 논문을 넣고 정리를 받은 뒤에 문서를 닫고 시작한다.
방금 넣은 논문에 대해 내가 이해한 것을 아래에 적는다.
문서를 보지 않고 기억으로 적은 것이다.
<이 논문이 무엇을 했고 왜 중요한지 다섯 문장 정도로 적는다>
이제 정리 문서와 원문을 읽고 다음을 알려 달라.
1. 내가 적은 것 가운데 원문과 어긋나는 대목
2. 내가 빠뜨린 것 가운데 결론을 떠받치는 대목
3. 내가 적은 것 가운데 원문에 없고 내 해석인 대목
맞았다고 격려하지 말고 어긋난 곳만 짚어 달라.세 번째 항목이 이 요청에서 가장 값이 크다. 자기가 원문에서 읽은 것과 스스로 채워 넣은 것을 구분하는 훈련이기 때문이다. 논문을 읽고 나면 원문에 없던 연결을 자기도 모르게 만들어 두는 일이 흔하고 그 연결이 맞을 때도 있고 틀릴 때도 있다. 어느 쪽이든 그것이 자기 해석이라는 것을 알고 있어야 나중에 인용할 때 저자가 하지 않은 말을 저자의 말로 옮기지 않는다. 마지막 줄을 넣는 이유는 격려가 확인을 흐리기 때문이다. 잘 이해했다는 답을 받으면 그 답을 근거로 넘어가게 되는데 이 단계에서는 어긋난 대목을 찾아야 한다.
연구가 사람 사이에서 이루어진다는 점이 이 대목에서 중요해진다. 사람을 만나고 관찰한 것과 모은 것을 상대에게 주장하고 그 주장이 오가는 과정에서 다음 아젠다와 다음 길이 나온다. 이 과정은 문서로 대체되지 않는다. 발표를 해 보고, 질문을 받고 답하지 못한 질문을 들고 돌아오는 일이 실력을 만든다. 답하지 못한 질문이 특히 값이 큰데, 그 질문은 자기 혼자서는 떠올리지 못했을 각도에서 온다. 그 질문을 받아 적어 두는 습관도 함께 붙이면 좋다. 발표 직후에는 기억나지만 이틀이면 흐려지고 적어 두지 않은 질문은 다시 떠오르지 않는다. 위키의 열린 질문 문서가 그 질문들이 놓일 자리이고 같은 질문이 두 번 나오면 그것이 지금 그 분야가 답하지 못한 자리일 가능성이 높다. 그래서 위키에 무엇을 넣었는지보다 그것을 들고 몇 번 사람 앞에 섰는지가 더 중요할 때가 있다.
지도교수가 바쁘다면 연구실 동료와 하면 된다. 같은 주제를 파는 사람이 아니어도 되고 오히려 다른 주제를 하는 사람에게 설명할 때 더 많이 드러난다. 그 사람이 배경을 모르므로 어디서부터 설명해야 하는지를 자기가 정해야 하고 그 정하는 작업이 자기 이해의 구조를 드러낸다. 실행 방법은 간단하다. 논문 한 편을 넣고 정리한 뒤에 그 내용을 십 분 동안 누군가에게 설명하는 자리를 만든다. 매주 한 번이면 충분하고 정해 두지 않으면 하지 않게 된다. 18장에서 다루는 미팅 준비도 같은 훈련의 연장선이다. 무엇을 결정해 달라고 요청할지 정하고 그 근거를 골라 내는 일이 곧 자기 이해를 정리하는 일이기 때문이다.
발표를 자주 하라는 말은 흔하지만 왜 그런지는 잘 설명되지 않는다. 이유가 몇 가지 있다. 첫째는 순서를 정해야 한다는 점이다. 문서에는 항목이 나열되어 있어도 되지만 발표에는 순서가 있어야 하고 무엇을 먼저 말할지 정하려면 무엇이 무엇을 떠받치는지를 정해야 한다. 이 정리가 곧 논리의 정리다. 둘째는 분량을 잘라야 한다는 점이다. 십 분에 다 넣을 수 없으므로 무엇을 뺄지 정하게 되고 빼도 되는 것과 빼면 안 되는 것을 가르는 판단이 그 주제에 대한 이해를 그대로 드러낸다. 셋째는 질문을 받는다는 점이다. 자기가 가진 지도에는 없던 각도의 질문이 오고 답하지 못한 질문 하나가 며칠치 읽기의 방향을 정한다.
발표 자료를 만드는 일에도 도구를 쓸 수 있지만 순서를 정하는 일은 넘기지 않는다. 무엇을 먼저 말할지 정해 달라고 하면 그럴듯한 순서가 나오고 그 순서대로 발표하면 자기가 왜 그 순서인지 설명하지 못한다. 질문이 그 대목에 들어오면 답이 막힌다. 그래서 순서와 무엇을 뺄지는 자기가 정하고 정한 뒤에 그 순서가 말이 되는지 물어보는 방식이 낫다. 순서를 정하는 일은 시간이 오래 걸리지 않는다. 슬라이드 네다섯 장의 제목을 자기가 지지하려는 결론으로 달아 보면 대체로 그때 드러난다.
글쓰기는 따로 다뤄야 한다. 지금은 요약도 초안도 도구가 만들어 주고 만들어진 문장은 문법적으로 완전하고 읽기에 무리가 없다. 그런데 글에는 그 사람이 주장하고 싶은 날카로운 지점이 있고 그 지점은 대신 만들어지지 않는다. 무엇을 앞에 놓고 무엇을 뒤로 미룰지, 어디서 단정하고 어디서 물러설지, 어느 대목을 한 문장으로 끝낼지가 그 사람의 판단이다. 이 판단은 연습으로만 붙는다. 도구가 만든 문장을 고치는 일만 반복하면 고치는 능력은 늘고 처음부터 쓰는 능력은 늘지 않는다. 두 가지가 다른 능력이라는 것을 알아 두는 편이 좋다.
도구가 쓴 문장과 자기가 쓴 문장을 구분해 두는 것도 훈련의 일부다. 초안을 받아 고치는 방식으로 작업하다 보면 어느 문장이 자기 것인지 몇 주면 알 수 없게 되고 그 상태에서는 자기 문체가 무엇인지도 흐려진다. 초안 파일과 자기가 쓴 파일을 따로 두고 나중에 합치는 방식이 이 문제를 줄인다. 한국에서 공부한 경우에는 이 훈련이 더 필요하다. 글쓰기를 따로 배우는 과정이 흔하지 않고 영어로 논문을 쓰는 일은 그 위에 언어가 하나 더 얹힌다. 그래서 시간을 정해 두고 도구 없이 쓰는 훈련을 권한다. 하루 30분이면 된다. 주제는 지금 하고 있는 연구여도 되고 그날 읽은 논문에 대한 생각이어도 된다. 중요한 것은 도구를 켜지 않고 자기 언어로 처음부터 쓰는 것이다. 완성도는 상관없고 고치지 않아도 된다. 이 훈련이 쌓이면 나중에 위키에 정리해 둔 지식과 결합했을 때 훨씬 나은 글이 나온다. 재료가 좋아도 그것을 배열하는 감각이 없으면 글이 되지 않고 그 감각은 자기가 써 본 양에 비례한다.
사람이 깊이 읽을 논문은 자기 연구의 축에 닿는 몇 편이면 된다. 4장에서 ingest에 등급을 두지 않는다고 한 것은 문서의 품질 기준을 나누지 않는다는 뜻이고 사람이 그 논문을 얼마나 깊이 이해할지는 별개다. 대부분의 논문은 무엇을 했고 어디에 놓이는지를 아는 것으로 충분하다. 어느 논문에 원문까지 내려가 시간을 들일지는 대체로 두 번째로 열게 될 때 드러난다. 한 번 넣고 다시 열지 않는 논문과 자꾸 되돌아가는 논문이 갈리고 뒤쪽이 시간을 들일 대상이다.
이 구분을 처음부터 알 수는 없으므로 순서를 뒤집는 편이 낫다. 넣을 때는 가볍게 넣고 되돌아가게 되면 그때 깊이 읽는다. 되돌아간 횟수는 위키가 알려 준다. 어느 문서를 몇 번 인용했는지, 어느 종합 문서를 몇 번 고쳤는지가 작업 기록에 남기 때문이다. 처음부터 모든 논문을 깊이 읽으려 하면 몇 편 못 가서 지치고 지치면 읽기 자체를 미루게 된다. 학습에 드는 시간을 늘리라는 말이 모든 논문에 균등하게 쓰라는 뜻이 되면 그 말은 실행되지 않는다.
경계가 애매하게 느껴질 수 있어서 판단 기준을 하나 적어 둔다. 도구가 없으면 그 일을 아예 못 하게 되었는가다. 정리 문서를 만드는 일은 도구가 훨씬 빠르지만 도구가 없어도 원문을 읽고 정리할 수는 있다. 이 경우는 쓰는 것이다. 어떤 주제에 대해 자기 생각을 말해 보라고 했을 때 문서를 열지 않으면 아무 말도 못 한다면 그것은 의존이다. 앞의 것은 문제가 없고 뒤의 것은 훈련으로 되돌려야 한다. 확인하는 방법은 앞 절의 따라해보기와 같다. 문서를 닫고 말해 보는 것이다.
도구에 의존하게 되는 경우에는 공통점이 있다. 결과가 그럴듯해서 확인할 이유를 느끼지 못했다는 것이다. 요약이 어색하면 원문을 열게 되지만 매끄러우면 그대로 넘긴다. 그래서 확인 절차를 미리 정해 두는 편이 낫다. 논문 한 편마다 원문으로 내려가 확인할 대목을 서너 개 정해 두고 그 서너 개는 예외 없이 화면과 대조한다. 대조할 대상으로는 결론을 좌우하는 수치, 대조군의 구성, 저자가 인정한 한계가 알맞다. 서너 개면 시간이 많이 들지 않고 이 습관이 붙으면 요약을 읽는 태도 자체가 달라진다.
위키는 학습할 수 있는 구조를 유지해 준다. 첫째는 되짚을 수 있다는 것이다. 반년 전에 읽은 논문에 대해 그때 무엇을 판단했는지가 문서에 있으므로 지금의 판단과 비교할 수 있다. 자기 생각이 어떻게 바뀌었는지를 볼 수 있는 것이 학습에서 드물게 얻는 기회다. 둘째는 빈자리가 보인다는 것이다. 어느 주제에 종합 문서가 없다면 그 주제를 아직 정리하지 못한 것이고 그 사실이 문서 구조에서 드러난다. 머릿속에서는 아는 것과 모르는 것의 경계가 흐리지만 문서에서는 선명하다.
셋째는 같은 것을 두 번 정리하지 않아도 된다는 것이다. 어떤 방법의 한계를 한 번 제대로 정리해 두면 그 뒤로는 그 문서를 가리키면 되고 그만큼의 시간이 새 주제로 간다. 넷째는 남에게 설명할 재료가 준비되어 있다는 것이다. 발표를 준비할 때 처음부터 찾는 것과 정리된 문서에서 고르는 것은 드는 시간이 다르고 시간이 줄면 발표를 더 자주 하게 된다. 앞 절에서 발표가 실력을 만든다고 했는데 그 발표의 빈도를 올려 주는 것이 이 구조의 기여다. 위키는 학습할 수 있는 상태를 유지해 주고 그 상태에서 무엇을 하는지는 사람의 몫이다.
도구가 정보를 요약하고 표현한 뒤의 책임은 사람에게 남는다. 무엇을 연구할지, 그 연구가 누구에게 무엇을 남기는지, 그리고 그 결과에 대한 책임을 누가 지는지는 사람 쪽에 있다. 과학이 인류 전체의 앎을 밀어 올리는 일이 되려면 그 일을 하는 사람에게 내재적인 동기가 있어야 하고 그 동기는 대체로 사람을 향한다. 무엇이 궁금해서 누구를 돕고 싶어서 어떤 문제가 풀리지 않는 것이 답답해서 시작한다. 이 동기는 도구가 만들어 주지 않고 만들어 줄 이유도 없다.
책임은 구체적인 자리에서 나타난다. 위키에 적힌 문장 하나가 나중에 논문의 근거가 되고 그 논문을 읽은 사람이 다음 실험을 설계한다. 확인하지 않은 문장을 적어 두면 그 오류가 그 경로를 따라 퍼진다. 이 책이 확인한 것과 확인하지 못한 것을 나눠 적으라고 반복하는 이유가 여기 있다. 확인하지 못한 것을 확인하지 못했다고 적는 일은 절차이기 이전에 태도이고 그 태도가 없으면 절차는 며칠이면 무너진다. 도구를 쓰는 사람이 늘어날수록 이 태도가 더 중요해진다. 그럴듯한 문장을 만드는 비용이 거의 0이 되었으므로 그 문장이 근거를 가졌는지 확인하는 일이 유일하게 남은 구분점이 된다.
자동화에 맡길 수 있는 일은 자료를 찾고 모으는 일, 원문에서 정해진 항목을 뽑아 형식에 맞추는 일, 여러 문서에서 같은 항목을 모아 나란히 놓는 일, 형식이 어긋난 곳과 빠진 곳을 찾는 일, 그리고 초안을 만드는 일이다. 다섯 가지 모두 양이 많고 규칙이 분명해서 사람이 하면 지친다. 이 다섯 가지가 줄어드는 것만으로도 실제 작업 시간은 크게 줄어든다.
남는 쪽은 다르다. 무엇을 연구할지 정하는 일, 근거가 결론을 떠받치는지 재는 일, 어긋나는 결과가 진짜 모순인지 조건의 차이인지 판정하는 일, 어디까지 말할 수 있는지 강도를 정하는 일, 그리고 그 판단이 틀렸을 때 책임을 지는 일이다. 이 다섯 가지는 앞의 다섯 가지가 아무리 빨라져도 그대로 남는다. 오히려 앞쪽이 빨라지면 뒤쪽에 도달하는 빈도가 늘어서 판단할 일이 많아진다. 학생이 이 도구를 쓰면서 바빠졌다고 느낀다면 그것이 정상이다. 읽는 시간이 줄어든 만큼 판단하는 시간이 늘어난 것이고 판단하는 시간이 늘어난 것이 훈련의 관점에서는 이익이다.