연구 자동화 파이프라인을 돌리다가, 문헌 수집 경로를 늘려 보고 결과를 비교했습니다. 예상은 "많이 겹치고 조금 늘겠지"였습니다. 실제로는 세 경로가 회수한 집합이 거의 겹치지 않았습니다.
경로별로 놓치는 것
키워드 검색은 최근 논문과 주제어가 일치하는 것을 잘 가져옵니다. 대신 그 분야의 정본을 통째로 놓칩니다. 고전이 된 원전일수록 요즘 논문들이 쓰는 용어와 제목의 어휘가 다르기 때문입니다. 실제로 키워드로만 모은 24편 중 5편은 아예 무관한 분야였고, 이 주제의 이론적 원전은 하나도 없었습니다.
인용 연쇄(seed 논문의 참고문헌과 피인용을 타고 올라가는 방식)는 정본을 정확히 집어냅니다. 씨앗 2편으로 돌리자 피인용 2,500회급 원전, 측정 척도 논문, 방법론 표준서가 상위에 그대로 올라왔습니다. 초안에 "원 이론 논문을 확보할 것"이라고 빈칸으로 남겨 뒀던 자리가 한 번에 채워졌습니다. 대신 국내 문헌은 거의 못 잡습니다. 국제 인용망에 편입돼 있지 않으면 연쇄에 걸리지 않기 때문입니다.
개인 서재(직접 모아 둔 참고문헌)는 앞의 둘이 구조적으로 못 잡는 국내 실증연구를 갖고 있었습니다. 사람이 한 번 걸러 넣어 둔 것이라 품질도 안정적입니다. 대신 당연하게도 서재 밖은 전부 놓칩니다.
겹치지 않는 이유
세 경로가 다른 원리로 작동하기 때문입니다. 키워드 검색은 표현의 유사성을, 인용 연쇄는 학문적 계보를, 개인 서재는 사람의 판단을 따릅니다. 서로의 실패 지점이 독립적입니다.
그래서 한 경로를 아무리 정교하게 다듬어도 나머지 두 종류의 누락은 줄지 않습니다. 검색어를 더 잘 짜는 것으로 원전이 나오게 만들 수는 없습니다. 원전은 애초에 다른 어휘를 씁니다.
수집을 한 경로로만 하면 결과물이 조용히 편향됩니다. 빠진 게 있다는 신호가 어디에도 안 뜨기 때문입니다. 목록은 그럴듯하고, 편수도 충분해 보입니다. 무엇이 없는지는 다른 경로로 한 번 더 훑기 전까지 알 수 없습니다.
덤으로 얻은 것
서재에서 나온 국내 연구 하나가 제가 쓰고 있던 주장 하나를 반증했습니다. 그대로 냈으면 틀린 문장이 실릴 뻔했습니다. 수집 경로를 늘린 것이 분량을 늘린 게 아니라 오류를 잡아 준 셈입니다.
정리
- 회수 경로를 늘리는 것과 한 경로를 개선하는 것은 다른 종류의 작업입니다. 후자로 전자를 대신할 수 없습니다.
- 각 경로가 무엇을 구조적으로 못 잡는지를 먼저 적어 두면, 무엇을 더해야 하는지가 바로 나옵니다.
- 누락은 경고를 내지 않습니다. 그래서 겹치지 않는 경로를 하나 더 돌려 보는 것 말고 확인할 방법이 없습니다.