어제를 모르는 똑똑한 기계
요즘 인공지능은 어려운 질문에도 술술 답한다. 그런데 어제 일어난 뉴스를 물으면, 갑자기 모른다고 하거나, 더 곤란하게는 그럴듯하게 지어낸 답을 내놓기도 한다. 세상에서 가장 똑똑해 보이는 기계가, 왜 바로 어제 일은 모를까. 그 답이 바로 '학습 컷오프'다.
한 시점에 멈춘 지식
거대 언어모델, 즉 우리가 쓰는 대화형 인공지능은 어느 시점까지 모아둔 방대한 글을 읽으며 학습한다. 그런데 학습이 끝나는 순간, 그 지식은 그 시점에 '얼어붙는다'. 이후로는 새로운 일이 일어나도, 모델 스스로는 알지 못한다. 이렇게 지식이 멈춘 그 경계의 날짜가 바로 학습 컷오프다. 비유하자면, 어느 날짜에 인쇄를 마친 두꺼운 교과서와 같다. 그날 이후의 페이지는, 백지로 남아 있는 셈이다.
왜 지식을 얼리는 걸까
이유는 학습 방식에 있다. 거대 언어모델을 한 번 훈련하는 데는 수주에서 수개월이 걸리고, 막대한 비용이 든다. GPT-4의 경우 훈련에 들어간 계산 비용만 1억 달러가 넘는 것으로 알려져 있다. 게다가 모델은 답을 하면서 동시에 새 지식을 배울 수가 없다. 학습에 쓸 데이터도 일일이 모으고, 거르고, 다듬어야 한다. 그래서 모델의 지식은 실시간이 아니라, 특정 시점의 '스냅숏'이 될 수밖에 없다. 학습이 끝난 뒤에도 안전성 검증과 미세 조정을 거치기에, 컷오프 날짜와 실제 공개 시점 사이에는 보통 6개월에서 18개월의 시차가 생긴다.
컷오프는 칼로 자른 선이 아니다
이 지점에서 많은 사람이 오해한다. 컷오프란 날짜 하나를 기준으로 그 이전은 완벽히 알고, 그 이후는 하나도 모른다는 뜻이 아니다. 실제로는 컷오프에 가까워질수록 지식이 점점 흐릿해진다. 그 이유가 있다. 어떤 사건이 인터넷에 충분히 퍼지고 글로 쌓이려면 시간이 걸린다. 컷오프 직전의 일들은 데이터로 충분히 축적되기 전에 학습이 마감된다. 그래서 최신에 가까울수록 모델은 더 불확실하게 답한다. 연구에 따르면 도메인에 따라 실제 신뢰 경계가 서로 다르게 나타난다. 빠르게 변하는 분야는 더 이르게 흐릿해지고, 오래된 역사적 사실은 컷오프 가까이까지도 안정적이다.
가장 위험한 순간 — 환각
컷오프 이후의 일을 물었을 때, 모델이 솔직하게 모른다고 하면 다행이다. 문제는, 모르면서도 그럴듯한 답을 자신 있게 지어내는 경우다. 이것을 환각이라고 부른다. 컷오프 이후의 질문에서는 검색 보강 없이 물었을 때 사실 오류 비율이 30퍼센트까지 높아진다는 분석도 있다. 인공지능이 자신 있게 말하는 어조 그 자체가, 답이 최신이거나 정확하다는 증거가 될 수 없는 이유다.
그래서 검색이 필요하다
이 한계를 메우는 방법이 바로 검색이다. 모델을 외부 자료나 검색 엔진과 연결해, 최신 정보를 찾아 답에 반영하게 하는 것이다. 이런 방식을 검색 증강 생성, 줄여서 RAG라 한다. 2020년 처음 제안된 이 기술은, 모델이 자기 기억에만 의존하지 않고 그때그때 자료를 끌어와 답하며 출처까지 함께 제시할 수 있게 해준다. 덕분에 잘못된 답을 줄이고, 컷오프 너머의 일까지 다룰 수 있게 된다. 단, RAG도 만능은 아니다. 검색된 자료를 모델이 여전히 잘못 요약하거나 약한 출처를 선택할 수 있기 때문이다. 최종 판단은 언제나 사람의 몫이다.
오늘의 통찰
인공지능이 자신 있게 말한다고 해서, 그 말이 최신이라는 뜻은 아니다. 모델의 스냅숏은 길게는 2년 가까이 전의 세계를 담고 있을 수 있다. 무언가를 물을 땐, 그 일이 모델의 '스냅숏' 이후에 벌어진 건 아닌지 한 번 의심해 보는 것. 그리고 시의성이 중요한 일은, 검색할 수 있는 도구로 확인하는 것. 그것이 똑똑한 기계를 더 똑똑하게 쓰는 법이다.