검색을 붙인 AI는 왜 더 똑똑해질까 — RAG

기억으로만 답하던 AI

지금까지 인공지능은 학습할 때 외운 지식, 즉 기억에만 의존해 답했다. 그래서 모르는 걸 물으면, 자신 있게 틀린 답을 지어내곤 했다. 이것을 환각이라고 부른다. 게다가 학습이 끝난 시점 이후의 일은 알 수도 없었다. 이 두 가지 약점을 한꺼번에 메우는 방법이 2020년에 등장했다. 답하기 전에 먼저 자료를 '찾아보게' 하는 것이다. 이것을 검색 증강 생성, 줄여서 RAG라 부른다.

탄생: 2020년 메타 AI 연구팀

RAG는 2020년 9월, 메타 AI(당시 페이스북 AI 리서치)와 영국 유니버시티 칼리지 런던, 뉴욕 대학교 연구진이 공동으로 발표한 논문에서 처음 제안됐다. 주저자 패트릭 루이스를 포함한 팀이 이 개념을 정식으로 정의하고, 같은 해 12월 NeurIPS(신경정보처리시스템학회)에 발표해 주목을 받았다. 논문 제목은 '지식 집약적 자연어 처리 과제를 위한 검색 증강 생성'. 처음 공개됐을 때 이 모델은 세 가지 공개 질의응답 벤치마크(NaturalQuestions, CuratedTrec, WebQuestions)에서 최고 성능을 기록했다.

닫힌 책 시험에서 열린 책 시험으로

원리는 시험에 비유하면 쉽다. 기존 인공지능이 아무것도 못 보고 외운 것만으로 답하는 '닫힌 책 시험'이라면, RAG는 자료를 펼쳐 놓고 보는 '열린 책 시험'이다. 연구팀은 이를 두 종류의 기억으로 구분했다. 모델의 학습 파라미터 안에 새겨진 '매개변수적 기억'과, 언제든 갱신할 수 있는 외부 자료 창고인 '비매개변수적 기억'이 그것이다. RAG는 이 두 기억을 함께 쓴다. 모델은 질문을 받으면 먼저 외부 자료에서 관련 내용을 찾아온다. 그리고 그 자료를 근거로 답을 만든다. 외운 것에만 기대지 않으니, 더 정확하고 최신인 답이 나온다.

어떻게 자료를 찾아올까

자료를 '잘 찾아오는 것'이 RAG의 핵심 과제다. 여기서 임베딩이 등장한다. 모델은 사용자의 질문을 먼저 숫자 좌표, 즉 벡터로 바꾼다. 그다음, 외부 지식 창고에서 그 질문 벡터와 의미가 가장 가까운 문서들을 수학적으로 찾아낸다. 단어가 똑같지 않아도, 의미가 비슷하면 찾아내는 것이다. 이때 수억 개의 벡터를 밀리초 단위로 검색하는 데 쓰이는 대표적인 라이브러리가 메타가 공개한 FAISS(페이스북 AI 유사 검색)다. 이렇게 골라낸 자료를 원래 질문에 덧붙여 하나의 새로운 질문을 만들고, 모델은 그것을 바탕으로 답을 생성한다.

무엇이 좋아지나

이 방식의 장점은 분명하다. 첫째, 학습 컷오프 너머의 최신 정보까지 다룰 수 있다. 어제 바뀐 제도도 자료만 있으면 답할 수 있다. 둘째, 회사 내부 문서처럼 모델이 학습하지 않은 전문 자료도 활용할 수 있다. 직원이 사내 시스템에 "연차가 며칠 남았나요?"라고 물으면, 모델은 인사 규정과 개인 기록을 찾아와 정확한 숫자를 제시한다. IBM이 내부 고객 응대 챗봇에 이 방식을 도입한 사례가 대표적이다. 셋째, 근거 자료를 함께 제시하니 출처를 밝힐 수 있고, 지어내는 환각도 크게 줄어든다. 무엇보다 큰 이점이 있다. 새로운 정보가 생기면 모델을 다시 훈련할 필요 없이 외부 자료만 갱신하면 된다. 2024년 멘로 벤처스가 발표한 기업 생성AI 현황 보고서에 따르면, 조사 대상 기업의 51%가 RAG를 채택하고 있으며, 이는 전년도 31%에서 크게 늘어난 수치다.

어디서 쓰이나

RAG는 이미 여러 분야에 실제로 뿌리를 내렸다. 의료 현장에서는 임상 질의응답과 규정 준수 확인에 쓰인다. 법률 분야에서는 판례 검색과 계약서 검토를 돕는다. 금융사는 내부 규정 조회와 위험 분석에 활용한다. 제조업에서는 설비 매뉴얼과 점검 이력을 실시간으로 불러와 현장 담당자를 지원한다. 이른바 지식 집약적 업무에서 두드러진 효율 향상이 보고되고 있다.

만능은 아니다

다만 과장은 금물이다. RAG는 마법이 아니다. 끌어온 외부 자료 자체가 낡았거나 편향됐다면, 답도 함께 틀어진다. 더 주의해야 할 점이 있다. 자료를 정확하게 찾아왔더라도, 모델이 그 맥락을 잘못 해석하거나 여러 사실을 엉뚱하게 조합하면 결국 오답이 나온다. 위키백과의 말을 빌리면, 모델은 "출처 자료 주변을 맴돌며 환각을 일으킬" 수 있다. 그래서 '무엇을 어떻게 잘 찾아오느냐'가 이 기술의 진짜 승부처다. 오늘날 이 분야의 최전선은, 미리 학습을 보정한 모델과 RAG 방식을 함께 쓰는 하이브리드 구조로 향하고 있다.

오늘의 통찰

RAG는 인공지능의 무게중심을 옮긴다. '얼마나 많이 외웠는가'에서, '얼마나 잘 찾아내고 근거 위에서 답하는가'로. 사람도 모든 걸 외우는 사람보다, 필요한 자료를 잘 찾아 쓰는 사람이 더 믿음직하지 않던가. 2020년 메타 연구팀이 쏘아 올린 작은 아이디어는, 이제 조사 대상 기업 절반 이상이 채택한 표준 구조가 됐다.