AI에게 물어보는 것과 다시 가르치는 것
요즘 AI를 쓰다 보면 두 가지 접근법이 자주 등장한다. 하나는 프롬프트 엔지니어링, 다른 하나는 파인튜닝이다. 둘 다 AI 성능을 높이는 방법이지만, 작동 원리와 쓰임새는 완전히 다르다.
쉽게 비유하자면 이렇다. 새로 뽑은 직원이 있다고 하자. 프롬프트 엔지니어링은 그 직원에게 매번 "이런 방식으로 답해줘, 이 형식으로 써줘"라고 명확하게 지시하는 것이다. 파인튜닝은 그 직원을 몇 달간 전문 교육을 시켜서 아예 다른 수준의 전문가로 키우는 것이다.
프롬프트 엔지니어링: 잘 물어보는 기술
프롬프트 엔지니어링은 모델 자체를 건드리지 않는다. 모델의 내부 파라미터는 그대로 두고, 입력 텍스트, 즉 프롬프트를 정교하게 설계해서 원하는 출력을 끌어내는 방식이다.
기법도 다양하다. 예시를 하나도 안 주는 '제로샷', 예시 하나를 주는 '원샷', 여러 예시를 주는 '퓨샷', 단계별로 생각하게 유도하는 '체인 오브 소트'까지 여러 전략이 존재한다. 모두 모델을 바꾸는 게 아니라, 모델이 이미 가진 능력을 최대한 끌어내는 방식이다.
장점은 명확하다. 비용이 낮고, 빠르게 시작할 수 있다. API 접근 권한만 있으면 수 시간 내에 배포가 가능하다. 별도의 학습 데이터도 필요 없다. 반면 모델 자체의 한계를 넘어서기는 어렵다. 아무리 질문을 잘해도, 모델이 모르는 건 모른다.
2023년 11월 마이크로소프트 연구팀이 발표한 'MedPrompt' 사례가 흥미롭다. GPT-4에 정교한 프롬프트 전략을 적용했더니, 구글이 의료 데이터로 파인튜닝한 전용 모델 'Med-PaLM 2'를 아홉 개 의료 벤치마크 전부에서 앞섰다. 최대 12퍼센트포인트 차이로. 강력한 기반 모델에 좋은 프롬프트가 결합되면 전용 파인튜닝 모델을 이길 수 있다는 사실을 보여준 사례다.
파인튜닝: 모델을 다시 가르치는 것
파인튜닝은 다르다. 모델의 내부 가중치 자체를 바꾼다. 기반 모델을 출발점으로 삼아, 특정 도메인의 데이터로 추가 학습을 진행한다. 학습이 끝나면 그 모델은 원래 모델과 파라미터 수는 같지만 내부 값이 달라진, 새로운 전문가 모델이 된다.
비용과 시간이 든다. 7억에서 130억 파라미터 규모의 오픈소스 모델을 LoRA 기법으로 파인튜닝할 경우, A100 GPU로 보통 두 시간에서 여덟 시간이 걸리고, 비용은 50달러에서 300달러 수준으로 알려져 있다. 학습 데이터도 필요하다. 수백 개에서 수천 개의 고품질 예시가 기본으로 요구된다.
그러나 일단 파인튜닝이 완료되면 이점이 분명하다. 특정 작업에서의 정확도가 높아지고, 매번 긴 지시를 프롬프트에 넣을 필요가 없으니 추론 비용이 줄어든다. 일관된 출력도 보장된다. 2024년 5월 한 연구팀이 코드 리뷰 작업을 대상으로 실험했을 때, 파인튜닝한 GPT-3.5는 제로샷 프롬프트 방식보다 정확도 지표에서 최대 1,100퍼센트까지 높은 결과를 보였다.
언제 무엇을 써야 할까
결론은 목적과 상황에 달려 있다.
프롬프트 엔지니어링이 맞는 경우: 빠르게 시작해야 하거나 프로토타입 단계라면, 학습 데이터가 없거나 적다면, 하나의 모델로 여러 작업을 동시에 처리해야 한다면, 프롬프트 엔지니어링이 먼저다. 개발 기간은 수 시간에서 며칠이면 충분하다.
파인튜닝이 맞는 경우: 의료, 법률, 금융처럼 고도로 전문화된 도메인에서 95퍼센트 이상의 정확도가 필요한 경우, 동일한 작업을 대규모로 반복 처리하는 경우, 독자적인 말투나 응답 형식을 학습시켜야 하는 경우라면 파인튜닝이 적합하다. 준비 기간은 몇 주에서 몇 달이 걸린다.
주의할 점도 있다. 파인튜닝이 항상 더 좋은 건 아니다. 기반 모델이 이미 강력하다면 정교한 프롬프트가 파인튜닝된 소형 모델을 이길 수 있다. 반대로 프롬프트가 점점 길어지고 지시가 복잡해질수록 비용과 오류 가능성이 커지기 때문에, 그 시점이 파인튜닝으로 전환할 신호가 된다.
둘 다 쓰는 하이브리드 접근
실제 현장에서는 파인튜닝과 프롬프트 엔지니어링을 함께 쓰는 경우가 많다. 예를 들어 법률 분야라면, 계약서 데이터로 모델을 파인튜닝해 전문 지식을 심어둔 뒤, 계약 유형이나 분석 방향을 지정하는 프롬프트를 추가로 제공하는 방식이다. 각각의 한계를 서로 보완하는 구조다.
한 줄로 정리하면
프롬프트 엔지니어링은 '지금 당장 쓸 수 있는 유연한 도구', 파인튜닝은 '오래 쓸 전문 인력을 키우는 투자'다. 상황에 맞는 도구를 고르는 판단력 자체가 AI 활용 능력의 핵심이다.