챗봇은 대답만 한다. 에이전트는 일을 끝낸다.
"여름 휴가 일정 잡아줘."
챗봇에게 이 말을 하면, 아마도 "인천 출발 제주 도착 항공편을 검색해 보세요"라는 답이 돌아온다. 그걸로 끝이다. 검색은 당신 몫이다.
AI 에이전트는 다르게 동작한다. 목적지, 날짜, 예산을 받아들인 뒤, 스스로 항공 검색 도구를 열고, 가격을 비교하고, 숙소 예약 사이트를 확인하고, 최종적으로 예약까지 완료한다. 중간에 사람이 개입하지 않아도 된다.
이 차이가 왜 중요한지, 어떻게 가능한지, 지금 세계가 왜 이쪽으로 달려가고 있는지를 짚어본다.
챗봇의 구조: 질문 하나, 답 하나
챗봇은 기본적으로 입력 → 출력 구조다. 사용자가 무언가를 물으면, 모델이 한 번 추론해서 텍스트 답변을 내놓는다. 그게 전부다.
챗봇은 대화 세션이 끝나면 기억을 유지하지 않는다. 파일을 열거나, 인터넷을 직접 뒤지거나, 코드를 실행하거나, 예약 시스템에 접근하는 능력이 기본 구조에 없다. 필요한 정보가 있으면 사람이 복사해 붙여 넣어야 한다.
챗봇은 탁월한 조수다. 하지만 일을 시작부터 끝까지 혼자 마무리하지는 못한다.
AI 에이전트의 핵심: 인식 → 추론 → 행동의 반복
MIT 슬론 매니지먼트 리뷰는 AI 에이전트를 이렇게 정의한다. "디지털 환경에서 지각하고, 추론하고, 행동하는 자율 소프트웨어 시스템." 인간의 개입 없이, 또는 최소한의 감독 아래 복잡한 작업 흐름을 실행한다.
에이전트의 작동 방식은 세 단계의 반복이다.
첫째, 인식. 사용자의 지시, 도구에서 돌아온 결과, 파일 내용, 웹 검색 결과 같은 정보를 읽어들인다.
둘째, 추론. 현재 상황을 파악하고 다음에 무엇을 해야 할지 계획을 세운다.
셋째, 행동. 계획에 따라 도구를 실제로 호출한다. 코드 실행, 웹 검색, 이메일 발송, 데이터베이스 조회, 결제 시스템 접근 등이 모두 가능하다.
이 세 단계가 목표가 달성될 때까지 반복된다. 중간에 예상치 못한 결과가 나오면 계획을 수정한 뒤 다음 행동을 결정한다.
ReAct: 생각하고 행동하는 틀
이 구조를 학술적으로 정식화한 연구가 2022년 10월 arxiv에 처음 공개된 논문이다. 구글 리서치와 프린스턴 대학교 연구진이 발표한 ReAct다. 2023년 국제학습표현학회(ICLR)에서 정식 발표됐다.
ReAct는 "추론(Reasoning)"과 "행동(Acting)"을 합친 이름이다. 모델이 생각을 먼저 적고, 그 생각에 따라 도구를 호출하고, 도구에서 돌아온 결과를 다시 읽고, 다음 생각을 이어가는 "생각 → 행동 → 관찰" 사이클을 반복한다.
예를 들어 "한국의 GDP는 언제 처음 일 조 달러를 넘었나?"라는 질문이 들어오면, 에이전트는 먼저 스스로 추론 과정을 기록한 뒤, 검색 도구를 호출하고, 결과를 읽고, 답을 확정한다. 이 논문은 이후 랭체인(LangChain)을 비롯한 주요 에이전트 프레임워크의 설계 기반이 됐다.
챗봇과 에이전트, 결정적인 세 가지 차이
1. 도구 접근
챗봇은 텍스트만 생성한다. 에이전트는 API, 데이터베이스, 이메일, 결제 시스템 등 외부 도구를 실제로 호출한다. 클라우드 보안 얼라이언스에 따르면, 에이전트는 광범위하고 지속적인 시스템 접근 권한을 가지며 API 키와 서비스 계정을 통해 여러 서비스를 연결한다.
2. 다단계 계획
챗봇은 질문 하나에 답 하나다. 에이전트는 목표를 향해 수십 개의 단계를 스스로 계획하고 실행한다. 중간에 예상 밖의 결과가 나와도 계획을 수정하며 계속 나아간다.
3. 기억과 맥락 유지
챗봇은 세션이 끝나면 기억이 사라진다. 에이전트는 대화 이력과 중간 결과를 유지하면서 작업 흐름 전체를 추적한다.
실제로 어디서 쓰이나
가장 알려진 사례는 금융권이다. JP모건 체이스는 AI를 활용한 사기 탐지·리스크 관리에 수년간 투자해 왔으며, 2024년 연례 보고서에서 AI가 사기 손실 절감에 기여했다고 언급했다. 구체적인 시스템명이나 퍼센트 수치는 공식 발표로 확인되지 않는다. 법률 계약서를 검토하는 자동화 시스템(COiN, 2017년 출시)은 대규모 팀이 수일에 걸쳐 처리하던 작업을 수초 만에 처리한다. 월마트는 AI 에이전트를 쇼핑 개인화와 고객 서비스 자동화에 투입하고 있다.
창고 운영에서는 에이전트가 실시간 영상을 분석하다가 문제를 발견하면 컨베이어 벨트를 직접 정지시키기도 한다.
지금 세계는 어떻게 움직이는가
2025년 봄, MIT 슬론 매니지먼트 리뷰와 보스턴 컨설팅 그룹이 실시한 공동 조사에서 응답 기업의 35퍼센트가 이미 2023년 기준으로 AI 에이전트를 도입했다고 밝혔다. 추가로 44퍼센트는 가까운 시일 내 도입 계획이 있다고 답했다.
가트너는 2025년 8월 공식 발표에서, 2026년 말까지 기업 애플리케이션의 40퍼센트가 특화된 AI 에이전트를 탑재하게 될 것이라고 예측했다. 2025년 현재 5퍼센트 미만에서 급격히 늘어나는 셈이다.
주의할 것도 있다
에이전트가 도구를 광범위하게 사용한다는 것은, 그만큼 접근 권한도 넓다는 의미다. 잘못된 판단으로 원치 않는 행동을 할 수 있고, 보안 취약점이 생길 수도 있다. 이 때문에 에이전트 설계에는 인간 감독 지점을 어디에 둘 것인지, 어떤 행동은 반드시 사람의 승인을 받게 할 것인지가 중요한 설계 요소로 자리잡고 있다.
에이전트는 강력하지만, 감독 없이 완전히 자율로 두는 것이 항상 최선은 아니다.
한 줄 정리
챗봇은 질문에 답한다. AI 에이전트는 목표를 받아 도구를 쓰고, 여러 단계를 거쳐 일을 끝낸다. 그 차이가 지금 기술 산업 전체를 바꾸고 있다.