기계는 글자를 모른다
인공지능에게 '사과'라는 단어를 보여줘도, 기계는 그 글자를 사람처럼 읽지 못한다. 신경망을 비롯한 대부분의 기계학습 알고리즘은 글자가 아니라 숫자만 처리할 수 있기 때문이다. 그래서 컴퓨터가 언어를 다루려면, 먼저 단어를 숫자로 바꿔야 한다. 바로 이 변환의 핵심이 '임베딩'이다.
처음엔 이렇게 시작했다 — 원-핫 인코딩의 한계
임베딩 이전에 가장 단순한 방법이 있었다. 단어장에 있는 단어마다 자리를 하나씩 배정하고, 해당 자리에만 1을 쓰고 나머지는 전부 0으로 채우는 방식이다. 이를 '원-핫 인코딩'이라 한다. 단어가 십만 개라면, 벡터도 십만 칸짜리가 된다. 그리고 모든 단어는 서로 정확히 같은 거리에 떨어져 있다. '행복'과 '기쁨'이 '행복'과 '책상'만큼 서로 다른 것으로 취급된다. 의미 관계를 전혀 담지 못하는 것이다. 언어학자 J.R. 퍼스는 1957년에 이렇게 말했다. "단어는 함께 있는 단어들로 이해된다." 기계는 이 통찰을 수십 년 뒤에야 비로소 구현할 수 있었다.
단어에 좌표를 부여하다
임베딩은 단어를 여러 개의 숫자로 이뤄진 벡터, 즉 '좌표'로 바꾼다. 수십에서 수백 개의 차원을 가진 거대한 공간 속에, 모든 단어가 점 하나씩으로 자리를 잡는 것이다. 핵심은 그 위치다. 의미가 비슷한 단어일수록 서로 가까이, 동떨어진 단어일수록 멀리 놓인다. 그래서 '행복'과 '기쁨'은 이웃처럼 붙어 있고, '행복'과 '책상'은 멀찍이 떨어진다. 의미의 유사성이 곧 거리로 표현되는 셈이다.
2013년, Word2Vec의 탄생
현대 임베딩의 실질적 출발점은 2013년이다. 구글의 토마스 미콜로프 연구팀이 'Word2Vec'이라는 모델을 발표했다. 미콜로프를 비롯해 카이 첸, 그렉 코라도, 일리야 수츠케버, 제프 딘 등이 함께한 이 연구는 300억 개의 단어를 학습해, 이전 방법으로는 불가능했던 규모를 처음으로 가능하게 만들었다. 학습 방법은 두 가지였다. 주변 단어들을 보고 가운데 단어를 맞추는 CBOW와, 중심 단어를 보고 주변 단어들을 예측하는 Skip-gram이다. 기계가 수백억 개의 문장 속에서 이 두 가지 과제를 반복 풀다 보면, 저절로 단어들 사이의 의미 관계가 좌표로 새겨진다. 이 논문은 처음엔 학회에서 거절당했지만, 이후 수만 건이 넘는 인용을 기록하며 현대 자연어처리의 전환점이 됐다.
의미가 '방향'이 될 때
더 놀라운 건, 단어 사이의 관계가 일정한 '방향'으로 나타난다는 점이다. 가장 유명한 예가 이것이다. '왕'이라는 좌표에서 '남자'를 빼고 '여자'를 더하면, 그 결과가 '여왕'에 가까워진다. 성별이라는 관계가 공간 속 한 방향으로 새겨져 있기 때문이다. 마찬가지로 '형제'에서 '남자'를 빼고 '여자'를 더하면 '자매'가 나온다. 다만 한 가지 솔직한 단서가 필요하다. 계산 결과가 정확히 '여왕'이라는 점이 되는 건 아니고, 수많은 단어 중 '여왕'이 가장 가까이 있다는 뜻이다. 연구자들은 이것을 두고 "기하학적 관계가 실제 세계의 의미 관계를 반영한다"고 설명한다. 기계가 의미의 구조를 좌표로 붙잡았다는 사실은 변하지 않는다.
어떻게 이 좌표를 배울까
이 좌표는 사람이 일일이 정해주는 게 아니다. 위키백과나 뉴스 같은 방대한 글을 읽으며, 기계가 스스로 학습한다. 원리는 단순하다. 비슷한 자리에 등장하는 단어들은 비슷한 좌표를 갖게 만드는 것이다. 예컨대 '커피'와 '차'는 '마시다', '아침', '컵' 같은 단어들 사이에 자주 나타나기에, 자연히 가까운 위치로 모인다. 이후 2014년 스탠퍼드 대학은 GloVe라는 방법으로 한 걸음 더 나아갔고, 2018년엔 구글의 BERT가 등장해 문맥에 따라 같은 단어에도 다른 좌표를 부여하기 시작했다. '배'라는 단어가 과일인지 탈것인지를 문장의 흐름으로 구분하는 것이다.
단어를 넘어, 그림까지 같은 공간으로
2021년 OpenAI는 CLIP이라는 모델을 발표했다. 인터넷에서 수집한 4억 쌍의 이미지-텍스트 데이터를 학습한 이 모델은 글과 그림을 같은 벡터 공간에 담아낸다. 고양이 사진을 넣으면 '고양이'라는 단어와 가까운 좌표가 나오는 식이다. 글로 그림을 생성하는 AI, 이미지로 비슷한 상품을 찾아주는 검색, 영상을 언어로 설명하는 기술, 이 모든 것이 임베딩이 텍스트를 넘어 시각까지 통합한 덕분이다.
우리 삶에 닿는 지점
임베딩은 이미 실생활 깊숙이 들어와 있다. 검색이 단어가 아니라 의미로 결과를 찾고, 추천이 내 취향과 가까운 것을 골라주고, 번역과 챗봇이 맥락을 이해하는 일까지. 에어비앤비, 알리바바, 스포티파이 같은 기업들이 Word2Vec 방식의 임베딩을 추천 엔진에 실제로 도입했다. '내가 들은 곡'을 벡터로 바꾸면, 그와 가까운 좌표에 있는 곡을 추천하는 것이다. RAG(검색 증강 생성)라는 기술도 이 원리 위에 있다. 질문을 벡터로 바꾸고, 수만 개의 문서 중 가장 가까운 벡터를 찾아 답변의 근거로 쓴다. 요즘 챗봇들이 방대한 사내 문서 중에서 정확한 답을 찾아내는 것도 임베딩이 없으면 불가능하다.
오늘의 통찰
기계에게 '의미'란 결국 '거리'다. 두 단어가 이 공간에서 가까울수록, 기계는 둘을 비슷하다고 여긴다. 의미를 기하학으로 바꾼다는 이 한 가지 발상이, 1957년 한 언어학자의 통찰에서 출발해, 2013년 구글 연구실에서 불붙고, 지금의 인공지능 전체를 조용히 움직이고 있다.