게임 부품이 AI의 심장이 되다
인공지능을 훈련하는 거대한 데이터센터에는, 뜻밖의 부품이 가득 차 있다. 바로 그래픽처리장치, 즉 게임에 쓰이던 그래픽카드다. 영문 약어로는 지피유라고 부른다. 화려한 게임 화면을 그리던 부품이, 어쩌다 인공지능의 심장이 되었을까. 그 답은 '병렬연산'이라는 한 단어에 담겨 있다.
천재 한 명 vs 일꾼 수천 명
컴퓨터에는 크게 두 종류의 두뇌가 있다. 하나는 중앙처리장치, 시피유다. 시피유는 강력하지만 수가 적은 핵심, 즉 코어를 가졌다. 오늘날 고성능 소비자 시피유도 보통 열여섯 개 안팎의 코어를 갖는다. 복잡한 일을 하나씩 차례로 빠르게 처리하는 데 능하다. 말하자면 똑똑한 천재 몇 명이다. 반면 지피유는 다르다. 하나하나는 단순하지만, 수백에서 수천 개에 이르는 코어를 가졌다. 단순한 계산을 한꺼번에 동시에 처리한다. 천재 한 명이 아니라, 단순한 일꾼 수천 명인 셈이다. 엔비디아의 RTX 사천구십 그래픽카드에는 이 코어가 만 육천 삼백팔십사 개나 들어 있다. 현재 최상위 데이터센터용 칩인 H백 GPU는 한 걸음 더 나아가, 일만 육천팔백구십육 개의 연산 코어와 팔백억 개의 트랜지스터를 품는다.
화면을 그리려다 얻은 능력
이 구조는 원래 게임 화면을 그리기 위해 태어났다. 화면 속 수백만 개의 픽셀은, 저마다 색을 따로 계산할 수 있다. 그러니 코어 수천 개가 픽셀을 나눠 맡아 동시에 칠하면, 순식간에 한 장면이 완성된다. 이렇게 '여러 개를 한 번에' 처리하는 능력이, 그래픽카드의 본래 특기였다.
그런데 이 능력을 게임 이외의 목적에 쓸 방법이 없었다. 그 문을 처음으로 연 것이, 엔비디아가 2006년에 발표한 쿠다다. 쿠다는 프로그래머가 C 언어로 코드를 짜서 지피유 위에서 실행할 수 있게 해 준 플랫폼이다. 과학자는 이제 3D 그래픽을 전혀 몰라도, 지피유로 물리 시뮬레이션과 분자 역학 계산을 돌릴 수 있게 됐다. 일꾼 수천 명이 드디어 게임 밖으로 나온 것이다.
AI가 정확히 그런 일이었다
그런데 인공지능을 훈련하는 일이, 알고 보니 이와 똑같은 종류의 계산이었다. 신경망 학습은 거대한 행렬의 곱셈, 즉 단순한 산수를 수십억 번 반복하는 일이다. 게다가 그 계산들은 서로 독립적이라, 동시에 처리할 수 있다. 천재 몇 명이 차례로 풀면 몇 달이 걸릴 일을, 일꾼 수천 명이 나눠 맡으면 며칠로 줄어든다.
이것이 실증된 역사적 순간이 2012년이었다. 토론토 대학교 연구팀이 GeForce GTX 오백팔십 두 장으로 AlexNet 신경망을 훈련했다. 그 결과, 세계 최대 이미지 인식 경연에서 오류율 십오 점 삼 퍼센트를 기록하며 2위인 이십육 점 이 퍼센트를 압도했다. 당시 이 훈련에 걸린 시간은 닷새에서 엿새. 같은 작업을 시피유로 돌렸다면 몇 달이 필요했을 것으로 추정됐다. AI 연구자들은 이 결과를 보고, 뒤돌아볼 틈도 없이 지피유로 갈아탔다.
오늘날 벤치마크를 보면 그 차이는 더욱 분명하다. 인공 신경망 학습에서 지피유는 같은 시피유 대비 약 여덟 배 이상 빠르고, 이미지 생성 모델처럼 계산이 폭발적으로 늘어나는 작업에서는 그 차이가 스물여섯 배까지 벌어진다. 인공지능이 지피유에서 수십 배 빠른 건, 코어 하나가 더 똑똑해서가 아니다. 수천 개가 동시에 일하기 때문이다.
흔한 오해 하나 — 코어 수만 많으면 된다?
여기서 오해하기 쉬운 점이 있다. 코어 수만 많으면 무조건 더 빠를 것 같지만, 현실은 다르다. 메모리 대역폭, 즉 계산 재료를 얼마나 빠르게 실어 나르느냐도 결정적이다. 최신 H백 GPU가 초당 삼 테라바이트의 메모리 대역폭을 자랑하는 이유가 여기에 있다. 또한 엔비디아는 2017년에 텐서 코어라는 전용 연산 장치를 추가했다. 텐서 코어는 행렬 곱셈 하나를 일반 코어보다 스무 배 이상 빠르게 처리한다. 코어 개수, 속도, 메모리 처리량, 전용 연산 장치 — 이 모두가 맞물려야 진정한 AI 가속이 가능하다.
빛이 있으면 그림자도 있다
물론 모든 일에 지피유가 유리한 건 아니다. 순서대로 처리해야 하는 평범한 작업은, 여전히 시피유가 낫다. 또 수천 개의 코어가 쉼 없이 돌면, 그만큼 많은 전력과 열이 발생한다. 인공지능 데이터센터가 막대한 전기를 쓰는 이유도 여기에 있다. 강력함에는, 분명한 대가가 따른다.
오늘의 통찰
지피유가 인공지능을 연 결정적 계기는, 더 똑똑한 칩의 등장이 아니었다. 2006년 쿠다, 2012년 AlexNet — 문제의 구조를 꿰뚫어 본 사람들이, 이미 존재하던 도구를 새로운 방식으로 쓴 것이다. 어떤 문제에는 천재 한 명보다, 단순한 일꾼 수천 명이 더 강하다. 그리고 인공지능은, 정확히 그런 종류의 문제였다.