인터넷이 끊겨도 작동하는 AI
우리가 챗봇에 질문을 던질 때, 그 답은 대개 저 멀리 데이터센터에서 만들어진다. 내 질문이 인터넷을 타고 거대한 서버로 날아가고, 그곳의 GPU 수천 장이 답을 계산해 다시 내 화면으로 돌아온다. 이것이 우리가 아는 '클라우드 AI'다.
그런데 지금, 흐름이 바뀌고 있다. 인공지능이 서버를 떠나 내 주머니 속 스마트폰 안으로 직접 들어오고 있다. 비행기 모드에서도, 지하철 터널 안에서도, 인터넷이 완전히 끊긴 상태에서도 작동하는 AI. 이것을 온디바이스 AI(On-device AI)라고 부른다.
왜 폰 안에서 돌리려 하는가
이유는 명확하다. 첫째는 속도다. 질문이 서버까지 왕복하는 시간이 사라지면 응답이 즉각적이다. 둘째는 프라이버시다. 구글은 안드로이드의 온디바이스 모델 'Gemini Nano(제미나이 나노)'를 소개하며, "민감한 사용자 데이터가 기기 내부에서 처리되고, 인터넷 없이도 완전한 기능을 쓸 수 있으며, 추론 한 번마다 드는 추가 비용이 없다"고 밝혔다. 내 사진, 내 메시지, 내 음성이 외부로 나가지 않는다는 뜻이다. 셋째는 비용이다. 서버 한 번 돌릴 때마다 드는 전기료와 GPU 비용이 사라진다.
NPU — 폰 안의 작은 두뇌
이 모든 걸 가능하게 하는 핵심은 NPU(엔피유, 신경망 처리 장치)라는 전용 칩이다. NPU는 인공지능 연산만 전담하도록 설계된 가속기로, 일반 프로세서보다 훨씬 빠르고 적은 전력으로 AI 작업을 처리한다.
성능은 TOPS(톱스, 초당 1조 회 연산)라는 단위로 잰다. 퀄컴은 스냅드래곤 8 Gen 3에서 전 세대 대비 NPU 성능이 98% 향상됐다고 밝혔으며, 스냅드래곤 8 엘리트에서는 다시 45% 추가 개선을 달성했다고 발표했다. 가트너는 2027년이면 초당 40조 회를 넘는 NPU가 프리미엄 AI 스마트폰의 표준이 될 것으로 전망한다.
거대 모델을 손바닥 위에 욱여넣는 기술
문제는 크기다. 서버용 AI 모델은 수천억 개의 파라미터를 갖지만, 스마트폰의 메모리는 한정돼 있다. 그래서 핵심은 '압축'이다.
애플은 자사 온디바이스 모델을 약 30억 개 파라미터 규모로 만들고, 가중치를 평균 3.7비트 수준까지 압축했다고 밝혔다. 그 결과 아이폰 15 프로(A17 프로 칩)에서 초당 약 30개의 토큰을 생성하는 속도를 달성했다. 퀄컴은 한발 더 나아가, 스냅드래곤 8 Gen 3가 최대 100억 파라미터 규모의 생성형 AI 모델을 기기 내부에서 초당 20토큰으로 구동하는 세계 최초의 모바일 플랫폼이라고 발표했다.
작지만 똑똑하게 — 역할 분담의 시대
물론 폰 안의 AI가 만능은 아니다. 구글은 온디바이스 모델이 한정된 연산 자원 때문에 클라우드 모델보다 작으며, 문장 다듬기·스마트 답장·교정·요약처럼 명확하게 정의된 작업에 가장 적합하다고 설명한다.
그래서 현실은 '역할 분담'으로 간다. 일상적이고 민감한 작업은 폰이 직접 처리하고, 정말 무거운 추론만 클라우드로 보낸다. 애플 역시 가벼운 작업은 기기에서, 복잡한 작업은 프라이버시를 보장하는 클라우드에서 처리하는 이중 구조를 택했다.
우리 삶에 무슨 의미인가
이 변화의 의미는 단순한 기술 자랑이 아니다. AI가 '연결되어야만 쓸 수 있는 서비스'에서 '기기에 내장된 기본 기능'으로 바뀌고 있다는 신호다. 키보드의 자동완성처럼, 카메라의 자동초점처럼, 인공지능이 인터넷 연결과 무관하게 늘 켜져 있는 도구가 되는 것이다.
가트너는 2025년 말까지 전 세계 생성형 AI 스마트폰 관련 지출이 거대한 규모로 커질 것으로 봤다. 내 폰 안에서 조용히 도는 인공지능 — 그건 이미 다가온 미래가 아니라, 지금 당신 손안에서 시작되고 있는 현재다.