모델 압축·AI 실행기 등으로 최적화 전략 구현
과거 SF 영화 속 인공지능은 거대한 컴퓨터 장비나 초대형 서버로 묘사되곤 했지만, 오늘날 AI는 손 안의 기기에서도 바로 사용하는 일상의 기술이 됐다. 삼성전자 뉴스룸에 따르면, 삼성전자는 모바일 기기, 가전 등 다양한 기기에 외부 서버나 클라우드 없이 자체적으로 AI를 구동하는 ‘온디바이스 AI(On-Device AI)’ 기술을 적극 도입하며, 빠르고 안전한 AI 경험을 실현하고 있다.
서버 환경과 달리 온디바이스에서는 메모리와 연산 자원의 제약이 크다. 따라서 AI 모델의 크기를 줄이고, 기기 환경에 맞게 실행 효율을 높이는 온디바이스 AI 최적화 기술이 필수적이다. 삼성리서치 AI센터 함명주 마스터는 삼성전자 뉴스룸과의 인터뷰에서 “모델 압축, 실행 소프트웨어 최적화, 새로운 아키텍처 개발 등 온디바이스 AI 핵심 기술 전반에서 연구를 선도하고 있다”고 밝혔다.
◇ LLM을 기기 안에 넣기 위한 해법…양자화와 AI 실행 엔진
생성형 AI의 중심에는 수십억 개 연산을 수행하는 거대언어모델(LLM)이 자리 잡고 있다. 함 마스터는 “이 모델을 기기에서 그대로 구동하면 배터리 소모와 발열, 지연 발생 등 사용성 저하가 필연적”이라고 설명한다. 이에 삼성리서치는 숫자 연산을 정수 형태로 바꾸는 양자화(Quantization) 기반 모델 압축 기술을 적용해 연산량과 메모리 사용량을 크게 줄이고 있다.
함 마스터는 “고해상도 사진을 압축해도 화질이 크게 달라지지 않는 것과 같은 원리”라며, 중요한 가중치는 정밀하게 유지하고 덜 중요한 부분은 과감히 단순화해 모델 크기를 줄이면서도 정확도를 유지한다고 밝혔다. 압축 과정에서 발생할 수 있는 성능 저하를 보정하기 위한 알고리즘·측정 도구도 함께 개발 중이다.
모델이 아무리 잘 압축돼도 기기 안에서 어떻게 구동되는지는 또 다른 과제다. 삼성리서치는 CPU·GPU·NPU 등 다양한 연산 장치에 작업을 지능적으로 배분하는 ‘AI 실행기(Execution Engine)’를 개발해 실행 효율을 극대화하고 있다.
함 마스터는 “AI 실행기는 엔진 제어장치와 같다”며 “메모리 접근을 최소화하고 연산을 효율적으로 재배열해 AI의 실제 체감 성능을 끌어올린다”고 설명했다. 삼성전자 뉴스룸에 따르면, 삼성리서치는 16GB 이상 크기의 300억 파라미터 규모 모델도 3GB 이하 메모리에서 구동할 수 있는 수준까지 기술을 고도화했다.
◇ “클라우드 연결 없이도 동일 성능 구현하는 게 목표”
온디바이스 기술은 기존 모델을 단순히 줄이는 것을 넘어 구조 자체를 새롭게 설계하는 단계로 나아가고 있다. 함 마스터는 “온디바이스 환경에서는 연산 자원이 제한적이기 때문에 모델 구조를 기기와 조화롭게 맞춰 설계해야 한다”고 강조한다. 삼성리서치는 학습 이전 단계에서 하드웨어 효율을 미리 예측하고, 최소한의 자원으로 가장 높은 지능을 구현할 수 있는 아키텍처 연구를 진행하고 있다.
대부분의 거대언어모델이 사용하는 트랜스포머 구조는 문맥 이해에는 뛰어나지만 문장이 길어질수록 연산량이 크게 증가하는 한계가 있다. 삼성리서치는 이를 보완하기 위한 새로운 방법론을 검토하고, 실제 기기 환경에서 효율적으로 작동할 수 있는 ‘다음 단계의 아키텍처’를 개발 중이다.
온디바이스 AI가 지향해야 할 미래에 대해 함명주 마스터는 “핵심은 클라우드 연결 없이도 동일한 수준의 AI 성능을 기기 안에서 구현하는 것”이라고 말한다. 이 목표를 위해 속도·정확도·전력 효율을 동시에 높이는 기술이 중요하며, AI가 기기 안에서 실시간 학습과 개인화 기능까지 수행하는 방향으로 진화할 것이라고 전망했다.
삼성전자 뉴스룸은 “온디바이스 AI 기술 발전으로 사용자는 언제 어디서나 빠르고 안전하며 개인화된 AI 기능을 누릴 수 있다”고 설명했다. 삼성전자는 이 같은 기술적 전환을 위해 모델 압축·실행 최적화·아키텍처 혁신을 지속하며 한 단계 진화한 AI 경험을 제공할 계획이다.
조유현 더나은미래 기자
