
모델 압축·AI 실행기 등으로 최적화 전략 구현 과거 SF 영화 속 인공지능은 거대한 컴퓨터 장비나 초대형 서버로 묘사되곤 했지만, 오늘날 AI는 손 안의 기기에서도 바로 사용하는 일상의 기술이 됐다. 삼성전자 뉴스룸에 따르면, 삼성전자는 모바일 기기, 가전 등 다양한 기기에 외부 서버나 클라우드 없이 자체적으로 AI를 구동하는 ‘온디바이스 AI(On-Device AI)’ 기술을 적극 도입하며, 빠르고 안전한 AI 경험을 실현하고 있다. 서버 환경과 달리 온디바이스에서는 메모리와 연산 자원의 제약이 크다. 따라서 AI 모델의 크기를 줄이고, 기기 환경에 맞게 실행 효율을 높이는 온디바이스 AI 최적화 기술이 필수적이다. 삼성리서치 AI센터 함명주 마스터는 삼성전자 뉴스룸과의 인터뷰에서 “모델 압축, 실행 소프트웨어 최적화, 새로운 아키텍처 개발 등 온디바이스 AI 핵심 기술 전반에서 연구를 선도하고 있다”고 밝혔다. ◇ LLM을 기기 안에 넣기 위한 해법…양자화와 AI 실행 엔진 생성형 AI의 중심에는 수십억 개 연산을 수행하는 거대언어모델(LLM)이 자리 잡고 있다. 함 마스터는 “이 모델을 기기에서 그대로 구동하면 배터리 소모와 발열, 지연 발생 등 사용성 저하가 필연적”이라고 설명한다. 이에 삼성리서치는 숫자 연산을 정수 형태로 바꾸는 양자화(Quantization) 기반 모델 압축 기술을 적용해 연산량과 메모리 사용량을 크게 줄이고 있다. 함 마스터는 “고해상도 사진을 압축해도 화질이 크게 달라지지 않는 것과 같은 원리”라며, 중요한 가중치는 정밀하게 유지하고 덜 중요한 부분은 과감히 단순화해 모델 크기를 줄이면서도 정확도를 유지한다고 밝혔다. 압축 과정에서 발생할 수 있는 성능 저하를 보정하기



























