정부의 독자 인공지능(AI) 파운데이션 모델 프로젝트에 참여한 국내 5개 팀이 AI 학습용 데이터를 무료 공개한다.
공개 데이터는 총 29종, 3544만 건(약 1조5600억 토큰) 규모다.
과학기술정보통신부와 한국지능정보사회진흥원(NIA)은 네이버클라우드, 업스테이지, SK텔레콤, NC AI, LG AI연구원이 구축한 데이터를 AI허브를 통해 개방한다고 27일 밝혔다.
해당 데이터는 지난해 정부 예산 150억 원을 지원받아 구축된 것으로, 사전학습·멀티모달·레드티밍 데이터를 포함한다. 이는 매개변수 700억~800억 개 규모의 AI 모델 학습에 활용 가능하다.
기업별로 네이버클라우드는 공개·방송 영상 286만 건과 텍스트 1550만 건, 음성 질의응답 1200만 건을 구축했다. 업스테이지는 사전학습 데이터 1조 토큰과 사후학습 데이터 50만 건을 마련했다.
SK텔레콤은 전문 도메인 추론 데이터와 사후학습 데이터, 한국형 레드티밍 데이터 1만 건을 확보했다. NC AI는 현장 데이터 기반의 LLM 역량 데이터 7종을 구축했으며, LG AI연구원은 가정 환경의 가사 활동 영상 클립 17만 건을 제작했다.
NIA와 한국정보통신기술협회(TTA)는 품질 및 개인정보·유해성 검증을 거쳐 공개 대상을 확정했다. 네이버클라우드, 업스테이지, SK텔레콤, NC AI는 검증 완료 데이터 전체를 공개하며, LG AI연구원은 규정에 따라 50% 이상을 선별 개방한다.
공개 데이터 29종은 대한민국 국민 누구나 AI허브에서 무료로 내려받아 이용할 수 있다. 과기정통부는 향후 2차 단계평가에서 확보되는 데이터도 검증 후 추가 개방할 계획이다.
구지훈 더나은미래 기자
