「독자 AI 파운데이션 모델」 프로젝트로 확보한 AI 학습용 데이터 29종 본격 개방

– 5개 정예팀이 1차 단계평가 과정에서 구축한 약 3,544만건,
약 1.56조 토큰(추정) 규모의 데이터, 품질검증을 거쳐 ‘AI 허브’에 개방

【관련 국정과제】 20. AI 3대 강국 도약을 위한 AI 고속도로 구축

과학기술정보통신부(부총리 겸 과학기술정보통신부 장관 배경훈, 이하 ‘과기정통부’)와 한국지능정보사회진흥원(원장 김형철, 이하 ‘NIA’)은 「독자 AI 파운데이션 모델」 프로젝트 5개 정예팀*이 1차 단계평가 과정에서 확보한 총 29종(약 3,544만건, 약 1.56조 토큰 규모)의 데이터를 AI허브 누리집(aihub.or.kr)에 공개한다고 밝혔다.

* 컨소시엄 별 주관기관(가나다順) : 네이버클라우드, 업스테이지, 에스케이텔레콤, 엔씨에이아이, 엘지경영개발원 AI연구원(이하 엘지AI연구원)

■ 정예팀별 AI개발 노하우가 담긴 대규모 AI학습 데이터 개방

이번 개방 데이터는 정예팀이 각자의 개발 전략에 맞춰 기획하여 데이터 구축·가공 예산(’25년, 150억원)을 통해 확보한 데이터로, 사전학습에 필요한 대규모 데이터셋부터 영상·음성 등 멀티모달, 안전성 확보를 위한 레드티밍 데이터 등으로 구성되어 있다. 토큰으로 환산하면 약 1.56조 토큰(추정)에 달하며 이론적으로 약 70~80B 수준의 대형AI모델 학습에 사용될 수 있는 규모이다.

먼저, 네이버클라우드는 공개 영상 234만건과 방송 영상 52만건, 해당 영상클립 기반의 텍스트 1,550만 건과 음성 질의응답 1,200만 건을 함께 구축하였다. 텍스트는 장면을 문장 단위로 기술한 캡션 등으로 구성되어 AI모델의 영상 이해능력 학습과 이미지 생성 모델 학습에 활용될 수 있다.

업스테이지는 1조 토큰 규모의 대규모 사전학습 데이터와 50만건의 사후 학습 데이터를 구축하였다. 사전학습 데이터셋은 대규모 AI모델을 새로학습(from scratch)하는 데 쓰일 수 있으며, 사후학습 데이터는 단순 질의 응답을 넘어 추론, 판단, 실행 등 AI에이전트 개발을 위해 활용될 수 있다.

에스케이텔레콤은 수학·과학·법률 등 전문 도메인 영역의 고난도 다단계 추론데이터, 음성·이미지 등 사후학습용 데이터와 국내 법령과 한국 사회의 보편적 가치관을 반영한 한국형 레드티밍 데이터 약 1만건을 구축하였다. AI모델의 실무 해결역량 강화와 안전성·신뢰성 향상 등에 활용될 수 있다.

엔씨에이아이는 제조 분야 기술문서, 민원 상담 음성 등 현장의 실제 데이터를 기반으로 긴 문맥 이해, 단계별 추론, 멀티턴 대화, 질의 응답, 멀티 모달리티 등 LLM 핵심 역량 데이터 7종을 구축하였다. 사후학습 성능 고도화와 산업 현장에 필요한 텍스트-이미지-음성 통합학습에 활용될 수 있다.

엘지AI연구원은 한국 가정환경에 최적화된 피지컬AI 멀티모달 데이터셋을 구축하였다. 국내 50개 실제 가정환경에서 50종 이상의 가사 활동을 촬영하여 17만개 이상의 영상 클립 등을 구축하고, 객체·분할·자세·맥락 정보 등을 다층 라벨링하였으며, 비전·VLM 학습, 연구·상용서비스 개발 등에 활용될 수 있다.

■ 품질검증·선별 등을 거쳐 고품질·고신뢰 데이터 개방

이번 데이터 개방을 위해 NIA·한국정보통신기술협회(회장 손승현, 이하, ‘TTA’)는 1차 단계평가 완료 후 구축·가공 예산을 통해 확보한 데이터 전체를 각 정예팀으로부터 제공받았으며, 이후 데이터 품질검증, 개인정보·유해성 검증, 라이센스 제약 데이터 제외 등의 조치를 진행하였다.

「독자 AI 파운데이션 모델」 사업 공고상 참여조건에 따라 데이터 구축·가공 예산을 통해 확보한 데이터 중 50% 이상 개방이 필요한 상황에서, 네이버클라우드, 업스테이지, 에스케이텔레콤, 엔씨에이아이는 품질검증 등을 거친 데이터 전체를 개방하기로 하였다. 엘지AI연구원은 의무개방량(50% 이상)을 준수하여 공개 대상 데이터를 통계적으로 선별·개방*하기로 하였다.

이번에 공개된 29종의 AI학습용 데이터는 국내 기업, 연구자, 학생 등 대한민국 국민이라면 누구나 AI허브(aihub.or.kr)를 통해 무료로 다운로드 받아 활용할 수 있다. AI허브의 ‘독자AI모델 데이터’ 항목에서 팀 별, 데이터 종류별로 원하는 데이터를 검색하여 확인할 수 있으며, 일부 데이터는 홈페이지 내 별도 신청(안심존*)을 거쳐 이용할 수 있다.

안전한 데이터 활용을 위해 보안이 보장된 온라인 환경을 제공하는 AI모델 개발 공간

과기정통부는 앞으로도 「독자 AI 파운데이션 모델」 고도화를 위한 지원을 지속해 나가는 한편, 향후 2차 단계평가 과정에서 데이터 구축·가공 예산을 통해 구축된 데이터에 대해서도 품질검증 등을 거쳐 개방을 진행할 예정이다.

과기정통부 김경만 인공지능정책실장은 “「독자 AI 파운데이션 모델」 프로젝트는 단순히 AI모델 개발을 넘어, 개발과정에서 축적된 경험과 노하우를 통해 AI생태계 전반의 질적 성장에 기여한다는 점에서 큰 의미”라면서, “오늘 개방된 데이터는 정예팀의 AI학습 전략이 담긴 귀중한 자산인 만큼 AI생태계의 성장과 자생력 강화를 이끄는 밑거름이 될 것”이라고 밝혔다.