(보도참고) ｢독자 AI 파운데이션 모델｣ 프로젝트 2차 단계평가 결과를 상세히 공개합니다.

독자 AI 파운데이션 모델 프로젝트(이하 독파모)는 단순한 순위 경쟁이나 탈락 팀 선정을 목적으로 하는 것이 아니라, 우리 AI기업들이 경쟁을 넘어 성장하고, 국내 AI 생태계의 질적 성장과 확장을 견인하는 데 그 취지가 있습니다.

ㅇ 이에, 평가 결과 공개에 따른 일부 기업의 예기치 않은 직·간접적 피해를 최소화하는 한편, 평가 과정·결과에 대한 공정성과 투명성이라는 가치 역시 균형 있게 고려하여, 결과 공개 범위에 신중을 기해 왔습니다.

ㅇ 다만, 8월 27일(목) 모티프테크놀로지스(이하 모티프)가 입장문을 통해 세부 평가 결과 공개를 요청하였고, 다른 정예팀들도 이에 동의함에 따라, 독파모 2차 단계평가 세부 점수를 공개합니다.

독파모는 빠른 AI기술 진화 상황 등을 고려하여 6개월 마다 AI모델 개발 목표를 변경 중이며(무빙타겟), 이에 따라 단계평가 기준과 방식도 매차시마다 정예팀 협의를 통해 마련 중입니다.

ㅇ 이번 2차 단계평가 기준과 방식 역시, 정예팀들과 수차례 협의 거쳐 마련하였으며, 평가 전 최종안을 공식 안내한 결과, 정예팀 이견이 없었고, 이를 토대로 평가를 진행하였습니다.

지난 보도자료(8.18일), 보도설명자료(8.20일) 등을 통해 상세 평가 기준, 주요 점수 등을 공개한 바 있으며, 상세 점수를 추가 공개합니다.

ㅇ 2차 단계평가는 ①벤치마크 평가(①-1AAII 벤치마크 평가, ①-2NIA 벤치마크 평가), ②전문가 평가, ③사용자 평가(③-1AI 전문 사용자진 평가, ③-2일반국민 평가)를 병행하였습니다.

①-1AAII(Artificial Analysis Intelligence Index, 이하 AAII) 벤치마크 평가는

ㅇ AA(Artificial Analysis)에서 6월말 공표한 기준을 채택해 진행하였으며, AA가 직접 평가 결과를 도출해 제공하였고, AAII 벤치마크 점수는 사전에 공지한 대로 25점 만점 스케일링해 최종 점수에 반영하였습니다.

※ 예 : AAII 점수 60점일 시, 최종 점수는 15점(=60점×(25/100)) 반영

ㅇ 이를 종합한 AAII 벤치마크 평가 점수는 모티프 정예팀이 11.9점으로 1위, 업스테이지 정예팀이 9.4점으로 2위, SKT 정예팀이 8.8점으로 3위, LG AI연구원이 7.8점으로 4위를 기록하였습니다.

①-2NIA(한국지능정보사회진흥원, 이하 NIA) 벤치마크는

ㅇ 7개 분야(▵수학, ▵지식, ▵장문이해, ▵안전성(사회적 안전성 포함), ▵신뢰성, ▵한국어, ▵지시이행) 벤치마크 데이터셋으로 NIA에서 평가 결과를 도출하고 15점 만점 스케일링해 최종 점수에 반영하였습니다.

※ 예 : NIA 벤치마크 평가 점수 60점일 시, 최종 점수는 9점(=60점×(15/100)) 반영

ㅇ 이를 종합한 NIA 벤치마크 평가 점수는 SKT 정예팀이 13.4점으로 1위, 업스테이지 정예팀이 13.3점으로 3위, LG AI연구원 정예팀이 12.8점으로 3위, 모티프 정예팀이 12.7점으로 4위를 기록하였습니다.

②

ㅇ 외부 전문가(산업계 3명, 학계 5명, 연구계 2명)로 평가위원회를 구성해 추진하고, 정예팀이 제출한 평가서류 등을 바탕으로 약 5일 간의 서면평가와 QnA를 병행해 진행하였습니다.

ㅇ 전문가 평가 기준은 1)개발 전략 및 기술 10점, 2)개발 성과 및 계획 10점, 3)파급효과 및 기여계획 15점이며(독자성 최소기준 점검 병행), 각 평가위원 별 점수는 이를 합산하여 산정하였습니다.

※ 정예팀별 평가점수 산출은 위원별 평가점수 중 최고·최저 점수를 제외한 나머지 평가점수를 산술 평균

ㅇ 이를 종합한 전문가 평가 점수는 LG AI연구원 정예팀이 29.5점으로 1위, SKT 정예팀이 29.3점으로 2위, 업스테이지 정예팀이 29.1점으로 3위, 모티프 정예팀이 27.1점으로 4위를 기록하였습니다.

③-1AI 전문 사용자진 평가는

ㅇ AI에 대한 전문적인 식견·경험 등을 갖추고, 일반 국민 대비 실제 다양한 AI 개발 과정 대표들로서 이해충돌 확인 등을 거쳐 50명이 선정되어, 실제 49명이 평가에 참여하였습니다.

ㅇ 각 팀의 AI 사용 웹사이트를 기반으로 AI 사용성 등에 대한 평가를 진행해 최저 1점부터 최고 5점까지 점수를 부여하도록 하였고, 이를 합산해 15점 만점으로 스케일링하여 최종 점수를 산출하였습니다.

※ 1점(매우미흡) – 2점(미흡) – 3점(보통) – 4점(우수) – 5점(매우우수)

※ 예 : 전문 사용자진(49명)의 점수 합산 후 평균 점수가 3.7점일 시, 최종 점수는 11.1점(=3.7점×(15/5)) 반영

ㅇ 이를 종합한 AI 전문 사용자진 평가는 SKT 정예팀이 11.6점으로 1위, LG AI연구원 정예팀이 11.3점으로 2위, 업스테이지 정예팀이 10.8점으로 3위, 모티프 정예팀이 8.4점으로 4위를 기록하였습니다.

③-2일반 국민 평가는

ㅇ 일반 국민에 대한 대표성 제고를 위해, 충분한 기간 동안 공모한 후, 국내 주민등록인구 통계 기준으로 성별·연령별 쿼터를 설정하고, 시스템을 통해 무작위로 200명이 선정되었고, 실제 185명이 평가에 참여하였습니다.

※ 상기 인원 모두는 4개 정예팀과 이해충돌 확인 등을 거쳐 확정된 인원임

ㅇ 국민 평가단의 평가 역시 정예팀별 절대평가로 진행되어, 최저 1점부터 최고 5점까지 점수를 부여하도록 하였고, 이를 합산한 후 10점 만점으로 스케일링하여 최종 점수를 산출하였습니다.

※ 예 : 일반 국민(185명)의 점수 합산 후 평균 점수가 3.7점일 시, 최종 점수는 7.4점(=3.7점×(10/5)) 반영

ㅇ 이를 종합한 일반 국민 평가는 LG AI연구원이 7.6점으로 1위, SKT 정예팀이 7.5점으로 2위, 업스테이지 정예팀이 7.3점으로 3위, 모티프 정예팀이 5.7점으로 4위를 기록하였습니다.

앞선 평가 점수를 종합한 결과, SKT 정예팀이 70.6점으로 1위, 업스테이지 정예팀이 69.9점으로 2위, LG AI연구원 정예팀이 69.0점으로 3위, 모티프 정예팀이 65.8점으로 4위를 기록하였으며, 세부 점수는 붙임으로 공개해 드립니다.

이번 결과 공개 이후에도, 우리 기업들이 단순한 점수나 순위로 평가받기 보다, 보유한 저력과 역량을 바탕으로 국내외 AI생태계에 폭넓게 기여하고, 우리 AI생태계가 새롭고 경쟁력 있는 AI기업들이 끊임없이 도전하는 역동적인 생태계로 발전해 나가기를 기대합니다.

※ 위원별 평가점수 중 최고·최저 점수를 제외한 나머지 평가점수를 산술 평균함