“저건 AI가 할게요, 이것만 좀 봐 주실래요?” GIST, AI와 사람의 역할 나눠 데이터 주석 부담 46% 줄이는 기술 개발 – AI학과 이규빈 교수팀, 미주석 데이터까지 활용하고 신뢰도 높은 AI 예측은 자동 처리하는 데이터 주석 시스템 개발… 사람은 판단이 필요한 데이터에 집중 – 모든 데이터를 사람이 직접 주석하는 방식 대비 주석 시간 68.4% 단축, 기존 ‘능동학습+ AI 보조 주석’ 방식보다도 46.3% 단축… AI 이미지 인식 성능도 향상 – 국제학술지 《Intelligent Systems with Applications》 게재 ▲ GIST AI학과 이규빈 교수 연구팀 단체사진. (왼쪽부터) GIST 전기전자컴퓨터학과 현승혁 학사과정생, AI학과 김종원 박사과정생, 이규빈 교수, 허윤재 박사과정생, (우측 상단 좌측부터) GIST AI학과 박유민 석사, 한국전자통신연구원(ETRI) 유연국 박사, HD현대 로보틱스 이성주 박사 광주과학기술원(GIST·지스트, 총장 임기철)은 AI학과 이규빈 교수 연구팀이 AI 학습 에 필요한 이미지에서 물체의 위치와 영역을 표시해 정답 데이터를 만드는 ‘데이터 주석 작업’의 부담을 크게 줄일 수 있는 기술을 개발했다고 밝혔다.
이 기술은 AI가 스스로 학습할 수 있는 데이터의 범위를 넓히고, AI가 비교적 확실 하게 판단할 수 있는 결과는 자동으로 처리하는 한편 판단이 어려운 결과에 사람 의 검토를 집중하는 방식이다. 이를 통해 사람이 모든 데이터를 일일이 확인하고 수정해야 하는 기존 방식보다 적은 시간과 노력으로 AI 학습용 데이터를 구축할 수 있다.
AI가 자율주행이나 수중 탐사 로봇과 같은 실제 환경에서 활용되려면 다양한 상황 을 담은 많은 이미지 데이터가 필요하다. 특히 이미지 속 물체를 정확하게 인식하도록 AI를 학습시키려면 사람이 이미지에 직접 ‘정답’을 표시해 주어야 한다. 이러한 작업을 데이터 주석(data annotation)이 라고 한다.
예를 들어 한 장의 도로 사진에 자동차가 여러 대 있다면, 각 자동차가 어디에 있 는지를 하나씩 구분해 표시해야 한다. 연구팀이 주목한 ‘인스턴스 분할(instance segmentation)’은 여기서 한 단계 더 나아가, 이미지 속 각 물체의 영역을 픽셀 단 위로 구분해 표시하는 작업이다. 이미지 한 장을 처리하는 데도 상당한 시간과 노 력이 필요한 이유다.
이러한 부담을 줄이기 위해 기존에는 ‘능동학습(active learning)’ 방법이 활용돼 왔 다. AI가 학습하기에 유용하거나 어려운 이미지를 골라 사람에게 주석을 요청하는 방식이다.
그러나 이 방식은 사람이 이미 주석을 완료한 데이터 중심으로 AI를 학습하기 때문 에, 아직 주석되지 않은 많은 이미지가 충분히 활용되지 못하는 한계가 있다.
또한 AI가 스스로 얼마나 정확하게 판단하고 있는지를 나타내는 신뢰도와 실제 정 확도가 항상 일치하는 것도 아니다. 특히 데이터에 특정 종류의 물체가 지나치게 많거나 적은 경우에는 이러한 차이가 커질 수 있다.
연구팀은 이러한 한계를 해결하기 위해 ‘반지도학습(semi-supervised learning)*’과 능동학습을 결합하고, AI의 판단 신뢰도를 데이터 특성에 맞게 보정하는 새로운 데 이터 주석 시스템을 개발했다.
연구팀이 개발한 방식은 크게 세 단계로 이해할 수 있다. 먼저 사람이 주석하지 않은 이미지까지 AI 학습에 활용한다. 다음으로 AI가 학습하 기 어렵거나 새로운 정보를 얻는 데 도움이 되는 이미지를 선별해 사람에게 주석 을 요청한다. 마지막으로 AI가 생성한 예측 결과를 신뢰도에 따라 구분해, 신뢰도가 높은 결과는 사람의 확인 없이 자동으로 받아들이고, 판단이 애매한 결과만 사람이 직접 검토하도록 한다.
특히 연구팀은 단순히 AI가 제시하는 신뢰도를 그대로 사용하는 대신, 이미지에 등 장하는 물체의 종류와 빈도 등을 고려해 신뢰도를 보정했다. 자주 등장하는 물체와 드물게 등장하는 물체는 AI가 같은 수준의 신뢰도를 보이더라도 실제 정확도가 다
를 수 있기 때문이다. * 반지도학습(semi-supervised learning): 소량의 정답 데이터와 대량의 미표시 데이터를 함께 이 용해 모델을 학습하는 방법이다.
▲ 연구팀이 개발한 AI 학습용 데이터 주석 시스템의 작동 과정. 정답이 있는 이미 지와 없는 이미지를 함께 AI 학습에 활용하고, 학습에 도움이 될 이미지를 골라 사 람이 정답을 추가한다. AI가 예측한 결과는 신뢰도에 따라 자동으로 처리하거나 사 람이 확인하며, 이렇게 늘어난 정답 데이터를 다시 학습에 활용하는 과정을 반복한 다.
연구팀은 제안한 시스템의 효과를 확인하기 위해 자율주행 연구 등에 활용되는 실 제 도로 환경 이미지 데이터세트 ‘시티스케이프스(Cityscapes)’로 실험을 진행했다.
데이터 주석 경험이 있는 참가자 5명이 150장의 도시 도로 이미지를 대상으로 5회 에 걸쳐 주석 작업을 수행했으며, ▴사람이 직접 주석하는 방식 ▴기존 방식(능동학 습과 AI 보조 주석을 결합) ▴연구팀이 개발한 방식의 성능을 비교했다.
그 결과 연구팀의 방식을 사용했을 때 사람이 데이터 주석에 들인 시간이 기존 방 식보다 46.3%, 직접 주석하는 방식보다 68.4% 줄었다. 동시에 AI의 이미지 인식 성능도 높아졌다.
최종 단계에서 연구팀의 방식은 ‘마스크 평균정밀도(mask AP)*’ 30.3을 기록해 기존 방식의 28.5보다 1.8포인트, 직접 주석 방식의 25.8보다 4.5포인트 높은 성능을 보 였다.
* 마스크 평균정밀도(mask Average Precision, mask AP): AI가 물체의 종류와 윤곽을 얼마나 정 확히 찾는지 종합해 나타내는 대표 평가 지표. 높을수록 좋다.
▲ 데이터 주석 방식에 따른 사람의 작업시간과 AI 이미지 인식 성능 비교. (왼쪽) 연구팀 방식은 도시 도로 이미지 150장을 주석하는 데 사람이 들인 시간을 ‘처음부 터 직접 주석하는 방식’보다 68.4%, ‘기존 능동학습 방식’보다 46.3% 줄였다. 왼쪽 그래프의 음영은 참가자 간 작업시간의 표준편차를 나타낸다. (오른쪽) 이처럼 작업 시간을 줄이면서도 ‘처음부터 직접 주석하는 방식’과 ‘기존 능동학습 방식’보다 높은 ‘마스크 평균정밀도(mask AP)’를 기록했다.
또한 연구팀의 시스템은 AI가 생성한 예측 결과 가운데 후속 검토 대상으로 남은 예측의 74.3%를 사람의 확인 없이 자동으로 처리했으며, 이 자동 처리 결과의 정밀 도는 85.8%로 나타났다.
이는 AI가 충분히 신뢰할 수 있는 결과를 선별해 사람의 확인 없이 활용함으로써, 사람이 모든 예측 결과를 일일이 확인해야 하는 부담을 줄일 수 있음을 보여준다.
연구팀은 기술의 활용 가능성을 추가로 확인하기 위해 수중 이미지의 인스턴스 분 할에서도 성능을 평가했다. 그 결과 연구팀의 방식이 기존 방식보다 1.6포인트 높 은 성능을 보였다.
이규빈 교수는 “AI가 처리할 수 있는 데이터는 AI가 맡도록 하고, 사람은 꼭 판단해 야 하는 부분에만 집중할 수 있도록 한 것이 이번 연구의 핵심”이라며 “자율주행이 나 수중 탐사 로봇처럼 새로운 환경에 맞는 학습 데이터를 지속적으로 구축해야 하는 분야에서 데이터 구축에 필요한 시간과 부담을 줄이는 데 도움이 될 것으로 기대한다”고 말했다.
AI학과 이규빈 교수가 지도하고 김종원 박사과정생이 제1저자로 참여한 이번 연구 는 과학기술정보통신부·정보통신기획평가원(IITP) ‘사람중심 인공지능 핵심원천기술 개발’ 사업(과제번호: RS-2022-II220951)의 지원을 받았다.
연구 결과는 정보 시스템 분야 국제학술지 《Intelligent Systems with Applications》 에 2026년 7월 15일 온라인으로 게재됐다.
한편 GIST는 이번 연구 성과의 기술사업화 및 산업적 활용에 관심 있는 기업·기관 의 문의를 창업혁신진흥원 기술사업화센터(hgmoon@gist.ac.kr)를 통해 받고 있다고 밝혔다.
논문 정보 ○ 논문명, 저자 정보 – 저널명: Intelligent Systems with Applications (I.F. 5.5, 2026년 기준) – 논문명: Human-efficient annotation system via active semi-supervised learning and selective review – 저자 정보: 김종원(제1저자, GIST AI학과 박사과정생), 박유민(제2저자, GIST AI 학과 석사), 현승혁(제3저자, GIST 전기전자컴퓨터공학과 학사과정 생), 허윤재(제4저자, GIST AI학과 박사과정생), 유연국(제5저자, 한국 전자통신연구원(ETRI) 박사), 이성주(제6저자, HD현대 로보틱스 박 사), 이규빈(교신저자, GIST AI학과 교수)
