독파모 4개사, ‘벤치맥싱’ 의혹 부인…전문가·사용자 평가로 보완

독자 AI 파운데이션 모델(독파모) 프로젝트의 2차 평가 결과 발표를 앞두고, 참여 기업들이 시험 점수만 높이기 위한 학습을 했다는 의혹을 일제히 부인했다.

SKT는 12일 A.X K2를 개발하면서 AI 모델의 성능을 객관적으로 평가하기 위해 ‘벤치마크 오염’ 방지를 가장 중요하게 고려했다고 밝혔다. 벤치마크 오염은 평가에 쓰일 문제나 유사한 내용이 학습 데이터에 포함돼 실제 성능보다 점수가 높게 나타날 수 있는 상황을 뜻한다. LG AI연구원과 업스테이지, 모티프테크놀로지스도 관련 의혹이 사실이 아니라는 입장을 밝혔다.

이번 논란은 지난달 서울에서 열린 국제머신러닝학회(ICML 2026)에서 미국의 AI 학습 전문업체들이 일부 독파모 개발사와 접촉한 정황이 있다는 업계 일각의 의문 제기에서 시작됐다. 해당 업체들은 AI 모델의 사후학습용 데이터 제공과 성능 평가 개선 등을 지원한다. 이 때문에 일부 벤치마크 점수를 높이는 데 도움을 줬을 수 있다는 의혹이 나왔다. 다만 실제 계약이 체결됐는지, 해당 데이터가 모델 학습이나 점수에 반영됐는지는 확인되지 않았다.

‘벤치맥싱(benchmaxxing)’은 평가 점수를 끌어올리려고 관련 데이터를 의도적으로 미리 학습하는 방식을 말한다. 모델이 학습 데이터에 지나치게 맞춰지면 처음 접하는 데이터에 대한 대응 능력이 떨어지는 ‘과적합(Overfitting)’이 나타날 수 있다. 이 경우 시험 점수는 높더라도 일반적인 상황에서의 성능은 그에 미치지 못할 수 있다.

과학기술정보통신부는 외부 데이터 구매가 독자성 기준과 무관하며, 금지된 핵심 기술 서비스 개발 용역에도 해당하지 않는다고 밝힌 바 있다. 벤치마크 과적합 문제가 있더라도 전문가와 이용자 평가를 병행해 보완할 수 있다는 설명이다.

2차 평가는 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성된다. 벤치마크 외 평가가 전체 60점을 차지하는 만큼 한 종류의 시험 점수만으로 결과가 결정되는 구조는 아니다. 평가 결과는 이르면 이번 주 중 발표될 예정이다.

자료: 과학기술정보통신부