긴 문서 읽던 AI가 '베껴 쓰기'에 빠진다…근거에 집중시키는 학습법 'GEAR' 제안
긴 문서를 읽고 답을 내는 인공지능(AI)에게 방대한 자료를 던져주면, 정작 문제를 풀지 않고 입력받은 원문을 그대로 옮겨 적는 일이 벌어진다. 최근 사전공개 논문 저장소 arXiv에 이 '반복 복사(repetitive copying)' 현상을 정면으로 파헤치고, AI가 원문을 베끼는 대신 핵심 근거에 집중하도록 유도하는 학습법을 제안한 연구가 공개됐다.
Lizhe Fang, Weizhou Shen, Tianyi Tang, Yisen Wang 등 해외 연구진은 지난 21일 '적게 베끼고 더 근거에 딛기: 근거 인식 강화학습으로 장문맥 추론의 반복 복사 극복하기(Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning)'를 arXiv에 등록했다. 전산언어학(cs.CL)과 인공지능(cs.AI) 분야로 분류된 이 논문은 최신 대형언어모델(LLM)이 긴 맥락을 다룰 때 드러내는 취약점과 그 해법을 다룬다.
단계적 추론의 그늘…길수록 심해지는 '베껴 쓰기'
답에 이르는 과정을 단계별로 풀어 쓰며 생각하는 '추론형' LLM은 복잡한 문제에서 뛰어난 성능을 보여 왔다. 최근에는 이 능력을 수십 쪽 분량의 긴 문서까지 확장하는 것이 중요한 과제로 떠올랐다. 그러나 연구진은 바로 이 대목에서 심각한 실패 유형을 발견했다. 모델이 문제를 생산적으로 풀어나가는 대신, 추론 과정에 입력 원문을 통째로 베껴 넣는 행동이 나타난 것이다.
연구진에 따르면 이 현상은 특정 모델만의 결함이 아니라 최신 장문맥 LLM 전반에서 폭넓게 관찰되며, 주어진 맥락이 길어질수록 더 심해졌다. AI가 방대한 텍스트에 파묻힐수록, 정작 답을 궁리하기보다 눈앞의 문장을 받아 적는 쪽으로 기우는 셈이다.
원인은 '근거에 딛지 못함'…핵심과 잡음을 가른 진단
연구진은 문제의 뿌리를 찾기 위해 입력 프롬프트를 두 부분으로 갈랐다. 답을 푸는 데 실제로 필요한 '핵심 근거'와, 문제와 무관한 '방해 맥락(distractor)'이다. 이렇게 나눠 분석하자, 모델이 프롬프트를 가리지 않고 무차별적으로 베끼며, 특히 핵심 근거에 집중하지 못한 경우 오답을 낼 확률이 훨씬 높다는 사실이 드러났다. 즉 반복 복사의 근본 원인은 '근거에 제대로 딛지 못함(insufficient grounding)'이라는 것이 연구진의 진단이다.
이 진단을 바탕으로 연구진은 GEAR(Grounding Evidence-Aware Reward)라는 보상 설계 기법을 내놨다. 정답 여부만 따지던 기존 강화학습 신호에, 두 가지 장치를 덧붙인 것이 핵심이다. 하나는 모델의 추론이 핵심 근거와 겹칠 때 점수를 주는 '근거 보상', 다른 하나는 무관한 방해 맥락과 겹칠 때 점수를 깎는 '방해 벌점'이다. 원문을 그대로 옮기는 대신 정말 필요한 대목에 딛도록, 상과 벌로 방향을 잡아주는 방식이다.
자연어 데이터에서 이 기법을 쓰려면 어느 부분이 핵심 근거이고 어느 부분이 방해 맥락인지 표시된 학습 데이터가 필요하다. 연구진은 임의의 문서로부터 이런 근거 주석 데이터를 자동으로 만들어내는 파이프라인까지 함께 개발했다.
정확도 최대 4.6점↑…길이 줄이며 성능 올려
연구진은 여러 규모의 모델과 벤치마크에 GEAR를 적용해 효과를 검증했다. 그 결과 정답만 보고 학습하는 기존 강화학습 대비 평균 최대 4.6점의 성능 향상을 일관되게 얻었으며, 맥락이 길수록 그 이득이 더 컸다. 동시에 반복 복사가 줄고 모델이 '생각하는' 분량 자체도 짧아졌다. 더 적게 쓰면서 더 정확해진 것이다.
이번 연구는 장문맥 평가의 무게중심이 단순 검색에서 복잡한 추론으로 옮겨가는 흐름 속에서도, 관련 근거에 정확히 딛는 '그라운딩' 능력이 여전히 필수적이며 개선의 여지가 크다는 점을 시사한다. 검색증강생성(RAG)이나 긴 문서 질의응답처럼 방대한 자료를 다뤄야 하는 AI 응용이 늘어나는 만큼, 국내 연구·산업 현장에도 참고가 될 만한 진단과 처방으로 읽힌다.
참고 자료
· Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning — Lizhe Fang 외, arXiv (2026)