LLM 사실 오류, 지식 부족보다 ‘기억 인출’이 관건인 경우 확인

대형언어모델(LLM)이 모르는 것처럼 답해도, 이번 벤치마크에서는 정보가 없기보다 저장된 사실을 제때 꺼내지 못한 경우가 핵심 오류 유형으로 드러났다. 사실과 다른 답을 내는 ‘환각’을 줄이려면 모델이 무엇을 저장했는지뿐 아니라 질문을 받았을 때 그 정보를 얼마나 안정적으로 회상하는지도 살펴야 한다는 연구 결과다.

Google Research와 Technion – Israel Institute of Technology 연구진은 논문 ‘빈 선반인가, 잃어버린 열쇠인가’를 통해 최첨단 LLM의 사실 지식을 저장과 인출 단계로 나눠 분석했다. 논문의 2026년 6월 19일 판은 ICML 2026 공식 게재 논문 목록에서도 확인됐다. Google Research는 같은 해 8월 12일 연구 내용을 공식 해설로 공개했다.

연구진은 위키백과에서 가져온 사실 2150개로 ‘위키프로파일’ 벤치마크를 만들었다. 평가 대상은 Gemini 3·2.5의 Pro·Flash, GPT-5.2·GPT-5·GPT-5-mini, GPT-4.1·GPT-4.1-mini, Gemma 3 1B·4B·12B·27B 등 13개 모델이다. 생각 사용 여부를 나누고 사실당 10개 과제에서 각각 8회씩 응답을 생성해 약 447만건을 평가했다. 응답의 무작위성을 조절하는 ‘온도’는 1로 설정했다.

여기서 ‘인코딩’은 모델의 가중치나 학습자료를 직접 열어 지식을 확인했다는 뜻이 아니다. 원문과 비슷한 두 가지 문맥 가운데 하나에서 정답률이 50%를 넘으면 해당 사실이 저장돼 있다고 간주한 행동 기반 지표다. 따라서 95~98%라는 결과도 모델 내부를 직접 측정한 수치가 아니라 실제 답변 행동을 토대로 한 추정치다.

GPT-5와 Gemini 3 Pro는 시험한 사실의 95~98%를 인코딩한 것으로 평가됐다. 하지만 별도의 생각 과정이 없을 때는 저장된 것으로 판정된 사실 가운데 25~33%를 일반 질문에서 직접 회상하지 못했다. 서가에 책이 있어도 필요한 책을 찾는 열쇠가 없으면 꺼낼 수 없는 상황에 빗대 연구진은 이를 ‘잃어버린 열쇠’라고 설명했다.

모델 크기 확대만으로 인출 문제가 함께 개선되지는 않았다. Gemma 3의 매개변수를 10억개에서 270억개로 늘리자 인코딩된 지식은 크게 증가했지만, 저장된 지식을 꺼내지 못하는 회상 실패율은 오히려 높아졌다. 책을 더 많이 꽂는 능력과 필요한 책을 찾아내는 능력이 서로 다른 평가 대상임을 보여주는 결과다.

질문의 방향을 뒤집었을 때 차이는 더 선명했다. 모델은 ‘오아시스가 첫 공연을 한 장소’를 답하면서도 ‘보드워크 클럽에서 첫 공연을 한 밴드’를 묻는 질문에는 실패할 수 있었다. 그러나 객관식에서는 정답을 알아보기도 했다. ICLR에 발표된 선행 ‘Reversal Curse’ 연구에서도 GPT-4는 유명인 관계를 정방향 질문에서 79%, 역방향 질문에서 33% 맞힌 것으로 보고됐다.

연구진은 모델 지식을 직접 회상, 인코딩 실패, 회상 실패, 생각을 통한 회상, 인코딩 없는 추론의 다섯 유형으로 구분했다. ‘생각을 통한 회상’은 답을 바로 내놓지 않고 추가 계산을 거쳐 저장된 사실에 접근하는 경우다. 이 과정을 적용하자 기존에 회상하지 못했던 지식의 40~65%가 복구됐다. 복잡한 여러 단계 문제가 아닌 단일 사실 질문에서도 생각 과정이 인출을 돕는 결과가 나타났다.

이 같은 흐름은 2025년 Google Research의 ‘Inside-Out’ 연구와도 이어진다. 당시 3개 공개 가중치 모델에서는 내부적으로 구별할 수 있는 지식과 실제 출력으로 나온 지식 사이에 평균 40%의 격차가 관찰됐다. 내부에서는 정답을 구별하면서도 1000회 표본에서 한 번도 해당 답을 생성하지 못한 사례도 보고됐다.

이번 연구가 제안한 ‘지식 프로파일링’은 오답을 모두 같은 실패로 보지 않고, 사실이 저장되지 않은 경우와 저장됐지만 꺼내지 못한 경우를 구별하는 평가 방식이다. 생성 후 답을 검증하거나 질문 표현을 바꾸고 생각 단계를 부여하는 설계를 검토하려면, 먼저 오류가 어느 유형에 속하는지 진단해야 한다는 점을 수치로 보여줬다.

자료: Google Research, Technion – Israel Institute of Technology, International Conference on Machine Learning (ICML), International Conference on Learning Representations (ICLR)