AI 코딩 에이전트, 이전 작업 기억해 비용 최대 30.9% 줄였다
AI 코딩 에이전트가 같은 코드 저장소에서 쌓은 경험을 다음 작업에 활용하면 작업 성공률을 거의 그대로 유지하면서 이용 비용을 최대 30.9% 줄일 수 있다는 연구 결과가 나왔다.
마이크로소프트와 UC버클리 연구진은 코딩 에이전트용 외부 제어 도구 ‘토큰이코노마이저’를 개발해 2026년 10월 15일 사전논문으로 공개했다. 이 도구는 AI 모델의 가중치나 내부 구조를 바꾸지 않고 플러그인 형태로 작동한다. 모델을 새로 학습하는 기술이 아니라, 반복되는 개발 작업에서 실제로 청구되는 토큰의 낭비를 줄이는 방식이다.
연구진은 소프트웨어 개발 벤치마크 SWE-벤치 277건, 웹 개발용 Web-Bench 102건, 보안 감사 벤치마크 2종 200건 등 모두 579개 작업을 평가했다. SWE-벤치는 실제 코드 저장소의 문제를 AI가 고치도록 한 뒤 수정 성공 여부를 살피는 시험이다. 이 가운데 6개 저장소에서 5가지 에이전트·모델 조합을 시험한 결과 비용은 18.4~30.9% 감소했다.
조합별로는 Claude Code–Sonnet 5가 비용을 23.6% 줄이면서 Pass@1이 1.3%포인트 올랐다. Pass@1은 첫 번째 시도로 작업을 해결한 비율이다. Codex–GPT-5.6 Terra와 Codex–GPT-5.6 Sol은 각각 비용이 24.7%, 26.1% 감소했고 성공률은 0.9%포인트, 1.6%포인트 상승했다. Copilot CLI–Sonnet 5도 비용이 18.4% 줄고 성공률은 2.6%포인트 높아졌다. Claude Code–Opus 4.8은 비용 감소 폭이 30.9%로 가장 컸지만 성공률은 1.0%포인트 낮아졌다.
6개 저장소와 5개 조합을 교차한 30개 조건 모두에서 비용이 감소했으며, 저장소별 감소 폭은 5~40%였다. Web-Bench에서는 16.0~21.2%, 보안 감사 시험에서는 6.4~19.6% 줄었다. 다만 보안 감사 작업은 매번 저장소가 달라 이전 저장소의 경험을 활용하는 기능을 끄고 평가했다.
기억·도구 정리·실패 감지로 낭비 줄여
토큰이코노마이저는 세 가지 기능을 쓴다. ‘마이크로 스킬’은 앞선 작업에서 확인한 정보를 짧은 지침으로 만들어 재사용한다. 예컨대 특정 저장소에서 일반적인 테스트 명령이 작동하지 않는다는 사실을 알게 됐다면 다음 작업에는 올바른 명령을 먼저 제시한다. 지침은 독립적인 증거가 세 작업에서 쌓이고 필요한 비율이 40% 이상일 때만 넣는다. 반대 증거가 확인되면 더 큰 가중치를 적용해 잘못된 지침을 폐기한다.
‘도구 정리’는 이전 작업에서 쓰지 않은 도구를 다음 세션의 목록에서 제외해 설명문을 읽는 데 드는 토큰을 줄인다. 파일 읽기와 쓰기 같은 핵심 도구는 남기고, 빠진 도구가 필요한지 확인하기 위해 전체 목록을 주기적으로 다시 불러온다. ‘실패 루프 개입’은 같은 오류 수정과 테스트가 반복되거나 작업에 진전이 없을 때 다른 접근을 안내한다.
앞선 분석에서는 5개 이상 작업을 수행한 뒤 도구 호출의 약 30%가 과거 행동을 반복했고, 제시된 도구 23개 중 16개는 실제로 쓰이지 않았다. 실패 실행 10건은 분석 대상의 17%였지만 전체 비용의 32%를 차지했다. 동일 저장소에서 작업이 누적될수록 절감 효과가 커졌으며, 모든 평가 저장소에서 여섯 번째 작업부터 누적 비용이 기존 방식보다 낮아졌다.
연구진은 명령 출력을 압축하는 RTK, 언어 서버로 코드를 찾는 Serena, 최대 2048토큰의 저장소 지도를 제공하는 RepoMap도 비교했다. 이 고정 전략들은 저장소에 따라 비용을 줄이거나 늘렸다. 추론 강도를 낮춘 조건은 성공률이 1.8~10.3%포인트 떨어진 반면 토큰이코노마이저는 5개 조합 중 4개에서 성공률이 높아졌다.
다만 이번 수치는 실제 개발자의 장기간 업무가 아니라 같은 저장소에서 이어지는 코드 수정 과제를 중심으로 얻은 벤치마크 결과다. 작업 환경과 활성화한 기능에 따라 절감 폭이 달라질 수 있다. 별도 GPU 없이 주요 코딩 에이전트에 적용할 수 있지만, 추가 모델 호출이 필요한 마이크로 스킬은 기본적으로 꺼져 있다.
자료: Microsoft Research, Microsoft Security, UC버클리, arXiv, Microsoft GitHub 조직