실행 환경은 그대로, 학습만 분리…마이크로소프트 ‘에이전트 라이트닝 v1.0’ 공개
인공지능 에이전트가 실제 서비스에서 쓰던 도구와 문맥, 제어 흐름을 그대로 유지한 채 모델 호출 기록을 바탕으로 강화학습할 수 있는 공개 프레임워크가 나왔다. 마이크로소프트는 2026년 8월 17일 ‘에이전트 라이트닝 v1.0.0’을 공개했다. 이전 코드를 전면 재작성한 약 3,500줄 규모의 MIT 라이선스 프레임워크다.
핵심은 학습 엔진과 ‘프로덕션 하네스’를 분리한 구조다. 프로덕션 하네스는 에이전트가 실제로 작동하도록 문맥을 구성하고 도구를 실행하며, 에이전트와 환경이 상호작용하는 반복 과정을 관리하는 실행 틀이다. 학습 엔진은 이 과정을 다시 구현하지 않고 하네스와 주고받은 대규모언어모델의 질문·답변 기록만 관찰한다. 강화학습은 작업 결과에 따른 보상을 이용해 모델의 선택을 조정하는 학습 절차를 뜻한다.
기존 방식에서는 학습 엔진이 생각과 행동을 번갈아 수행하는 ReAct형 상호작용 루프를 직접 구현했다. 새 방식에서는 실제 배포용 하네스가 도구와 문맥, 서브에이전트, 제어 흐름을 계속 관리한다. 학습기는 OpenAI 호환 프록시를 통과한 모델 호출을 수집한다. 이에 따라 개발자는 에이전트가 도구를 사용하고 환경과 상호작용하는 로직을 학습 시스템 내부에 따로 만들 필요가 없다.
프레임워크는 세 구성요소로 나뉜다. ‘Trainer’는 모델의 학습과 추론을 맡는다. ‘API Gateway’는 모델 호출을 중계하면서 학습에 필요한 데이터를 기록한다. ‘Rollout Controller’는 에이전트를 로컬 프로세스 또는 쿠버네티스 잡으로 실행한다. 쿠버네티스 잡은 컨테이너로 묶은 작업을 서버 환경에서 실행하고 관리하는 단위다.
이번 개편의 출발점은 2025년 공개된 최초 연구다. 당시 연구진은 에이전트 실행과 학습을 분리하는 ‘Training-Agent Disaggregation’ 구조와 각 모델 호출에 보상을 나눠 주는 ‘LightningRL’을 제시했다. 텍스트를 데이터베이스 질의문으로 바꾸는 텍스트-SQL, 검색증강생성, 도구를 사용하는 수학 문제에서 이를 검증했다. v1.0은 이 구상을 실제 하네스를 활용하는 ‘harnessed agentic RL’로 다시 정의한 전면 개편판이다.
실제 에이전트 실행을 학습 데이터로 바꾸는 과정에서는 새로운 문제도 드러났다. 한 번의 실행이 여러 학습 샘플로 갈라졌고, 코딩 실험에서 단일 샘플로 유지된 실행은 평균 36%에 그쳤다. 실행 한 번당 평균 2.41개 샘플이 만들어졌다. 연구진은 토큰 재분절, 샘플 병합, 선택이 기준보다 얼마나 나았는지를 계산하는 어드밴티지, 손실 정규화, GPU 스케줄링을 핵심 과제로 지목했다. 학습에는 실행 단위 어드밴티지와 손실 정규화를 적용했다.
기술보고서에 따르면 검색 에이전트의 검증 정확도는 25.1%에서 41.7%로 16.6%포인트 상승했다. 범용 지시수행 에이전트의 검증 보상은 51.9%에서 70.2%로 18.3%포인트 높아졌다. 퍼센트포인트는 두 비율을 단순히 뺀 차이로, 검색 에이전트의 경우 41.7에서 25.1을 뺀 값이다.
코딩 실험에는 Qwen3.5-9B 모델과 mini-SWE-agent가 사용됐다. 연구진은 SWE-smith의 5만9,136개 작업 가운데 문제 설명이 비어 있는 1만8,033건과 도커 이미지에 브랜치가 없는 1,265건, 테스트가 200개를 넘는 작업 등을 제거했다. 최종 실험에는 약 6,000개 학습 사례와 400개 시험 사례가 사용됐다. 이번 공개는 실제 실행 체계를 학습 엔진에 복제하지 않고도 에이전트의 행동 기록을 학습에 연결하는 구조를 구체적인 소프트웨어로 제시했다는 데 의미가 있다.
자료: Microsoft Research, Fudan University, Zhejiang University, University of Edinburgh