AI 비서는 필요할 때만 검토하고, 로봇은 ‘우연한 성공’ 걸러낸다

AI 비서가 모든 행동을 매번 검토받지 않고도 복잡한 일을 수행하고, 로봇은 한 번의 요행보다 반복해 안정적으로 성공하는 행동을 배우도록 하는 두 가지 인공지능 기술이 나왔다. 성균관대학교 권민혜 교수 연구팀은 장기 작업을 수행하는 AI 에이전트의 외부 검토 부담을 줄이는 ‘SAG’와 오프라인 강화학습의 신뢰성을 높이는 ‘VAN-Flow’를 각각 개발했다. 두 연구는 적용 대상은 다르지만, 불확실한 상황에서 무엇을 믿고 언제 추가 판단을 구할 것인가라는 공통 문제를 다룬다.

박희원·임소민·권민혜 연구원이 참여한 SAG는 AI가 여러 단계를 거쳐 목표를 달성하는 장기 과제에 초점을 맞췄다. 이런 과제에서는 초반의 작은 판단 오류가 이후 행동에 연쇄적으로 영향을 미쳐 전체 작업의 실패로 이어질 수 있다. 외부 비평 모델이 매 단계 선택을 점검하면 오류를 줄일 수 있지만, 검토할 때마다 처리 토큰과 대기 시간이 늘어난다. 성능을 지키기 위해 검토를 많이 할수록 실제 서비스의 운영 부담이 커지는 구조다.

SAG는 가능한 행동 전체의 엔트로피와 점수가 가장 높은 두 행동 사이의 차이를 함께 살펴 불확실성을 판단한다. 엔트로피는 선택 가능성이 여러 행동에 얼마나 넓게 퍼져 있는지를 보여준다. 후보들이 비슷한 평가를 받아 어느 행동을 택해야 할지 모호한 경우에만 비평 모델을 호출하고, 판단이 비교적 분명하면 행위자가 스스로 다음 단계로 넘어간다. 이는 비평으로 얻을 예상 이득이 호출 비용보다 큰지를 따지는 ‘정보가치’를 근사한 방식이다. 호출 여부를 결정하는 별도의 게이트를 따로 학습하지 않아도 된다는 점도 특징이다.

연구진은 집 안의 과제를 언어 명령에 따라 수행하는 가상 환경 ALFWorld에서 성공률이 24.6%에서 논문 기준 78.4%로 높아졌다고 보고했다. ReAct와 비슷한 토큰 예산에서는 정규화 토큰 효율이 3.1배 향상됐다. 매개변수 70억 개의 행위자와 30억 개의 비평자를 결합한 시스템은 비평자 없이 작동하는 140억 매개변수 행위자와 비슷한 성능을 보였다. 더 큰 행위자 하나에 의존하지 않고, 상대적으로 작은 행위자와 필요한 순간에만 개입하는 비평자를 조합해 성능과 연산 부담 사이의 균형을 모색한 결과다.

실험은 ALFWorld를 비롯해 온라인 쇼핑 작업을 다루는 WebShop, 명령에 따라 환경을 탐색하는 BabyAI 등 세 장기 상호작용 벤치마크와 복수의 기반 모델에서 진행됐다. SAG에는 성공한 수행 경로를 활용해 행위자를 온라인으로 보강하는 구조도 포함됐다. 작업 경험이 쌓일수록 행위자 자체의 판단 능력을 높이고, 장기적으로 외부 비평에 기대는 정도를 낮추려는 설계다. 선택적 검토와 경험을 통한 보강을 함께 적용해 초기 오류의 파급은 억제하면서 불필요한 호출은 줄이는 접근이다.

강구현·권민혜 연구원이 개발한 VAN-Flow는 이미 수집된 데이터로 행동 정책을 익히는 오프라인 강화학습을 대상으로 한다. 실제 시스템과 추가로 상호작용하지 않아도 되기 때문에 시행착오 자체가 위험할 수 있는 로봇이나 자율주행 분야에 적합하다. 다만 여러 조건에서 모인 이질적인 데이터에는 평균 성과는 좋아 보여도 결과 변동이 큰 ‘우연한 성공’ 행동이 섞일 수 있다. 평균 Q값만으로 판단하면 드물게 큰 성과를 낸 불안정한 행동과 여러 번 꾸준히 성과를 내는 행동을 구분하기 어렵다.

VAN-Flow는 결과를 범주별 확률로 표현하는 분포 비평자와 낮은 수익 변동성을 선호하는 기대값 연산자, 거부 샘플링으로 학습 방향을 유도하는 플로 매칭 생성 행위자를 결합했다. 평균적인 성과뿐 아니라 결과가 얼마나 안정적으로 나타나는지까지 고려해 행동을 선택하도록 한 것이다. 연구진은 D4RL과 OGBench의 40개가 넘는 과제에서 이를 평가했으며, 수행 과정이 길고 결과의 변동성이 큰 조건에서 개선 폭이 가장 컸다고 보고했다.

SAG가 AI 에이전트에 ‘언제 도움을 요청할지’를 가르친다면, VAN-Flow는 로봇 제어 정책에 ‘어떤 성공을 신뢰할지’를 판단하게 한다. 전자는 불필요한 외부 검토를 줄이면서 장기 작업의 오류 전파를 막고, 후자는 우연한 고성과보다 반복 가능한 행동을 우선한다. 두 기술은 AI 시스템의 규모를 키우는 것만이 아니라 판단 과정의 불확실성과 변동성을 관리하는 일이 효율성과 안전성을 함께 높이는 핵심 과제임을 보여준다.

자료: 성균관대학교, arXiv