더 많이 생각하는 AI보다 잘 의심하는 AI가 필요하다

자료사진: 자동화 연구시설에서 소형 부품을 조립하는 로봇팔. 해당 연구·행사의 현장 사진은 아닙니다.

AI가 매번 오래 고민한다고 더 믿을 만해지는 것은 아니다. 오히려 중요한 능력은 언제 자신의 판단을 의심하고, 어떤 성공을 믿지 말아야 하는지 가려내는 데 있다. 성균관대 연구진이 내놓은 SAG와 VAN-Flow에서 필자가 주목한 공통점도 바로 이 ‘선별 능력’이다. 하나는 AI 에이전트가 필요한 순간에만 외부 비평을 요청하게 하고, 다른 하나는 로봇이 우연히 잘된 행동보다 반복해도 안정적인 행동을 배우게 한다.

평균 성능 뒤에 숨은 비용과 운

긴 작업을 수행하는 AI 에이전트는 앞 단계의 작은 실수가 뒤로 갈수록 커지는 약점이 있다. 이를 막으려고 별도의 모델이 매 단계 답을 검토하게 하면 정확도는 높아질 수 있지만, 토큰이라는 연산 단위와 응답 시간이 계속 늘어난다. SAG가 검토의 필요성을 가려 호출한다는 발상은 그래서 반갑다. 검토 자체보다 ‘검토할 가치’를 판단하는 일이 실제 서비스의 경제성을 좌우하기 때문이다.

로봇 학습에도 비슷한 함정이 있다. 오프라인 강화학습은 이미 모아 둔 행동 기록에서 보상을 높이는 방법을 배우는데, 드물게 나온 큰 성공이 실력인지 우연인지 구별하기 어렵다. VAN-Flow가 결과의 변동성이 작은 행동을 우선한다는 것은 최고 기록보다 재현 가능한 성과를 중시하겠다는 뜻이다. 공장이나 돌봄 현장에서 열 번 중 한 번의 묘기보다 열 번 모두 예측 가능한 동작이 더 가치 있다는 점을 떠올리면 의미가 분명하다.

신뢰성은 멈춤과 의심의 설계다

두 연구는 AI의 발전을 단순한 규모 경쟁으로만 볼 수 없다는 점을 보여준다. 필자는 다음 경쟁력이 더 큰 모델이 아니라 불확실성을 감지해 계산을 배분하고, 요행을 학습 자료에서 걸러내는 운영 기술에서 나올 것이라고 본다. 다만 변동성이 작다고 언제나 좋은 행동은 아니다. 탐색이 필요한 상황까지 보수적으로 판단하면 새롭고 더 나은 해법을 놓칠 수 있다. 선택적 비평 역시 자신감이 틀린 순간에는 검토 자체를 건너뛸 위험이 있다.

따라서 후속 검증은 평균 성공률만 제시하는 데서 멈춰서는 안 된다. 어떤 조건에서 검토를 놓쳤는지, 안정성을 중시한 선택이 성능을 얼마나 희생했는지, 낯선 환경에서도 판단 기준이 유지되는지를 함께 공개해야 한다. 산업계도 토큰 사용량과 최고 점수만이 아니라 실패의 빈도와 크기, 결과의 흔들림을 도입 기준으로 삼아야 한다. 믿을 수 있는 AI는 한 번 크게 성공하는 시스템이 아니라, 의심해야 할 때 멈추고 같은 일을 다시 해도 비슷하게 해내는 시스템이다.