[기획] 연구실 나선 AI 에이전트, 이제 성패는 '똑똑함'이 아니라 '신뢰성'과 '비용'

AI 에이전트가 일을 그르쳤을 때, 뒷수습에는 얼마가 드는가. 올여름 미국에서 나온 논문과 정책 문서들이 나란히 이 질문을 앞세웠다. 스스로 계획을 세우고 도구를 다루는 인공지능(AI) 에이전트가 시연 무대를 내려와 실제 업무에 배치되면서, 평가의 잣대가 통째로 바뀌고 있다.

공교롭게도 세 문서의 날짜가 겹친다. 지난 7월 21일 사전공개 논문 저장소 arXiv에는 AI 에이전트의 '배치 현장' 문제를 정리한 튜토리얼 논문과, 실패한 에이전트를 어떻게 값싸게 되살릴지 다룬 논문이 같은 날 올라왔다. 그리고 같은 날 미국 백악관은 80년 만에 과학기술 체계를 다시 짜겠다는 123쪽짜리 보고서를 내놨다. 성능 경쟁의 다음 장을 각자 다른 자리에서 적어 내려간 셈이다.

시험을 잘 보는 모델과, 사고 없이 일하는 시스템

그레이스 후이 양 등 6명이 쓴 '야생의 에이전트: 연구가 배치를 만나는 곳(Agents in the Wild: Where Research Meets Deployment)'은 이 전환을 압축한다. 논문은 대규모 언어모델(LLM) 기반 에이전트가 소프트웨어 개발, 과학적 발견, 금융에서 이미 프로덕션(실서비스) 규모로 돌아가고 있다고 진단한다. 그러면서 학계가 벤치마크 점수와 알고리즘 혁신에 매달려 온 사이, 배치 현장에서는 견고성·안전성·신뢰성이라는 전혀 다른 숙제가 올라왔다고 짚는다.

시험 문제를 잘 푸는 모델과 현장에서 사고 없이 일하는 시스템은 다른 물건이다. 저자들은 제약 신약 발견과 금융 시스템 사례를 뜯어 성공한 에이전트 시스템의 공통 설계 패턴을 뽑았고, 실패에 대비하는 세 가지 장치를 제시했다. 결과를 이중으로 확인하는 검증 파이프라인, 오류가 나면 안전한 경로로 되돌리는 폴백(대체 경로), 그리고 사람이 최종 판단에 개입하는 휴먼 인 더 루프다. 이 튜토리얼이 내놓겠다는 산출물이 새 알고리즘이 아니라 '설계 패턴, 평가 체크리스트, 템플릿'이라는 점이 지금의 국면을 그대로 보여준다.

실패는 오답이 아니라 정보다

같은 날 올라온 다른 논문은 이 문제를 돈으로 계산한다. 허 치자 등이 쓴 'CodeRescue'는 코딩 에이전트가 한 번 실패했을 때 무엇을 할지 고르는 문제를 다뤘다. 코드가 실행되는 환경에서 실패는 단순한 오답이 아니다. 어디서 어떻게 깨졌는지 알려주는 실행 피드백이 남는다. 그래서 선택지는 셋이다. 남은 단서로 고쳐보기(reflect), 값싼 모델로 처음부터 다시 짜기(replan), 더 비싸고 강한 모델로 넘기기(escalate).

그동안 비용을 아끼려는 시스템들은 대개 한 가지 길만 알았다. 값싼 모델로 먼저 시도하고 어려우면 비싼 모델로 넘기는 '캐스케이드' 방식이다. 실패를 그저 틀린 답으로 보면 그럴 수밖에 없다. 논문의 출발점은 그 전제를 뒤집는 데 있다. 실행 피드백이 남는 한, 값싼 모델로 한 번 더 붙어보는 쪽이 이득일 때가 있다는 것이다.

연구진은 실행 기록을 학습시켜 이 갈림길을 판정하는 라우터를 만들고, 예산이 바뀌어도 다시 학습하지 않고 비용 페널티만 조정하는 통계 층을 얹었다. 다섯 개 코딩 벤치마크의 실패 사례를 대상으로 한 실험에서, 한 설정 기준으로 무조건 강한 모델로 넘기는 방식보다 해결률이 높으면서도 평균 복구 비용은 그 35%에 그쳤다. 값싼 복구와 승급은 서로 잘 푸는 문제가 달랐다는 것이 핵심이다.

다만 이 논문은 지금 arXiv에서 읽을 수 없다. 저자 소속사인 바이트댄스가 사내 검토·승인 절차를 마치기 전에 투고됐다는 이유로 철회를 요청했고, 7월 말 철회 처리됐다. 동료평가를 거치지 않은 결과라는 점은 감안해야 한다. 배치 단계의 연구가 기업 내부 사정과 곧바로 부딪힌다는 사실 자체가, 이 분야가 실험실 밖으로 나왔다는 방증이기도 하다.

백악관이 같은 날 꺼낸 답, 80년 만의 청사진

미국 백악관 과학기술정책실(OSTP)이 7월 21일 대통령에게 제출한 보고서 '과학: 새로운 황금기(Science: A New Golden Age)'는 개별 시스템이 아니라 체계를 건드린다. 마이클 크라치오스 OSTP 국장이 쓴 이 문서는 1945년 배너바 부시의 '과학, 끝없는 프런티어' 이후 80여 년 만에 미국 과학기술 체계를 전면 재설계하겠다는 구상이다. 부시의 보고서가 미국 국립과학재단(NSF)과 전후 연방 연구비 체제를 낳았다는 점을 떠올리면 무게가 가늠된다.

보고서의 축은 넷이다. 지원 대상을 기관이 아니라 개별 과학자로 옮기고, 동료평가 바깥에 신속 그랜트와 상금 챌린지 같은 통로를 열며, X-랩과 ARPA형 조직을 만든다. AI로 연구 생산성을 두 배로 끌어올리겠다는 '제네시스 미션'을 기함 사업으로 삼아 분야별 특화 AI 모델과 자율실험실을 짓고, 양자·핵융합·달·반도체를 국가 미션으로 묶는다. 크라치오스 국장은 "미국의 과학적 진보는 20세기의 뛰는 심장이었다. 오늘 우리는 다시 그렇게 해야 한다"고 적었다. 연방 R&D 기관들은 90일 안에 실행계획을 내고 2028회계연도 예산요구에 반영해야 한다.

환영만 받은 것은 아니다. 국제학술지 네이처는 이 청사진을 두고 '미국 과학의 미래를 위한 백악관 계획에서 빠진 것'이라는 제목의 기사를 실었다. 80년 만의 재설계라는 상징성과 별개로, 무엇이 빠졌는지를 두고 학계의 셈법이 갈린다는 뜻이다. 다만 방향만은 분명하다. 무게중심이 '더 강한 모델'에서 '믿고 쓸 수 있는 시스템'으로, 다시 '그것을 굴리는 제도'로 옮겨가고 있다.

국내 현황, 법과 예산은 먼저 깔렸다

한국의 시계는 조금 다르게 돌았다. '인공지능 발전과 신뢰 기반 조성 등에 관한 기본법'(AI 기본법)이 올해 1월 22일 시행되면서, 신뢰성은 권고가 아니라 의무가 됐다. 사람의 생명·신체 안전이나 기본권에 중대한 영향을 줄 수 있는 고영향 인공지능 사업자는 수명주기 전반에서 위험을 찾아 평가·완화하고 안전사고 모니터링·대응 체계를 갖춘 뒤 그 결과를 과학기술정보통신부 장관에게 제출해야 한다. 고영향·생성형 AI 서비스는 이용자에게 AI가 쓰인다는 사실을 미리 알려야 한다. 정부는 초기 혼란을 줄이겠다며 1년 이상 과태료 없이 계도만 하는 기간을 두기로 했고, 지난 5월에는 시행령 개정안을 입법예고했다.

돈도 붙었다. 국가인공지능전략위원회와 과기정통부가 지난 2월 내놓은 인공지능 기본계획(2026~2028)에 따르면 올해 AI 관련 예산은 9조9000억 원으로 전년의 3배다. 과기정통부가 5조1000억 원(51%)으로 가장 크고 산업통상자원부 1조7000억 원, 중소벤처기업부 9000억 원이 뒤를 잇는다. 계획에는 AI 안전성·프라이버시·레드팀 체계와 상시 모의해킹 테스트베드를 2027년 2분기까지, 기업의 시험·검증·실증을 뒷받침할 통합 보안 지원센터를 올해 4분기까지 구축한다는 일정이 담겼다. 뉴시스는 지난 7월 정부가 AI 에이전트에 '신분증'을 부여해 사고가 났을 때 책임 소재를 가리는 방안을 추진한다고 보도했다.

미국 문서가 '연구를 어떻게 다시 조직할 것인가'를 묻는다면, 한국 문서는 '누가 무엇을 지킬 것인가'를 정한 쪽에 가깝다. 법과 예산, 보안 인프라의 뼈대는 오히려 빨리 세워졌다.

남은 1년, 서류가 아니라 설계로 채울 것

공개된 공식 문서들이 이미 적어둔 처방은 서로 어긋나지 않는다. 튜토리얼 논문은 신뢰성을 알고리즘이 아니라 검증·폴백·감독이라는 설계 문제로 규정했고, 그 결과물로 체크리스트와 템플릿을 내놓겠다고 했다. CodeRescue는 신뢰성을 감당하려면 실패 복구의 단가부터 계산해야 한다는 것을 보여줬다. OSTP는 권고에 90일이라는 기한과 예산 반영 시점을 못 박았다. 셋 다 '더 똑똑한 모델'을 요구하지 않는다.

한국에 주어진 계도기간 1년의 성격도 여기서 갈린다. 고영향 AI 사업자가 제출해야 하는 위험관리체계는, 문서 양식을 채우는 일로 끝날 수도 있고 검증 파이프라인과 폴백 경로를 실제로 설계하는 일이 될 수도 있다. 통합 보안 지원센터와 레드팀 테스트베드가 어느 쪽을 뒷받침하는 설비가 될지도 아직 열려 있다. 성능 경쟁의 다음 단계는 이미 정해졌다. 남은 것은 그 단계를 누가 먼저 제도와 설비로 굳히느냐다.

자료: 미국 백악관 과학기술정책실(OSTP), arXiv, 과학기술정보통신부, 국가인공지능전략위원회