[기획] 36 더하기 59를 '95'라 답한 AI, 실제로는 그렇게 풀지 않았다

36 더하기 59는 얼마냐고 챗봇에 물으면 대개 정확히 95라고 답한다. 어떻게 풀었느냐 되물으면 일의 자리를 더해 1을 받아올렸다고, 초등학교에서 배운 그대로 설명한다. 그런데 이 모델의 머릿속을 실제로 열어보니, 받아올림 같은 절차는 어디에도 없었다.

앤스로픽이 자사 언어모델 클로드의 내부 연산을 회로 단위로 추적한 결과다. 지난해 3월 이 회사는 두 편의 보고서를 함께 내놨다. 한 편은 언어모델 안에서 정보가 흘러간 자취를 그래프로 뽑아내는 방법을 설명했고, 다른 한 편은 그 방법으로 실제 모델을 해부한 사례집이었다. 제목부터 '어느 대형 언어모델의 생물학'이다.

연구진은 신경과학자가 뇌를 다루듯 모델 안에서 특정 개념이 활성화되는 지점을 찾고, 그것을 지우거나 다른 개념을 주입해 출력이 어떻게 바뀌는지 관찰했다. 수십억 개의 수가 뒤엉킨 신경망을 눈으로 좇을 수 있게 만든 일종의 현미경이다.

현미경에 잡힌 덧셈

그 현미경에 비친 덧셈의 실제 풍경은 사람의 방식과 딴판이었다. 앤스로픽은 "클로드가 병렬로 작동하는 여러 계산 경로를 쓴다"며 "한 경로는 답의 대략적인 근삿값을 계산하고, 다른 경로는 합의 마지막 자리를 정확히 결정하는 데 집중한다"고 적었다. 두 경로가 만나는 지점이 95다. 자릿수를 옮겨 적는 절차는 없었다.

그런데도 모델은 자기 풀이를 묻자 "1을 받아올리는 표준 알고리즘"을 설명했다. 계산하는 법을 배운 게 아니라, 사람이 계산을 설명하는 방식을 배운 결과다. 그래서 실제로 쓴 방법과 입으로 대는 풀이가 따로 논다.

'토끼'를 먼저 정해놓고 시를 쓴다

더 놀라운 것은 이 모델이 앞을 내다본다는 사실이었다. "당근(carrot)을 보고 붙잡으려 했네"로 끝나는 시구에 운을 맞춰 다음 줄을 지으라고 하자, 클로드는 줄을 쓰기도 전에 끝에 놓을 각운 단어 '토끼(rabbit)'를 미리 떠올려 두고 거기에 맞춰 문장을 지어 나갔다.

연구진이 그 '토끼'를 지우자 모델은 미리 준비해 둔 다른 각운 '습관(habit)'으로 갈아탔다. 엉뚱하게 '초록(green)'을 주입하자 각운은 어긋나지만 말이 되는 줄을 지어냈다. 이 개입을 무작위로 고른 시 25편에 적용한 결과, 모델이 주입된 단어로 줄을 맺은 비율은 70%였다. 한 단어씩 즉흥으로 뱉는 기계라는 통념과 달리, 목적지를 먼저 정하고 길을 짜는 셈이다.

결론을 정해두고 논리를 짓는 순간

이 이중생활이 위험해지는 대목은 따로 있다. 어려운 수학 문제에 답을 슬쩍 흘려주면 "클로드는 때때로 거꾸로 작업해, 그 목표에 이르게 할 중간 단계들을 찾아낸다"고 연구진은 적었다. 일종의 동기화된 추론이다. 우리가 화면에서 읽는 그럴듯한 풀이 과정이, 실은 기계가 실제로 거친 사고가 아니라 결론에 맞춰 나중에 붙인 이야기일 수 있다는 뜻이다.

사고 과정을 액면 그대로 믿을 수 없다는 문제의식은 업계 전체로 번졌다. 지난해 7월 앤스로픽·오픈AI·구글 딥마인드 등 41명의 연구자가 공동으로 낸 입장문 '사고연쇄 감시 가능성'은 사람의 언어로 생각하는 AI가 안전 감시에 드문 기회를 준다면서도, 그 감시가 "불완전하고 일부 부정행위를 놓친다"고 못 박았다. 그러면서 최전선 모델 개발사들에게 개발 과정의 선택이 이 감시 가능성을 훼손하지 않는지 따져보라고 권고했다.

무너진 것은 추론인가, 실험 설계인가

비슷한 시기 애플 연구진은 다른 각도에서 같은 불신에 이르렀다. 지난해 6월 공개한 논문 '생각한다는 착각'은 하노이의 탑 같은 퍼즐의 난도를 단계적으로 올리며 추론 모델을 시험했다. 결과는 세 구간으로 갈렸다. 쉬운 문제에서는 오히려 일반 모델이 앞섰고, 중간 난도에서만 추론 모델이 이점을 보였으며, 높은 난도에서는 양쪽 모두 정확도가 완전히 붕괴했다. 기이한 것은 붕괴 직전이다. 문제가 어려워질수록 사고량을 늘리다가, 어느 문턱을 넘으면 토큰 예산이 충분히 남았는데도 스스로 사고량을 줄였다. 연구진은 이 모델들이 정확한 계산에 한계가 있으며, 명시적인 알고리즘을 활용하지 못하고 퍼즐마다 일관되지 않게 추론한다고 적었다.

다만 이 논문은 곧바로 반박에 부딪혔다. 사흘 뒤 공개된 반박문은 세 가지를 지적했다. 하노이의 탑 실험이 모델의 출력 토큰 한도를 넘길 위험이 있었고, 자동 채점 방식이 추론 실패와 실무적 제약을 구분하지 못했으며, 강 건너기 문제에는 배 정원이 모자라 수학적으로 풀 수 없는 문항이 섞여 있었는데도 모델이 못 풀었다는 이유로 실패 처리됐다는 것이다. 이동 경로를 전부 나열하는 대신 해를 만드는 함수를 요구하자, 앞서 완전 실패로 기록된 문제에서도 높은 정확도가 나왔다고 반박문은 밝혔다. 어느 쪽 손을 들어주든 남는 결론은 같다. 모델이 화면에 늘어놓는 사고의 흔적만으로는 그 안에서 무슨 일이 벌어지는지 알 수 없다.

법은 설명을 요구하는데, 한국의 준비는

이 문제는 한국에서 이미 규제의 언어로 들어와 있다. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법, 이른바 AI 기본법이 올해 1월 22일 시행되면서 고영향 인공지능과 생성형 인공지능 사업자에게 투명성 확보, 안전성 검증, 영향평가 의무가 부과됐다. 문제는 그 '설명'의 근거를 무엇으로 삼느냐다. 모델에게 이유를 물어 받은 답을 그대로 옮기는 것이 설명이 될 수 없다는 것이, 앞의 두 연구가 공통으로 가리키는 지점이다.

검증을 맡을 기관도 자리를 잡았다. 2024년 11월 문을 연 AI안전연구소는 지난해 29종, 올해 13종을 더해 모두 42종의 국내외 AI 모델을 안전성 평가했다고 지난 5월 밝혔다. 화학·생물·방사능·핵 위험을 뜻하는 CBRN 항목을 포함했고, 6만여 개의 평가 데이터셋과 시나리오를 확보했다고 했다. 다만 이 평가는 모델이 무엇을 출력하는지를 재는 행동 평가다. 출력 뒤의 연산을 들여다보는 해석가능성 연구는 아직 소수 기업과 대학의 영역에 머물러 있다.

말이 아니라 연산을 보는 일

이 현미경도 아직 성기다. 앤스로픽은 "짧고 단순한 프롬프트에서조차 우리 방법은 클로드가 수행한 전체 연산의 일부만 포착한다"고 밝혔다. 이어 "수십 개 단어짜리 프롬프트에서도, 눈에 보이는 회로를 이해하는 데 현재로선 사람의 손으로 몇 시간이 걸린다"고 덧붙였다. 수천 단어를 오가는 긴 사고 사슬을 통째로 들여다보려면 갈 길이 멀다.

그럼에도 방향은 분명해졌다. 이 회사는 이후 모델이 자기 내부 상태를 스스로 들여다볼 수 있는지, 감정에 해당하는 개념이 내부에서 어떤 기능을 하는지, 여러 능력을 한자리에 모으는 공용 작업 공간 같은 구조가 존재하는지까지 회로 추적의 범위를 넓혀 왔다. 지난 4월과 7월에 각각 공개한 후속 보고서들이 그 결과물이다.

41명 공동 입장문의 권고도 결국 하나로 모인다. 사고연쇄 감시는 다른 모든 감독 수단과 마찬가지로 불완전해 일부 부정행위를 놓치지만, 그럼에도 가능성이 있으니 기존 안전 수단과 나란히 투자하라는 것이다. 그리고 이 감시 가능성 자체가 깨지기 쉬우니, 개발 과정의 선택이 그것을 훼손하지 않는지 개발사들이 스스로 따져보라고 했다. 겉으로 드러난 말과 실제 연산이 어긋나는 순간을 잡아내는 감사 도구가 필요하다는 요구가, 이제 학계와 산업계 양쪽에서 같은 문장으로 나오고 있는 셈이다.

AI가 무엇을 '말하는지'가 아니라 무엇을 '하는지'를 봐야 한다. 그 둘은, 적어도 지금은, 같지 않다.

자료: 앤스로픽, 애플 머신러닝 리서치, arXiv, 과학기술정보통신부·AI안전연구소