[기획] AI 수학자 두 명이 18번째 반복에서 제자리걸음하자 사람이 질문을 바꿨다

AI가 같은 벽에 여섯 번 부딪히고도 일곱 번째 비슷한 길을 파려 했다. 이를 지켜보던 사람이 질문을 뒤집었다. “다른 길을 더 찾아라”가 아니라 “그 벽이 모든 길을 막는 장벽이라는 사실을 증명하라”는 지시였다. 세션 12~17의 실패를 새 문제로 바꾼 세션 18의 판단은, 세션 55~57에서 73년 된 수학 문제의 경계를 좁히는 하한 증명으로 이어졌다.

제목의 ‘AI 수학자 두 명’은 비유다. 실제 시스템은 독립된 두 수학자가 토론한 구조가 아니라, 수학적 추론을 맡은 모델과 계산·코드 작업을 수행한 코딩 에이전트가 역할을 나눈 작업장이었다. 2,091회의 추론 모델 호출과 약 1억5,200만 토큰이 기술적 탐색을 밀어붙였지만, 되풀이되는 실패에서 어떤 질문을 꺼낼지는 사람이 결정했다.

스위치를 다이얼로 바꿀 때 생기는 ‘낙관의 한계’

연구 대상은 1953년부터 이어진 실수 그로텐디크 상수 K_G다. 반드시 켜거나 꺼야 하는 스위치처럼 값이 +1 또는 -1인 어려운 최적화 문제를, 연속적으로 돌릴 수 있는 다이얼 같은 벡터 문제로 바꾸면 계산하기 쉬워진다. 반정의계획법이라고 부르는 이런 완화에서 얻은 값은 원래 문제의 값보다 낙관적일 수 있다. K_G는 그 차이가 최악의 경우에도 얼마나 커질 수 있는지를 제한하는 보편적인 안전계수다. 행렬 크기와 벡터 차원에 관계없이 적용되며 함수해석학, 행렬 cut norm, 근사 알고리즘, 벨 부등식과 양자·고전 상관의 차이에 연결된다.

그러나 K_G의 정확한 값은 아직 모른다. 연구 전에는 대략 1.6769566742 이상, 1.7822 이하라는 범위만 알려져 있었다. 이번 연구진이 인증한 범위는 6π/11, 즉 1.713595… 이상이면서 1.7818666069360661 이하이다. 기사식으로 줄이면 약 1.7136~1.78187이다. 불확실한 구간의 폭은 약 0.1053에서 약 0.0683으로, 약 35% 줄었다. 이는 어떤 제품이나 알고리즘의 성능이 35% 좋아졌다는 뜻이 아니라, 답이 숨어 있을 수 있는 수직선의 구간을 그만큼 좁혔다는 의미다.

특히 하한이 올라가면서 K_G가 1.6대로 시작할 가능성이 사라지고 1.7…로 시작한다는 사실이 처음 확정됐다. 정확한 답을 알아낸 것은 아니지만, 73년 동안 흐릿했던 자의 첫 눈금을 확실히 읽게 된 셈이다. 상한 쪽에서는 대표 정리의 보수적인 표현으로 기존 크리빈 상한보다 10의 마이너스 4승만큼 낮췄고, 본문의 실제 인증 개선폭은 3.47×10의 마이너스 4승이었다.

악성 행렬을 찾는 대신 모든 우회로의 한계를 물었다

상한과 하한은 서로 다른 종류의 난제다. 상한을 낮추려면 모든 행렬에서 작동하는 더 좋은 반올림법을 설계해야 한다. 반대로 기존 하한 연구는 대개 완화된 답과 원래 답 사이에 큰 격차를 만드는 특정 ‘악성 행렬’을 찾아 구성했다. 상한 개선이 더 좋은 지름길을 설계하는 일이라면, 하한 개선은 그 어떤 차도 넘을 수 없는 제한속도를 확인하는 일에 가깝다.

이번 하한은 악성 행렬을 하나 더 찾아내는 대신 모든 점근적으로 최적인 크리빈 방식의 공통 한계를 증명하는 방향으로 나아갔다. 크리빈 방식은 벡터로 푼 연속적인 답을 다시 +1과 -1의 이산적인 답으로 바꾸는 반올림 틀이다. 연구진은 이 방식의 상관함수 H(t)=b₁t+b₃t³+…에서 계수들이 b₃≥2b₁−11/6이라는 보편적인 아핀 부등식, 곧 곡선 관계를 직선 형태로 제한하는 식을 만족한다는 것을 증명했다. 이를 기존의 혼합 크리빈 방식에 관한 점근적 최적성 결과와 결합해 K_G≥6π/11을 얻었다. 저자들은 이를 악성 사례를 직접 구성하지 않은 최초의 K_G 하한이라고 설명했다.

상한에는 차원을 늘려 가는 limiting Krivine scheme과 경계에 3차·5차 항을 쓰는 cubic–quintic scheme이 활용됐다. 계산 과정에서는 단일 4-GPU 노드로 부동소수점 탐색을 수행하고, CPU의 Arb 구간산술로 오차까지 포함한 인증을 했다. 상한 인증의 원주 적분은 1,024개 패널로 나눴다. 스크립트와 인증서, Arb 출력도 공개됐지만, 이것이 외부 연구팀의 전체 독립 재현을 뜻하지는 않는다.

약 240개 세션이 못 한 판단, 사람이 두 번 방향을 틀었다

실험은 2026년 6월 16일부터 7월 24일까지 진행됐고 주요 단계는 7월 4일까지 이뤄졌다. 최대 5개 세션이 동시에 실행됐으며 전체 규모는 약 240개 세션, 추론 모델 호출 2,091회였다. 추론 API 비용은 공개 정가 기준 약 5,400달러로 추정됐지만 코딩 에이전트 구독료 전체와 GPU 비용, 전력비, 연구자 인건비를 포함한 총연구비는 아니다. 사람은 날짜가 붙은 약 40건의 지시를 전달했다.

첫 방향 전환 뒤에도 답은 곧바로 나오지 않았다. 세션 32~51 가운데 14개 세션이 임의 차원과 혼합 방식으로 확장하는 문제에 매달렸으나 완성하지 못했다. 사람은 다시 제한된 수치 개선보다 전체 방식에 적용되는 이론을 우선하라고 지시했다. 이후 세션 55에서 기존 작업의 의존관계가 정리됐고, 세션 55~57에서 아핀 재정식화와 6π/11 하한이 나왔다. 세션 58~64에서는 시스템 검사와 첫 증명문 작성이 이어졌다. 프린스턴대학교는 이를 세션 18 뒤 ‘약 30번의 추가 반복’으로 요약했지만, 논문 연표상 핵심 결과까지는 세션 번호로 37~39의 차이가 있고 일부가 병렬로 진행됐다.

이 기록은 계산량만 늘린다고 연구 판단이 저절로 생기지는 않는다는 점을 보여준다. AI는 같은 구조적 장애물에 여섯 번 막히고도 실패를 일반 정리의 후보로 바꾸지 못했다. 반면 사람은 새 공식을 직접 주기보다 이미 쌓인 실패의 의미를 바꾸고 우선순위를 조정했다. AI의 역할은 방대한 기술적 탐색과 계산, 증명 초안 작성에 있었고, 인간의 역할은 무엇을 문제로 삼을지 정하고 결과를 수정·검증하는 데 있었다.

좋아 보이는 숫자와 증명된 결과 사이

장기 기억과 검증의 약점도 선명했다. 세션 4에서 남긴 ‘탐색 전용 평가기’라는 주의와 세션 8의 타당성 조건이 압축 기억과 인계 과정에서 빠졌다. 그 결과 세션 44의 상한 1.7802243이 기록에 채택됐다가 25일 뒤 근거가 없다는 사실이 확인돼 철회됐다. 초안에서는 유한한 방식에서 측정 가능한 혼합으로 넘어가는 증명 공백, 방향이 뒤집힌 Jensen 부등식, 구간산술 인증 범위의 결함도 발견돼 후속 검토에서 수정됐다. 시스템이 시험한 더 강한 숫자들도 저자 검증이 끝나지 않아 확정 정리에 포함되지 않았다.

두 동반 논문은 2026년 10월 14일 현재 동료심사를 마치지 않은 프리프린트다. 저자들이 AI 산출물을 다시 검토하고 증명을 고쳤지만, 제3의 연구팀이 처음부터 전체 결과를 독립 재현했다는 보고도 확인되지 않았다. 인간만 연구한 경우나 단일 모델, 다른 모델 조합과 비교한 대조군도 없는 단일 문제·단일 연구팀의 사례다.

8월의 범위가 현재 가장 좁은 기록인 것도 아니다. 9월 프리프린트는 K_G≤1.7813을 제시했고, 10월 7일 후속 프리프린트는 1.773≤K_G≤1.7799로 범위를 더 좁혔다. 따라서 이번 성과의 핵심은 AI가 난제의 최종 답을 자율적으로 풀었다는 데 있지 않다. 기술 실행을 오래 밀어붙이는 AI와 실패의 의미를 다시 묻는 인간의 판단이 어떻게 맞물릴 수 있는지, 그리고 그 과정에서 기억·검증·책임이 왜 중요한지를 구체적인 연구 기록으로 남겼다는 데 있다.

자료: 텍사스대학교 오스틴·프린스턴대학교·캘리포니아대학교 로스앤젤레스·arXiv