GPT-6 아스트라, 미공개 이론물리 계산 50문제 중 49개 해결
인공지능이 정답을 외워 답하기 어려운 미공개 이론물리 문제 50개 가운데 49개를 사람의 힌트 없이 해결하고, 전문가가 만든 기준 답안의 오류까지 찾아냈다. 다만 이는 ‘이론물리 연구의 98%를 해결했다’는 의미가 아니라, 알려진 연구 방법을 바뀐 조건에 적용하는 구체적인 계산 과제에서 한 차례 기록한 성적이다.
국제이론과학센터와 타타 기초과학연구소, 펜실베이니아대학교, Google DeepMind 등의 연구진 35명은 10월 9일 이론물리 평가 벤치마크 ‘TheoPhysEval’과 평가 결과를 공개했다. 이 시험은 AI 에이전트가 문헌을 검색하고 계산식을 구성하며 코드를 실행해 최종 답을 얻는 전 과정을 얼마나 자율적으로 수행하는지 살폈다.
문제는 고전물리 5개, 확률과정·생물물리 5개, 비평형 통계역학 3개, 격자이론 3개, 양자물질상 5개, 전자구조론 4개, 양자장론 7개, 입자물리 2개, 산란진폭 5개, 홀로그래피·얽힘 5개, 중력·우주론 6개로 구성됐다. 홀로그래피는 낮은 차원의 물리 현상을 더 높은 차원의 중력 이론과 연결해 이해하는 접근이다.
출제된 것은 물리학의 중요한 미해결 난제가 아니었다. 기존 연구의 계산법을 이해한 뒤 조건을 바꿔 다시 계산하는 이른바 ‘턴 더 크랭크’ 과제였다. 예를 들어 5차원 시공간의 블랙 스트링 연구를 찾아 조건을 4차원으로 바꾸고 수치 계산을 수행하는 식이다. 답을 검색하는 데 그치지 않고 기존 방법을 해석하고 수정해야 하지만, 해당 분야 전문가는 통상 하루 안에 풀 수 있는 수준으로 설계됐다.
웹 검색과 로컬 계산 도구를 허용한 현실적 트랙에서 GPT-6 아스트라는 50문제 중 49개를 맞혔다. 입력과 출력을 합쳐 3741만 토큰을 사용했으며 비용은 116.28달러, 문제당 평균 약 2.33달러였다. 오퍼스 5.5는 46개를 해결했고 비용은 240.43달러였다. 제미나이 3.8 플래시는 34개, 딥시크-V4.1 플래시는 27개, GLM-5.3은 21개를 맞혔다.
웹 검색을 막고 로컬 도구만 허용한 격리 트랙에서는 아스트라와 오퍼스 5.5가 각각 46개를 해결했다. 아스트라의 격리 트랙 비용은 95.20달러였다. 두 트랙의 점수 차이가 작아 모델이 학습 과정에서 관련 문헌을 기억했을 가능성이 제기됐지만, 각 모델을 한 번씩만 실행했기 때문에 문헌 암기를 입증한 결과로 단정할 수는 없다.
채점은 해석적인 답을 가능한 한 수치나 정수열로 바꿔 최종 답을 자동 판정하는 방식으로 진행됐다. 채점용 언어모델이 풀이를 잘못 판단할 위험을 줄이기 위해서다. 최종 실행 뒤 두 문제에서 규약이 충분히 명시되지 않은 점이 확인돼, 관측된 규약 선택을 모두 정답으로 인정했다. 오답으로 분류된 일부 답을 다시 검토하는 과정에서는 전문가 기준 답안의 미묘한 계산 오류도 발견돼 답안이 수정됐다.
평가는 Google Cloud의 e2-standard 가상머신에서 문제마다 가상 중앙처리장치 2개, 메모리 4GB, 저장공간 10GB를 제공해 진행했다. 일반 문제는 8시간, 서로 연결된 전자구조 문제 묶음은 20시간을 넘기면 무응답으로 처리했다. 아스트라가 풀지 못한 유일한 문제는 주어진 곡선에서 그 곡선을 만들어내는 미분방정식을 거꾸로 찾는 과제였으며 다른 모델도 실패했다.
이번 결과는 AI가 대학원생이 기존 연구를 익히며 수행해 온 계산 업무의 상당 부분을 맡을 가능성을 보여준다. 그러나 연구할 만한 문제를 고르고, 막힌 과제에서 더 유망한 방향으로 전환하며, 흥미로운 질문을 알아보는 연구자의 ‘안목’은 평가하지 않았다. 연구진도 현재 에이전트가 이런 능력에는 부족해 인간 전문가가 방향을 정해야 한다고 밝혔다. 개별 계산의 높은 정답률과 새로운 이론을 세워 논문 전체를 만드는 능력은 구분해 해석해야 한다.
자료: 국제이론과학센터(ICTS-TIFR), 타타 기초과학연구소(TIFR), Google DeepMind, OpenAI, 위스콘신대학교 매디슨