불확실성까지 학습한 AI, 적은 시행으로 유망한 실험 조건 찾는다

인공지능이 자신이 무엇을 모르는지까지 계산하며 다음 실험을 고르는 기술이 등장했다. 스위스 로잔연방공과대학교(EPFL) 인공지능 화학 연구소의 보야나 란코비치 박사와 필리프 슈발러 교수 연구팀은 대형언어모델(LLM)과 가우시안 프로세스를 결합한 과학 실험 최적화 방법 ‘GOLLuM’을 개발했다.

이 연구는 2026년 8월 28일 Nature Machine Intelligence에 ‘Large language models as uncertainty-calibrated optimizers for experimental discovery’라는 제목으로 게재됐다. 최종 논문 저자는 란코비치 박사와 라이언리스 그리피스, 슈발러 교수 등 3명이다. 2025년 공개된 초판에는 란코비치 박사와 슈발러 교수만 저자로 기재돼 있었다.

과학 실험에서는 온도와 압력, 재료 조합처럼 선택할 조건이 많을수록 모든 경우를 직접 시험하기 어렵다. 베이지안 최적화는 이미 얻은 실험 결과로 가우시안 프로세스라는 확률 대리모델을 만든 뒤, 예상 성능과 예측의 불확실성을 함께 따져 다음 실험을 선택한다. 쉽게 말해 성공 가능성이 높은 조건뿐 아니라 정보가 부족해 확인할 가치가 큰 조건도 후보에 포함하는 방식이다.

GOLLuM은 LLM 옆에 별도의 독립된 ‘의심 탐지기’를 단 구조라기보다, LLM이 만든 표현과 가우시안 프로세스를 하나의 목적에 맞게 함께 조정하는 딥커널 학습 방법이다. 가우시안 프로세스의 주변우도 목적함수를 이용해 결과가 비슷한 실험이 임베딩 공간에서도 가까워지도록 학습한다. 임베딩은 문장으로 적힌 실험 조건을 AI가 계산할 수 있는 숫자 좌표로 바꾸는 과정이다.

연구진은 유기합성 12개, 분석·공정화학 3개, 소재·촉매 3개, 분자물성 5개 등 총 23개 벤치마크를 동일한 하이퍼파라미터로 평가했다. 각 실행은 결과가 중앙값보다 낮은 초기 관측 10개에서 시작했으며, 벤치마크마다 서로 다른 20개 시드로 반복했다. 출발점이 좋지 않은 상황에서도 유망한 조건을 찾아갈 수 있는지를 반복해서 비교한 것이다.

50회의 실험 예산을 가정했을 때 주력 모델이 상위 5% 조건을 찾아낸 비율은 36.3%였다. 고정된 LLM 임베딩을 사용한 BoChemian은 26.5%, LAPEFT는 12.1%, 분야별 표현을 적용한 전통적 가우시안 프로세스 기반 베이지안 최적화는 29.7%였다. GOLLuM은 또 전통적 방법의 최종 성능에 반복 횟수 중앙값 기준 41% 적은 횟수로 도달했다.

연구진이 최댓값 하나가 아니라 상위 5%에 드는 조건 여러 개를 찾는 데 주목한 이유도 실험 현장과 맞닿아 있다. 성능이 가장 높은 조건을 실제로 채택하기 어려울 때 비용과 안전, 지속가능성, 시약 가용성 같은 제약을 고려해 다른 후보를 선택할 수 있기 때문이다. 학습된 표현공간이 얼마나 매끄럽게 구성됐는지와 최적화 성능 사이의 상관계수는 14개 표현에서 r=0.92로 나타났다.

앞서 로체스터대학교 연구진은 GPT-3·3.5·4의 문맥학습과 불확실성 추정을 결합한 BO-LIFT를 제안해 자연어 합성 절차로 촉매와 분자를 최적화할 가능성을 보였다. 다만 당시 방법은 모든 비교 모델을 능가하지 못했다. GOLLuM은 LLM의 표현 자체를 확률 모델과 함께 학습해 이 연결을 강화했다는 점에서 차이가 있다.

적용 범위에는 한계가 있다. 일반적인 가우시안 프로세스는 데이터 수가 늘면 계산량이 세제곱으로 증가해 수천 회 규모의 탐색에서는 부담이 커질 수 있다. 단백질 입체구조나 결정구조처럼 자연어로 표현하기 어려운 고차원 데이터에서도 효과가 낮을 수 있다. 이번 결과는 AI가 제안하는 답뿐 아니라 그 답의 불확실성을 함께 다루는 것이 실험 후보를 효율적으로 넓히는 데 중요하다는 점을 보여준다.

자료: 로잔연방공과대학교(EPFL), Nature Machine Intelligence, 스위스 국립과학재단(SNSF), 로체스터대학교