[기획] 지도 AI에 전문 도구와 ‘선계획’을 붙이자 3점→63점

AI에게 집수리를 맡기면서 망치도 설계도도 주지 않는다면 어떻게 될까. 말로 수리 방법을 설명할 수는 있어도 실제 작업은 좀처럼 진척되지 않을 것이다. 지도 위에서 위성사진과 날씨, 인구, 도로를 겹쳐 답을 찾는 AI도 비슷했다. 같은 Gemini 3.8 Flash에 웹·지도 검색과 오프라인 코드 실행만 허용했을 때 복합 공간분석 작업흐름 평가점수는 3.3±0.8점이었다. 위성·날씨·인구·지도용 전문 도구를 붙이자 52.2±5.4점, 분석 순서를 먼저 세우고 실행 원칙까지 따르게 하자 62.7±2.5점이 됐다.

제목의 ‘3점→63점’은 이 세 차례 실행 평균을 반올림한 표현이다. 정확도가 3%에서 63%로 높아졌다는 뜻은 아니다. 전체 상승분 59.4점 가운데 48.9점은 전문 도구를 추가하면서 나왔고, 나머지 10.5점은 선계획과 실행 지침을 묶은 오케스트레이션 층, 즉 여러 도구를 어떤 순서와 원칙으로 지휘할지 정하는 장치를 더한 뒤 나타났다. 상승의 대부분은 계획보다 먼저 ‘제대로 된 공구함’을 준 효과였다.

검색만으로 끝나지 않는 지도 질문

실제 공간분석 질문에는 답이 그대로 들어 있지 않다. 예컨대 2022년 파키스탄 홍수 지역에서 레이더 위성영상으로 침수지와 파괴된 건물을 구분하고, 빈곤지도를 겹쳐 복구 우선순위를 정하려면 여러 단계가 필요하다. 위성영상과 건물·인구 자료를 찾아야 하고, 서로 다른 시점과 형식의 데이터를 맞춰야 한다. 지구의 곡면을 평면 지도에 옮기는 기준인 좌표계도 통일한 뒤 겹치기나 거리 계산 같은 공간연산을 수행해야 한다.

Google Research와 Google Geo 연구진 37명이 개발한 지리공간 추론 에이전트(GRA)는 이런 일을 위해 23개 스킬과 62종의 도메인·작업공간 도구를 실제 평가에서 불러왔다. Google Earth Engine, Google Maps Data, Data Commons, WeatherNext, 홍수예측 시스템, AlphaEarth Foundations, Population Dynamics Foundation Model, 원격탐사 모델과 Python 공간연산 환경 등이 포함됐다. 대형 위성영상과 지도 자료는 언어모델의 문맥에 통째로 밀어 넣지 않고 외부 작업공간에 둔 채 참조값으로 전달했다.

선계획도 한 번 정하면 그대로 따르는 고정 각본은 아니었다. 에이전트가 도구를 호출하기 전에 필요한 자료와 분석 단계를 정하되, 실행 결과에 따라 계획을 고치거나 대체자료를 선택하는 방식이었다. 내비게이션이 출발 전에 경로를 짜면서도 도로가 막히면 우회하는 것과 가깝다.

웹 검색은 줄고 실제 공간도구 사용은 늘었다

계획을 붙인 뒤 도구 사용 방식도 달라졌다. Gemini 3.8 Flash는 전문 도구만 반응형으로 사용할 때 문제당 웹 검색을 평균 7.0회 했지만, 완전한 GRA에서는 3.2회로 줄였다. 반면 Earth Engine 스킬을 사용한 문제의 비율은 38%에서 54%로 높아졌다. Python 호출은 문제당 6.6회에서 5.4회로 감소했다. 검색 결과를 계속 훑기보다 실제 공간자료와 연산 도구로 넘어간 정황이다. 다만 이 변화만으로 10.5점 상승의 원인이 모두 입증된 것은 아니다.

평가에는 GeoExpertQueries라는 복합 공간분석 시험이 쓰였다. 연구진은 처음 만든 132개 문제 가운데 이용할 자료가 없거나 독점 데이터가 필요해 명백히 풀 수 없다고 본 문제를 제외하고 101개를 남겼다. 25개는 개발용으로 공개하고 76개는 비공개 시험용으로 보관했다. 시험 문제는 재난·위기 대응 35개, 공중보건 17개, 입지선정·도시계획 20개, 운영·상업 응용 4개로 구성됐다.

각 문제의 모범 작업흐름은 GRA의 도구 구성을 모르는 지리공간 전문가 3명이 독립적으로 작성했다. 연구진은 이를 합의 절차로 통합했으며, 접근법이 서로 양립하지 않은 4문제에는 복수의 모범 흐름을 유지했다. 사람 전문가에게도 분석 경로가 하나뿐이지 않은 문제였다는 의미다.

채점 방식도 일반적인 정답률과 다르다. Gemini 3.8 Flash 자동평가자가 질문과 최종 응답뿐 아니라 전체 실행 기록과 전문가 모범 작업흐름까지 읽고, 요구사항별로 0점·0.5점·1점을 부여했다. 각 구성을 문제마다 세 차례 실행한 뒤 0∼100 척도로 환산해 평균했다. 연구진은 이 수치를 과정 정렬, 곧 전문가가 기대한 분석적 가치를 어느 정도 수행했는지를 나타내는 점수라고 설명했다. 구글도 결과물을 전문가가 검토하고 발전시킬 ‘강한 초안’으로 규정했다.

계획이 언제나 약은 아니었다

전체 평균만 보면 선계획과 실행 지침이 유리했지만 분야별 결과는 한 방향이 아니었다. 재난·위기 대응은 45.6±3.8점에서 66.0±2.6점, 공중보건은 42.5±10.2점에서 55.6±3.2점으로 올랐다. 반면 입지·도시계획은 71.4±5.0점에서 65.6±3.4점, 운영·상업 응용은 55.6±6.4점에서 50.0±0.0점으로 평균이 낮아졌다. 후자는 4문제뿐이며, 입지·도시계획의 하락도 실행 간 변동 범위를 함께 고려해야 하므로 계획이 성능을 확실히 떨어뜨렸다고 단정할 수 없다.

모델에 따라서도 달랐다. Gemini 3.1 Pro는 전문 도구만 썼을 때 50.8±1.7점이었으나 선계획과 실행 지침을 더한 뒤 47.6±2.7점이 됐다. 비교적 정형화된 다른 시험에서도 추가 이득은 거의 없었다. Gemini 3.8 Flash의 GeoKTools 점수는 86.0±1.6점과 85.9±1.5점, CBGB는 87.9±1.3점과 86.4±2.3점이었다. 복잡하고 열린 문제에서 유용했던 조율 방식이 모든 지도 문제와 모델에 통하는 만능 공식은 아니라는 뜻이다.

비용도 늘었다. GeoExpertQueries에서 완전한 GRA의 문제당 언어모델 추론비는 0.199달러로, 기본 도구 구성의 0.044달러와 LLM 단독의 0.010달러보다 높았다. 전문 도구만 쓴 구성은 0.167달러였고 선계획·실행 지침 추가분은 0.032달러였다. 이는 2026년 10월 당시 토큰 가격을 적용한 추정치이며 Earth Engine을 비롯한 외부 데이터와 컴퓨팅 서비스 비용은 빠져 있다.

62.7점 뒤에 남은 검증 과제

이번 결과는 2026년 10월 11일 제출된 기술보고서 초판에 담겼고 10월 14일 공식 발표됐다. 학술지 동료심사를 통과한 논문으로 확인되지는 않았다. 저자 37명 가운데 36명이 Google Research 또는 Google Geo 소속이고, 시스템과 모델, 내부 도구, 주요 벤치마크와 자동평가 모델도 대부분 구글 측이 개발했다. 핵심 시험 76문제가 비공개여서 외부 연구자가 전체 점수를 그대로 재현하기도 어렵다.

자동평가 역시 인간 판단과 완전히 같지 않았다. 실행 기록 69건에 대한 인간 전문가 평가 207건에서 전문가끼리의 Krippendorff’s α는 0.56, 95% 구간 0.42∼0.67이었다. 자동평가를 포함하면 0.57, 95% 구간 0.45∼0.67이었고, 자동점수와 인간 평균의 Spearman 상관은 0.72, 95% 구간 0.60∼0.82였다. 실행 기록당 자동평가와 인간 평균의 절대 차이는 0∼1 척도에서 평균 0.20점이었다. 자동평가가 사람을 완전히 대신했다고 볼 수 없는 수치다.

비교군의 제약도 있다. 기본 도구 구성의 Python 환경에는 인터넷 연결과 Earth Engine 라이브러리가 없었다. 따라서 3.3점은 공개 GIS 자료를 직접 내려받아 처리하는 강력한 네트워크 연결형 코드 에이전트와 겨룬 결과가 아니다. 단독 LLM의 0점 또한 일반 설명을 못 했다는 뜻이 아니라, 실제 자료 검색이나 계산 없이 기억으로 작성한 답에는 평가 규칙상 점수를 주지 않았기 때문이다.

한국은 국토교통부 계획에서 공간정보 갱신주기를 0.5∼2년에서 준실시간으로 줄이는 ‘디지털트윈 KOREA’를 비전으로 제시했다. 국토교통과학기술진흥원의 2026년 사업안내에는 스마트시티 인프라 AIoT 핵심기술개발 60억원, 디지털트윈 국토정보 보안기술개발 20억원이 담겼다. 다만 이 사업들이 자연어 질문을 받아 여러 공간 도구를 자율적으로 계획·호출하는 GRA와 같은 기술을 개발한다는 증거는 아니다. 2026년 10월 19일 기준 국내 기관이 3.3→52.2→62.7 절제실험을 재현했거나 한국 공간자료로 동급의 공개 벤치마크를 만들었다는 공식 연구도 확인되지 않았다.

이번 연구가 보여준 핵심은 범용 언어모델의 말솜씨만으로 복합 공간분석을 대신하기 어렵다는 점이다. 최신 데이터와 연결된 전문 도구, 그리고 필요한 도구를 순서 있게 조율하는 방식이 함께 있어야 했다. 동시에 현실의 공간 데이터는 위성영상이 재처리되거나 경계가 바뀌면 정답표도 낡는다. 실제 재난 대응이나 도시계획에 쓰려면 62.7점을 완성된 판단으로 받아들일 것이 아니라, 데이터와 계산 과정을 전문가가 다시 확인할 수 있는 초안으로 다뤄야 한다.

자료: Google Research·Google Geo, 국토교통부, 국토교통과학기술진흥원