[기획] 자전거 정보 못 쓴 주행 AI, 차는 멈췄다…‘1% 미만’이 드러낸 안전의 착시
차량의 인식 시스템이 만든 ‘자전거 신호’, 곧 자전거 신호등이나 이용자의 손짓이 아닌 자전거 객체 정보는 있었지만 주행을 결정하는 인공지능(AI)에는 연결되지 않았다. 그런데도 차는 자전거 이용자 앞에서 멈췄다. 겉으로 보면 AI가 위험을 알아보고 제대로 대응한 장면이다. 실제 작동 순서는 달랐다. 학습형 주행계획기는 자전거와 충돌할 수 있는 경로를 골랐고, 충돌이 임박했을 때 별도로 작동하는 자동긴급제동 시스템이 차를 세웠다.
요리 로봇이 가스불을 제대로 끈 줄 알았는데 실제로는 연기감지기가 가스를 차단한 것과 비슷하다. 결과가 안전하다는 사실만 봐서는 주 기능이 성공했는지, 비상장치가 앞단의 실패를 가렸는지 알기 어렵다. 매사추세츠공과대와 Motional, 하버드대 연구진이 2026년 9월 공개한 연구는 바로 이 틈을 사람이 들여다볼 수 있는지 물었다. 연구진이 만든 CW-Net은 차를 더 안전하게 만드는 장치라기보다, 학습형 주행계획기가 무엇을 근거로 경로를 골랐는지 읽을 수 있게 하는 ‘설명망’이다.
146개의 미래를 비교했지만 심사표에 자전거가 없었다
자율주행 시스템은 하나의 뇌가 모든 일을 처리하는 구조가 아니다. 이 실험에서는 주변 물체를 찾는 인식 시스템, 앞으로 갈 길을 선택하는 학습형 주행계획기, 계획기의 판단과 별개로 충돌 직전 제동하는 자동긴급제동, 계획기의 판단 근거를 보여주는 CW-Net이 서로 다른 계층으로 작동했다.
원래 계획기는 장면마다 휴리스틱, 즉 사람이 설계한 계산 규칙으로 만든 jerk-optimal 궤적 143개와 HiVT가 생성한 3개를 합쳐 모두 146개의 후보 경로를 평가했다. jerk-optimal은 가속도의 급격한 변화를 줄여 승차감과 움직임의 매끄러움을 고려한 경로라는 뜻이다. 계획기는 각 후보에 보상값을 매기고 가장 높은 경로를 선택했다. 인간 전문가의 주행 80시간을 역강화학습으로 모방하도록 훈련됐지만, 많은 경로를 비교하고 긴 주행을 학습했다는 사실이 자전거 정보까지 판단에 들어갔다는 뜻은 아니었다.
CW-Net은 이 계획기의 마지막 보상층 앞에 사람이 이름을 읽을 수 있는 개념층을 넣었다. `BIKE`는 자전거 이용자와 가까운 상태, `CLOSE`는 다른 차량과 3m 이내인 상태, `ASV`는 정지차량에 접근하는 상태를 가리킨다. 주 구조에서는 인코더와 궤적 생성기를 그대로 동결한 뒤 개념 분류기와 새 보상층만 학습했다. 마지막 보상층은 이 개념값만 받아 146개 후보의 순위를 매겼다.
연구진은 이 구조의 설명을 ‘인과적으로 충실하다’고 표현했다. 이는 현실에서 사고가 일어난 물리적 원인을 완전히 밝혔다는 뜻이 아니다. 해당 모델이 표시된 개념값에 실제로 의존해 경로를 선택한다는, 모델 내부 결정 경로에 한정된 말이다. CW-Net 역시 원인을 자유롭게 발견하지 않는다. `SLOW`, `BIKE`, `CLOSE`, `ASV`처럼 개발자가 미리 정하고 라벨링한 언어의 범위 안에서만 설명할 수 있다.
1% 미만의 `BIKE`, 사라진 콘 뒤의 ‘유령 차량’
자전거 시험에서 인식 시스템은 자전거 이용자를 감지했다. 그러나 실험용 계획기는 그 입력을 소비하도록 구성돼 있지 않았다. 계획기가 고른 궤적은 충돌로 이어질 수 있었고, 실제 차량은 별도의 자동긴급제동으로 멈췄다. CW-Net 화면이 ‘비상제동 작동’을 직접 알린 것은 아니다. 자전거가 가까이 있는데도 `BIKE` 값이 계속 1% 미만으로 나타난 불일치가 추가 분석을 이끌었고, 사후분석에서 정지의 진짜 원인이 확인됐다.
설명 전 시험은 14회, 설명 후 시험은 9회로 모두 23회였다. 공개 원자료에서 설명 전 자율주행 진입속도는 평균 4.62m/s, 시속 16.6km였고 범위는 시속 7.5~27.8km였다. 설명을 본 뒤에는 평균 0.55m/s, 시속 2.0km였으며 범위는 0~5.0km였다. 다만 전후 시행 수와 자전거 행동 구성이 달랐기 때문에 이를 설명이 속도를 일정 비율 낮춘 인과효과로 해석할 수는 없다. 연구진이 보여준 것은 설명을 접한 운전자가 경계 수준을 바꾼 장면이다.
다른 두 사례에서도 겉으로 보이는 원인과 계획기의 내부 판단이 갈렸다. 주차차량 옆에서 차가 멈췄을 때 운전자는 승하차 구역을 이유로 추측했지만 `CLOSE`가 활성화돼 있었다. 차량을 주차차량에서 멀리 옮기자 값이 낮아지고 차가 다시 움직였다. 다만 이 사례에는 개념값이 최종 결정 입력이 되는 주 구조가 아니라, 기존 보상층 옆에서 개념값을 보여주는 사후설명형 변형이 쓰였다. 연구진도 이 변형이 실제 결정 과정에는 덜 충실할 수 있다고 인정했다.
교통 콘 옆에서 반복된 ‘유령제동’은 더 낯선 장면이었다. 연구진은 처음에는 콘 때문에 차가 멈춘다고 생각했지만 `ASV`, 즉 정지차량 접근 개념이 올라갔다. 콘을 치운 뒤에도 차는 같은 장소에서 비슷하게 제동했고 `ASV` 활성화도 반복됐다. 속도 프로파일의 DTW L₂ 거리는 7.37, `ASV` 프로파일은 약 1.6이었다. DTW L₂는 두 시간 흐름의 모양이 얼마나 닮았는지 재는 값으로, 작을수록 비슷하다. 무작위 사건의 평균이 200을 초과한 것과 비교하면 반복 장면의 유사성이 컸다. 이는 계획기가 현재 도로를 존재하지 않는 정지차량 상황과 잘못 대응시켰다는 설명을 지지했다.
사람은 더 잘 이해했지만 모든 예측이 좋아진 것은 아니다
연구진은 `nuPlan` 전체 검증셋의 폐루프 시뮬레이션, 안전운전자가 탄 실험차의 폐쇄 시험장·사유지 주행, 라스베이거스 공공도로 영상으로 진행한 온라인 실험까지 세 단계로 검증했다. 공공도로에서는 사람이 직접 운전했고 CW-Net과 계획기는 백그라운드에서만 실행됐다. 3시간을 초과해 자료를 모았지만 자전거 장면을 확보하지 못해 `BIKE` 대신 `PEDESTRIAN` 개념을 사용했다. 드물지만 중요한 상황이 실제 검증 자료에서 얼마나 쉽게 빠질 수 있는지를 보여주는 대목이다.
설명 뒤 선택 정확도와 확신도를 합친 정신모형 지표는 전문가 9명 중 8명, 일반인 30명 중 27명에게서 개선됐다. 그러나 정신모형과 실제 예측 정답률은 같은 지표가 아니다. 전체 예측 정답률은 전문가가 37.04%에서 44.44%, 일반인이 26.67%에서 53.33%로 변했지만, 전문가의 `BIKE` 예측은 77.78%에서 77.78%로 그대로였다.
SAGAT, 즉 영상을 멈추고 참가자가 무엇을 지각하고 이해하며 다음 상황을 어떻게 예상하는지 확인하는 상황인식 평가에는 99명이 분석됐다. 돌발상황에서 설명군의 효과크기 d는 지각 1.290, 이해 0.996, 예측 0.606이었고 95% 신뢰구간은 각각 0.857~1.723, 0.578~1.413, 0.203~1.009였다. 세 지표는 보정 뒤에도 통계적으로 유의했다. 반면 일상상황의 이해는 설명군이 낮은 방향이었고, 보정 뒤 유의한 효과로 인정되지 않았다.
설명의 충실성과 현실의 정확성은 다르다
개념 분류 자체의 성능은 중요한 한계다. 두 학습셋은 50만 시나리오·8개 개념과 300만 시나리오·10개 개념으로 구성됐고, 시나리오마다 146개 궤적을 곱하면 개념 분류 학습점은 7300만~4억3800만 개다. 그런데 5% 홀드아웃에서 두 데이터셋 평균 성능은 정확도 54%, 정밀도 23%, 재현율 77%, F1 0.31이었다. F1은 정밀도와 재현율의 균형을 보는 값이다. `SLOW`의 F1은 0.82였지만 `BIKE`는 정확도 0.21, 정밀도 0.00, 재현율 0.42, F1 0.00으로 개념별 편차가 컸다. 모델이 개념에 의존한다는 것과 그 개념이 현실의 물체를 정확히 알아본다는 것은 별개의 문제다.
실차 사례도 `CLOSE`, `ASV`, `BIKE` 세 종류에 그쳤다. 복잡한 교차로와 다차로, 다른 계획기로 결과를 일반화할 근거는 아직 없다. 충돌률, 사고예방률, 제동거리, 인수운전 시간도 비교하지 않았다. 실차 가중치와 원 센서 로그, 내부 체크포인트, 계획기 학습 코드는 공개되지 않아 차량 결과의 완전한 독립 재현도 어렵다. Motional은 연구비와 차량, 운영인력, 기술지원을 제공했으며 회사 연구자들도 연구 과정에 참여했다.
국내에서도 교통수단과 교통체계의 주요 작동·운영에 쓰이는 AI는 고영향 AI가 될 수 있다. 해당 사업자에게는 위험관리와 사람의 감독, 문서 보관, 기술적으로 가능한 범위의 설명 방안 등이 요구될 수 있다. 자율주행자동차 성능인증 기준도 전방 도로 이용자 감지·정지와 충돌위험 때 비상운행, 위험상황 경고·표시 등을 요구한다. 그러나 CW-Net처럼 실시간 개념 확률을 표시하라는 명시적 의무는 확인되지 않았다. 연구 지원사 Motional은 현대자동차그룹이 다수 지분을 보유한 합작사지만, 이번 연구는 미국에서 수행됐으며 국내 양산차나 한국 도로에서 검증된 결과가 아니다.
이 연구가 입증한 것은 ‘설명 가능한 AI가 사고를 줄였다’는 결론이 아니다. 안전하게 끝난 장면 뒤에서도 인식, 계획, 설명, 비상제동 가운데 어느 계층이 성공하고 실패했는지를 사람이 구분할 가능성을 보여줬다. 자전거 앞에서 멈춘 차보다 더 중요한 질문은 그래서 남는다. 차가 멈췄다는 결과만 볼 것인가, 아니면 무엇이 차를 멈췄는지까지 확인할 것인가.
자료: 매사추세츠공과대 컴퓨터과학·인공지능연구소, 매사추세츠공과대 항공우주학과, Motional AD, 하버드대 심리학과·뇌과학센터, 과학기술정보통신부, 국가법령정보센터, 국토교통부, TS한국교통안전공단, 현대자동차그룹