정확도 높은 의료 AI, 병원에서도 같을까…급성신부전 예측 모델 평가

한 번의 정확도만으로는 병원에서 계속 환자를 살피는 인공지능(AI)의 실제 쓰임새를 판단하기 어렵다는 연구 결과가 나왔다. 에이아이트릭스는 급성신부전(AKI) 예측 AI 연구 논문이 국제 학술지 'npj Digital Medicine'에 게재됐다고 28일 밝혔다.

급성신부전은 입원 환자에게 생길 수 있는 합병증 가운데 하나다. 조기에 위험을 예측하고 적절히 대응하는 일이 중요해 AI를 이용한 예측 기술 개발도 이어져 왔다. 그러나 기존 모델 다수는 특정 시점의 정확도를 나타내는 AUROC를 중심으로 성능을 평가했다. 이 방식만으로는 환자 상태가 시간에 따라 달라지고 의료진이 이를 연속해서 확인하는 실제 병원 환경을 충분히 반영하기 어렵다는 점이 연구 과제로 제시돼 왔다.

연구진은 이런 한계를 살피기 위해 국내외 3개 의료기관의 입원 환자 데이터 15만7323건을 활용했다. 이를 바탕으로 딥러닝 모델 3종과 머신러닝 모델 2종을 개발한 뒤, 실제 병원처럼 환자를 연속적으로 모니터링한다고 가정한 조건에서 각 모델의 성능을 비교·분석했다.

분석 결과 딥러닝 모델과 머신러닝 모델 사이에서 예측 성능 차이가 관찰됐다. 다만 어느 한 시점에서 정확도가 높았던 모델이 실제 병원 운영 환경에서도 같은 특성을 보인다고 볼 수는 없다는 점도 제시됐다. 단 한 번의 성능 점수와 환자 상태를 계속 추적할 때의 작동 특성이 서로 다를 수 있다는 의미다.

연구진은 의료 AI를 평가할 때 정확도뿐 아니라 임상 현장에서 어떻게 활용되는지와 운영상 어떤 특성을 보이는지도 함께 고려해야 한다고 설명했다. 구체적으로는 시간이 지나도 예측이 안정적으로 유지되는지, 의료진이 확인해야 할 경보가 얼마나 자주 발생하는지 등을 같이 평가하는 방법을 제안했다.

이경현 에이아이트릭스 연구원은 정확도가 높은 AI 모델이라도 실제 의료 환경에서의 특성을 추가로 평가할 필요가 있음을 이번 연구에서 확인했다고 말했다. 이어 시간에 따른 예측 일관성과 의료진이 확인해야 하는 경보량을 정확도와 함께 살피는 방식이 현장 평가에 참고가 될 수 있다며, 실제 의료 환경을 고려한 AI 모델 연구를 계속할 계획이라고 밝혔다.

이번 논문이 실린 npj Digital Medicine은 네이처 포트폴리오가 발행하는 디지털 헬스케어 분야 국제 학술지로, 의료 AI와 디지털 헬스 관련 연구를 게재한다.

자료: 에이아이트릭스