다양한 환경·데이터 속에서도 통하는 AI — MAES 모델의 현장 성능 검증과 결측값 해석

의료 인공지능(AI)은 개발 과정에서 뛰어난 성능 지표를 확보하는 것만큼이나, 실제 임상 현장에서 안정적이고 재현 가능한 성과를 내는 것이 중요합니다. 임상 환경에서도 개발 단계와 동일한 우수한 성능을 유지하는 것은 의료 AI의 신뢰성과 가치를 높이는 핵심 요소기 때문인데요.

 

에이아이트릭스는 이러한 현장 검증의 중요성을 기반으로, AITRICS-VC(바이탈케어) MAES 모델이 실제 병원 환경에서 어느 정도의 성과를 낼 수 있는지를 확인하기 위해 두 편의 연구를 수행했습니다. 한 편은 새로운 병원 환경에서의 전향적 외부 검증을 통해 모델의 범용성과 안정성을 확인했고, 다른 한 편은 데이터 결측치(Missing Data)에 담긴 임상의 판단 가치를 탐구했습니다.

 

---

 

📌 병원 환경이 달라져도 안정적인 예측 성능 — 전향적 외부 검증 연구

 

첫 번째 연구(Prospective External Validation of a Deep Learning–Based Early Warning System for Major Adverse Events in General Wards)는 MAES 모델이 개발된 환경과는 전혀 다른 병원에서 얼마나 잘 작동하는지를 평가했습니다. MAES는 세브란스병원의 데이터를 기반으로 개발됐지만, 연구진은 계명대학교 동산병원에서 전향적 단일기관 연구를 설계해 실제 병동 운영 상황 속에서 성능을 검증했습니다.

 

연구 대상은 일반병동에 입원한 환자들이었으며, 예측 목표는 사망·심정지·중환자실 전실과 같은 급성 중증 이벤트였습니다. 분석 결과, MAES는 기존의 조기경보 시스템인 NEWS와 MEWS 대비 우수한 성능을 보였습니다. 동일한 특이도 조건에서는 약 42% 높은 예측 정확도를 달성했고, 동일한 민감도 조건에서는 오경보(False Alarm) 발생률이 약 67% 감소했습니다.

 

이 연구가 갖는 차별성은 명확합니다. 기존 연구의 상당수가 개발 병원 내부 데이터나 후향적 분석에 의존한 것과 달리, 이번 검증은 실제 환자 데이터가 생성되는 시점에서 실시간으로 모델을 평가하는 전향적(prospective) 방식을 채택했습니다. 이를 통해 MAES의 일반화 가능성, 즉 새로운 환경에서도 일관된 성능을 발휘할 수 있는 능력을 실질적으로 입증한 첫 사례가 되었습니다.

 

 

📌 결측치를 ‘데이터 공백’이 아닌 ‘임상의 판단’으로 해석하다

 

두 번째 연구(Preserving Informative Presence: How Missing Data and Imputation Strategies Affect the Performance of an AI-Based Early Warning Score)는 같은 외부 검증 데이터를 가지고 진행됐지만 “결측값은 단순히 채워야 할 공백일까, 아니면 임상의의 의도가 담긴 정보일까?”라는 전혀 다른 질문에서 시작했어요.

 

의료 현장에서 모든 환자에게 모든 검사를 수행하는 경우는 드뭅니다. 어떤 검사가 시행되지 않았다면, 이는 종종 환자의 상태가 안정적이라 판단했거나 추가 검사가 불필요하다고 본 결정의 결과일 수 있습니다. 이러한 검사 생략 자체가 하나의 임상 신호일 수 있다는 가정에서 연구가 시작됐습니다.

 

연구진은 세 가지 결측치 처리 방식을 비교했습니다.

1. 이전 관찰값을 유지하는 LOCF(Last Observation Carried Forward) 방식

2. 결측치를 정상 범위 값으로 대체하는 방식

3. 모든 검사를 강제로 시행하도록 시뮬레이션한 방식

 

그 결과, LOCF와 정상치 대체 방식이 강제 검사 시뮬레이션보다 더 우수한 예측 성능을 보였습니다. 이는 데이터 결측 자체에 의료진의 판단이 반영되어 있으며, 그 판단이 모델 예측에 긍정적인 영향을 미칠 수 있음을 보여줍니다. 즉, 결측치를 단순한 결함으로만 보고 기계적으로 채우는 것보다, 그 의미를 존중하는 것이 임상 AI의 성능 향상에 도움이 될 수 있다는 중요한 메시지를 남겼습니다.

 

 

---

 

 

이번 두 편의 연구는 MAES 모델이 환경 변화에도 흔들리지 않는 안정성과 의료진의 실제 판단을 반영하는 예측 능력을 동시에 갖추고 있음을 보여주는데요.

 

에이아이트릭스는 앞으로도 다양한 병원, 다양한 환자군, 그리고 다양한 국가 환경에서 MAES 모델을 비롯한 의료 AI 솔루션을 검증하며 범용성과 신뢰성을 지속적으로 강화할 계획입니다. 그리고 이러한 과정을 통해 환자 안전과 치료 효율성 개선에 기여하는 ‘현장을 이해하는 AI’를 실현해 나갈 것입니다.

 

 

📄 관련 논문
· [Prospective External Validation of a Deep Learning–Based Early Warning System … 논문 보기]
· [Preserving Informative Presence: How Missing Data and Imputation Strategies … 논문 보기]