의료 AI를 더 신뢰할 수 있도록, KISDI와 함께한 인공지능 윤리점검표 이야기

안녕하세요, 에이아이트릭스 RA팀 길상희입니다! 😊

 

RA팀은 에이아이트릭스의 의료 AI 솔루션이 관련 기준과 규제 요건을 충족하며 개발되고 운영될 수 있도록, 제품 개발부터 허가, 이후 관리까지 여러 과정을 살피고 있습니다. 이번에는 조금 특별한 작업에 함께하게 되었는데요. 바로 정보통신정책연구원(KISDI)과 함께 AI 헬스케어 분야의 인공지능 윤리점검표를 도출하는 일이었습니다.💡

 

‘AI 윤리’라고 하면 조금 거창하고 먼 이야기처럼 느껴질 수 있습니다. 하지만 저희 팀에게는 사실 익숙한 질문의 연장선에 가까웠어요.

 

"이 기술이 실제 의료 현장에서 안전하게, 그리고 올바르게 쓰이고 있는가?"

이번 작업은 이 질문을 더 구체적인 기준으로 풀어가는 과정이었습니다. 점검표를 마련하며 어떤 고민을 했는지, 그리고 이 점검표가 의료 AI를 만드는 과정에서 어떤 의미를 갖는지 함께 나눠보려 합니다.

---

📍 왜 의료 AI에 윤리점검표가 필요할까?

AI 윤리는 어떤 산업에서든 중요하지만, 의료 AI에서는 그 무게가 조금 더 크게 다가옵니다.

의료 AI가 다루는 데이터에는 환자의 민감한 정보가 포함되어 있고, AI가 내놓는 결과는 의료진의 판단과 환자 안전에 영향을 줄 수 있기 때문입니다. 특히 진단 보조 등의 과정에서 투명성이 확보되지 않거나, 사용 이후 책임 소재가 불분명하다면 그 결과는 단순한 오류가 아니라 치명적인 상황으로 이어질 수 있습니다.

 

하지만 기존의 범용 AI 윤리 기준만으로는 실제 의료 AI 개발과 운영 과정에 그대로 적용하기 어려운 부분이 있었습니다. 의료 AI를 만드는 현장에서 윤리 기준을 어떻게 확인하고, 어떤 방식으로 실천해야 하는지에 대한 구체적인 기준이 필요했던 거죠.

 

이번 인공지능 윤리점검표는 바로 이 지점을 채우기 위해 마련되었습니다. 의료 AI가 개발되는 과정부터 실제 운영과 사후관리까지, 우리가 놓치고 있는 윤리적 요소는 없는지 스스로 점검할 수 있도록 돕는 기준인 거죠. 🔎

 

결국 윤리점검표는 의료 AI의 신뢰성을 높이고, 기술이 더 안전하고 책임 있는 방식으로 활용될 수 있도록 돕는 중요한 안전장치라고 할 수 있습니다.

 

📍 기준을 따르는 것을 넘어, 기준을 함께 만들다

이번 협업은 KISDI가 추진한 인공지능 윤리 점검체계 개발 사업의 일환으로 시작됐습니다. KISDI는 기존 범용 AI 윤리 기준이 실제 산업 현장에서 구체적으로 활용되기 어렵다는 점에 주목하고, 매년 특정 산업을 대상으로 실제로 적용할 수 있는 분야별 점검표를 기업과 함께 만들어오고 있는데요.

 

에이아이트릭스는 2025년 AI 헬스케어 분야의 대표 기업으로 참여했습니다.🤝

특히 AI 헬스케어 기업 최초의 사례라는 점에서, 이번 작업은 단순히 새로운 점검표를 마련했다는 것 이상의 의미가 있었습니다. 

 

AI 헬스케어는 사회적 논의와 윤리적 우려가 큰 영역이지만, 동시에 실제 의료 현장에서의 활용 가능성과 필요성도 빠르게 커지고 있습니다. 그만큼 기술을 어떻게 개발하고, 어떤 기준 아래 운영하며, 이후에는 어떻게 관리해 나갈 것인지에 대한 논의가 중요해지고 있죠.

 

이번 협업은 에이아이트릭스가 AI 헬스케어의 윤리 기준을 선제적으로 구체화하고, 그 기준을 마련하는 논의에 직접 참여했다는 점에서 의미가 있습니다. 그동안 쌓아온 인공지능 신뢰성 관련 활동과 의료기기 개발 경험을 바탕으로, 의료 AI의 특성을 반영한 점검 기준을 함께 만들어낼 수 있었습니다.

 

📍 기획부터 사후관리까지, 무엇을 점검할까?

이번에 도출한 인공지능 윤리점검표는 10가지 핵심 요건을 중심으로 구성되어 있습니다.

✅ 점검표는 의료 AI의 생애주기, 즉 기획과 데이터 수집부터 설계·개발, 그리고 실제 운영과 사후관리까지 전 과정을 따라가는 구조로 체계화되어 있는데요. 각 단계에서 확인해야 할 내용을 간략히 소개하면 이렇습니다.

 

1. 초기 기획 및 데이터 수집 단계에서는 환자 데이터의 프라이버시 보호와 민감한 정보의 안전한 관리를 가장 먼저 확인합니다. 어떤 데이터를 어떤 방식으로 수집하고 활용하는지, 다양한 환자군과 사용 환경을 충분히 고려했는지를 살피는 거죠.
2. 설계 및 개발 단계에서는 안전성과 투명성이 핵심이에요. AI가 내놓는 결과가 의료 현장에서 안전하게 작동하는지, 의료진이 그 결과를 이해하고 활용할 수 있는 방식으로 설명되는지를 집중적으로 점검하죠.
3. 운영 및 사후관리 단계에서는 책임성과 지속적인 감시가 중요합니다. 실제 사용 중 문제가 발생했을 때 책임 소재와 대응 체계가 명확한지, 인권 보장이나 다양성 존중 같은 가치가 운영 과정에서도 유지되고 있는지를 지속적으로 확인해야 해요.

이처럼 10대 요건은 의료 AI가 만들어지고 쓰이는 모든 단계에서 실제로 확인할 수 있는 핵심 가이드라인 역할을 합니다.

 

📍 막연한 윤리를 확인 가능한 질문으로

이번 점검표를 마련하면서 가장 중점적으로 고려했던 부분은 실제 의료기기 개발 사이클을 반영하는 것이었습니다.

 

예를 들어 '다양성 존중'이라는 요건을 보면, 중요한 가치라는 건 누구나 알지만 막상 현장에서는 이를 어떻게 확인해야 할지 막막할 수 있어요. 그래서 이번 점검표에서는 ‘개발·운영 단계에서 의료진과 환자 등 다양한 집단의 의견을 청취하는 절차를 마련했는가?’ 문항처럼, 실제 업무 안에서 확인할 수 있는 문항으로 구체화하는 데 집중했습니다.

 

이는 실제 의료기기 개발 초기 단계의 시장조사나, 설계 시 진행하는 사용적합성 평가 과정과도 맞닿아 있습니다. 이미 수행하고 있는 업무 안에서 윤리적 요건을 자연스럽게 재확인할 수 있도록 설계된 거죠.

 

결국 이번 점검표는 별도의 낯선 기준을 새롭게 만든 것이 아니라, 현재 수행하고 있는 업무 속에서 윤리적 요건을 자연스럽게 점검할 수 있도록 돕는 기준에 가깝습니다.📝

 

📍 다양한 관점이 모여 더 촘촘해진 기준

점검표를 만드는 과정에서 가장 기억에 남는 순간은, KISDI와 함께 다양한 배경을 가진 전문가들과 머리를 맞댔던 자문회의였습니다.👥  

 

저희 팀은 의료기기 개발 최전선에 있다 보니, 아무래도 기술적인 구현과 규제 대응에 집중하는 경향이 있었는데요. 그런데 타 분야 AI 기업 관계자부터 법조인, 의료인까지 각계각층의 전문가들과 함께 논의하면서 생각의 폭이 넓어지는 걸 느꼈습니다. 특히 개인정보보호위원회의 최신 지침이나 의료법의 세부적인 쟁점처럼, 저희가 미처 세밀하게 살피지 못했던 부분에 대해 깊이 있는 피드백을 받았을 때가 무척 인상적이었습니다.

 

서로 다른 관점을 가진 전문가들이 '안전하고 신뢰받는 의료 AI'라는 공통의 목표를 향해 의견을 나누는 과정을 통해, 부족했던 점들을 촘촘하게 보완할 수 있었죠.

 

이 과정을 거치며 다시 한번 느낀 것은, AI 헬스케어 윤리는 어느 한쪽의 노력만으로 완성되는 것이 아니라는 점이었습니다. 기술적인 이해뿐 아니라 법적·사회적 맥락을 함께 아우르는 입체적인 시각이 필요하고, 그 시각은 결국 다양한 분야의 사람들이 한자리에 모일 때 더 단단해진다는 것을 체감할 수 있었어요.

 

 

📍 그렇다면, 의료진과 환자에게는 어떤 의미가 있을까?

이번 점검표는 기업만을 위한 기준이 아닙니다. 실제로 이 기술을 사용하는 의료진과 환자에게도 의미 있는 변화를 가져올 수 있어요.

• 🛡️ 환자 입장에서는 자신의 민감한 데이터가 어떤 기준 아래 수집되고 활용되는지, AI가 안전하게 개발되고 관리되고 있는지를 확인할 수 있는 근거가 생깁니다. 기술에 대한 막연한 불안감을 신뢰로 전환할 수 있는 밑거름이 되는 거죠.
• 🩺 의료진에게는 AI가 의료 현장의 특수성을 고려해 개발되고 운영되고 있다는 점을 확인할 수 있는 기준이 됩니다. 그 안심이 쌓일 때, AI를 보다 적극적으로 임상 의사결정의 파트너로 활용할 수 있는 환경이 만들어질 수 있습니다.

결국 의료 현장에서 AI의 가치는 높은 정확도만으로 완성되지 않습니다. 윤리적 기준이 함께할 때 비로소 의료진과 환자가 신뢰할 수 있는 기술이 되죠. 이번 점검표는 그 신뢰를 만들어가는 하나의 기준점이 될 것입니다.

 

📍 신뢰 가능한 의료 AI를 위한 내부 이정표

에이아이트릭스는 이번에 도출한 윤리점검표를 자사 AI 솔루션의 개발과 운영 과정을 스스로 돌아보는 내부 가이드라인으로 활용해 나갈 계획입니다.

 

가장 중요하게 생각하는 변화는, 제품의 시작부터 사후관리까지 전 과정에서 ‘우리가 놓치고 있는 윤리적 기준은 없는지’를 상시적으로 점검할 수 있는 환경을 만드는 거예요. 이를 위해 현재의 개발 프로세스 안에서 안전성과 신뢰성을 자연스럽게 확인할 수 있도록 내부 관리 체계를 차근차근 고도화해 나갈 예정입니다.

 

이러한 노력은 에이아이트릭스가 지향하는 신뢰 가능한 의료 AI를 만들기 위한 자발적인 준비 과정이기도 합니다. 앞으로도 이번 점검표를 하나의 이정표 삼아, 의료진과 환자 모두가 안심하고 사용할 수 있는 기술을 구현하기 위해 내실 있는 노력을 이어가겠습니다.

 

📍 신뢰받는 의료 AI 생태계를 향해

이번 협업은 규제 대응을 중심으로 바라보던 시야를 넓혀, 우리 제품이 사용자와 맞닿는 접점을 어떻게 더 세심하게 관리해야 하는지 다시금 고민해본 소중한 기회였습니다.😌

 

의료기기는 환자의 안전성과 유효성을 입증하는 것이 무엇보다 중요하기 때문에, 그동안은 필수적인 법적 요건을 충족하는 데 집중해온 면이 있었습니다. 하지만 이번 점검표를 구체화하는 과정을 거치며, 제품이 사용자와 만나는 모든 과정에서 함께 살펴야 할 윤리적 요소들이 생각보다 훨씬 촘촘하다는 것을 체감할 수 있었어요.

 

앞으로 의료 AI는 더욱 고도화되고, 전문 의료진뿐 아니라 일반 사용자와 만나는 서비스로도 점차 확장될 것입니다. 그만큼 윤리 기준 역시 의료 정보 접근성, 데이터 관리, 기술 의존도처럼 실제 사용 과정에서 발생할 수 있는 다양한 이슈를 더 세밀하게 고려하는 방향으로 발전해야 합니다.

 

에이아이트릭스는 기술적 성능에만 머무르지 않고, 우리의 기술이 의료 현장과 일상 속에서 어떻게 더 건강하게 쓰일 수 있을지 계속 자문하고 점검하는 문화를 만들어가고자 합니다. 더불어 업계 전반에서도 윤리를 단순한 규제나 의무가 아니라, 제품의 본질적인 경쟁력이자 신뢰를 만드는 기준으로 바라보는 문화가 확산되길 기대합니다.

 

앞으로도 에이아이트릭스는 혁신적인 기술뿐 아니라, 그 기술이 쓰이는 과정까지 세심하게 살피며 신뢰할 수 있는 의료 AI 솔루션을 만들어가겠습니다! 🚀