의료 AI 진단 보조, 비전문가는 오류도 맹신…전문성 격차 개인정보 위험 키운다

핵심 요약

- MIT 연구, LLM 기반 의료 진단 보조 시스템 사용 시 비전문가는 AI의 잘못된 판단도 그대로 따르는 반면, 임상 전문가는 AI 오류를 효과적으로 포착함을 확인 - 전문성 수준에 따른 AI 의존도 격차가 민감 의료정보 오판단과 개인정보 오용 위험을 증폭시키는 구조적 취약점으로 작용 - AI 거버넌스 관점에서 사용자 전문성 기반 접근 통제와 의료 AI 출력 검증 메커니즘 강화 필요성 제기

주요 내용

MIT 연구팀이 2026년 8월 4일 발표한 연구 결과에 따르면, LLM(대규모언어모델) 기반 의료 진단 보조 시스템의 효과는 사용자의 전문성 수준에 따라 극명하게 달라지는 것으로 나타났다. 임상 전문가들은 AI가 제시한 진단 정보의 오류를 효과적으로 식별하고 수정할 수 있었던 반면, 의료 지식이 부족한 비전문가들은 AI가 제공한 잘못된 진단 정보를 그대로 수용하는 경향을 보였다.

이번 연구는 의료 AI 보조 시스템이 단순히 기술적 정확도만으로 평가될 수 없으며, '누가 사용하는가'에 따라 전혀 다른 결과를 초래할 수 있음을 실증적으로 보여준다. 특히 비전문가가 의료 AI를 맹목적으로 신뢰할 경우, 잘못된 진단으로 이어질 수 있으며 이는 환자의 민감한 건강정보에 대한 부적절한 처리와 직결된다. 의료정보는 개인정보보호법상 민감정보로 분류되어 엄격한 보호를 받아야 하는데, AI의 오판단은 정보주체의 권리를 침해하는 중대한 결과를 낳을 수 있다.

연구진은 AI 보조 시스템이 제공하는 정보의 신뢰성과 투명성이 사용자의 전문성 수준에 맞게 차별화되어야 한다고 강조한다. 비전문가에게는 AI 판단의 불확실성과 한계를 명확히 고지하는 메커니즘이 필요하며, 전문가에게는 AI 추론 과정을 검증할 수 있는 상세 정보가 제공되어야 한다는 것이다. 이는 단순한 기술 개선을 넘어 AI 거버넌스 체계 설계의 핵심 원칙으로 자리잡아야 한다.

의료 AI 시스템의 이러한 특성은 2024년 제정된 AI기본법 시행 이후 더욱 중요한 이슈로 부각되고 있다. AI 시스템의 위험도 평가 시 '사용자 특성'을 반드시 고려해야 하며, 특히 고위험 AI로 분류되는 의료 분야에서는 사용자별 맞춤형 안전장치 구현이 법적 의무사항이 될 전망이다.

전문가 시각

ISMS-P 관점에서 의료 AI 시스템의 사용자 전문성 격차 문제는 접근통제(2.5), 개인정보 처리 단계별 요구사항(3.1), 민감정보 처리 최소화(3.1.3) 영역과 직접 연결된다. 비전문가가 의료 AI를 통해 민감 건강정보를 처리할 경우, 정보주체 권리 보장 측면에서 중대한 공백이 발생할 수 있다. 실무적으로는 ① 사용자 전문성 수준별 AI 기능 제한(예: 비전문가에게는 참고용으로만 제공, 최종 판단 불가), ② AI 판단 결과에 대한 전문가 검증 절차 의무화, ③ AI 오류 발생 시 책임 소재 명확화를 포함한 거버넌스 체계 구축이 시급하다.

의료기관 및 헬스케어 서비스 제공자는 LLM 기반 진단 보조 시스템 도입 시 반드시 사전영향평가를 수행해야 한다. 특히 '바이브 코딩' 방식으로 빠르게 개발된 의료 AI 프로토타입의 경우, 자동 생성된 코드에 인증·권한 검증 로직이 누락되거나 민감정보 암호화 처리가 미흡할 가능성이 높다. 실제로 AI 자동 생성 코드는 SQL 인젝션, 불충분한 세션 관리, 경쟁조건(race condition) 등 전형적인 보안 취약점을 내포하는 경향이 있어, 의료정보 유출 사고로 직결될 수 있다. 개발 단계에서부터 보안 코드 리뷰와 SAST(정적 애플리케이션 보안 테스트) 도구 활용이 필수적이다.

CPPG·ISMS-P 연계 포인트

1. 민감정보 처리 시 안전성 확보 조치 (개인정보보호법 제23조, ISMS-P 3.1.3)
의료정보는 민감정보에 해당하며, AI 시스템이 이를 처리할 때 별도의 동의 및 안전조치가 요구된다. 사용자 전문성에 따른 접근 제한, AI 판단 결과의 로깅·감사 체계, 오류 발생 시 신속한 정정 절차 등이 안전성 확보 조치에 포함되어야 한다.

2. 자동화된 의사결정에 대한 정보주체 권리 (AI기본법 제34조, GDPR Article 22 유사 개념)
AI가 의료 판단에 실질적 영향을 미치는 경우, 정보주체는 자동화된 결정의 근거를 설명받고 이의를 제기할 권리를 가진다. 특히 비전문가가 AI 결과를 맹신하는 상황에서는 '설명 가능한 AI(XAI)' 구현과 인간 개입 메커니즘(human-in-the-loop) 확보가 필수적이다.