AI 챗봇 중독 방지 규제 확산…개인정보보호·정신건강 이슈 부상

핵심 요약

- 각국 정부가 AI 챗봇과의 과도한 감정적 교류로 인한 중독 문제에 대응해 하루 2시간 이용 제한 등 규제 도입 검토 중 - 2021년 국내 '이루다' 사건에서 드러난 개인정보 무단 수집·활용 문제가 2026년 현재까지 AI 챗봇 서비스의 핵심 쟁점으로 지속 - AI 챗봇과의 대화 데이터 수집·분석 과정에서 민감정보 노출, 프로파일링, 2차 활용 등 개인정보보호 리스크 증가

주요 내용

2014년 개봉한 영화 '그녀(Her)'에서 묘사된 AI와의 감정적 교류가 2026년 현실이 되면서 각국 정부가 규제에 나서고 있다. 특히 청소년과 취약계층의 AI 챗봇 과의존 문제가 심화되면서, 일부 국가들은 하루 2시간 이용 제한, 연령별 차등 규제 등을 검토하고 있다. AI 챗봇 서비스가 제공하는 24시간 공감적 대화는 사용자의 심리적 의존도를 높이며, 실제 인간관계 형성 능력 저하와 정신건강 문제로 이어질 수 있다는 우려가 커지고 있다.

국내에서는 2021년 스캐터랩의 'AI 챗봇 이루다' 사건이 전환점이 되었다. 당시 개인정보보호위원회는 스캐터랩이 카카오톡 대화 내용을 이용자 동의 없이 수집·활용했다는 이유로 과징금과 과태료 총 1억여 원을 부과했다. 이루다는 약 100억 건의 카카오톡 대화 데이터를 학습했으나, 수집 과정에서 개인정보 제공 동의를 적법하게 받지 않았고, 성적 지향, 정치적 견해 등 민감정보가 포함된 데이터를 충분히 비식별화하지 않아 개인정보보호법을 위반했다.

5년이 지난 2026년 현재, AI 챗봇 서비스는 더욱 정교해졌지만 개인정보보호 이슈는 여전히 해결되지 않았다. 사용자와의 대화 내역은 AI 모델 개선을 위한 학습 데이터로 활용되며, 이 과정에서 개인의 감정 상태, 고민, 관계, 건강 정보 등 극도로 민감한 정보가 수집된다. 특히 청소년이 AI 챗봇과 나눈 대화에는 학교생활, 가족관계, 성적 정체성 등 보호가 필요한 정보가 포함될 가능성이 높다. 일부 서비스는 대화 데이터를 기반으로 사용자 프로파일링을 수행하고, 이를 타겟 광고나 제3자 제공에 활용하는 것으로 알려졌다.

각국의 규제 움직임은 이용 시간 제한뿐 아니라 데이터 처리 투명성 강화로도 확대되고 있다. EU AI Act는 감정 인식·조작 가능성이 있는 AI 시스템에 대해 높은 수준의 투명성과 사용자 고지를 요구하며, 국내에서도 2024년 제정된 AI기본법 후속 조치로 AI 챗봇 서비스의 개인정보 처리 가이드라인 마련이 논의되고 있다.

전문가 시각

ISMS-P 심사 현장에서 AI 챗봇 서비스를 운영하는 기업들의 가장 큰 취약점은 '대화 데이터의 생애주기 관리 부재'다. 많은 사업자가 사용자 대화를 무기한 보관하거나, 학습 완료 후 원본 데이터 삭제 절차를 마련하지 않고 있다. 개인정보보호법 제21조(개인정보의 파기)와 제3조(개인정보 보호 원칙)에 따라, 수집 목적 달성 후 지체 없이 파기해야 하며, 최소 수집 원칙을 준수해야 한다. 특히 민감정보가 포함된 대화 로그는 가명처리만으로는 불충분하며, 재식별 위험 평가와 함께 암호화, 접근 통제, 감사 로그 등 기술적·관리적 보호조치가 필수적이다.

청소년 대상 AI 챗봇 서비스를 운영하는 경우, 아동·청소년의 개인정보 보호에 관한 법률(약칭 청소년보호법) 및 개인정보보호법 제22조의2(만 14세 미만 아동의 개인정보 보호) 준수가 중요하다. 법정대리인 동의 확보, 대화 내용의 유해성 필터링, 정신건강 위험 신호 감지 시 보호자 통보 등의 안전장치가 필요하다. 2026년 7월 현재 교육부의 '디지털새싹' 사업 등에서 AI 챗봇을 교육 보조 도구로 활용하는 사례가 증가하고 있으나, 학생 데이터 수집·활용에 대한 명확한 정책과 학부모 동의 절차 없이 도입하는 것은 법적 리스크를 초래할 수 있다.

CPPG·ISMS-P 연계 포인트

1. 민감정보 처리 시 별도 동의 (개인정보보호법 제23조)
AI 챗봇 대화에는 건강, 성생활, 사상·신념 등 민감정보가 자연스럽게 포함될 수 있다. 민감정보 처리 시 정보주체의 별도 동의를 받아야 하며, ISMS-P 인증심사 시 민감정보 처리 목록, 동의 획득 증적, 암호화 등 안전성 확보조치 적정성을 중점 점검한다.

2. AI 자동화 의사결정과 프로파일링 (GDPR 제22조, 개인정보보호법 가이드라인)
AI 챗봇이 사용자 대화를 분석해 정신건강 상태를 판단하거나, 맞춤형 콘텐츠를 추천하는 것은 자동화된 의사결정에 해당할 수 있다. 이 경우 처리 근거 마련, 프로파일링 사실 고지, 이의제기권 보장 등이 필요하며, CPPG 시험에서는 자동화 의사결정의 투명성·설명가능성 요건을 출제 포인트로 다룬다.