생성형 AI 활용 증가로 계정·소스코드 유출 급증...AI 안전벨트 필요성 대두

핵심 요약

- 2026년 현재 임직원의 생성형 AI 활용 과정에서 기업 핵심 기밀 소스코드가 외부 AI 모델에 학습되는 유출 사고가 빈발하고 있음 - 악성 공격을 통한 서버 내 대규모 고객 개인정보 및 계정 데이터 탈취 사고가 심각한 수준으로 증가 - 자동차 안전벨트처럼 필수적인 'AI 안전벨트' 도입의 필요성이 산업계 전반에 제기되고 있음

주요 내용

2026년 7월 현재 생성형 AI의 급속한 확산과 함께 기업의 핵심 정보자산 유출 위험이 새로운 국면을 맞이하고 있다. 특히 임직원들이 업무 효율성 제고를 위해 ChatGPT, Claude, Gemini 등 생성형 AI 도구를 활용하는 과정에서 의도치 않게 기업의 민감한 소스코드, 고객정보, 영업기밀 등을 외부 AI 모델에 입력하는 사례가 급증하고 있다.

문제의 심각성은 입력된 데이터가 AI 모델의 학습 데이터로 활용될 수 있다는 점이다. 한 번 외부 AI 모델에 학습된 정보는 회수가 사실상 불가능하며, 향후 다른 사용자의 질의응답 과정에서 유출될 가능성이 상존한다. 이는 전통적인 정보 유출 사고와는 전혀 다른 양상으로, 유출 경로 추적이 어렵고 피해 범위 특정이 불가능하다는 특징을 지닌다.

동시에 악성 공격을 통한 대규모 계정 정보 및 개인정보 탈취 사고도 지속적으로 발생하고 있다. 공격자들은 탈취한 계정 정보를 다크웹에서 거래하거나, 크리덴셜 스터핑(Credential Stuffing) 공격에 활용하여 2차, 3차 피해를 양산하고 있다. 특히 패스워드 재사용 관행이 여전한 국내 환경에서는 한 곳의 계정 유출이 다수 서비스의 계정 탈취로 연쇄 확산되는 양상을 보인다.

업계에서는 이러한 위협에 대응하기 위해 '안전벨트'와 같은 필수 보안 통제 수단의 도입을 주장하고 있다. 자동차 안전벨트가 법적 의무이자 생명을 지키는 최소한의 안전장치인 것처럼, 생성형 AI 활용 환경에서도 데이터 유출 방지를 위한 기본적인 기술적·관리적 통제가 필수적이라는 인식이 확산되고 있다.

전문가 시각

ISMS-P 선임심사원으로서 현장 심사 시 가장 우려되는 부분은 생성형 AI 활용에 대한 조직의 통제 체계가 거의 부재하다는 점이다. 대부분의 기업이 임직원의 생성형 AI 사용 현황을 파악하지 못하고 있으며, 관련 보안 정책이나 가이드라인조차 마련하지 않은 경우가 많다. 특히 개발자들이 코드 리뷰나 디버깅 목적으로 소스코드 전체를 생성형 AI에 입력하는 행위는 즉각적인 영업비밀 유출로 이어질 수 있어 시급한 통제가 필요하다.

실무적으로는 ▲생성형 AI 활용 정책 수립 및 전 직원 교육 ▲민감정보 입력 차단을 위한 DLP(Data Loss Prevention) 솔루션 도입 ▲기업용 폐쇄형 AI 모델 구축 검토 ▲입력 데이터 모니터링 및 주기적 감사 체계 마련이 우선 과제다. 또한 계정 유출 대응을 위해서는 다단계 인증(MFA) 의무화, 패스워드리스(Passwordless) 인증 전환, 특권 계정 관리 강화, 이상 접근 탐지 시스템 구축 등이 병행되어야 한다. 이는 더 이상 선택이 아닌 필수 통제 항목으로 자리잡아야 할 시점이다.

ISMS-P 심사원 체크포인트

1. ISMS-P 2.8.2 (개인정보 전송 시 보호대책) + 개인정보보호법 제29조 생성형 AI 서비스로의 개인정보 전송은 제3자 제공 또는 국외 이전에 해당할 수 있다. 심사 시 ▲생성형 AI 활용 현황 파악 여부 ▲개인정보 입력 금지 정책 수립 및 교육 이행 여부 ▲DLP 등 기술적 차단 수단 적용 여부 ▲AI 서비스 제공자와의 데이터 처리 계약 체결 여부를 중점 점검한다. 특히 개인정보보호법 제29조(안전조치의무) 위반 시 과태료 및 손해배상 책임이 발생할 수 있다.

2. ISMS-P 2.5.3 (접근권한 관리) + 2.6.4 (사용자 계정 관리) 계정 정보 유출 사고는 대부분 접근권한 관리 미흡에서 기인한다. 심사 시 ▲특권 계정 분리 및 정기 검토 여부 ▲다단계 인증 적용 범위 ▲패스워드 정책 강도(복잡도, 변경주기, 재사용 제한) ▲휴면계정 및 퇴직자 계정 삭제 절차 ▲로그인 실패 탐지 및 계정 잠금 정책을 확인한다. 특히 개인정보보호법 시행령 제30조의 접근통제 기준 준수 여부가 핵심이다.

3. ISMS-P 2.10.4 (개인정보 유출사고 대응) + 개인정보보호법 제34조 계정·개인정보 유출 사고 발생 시 ▲24시간 이내 한국인터넷진흥원(KISA) 신고 의무 이행 여부 ▲정보주체 통지 및 홈페이지 공지 적정성 ▲침해 범위 및 원인 분석 수행 여부 ▲재발방지 대책 수립 및 이행 여부를 점검한다. 개인정보보호법 제34조 미준수 시 최대 5억 원 이하의 과징금이 부과될 수 있으며, 집단소송으로 확대될 위험도 상존한다.

CPPG·ISMS-P 연계 포인트

생성형 AI와 개인정보 제3자 제공·국외이전 생성형 AI 서비스 활용 시 입력 데이터가 서비스 제공자(OpenAI, Google 등)에게 전송되므로, 개인정보 포함 시 '제3자 제공' 또는 '국외 이전'에 해당한다. 개인정보보호법 제17조(동의), 제28조의8(국외이전 고지) 요건 충족이 필수이며, ISMS-P 2.8.2 및 2.9.3 통제 항목과 직결된다. 기업은 AI 활용 정책에 개인정보 입력 금지 원칙을 명시하고, 기술적 차단 수단(DLP, API 게이트웨이)을 적용해야 한다.

계정정보의 개인정보 해당성 및 암호화 의무 ID, 패스워드, 이메일 주소 등 계정정보는 '개인을 식별할 수 있는 정보'로서 개인정보에 해당한다. 개인정보보호법 시행령 제30조에 따라 패스워드는 일방향 암호화(해시) 저장이 의무이며, ISMS-P 2.7.2(암호화 적용) 기준에서도 필수 통제 대상이다. 계정 유출 사고 시 암호화 미적용은 안전조치의무 위반(제29조)으로 간주되어 과태료 및 민사상 손해배상 책임이 가중된다. CPPG 시험에서는 개인정보의 범위, 안전조치기준, 유출 통지 의무와 연계하여 출제된다.