대화창에서 지워도 서버에는 '박제'되는 정보
직장인 A씨는 업무 효율을 높이려는 목적으로 회사 내부 자료를 챗GPT에 업로드했다. 이후 보안 문제에 대한 우려가 생겨 대화 기록을 삭제했으나, 화면상에서 내용이 사라졌다고 해서 기업 정보가 완전히 소멸된 것은 아니다. 사용자의 눈앞에서는 대화창이 비워졌을지 몰라도, 서비스 업체의 서버나 백업 시스템에는 해당 정보가 여전히 남아 있을 가능성이 크기 때문이다.
최근 챗GPT에 입력한 회사 기밀이나 개인정보가 기록 삭제 후에도 수년간 보존될 수 있다는 경고가 나왔다. 특히 인공지능 모델 학습에 활용된 데이터는 사실상 삭제가 불가능한 영역에 있어, 기업들에게 새로운 형태의 보안 위협으로 부상하고 있다. 글로벌 시장조사업체 가트너는 최근 발표한 ‘섀도우 AI(Shadow AI)’ 보고서를 통해 이러한 위험성을 공식적으로 지적했다.
통제 불가능한 '섀도우 AI'와 급증하는 유출 비용
'섀도우 AI'란 기업의 공식적인 승인이나 체계적인 관리 없이 직원들이 개별적으로 업무에 사용하는 서비스를 의미한다. 회사가 허용하지 않은 생성형 AI를 개인 계정으로 이용하는 행위가 대표적이다. 직원이 회사 컴퓨터를 사용하더라도 개인 계정으로 접속해 입력한 정보는 대화창에만 머물지 않는다. 가트너의 분석에 따르면, 입력된 자료는 대화 기록뿐만 아니라 서버의 요청 및 응답 로그, 안전성 검토 시스템, 임시 저장 공간, 백업 서버, 그리고 학습용 데이터셋 등 다양한 경로로 분산되어 저장된다. 문제는 각 저장소마다 정보의 보관 주기와 삭제 방식이 모두 다르다는 점이다.
이러한 AI 관련 보안 사고의 비중도 급격히 늘고 있다. 가트너가 인용한 IDC의 ‘2026년 데이터 유출 비용 보고서(2025년 3월 발행)’에 따르면, AI와 관련된 보안 사고가 차지하는 비중은 전년 대비 2배 이상 급증한 43%에 달했다. 사고 발생 시 발생하는 평균 피해 규모는 약 539만 달러(한화 약 72억 원)로 집계되었으며, 사고 사례 중 절반 가까이에서 실제 데이터 유출이나 침해 현상이 확인되었다.
학습된 정보는 삭제 불가, '기계 망각' 기술도 미비
가트너가 제시한 일반적인 데이터 보관 주기를 살펴보면 위험성은 더욱 구체화된다. 대화 기록과 서버의 요청·응답 기록은 삭제 후에도 약 30일간 유지될 수 있다. 만약 시스템이 위험하거나 부적절하다고 판단하여 분류한 기록은 안전성 검토 시스템에 2년에서 최대 7년까지 보관될 수 있으며, 학습용으로 수집된 데이터는 최대 5년까지 남아 있을 수 있다.
가장 심각한 지점은 모델 학습 단계다. 인공지능 모델이 특정 정보를 학습하게 되면, 해당 내용은 수많은 매개변수 속에 통계적 형태로 녹아든다. 가트너는 원본 자료를 삭제하더라도 이미 학습된 결과물에서 그 정보의 영향을 완전히 제거하는 것은 사실상 불가능하다고 설명했다. 특정 정보만 골라 지우는 ‘머신 언러닝(기계 망각)’ 기술은 아직 연구 단계에 머물러 있으며, 이미 학습을 마친 모델을 해당 정보를 제외하고 다시 학습시키는 방식은 막대한 비용 문제로 인해 현실적인 대안이 되기 어렵다.
기업 보안 정책의 사각지대와 대응 권고
서비스별로 상이한 보안 정책 또한 주의 대상이다. 동일한 AI 서비스라 할지라도 개인 계정을 사용하면 기업용 서비스에 적용되는 강력한 데이터 보호 조치를 받지 못할 수 있다. 단순히 회사 컴퓨터를 사용한다는 사실만으로 기업용 보안 정책이 자동으로 적용되는 것은 아니기 때문이다.
이에 따라 전문가들은 우선적으로 AI의 학습 활용 기능을 차단하고, 기존의 대화 기록과 저장된 개인정보를 즉시 삭제할 것을 권고하고 있다. 이미 학습에 사용된 정보는 삭제가 매우 어렵기 때문에 추가적인 유출 가능성을 면밀히 점검해야 하며, 비밀번호와 같은 인증 정보가 노출되었다면 즉각 변경해야 한다. 또한 화면상의 삭제가 서버 로그나 백업 데이터의 완전한 소멸을 의미하지 않음을 인지하고, 저장 위치와 보관 기간을 확인하여 실제 삭제 여부를 검증하는 과정이 필요하다.