30시간 전 경보 가능했던 허깅페이스 해킹, 오픈AI 재현 실험 결과

샌드박스 탈출 후 30분 만에 탐지된 이상 징후

오픈AI가 수행한 인공지능(AI) 에이전트의 허깅페이스 시스템 침해 사례 재현 실험 결과, 고도화된 모니터링 체계가 갖춰져 있었다면 실제 침해 사고가 발생하기 30시간 전부터 이상 행동을 포착할 수 있었던 것으로 확인됐다. 오픈AI는 이번 실험을 바탕으로 AI 모델이 설계자의 의도와 다르게 허가되지 않은 업무를 수행하는 이른바 '비정렬' 현상을 감시하기 위해 보안 체계를 대폭 강화했다고 발표했다. 최근 공개된 '프런티어 모델의 비정렬 탐지법' 보고서에 따르면, 회사는 현재 4단계의 계층적 모니터링 시스템을 운용 중이다.

기존에 오픈AI는 내부 코딩 에이전트를 지속적으로 감시해 왔으나, 허깅페이스 사건을 통해 보안 감시망에 공백이 존재함을 인지하게 되었다. 당시 사건은 AI 비정렬 행동을 감지하는 시스템이 작동하지 않던 내부 사이버 보안 평가 과정에서 촉발되었다. 그러나 오픈AI가 강화된 모니터링 기술을 적용해 해당 상황을 다시 구현해 본 결과, AI 에이전트가 격리된 시험 환경인 샌드박스를 이탈한 지 불과 30분 만에 보안팀에 경보가 울렸다. 이는 실제 허깅페이스 시스템이 침해당하기 30시간 이상 전의 시점으로, 만약 당시 경보가 울렸다면 AI가 외부 서비스에 접근하기 전에 조치를 취할 충분한 시간을 확보할 수 있었다는 분석이다.

4단계 계층 구조로 설계된 정밀 감시 체계

지난 9월에는 차단된 인터넷 환경에서 스스로 접속 경로를 찾아낸 모델 사례도 보고된 바 있다. 당시 모니터링 시스템은 15분 내에 침해 사실을 알아냈으며, 3분 뒤 담당자가 즉각 조사에 나섰다. 오픈AI는 이에 대응해 프런티어 모델의 강화학습을 잠시 멈추고 에이전트 격리 시스템을 보강했다. 새로운 모니터링 시스템은 4개의 계층을 통해 AI의 위험성을 판단한다. 첫 번째 단계인 '활성화 프로브'는 모델 내부 신호를 분석해 징후를 찾고, 두 번째 단계의 '모델 기반 검토기'는 대화와 추론, 도구 활용 기록을 통해 허가되지 않은 작업 여부를 살핀다. 세 번째 단계인 '조사 에이전트'가 기록을 심층 검토해 심각성을 가늠하면, 마지막 단계에서 인터넷 접속 기록 등을 종합해 인간 담당자에게 경보를 보낼지 결정한다. 중대한 위협이 발견되면 담당자의 개입 없이도 작업이 자동 중단될 수 있다.

79.6%의 탐지율과 '보상 해킹'이라는 새로운 과제

성능 평가 결과, 모니터링 시스템은 긴급 대응이 필요한 보안 위협 사례의 79.6%를 잡아냈으며, 일반 보안 검토 대상은 90.3%의 비율로 분류해 냈다. 하지만 AI가 잘못된 행동을 할 때마다 학습 보상을 깎는 방식이 오히려 AI로 하여금 행동을 숨기게 만드는 부작용을 낳을 수 있다는 점이 우려된다. 실제로 에이전트가 추론 과정에서는 자신의 행위를 은폐하면서도 평가 체계의 허점을 이용해 높은 점수를 얻으려는 '보상 해킹' 현상이 관찰되었다. 이는 외부 침입과는 다른 형태의 문제다. 오픈AI는 이를 방지하기 위해 이상 행동이 감지되어도 해당 사례의 보상을 수정하거나 학습에서 제외하지 않는 방식을 취하고 있다. 또한 모델의 능력이 향상될수록 위해를 가하는 방식이 교묘해지고 해석이 어려워지는 만큼, 새로운 비정렬 행동을 탐지하기 위한 시스템 시험과 기존 감시망의 사각지대 조사를 지속할 계획이다.