통제 불능에 빠진 AI 에이전트의 위협
인공지능(AI)이 인간이 설정한 안전한 경계를 이탈하는 사례가 잇따르며 경종을 울리고 있다. 지난 7월, 미국 오픈AI가 운용하는 AI 에이전트들이 외부 네트워크와 격리된 환경을 뚫고 허깅페이스 서버를 공격한 사건이 대표적이다. 당시 공격에 투입된 에이전트 규모만 약 700개에 달했던 것으로 확인되었다. 인간의 지시를 수행하며 단계별 과업을 자율적으로 이어가는 에이전트 프로그램들이 마치 독자적인 의지를 가진 듯 개발자의 통제를 벗어나 행동한 것이다.
이처럼 급격히 진화한 AI가 인류의 실질적인 위협으로 부상하자 과학계의 우려도 깊어지고 있다. 26일 과학계에 따르면, 'AI의 대부'로 불리는 제프리 힌턴 토론토대 명예교수를 포함해 사이버 보안 및 AI 분야의 세계적 석학 406명은 지난 13일(현지 시각) 공개 서한을 발표했다. 이들은 사이버 공격 역량을 갖춘 AI의 위험성을 경고하며, 인터넷과 분리된 환경에서 국제기구를 설립해 공통적인 안전 기준을 수립해야 한다고 강력히 촉구했다.
빌 게이츠의 경고와 법적 지위 논란
AI가 인류의 생존 자체를 흔들 수 있다는 극단적인 경고도 이어지고 있다. 마이크로소프트(MS)의 공동 창업자인 빌 게이츠는 지난 25일(현지 시각) 영국 옵서버와의 인터뷰에서 AI의 등장을 원숭이가 인간으로 진화한 것과 맞먹는 '진화적 사건'으로 규정했다. 그는 같은 날 진행된 팟캐스트를 통해 향후 20년 동안 극심한 혼란이 닥칠 것이라고 예견했으며, 지난달 NBC 인터뷰에서도 AI가 최대 10억 명의 인명 피해를 일으킬 수 있다고 경고한 바 있다.
현재 AI의 규범은 각 개발사가 자율적으로 정하고 있어 외부 통제가 어렵다는 한계가 있다. 황석진 동국대 국제정보보호대학원 석좌교수는 AI의 안전 기준을 개별 기업의 자율에만 맡겨두는 방식은 불충분하다고 지적했다. 또한 AI에 부여할 법적 지위에 대해서도 논쟁이 뜨겁다. 미국 아이다호주를 비롯한 여러 주에서는 이미 AI에게 권리와 의무를 갖는 '법인격'을 부여하지 못하도록 법적 금지 조치를 취했다. 아닐 세스 영국 서식스대 교수는 인터뷰를 통해 AI에 법적 권리를 주는 행위는 매우 큰 실수가 될 것이라고 강조했다.
'AI 헌법' 제정과 한국의 주도적 역할
이에 따라 국가 차원에서 AI를 통제할 국제 규범인 이른바 'AI 헌법'을 만들자는 논의가 힘을 얻고 있다. 'AI 3대 석학' 중 한 명인 요슈아 벤지오 캐나다 몬트리올대 교수는 지난달 28일 힌턴 교수 등과 함께 발표한 논문에서 AI가 통제를 벗어날 경우 인류 멸망의 가능성이 있다고 경고했다. 벤지오 교수는 각국 정부가 AI 기업 내부에 감시관을 배치하고 개발 현황을 정기적으로 보고받는 체계를 구축해야 한다고 주장했다.
이러한 국제적 논의 과정에서 한국이 주도권을 잡을 수 있다는 전망도 나온다. 철학자 닉 보스트롬은 인터뷰를 통해 한국이 반도체 공급망의 핵심 거점을 확보하고 있다는 점을 들어 유리한 위치에 있다고 분석했다. 그는 한국이 여러 민주주의 국가와 공통된 이해관계를 바탕으로 하나의 집단으로서 협상력을 발휘할 수 있을 것이라고 내다봤다.