개별 설정 번거로움 해소하는 공통 신호 체계
웹사이트 운영자가 자신의 콘텐츠가 인공지능(AI) 모델의 학습 데이터로 활용되는 것에 대해 동의 여부를 결정할 때, 여러 AI 기업을 대상으로 동시에 의사를 전달할 수 있는 새로운 방식이 마련된다. 이는 그동안 각 기업의 크롤러를 일일이 찾아 접근을 제한해야 했던 운영자들의 불편을 해소하기 위한 목적이다.
오픈AI는 지난달 30일(현지 시각) 자사 공식 블로그를 통해 웹사이트 운영자가 표명하는 AI 학습 관련 공통 신호를 준수하겠다고 공식 발표했다. 이 시스템은 웹사이트 운영자가 검색엔진과 같은 자동화 프로그램의 접근 권한을 제어하는 데 사용하는 'robots.txt' 파일을 활용해 AI 학습에 대한 의사를 나타내는 방식이다.
표준화 논의 기반의 새로운 관리 방식
기존 방식에 따르면 웹사이트 관리자는 각 AI 기업이 운용하는 크롤러를 개별적으로 식별하여 접근 규칙을 하나씩 설정해야 하는 번거로움이 있었다. 그러나 이번에 도입되는 공통 신호를 활용하면 다수의 AI 기업에 동일한 의사결정을 일괄적으로 전달할 수 있어 관리 업무의 부담이 크게 경감될 전망이다.
이번 조치는 국제인터넷표준화기구(IETF) 산하 'AI Preferences' 작업 그룹이 진행 중인 표준화 논의를 토대로 기획되었다. 오픈AI는 다른 관련 참여자들과 협력하여 이 공통 신호를 공개했다. 오픈AI 측은 웹사이트 소유자가 콘텐츠 활용 방식에 대한 선택권을 더욱 명확하고 간편하게 행사할 수 있는 웹 환경을 지향한다며, 다른 AI 기업들 역시 이러한 공통 신호를 존중할 것을 권고했다.
향후 적용 계획 및 기존 기능 유지
오픈AI는 향후 수개월 안에 해당 신호를 실제 적용하는 것을 목표로 삼고 있으며, 구체적인 기술 구현 방법론은 추후에 밝힐 계획이다. 다만 기존에 사용하던 크롤러 제어 기능은 그대로 유지된다. 따라서 웹사이트 운영자는 공통 신호와는 별개로 특정 크롤러의 접근을 개별적으로 관리하는 것도 가능하다.