강가에서 악기를 연주하는 남성 뒤로 고래 꼬리가 솟구치고, 눈이 내린다는 명령에 머리 위로 눈송이가 쌓인다. 마치 게임처럼 조작 키를 통해 시점을 자유롭게 전환하는 이 장면은 구글 딥마인드가 27일(현지시간) 발표한 새로운 월드 모델 '지니4'의 시연 영상이다. 기존 영상 생성 AI가 단일 프롬프트로 결과물을 내놓는 것과 달리, 지니4는 사용자가 실시간으로 환경에 개입하며 변화를 줄 수 있다는 점이 특징이다. 현재 구글은 연구용 버전을 일부 연구자들에게 공개한 상태다.
예측하고 구현하는 새로운 차원의 AI
지니4는 주변 환경의 변화와 사용자의 행동을 토대로 다음 상황을 예측하고 구현하는 '월드 모델'이다. 언어 모델(LLM)이 문맥을 파악해 다음 단어를 추론하듯, 이 모델은 이용자의 움직임에 따라 변할 세계의 물리적 반응을 계산한다. 예를 들어 실내를 걸어갈 때 시야가 어떻게 전환되는지, 혹은 바닥의 공을 건드렸을 때 어떤 궤적으로 구르는지를 실시간으로 생성해낸다.
특히 이번 모델은 구글의 실시간 월드 모델 중 최초로 소리 생성 기능을 탑재했다. 해변의 파도 소리나 나무 사이를 지나는 바람 같은 효과음은 물론, 인물 간의 대화까지 직접 만들어낸다. 가상 세계의 사건이나 명령에 따라 인물들이 반응하며 대화를 나누는 식이다. 실제로 용을 타고 성을 공격하는 기사의 시점 영상에서 '함정이라 경고하라'는 프롬프트를 입력하자, 등장인물들이 서로를 응시하며 소리를 지르는 모습이 구현되었다.
게임 제작부터 로봇 훈련까지의 혁신
이러한 기술은 향후 영화나 게임 같은 콘텐츠 제작은 물론 로봇 공학 분야에서도 큰 변화를 몰고 올 전망이다. 게임 개발자는 코딩에 앞서 말로만 상호작용과 비주얼을 설명하며 시제품을 시험해 볼 수 있다. 영화 제작 역시 카메라 앵글과 조명, 대사를 실시간으로 수정하며 장면을 미리 검토하는 용도로 활용된다.
물리적 AI(Physical AI) 분야에서의 활용도 기대된다. 로봇이나 자율주행차를 훈련할 때 현실에서 데이터를 수집하는 것은 막대한 비용과 사고 위험이 따른다. 카본식스의 서형주 최고기술책임자(CTO)는 기존 시뮬레이션으로 구현하기 힘들었던 빨래 접기 같은 정교한 작업도 월드 모델을 통하면 장기적으로 가능해질 것이라고 분석했다.
다만 해결해야 할 과제도 남아 있다. 가상 세계가 현실과 얼마나 일치하는지, 그리고 긴 시간 동안 공간과 사물의 일관성이 유지되는지가 관건이다. 구글 측은 시뮬레이션이 복잡해지거나 수정이 반복될 경우 사물의 상태나 형태가 변할 수 있다는 한계를 언급했다.