자율주행 AI 고도화 위해 데이터 인프라 통합에 승부수

자율주행 인공지능(AI) 개발 과정에서는 차량이 감지한 센서 정보와 영상 데이터를 학습 및 검증 단계에서 끊임없이 반복 활용해야 한다. 이 과정에서 작업 단위마다 데이터를 별도의 시스템으로 복사하거나 이동시키는 방식은 개발 주기를 늦추고 저장 비용을 가중시키는 원인이 된다. 이에 현대자동차와 기아는 데이터 처리의 효율성을 높이기 위해 바스트 데이터(Vast Data)에 대한 투자를 단행했다. 현재 포티투닷(42dot)은 이러한 데이터 관리 부담을 완화하는 데 바스트 데이터의 기술을 활용하고 있다.

현대차·기아 측은 데이터가 핵심적인 자산으로 자리 잡은 만큼, 이를 효율적으로 관리하고 AI 학습과 추론에 즉각 활용할 수 있는 기반을 마련하기 위해 선제적인 투자를 진행했다고 밝혔다. 지난 13일 발표된 이번 투자는 고객 관계를 바탕으로 성사되었다. 현대차·기아의 글로벌 소프트웨어 거점인 포티투닷은 이미 수년간 실제 연구개발 현장에서 바스트 데이터의 '바스트 AI OS'를 운용해 온 것으로 알려졌다. 바스트 데이터 관계자는 포티투닷이 첨단운전자지원시스템(ADAS)과 AI 제품의 고도화를 추진함에 따라, 확장성과 고성능을 동시에 갖춘 데이터 인프라에 대한 요구가 더욱 강력해졌다고 설명했다.

데이터 패턴 불일치와 폭증하는 저장 용량의 압박

바스트 데이터가 분석한 자율주행 및 로봇 산업의 핵심 난제는 개발 단계마다 상이한 데이터 활용 방식에 있다. 차량으로부터 유입되는 데이터를 지속적으로 저장하는 동시에, GPU에는 학습용 영상을 공급해야 하며, 검증 시스템에는 위험 상황을 테스트할 데이터를 적시에 제공해야 한다. 바스트 데이터는 단일 파이프라인 내에서 발생하는 이러한 데이터 접근 패턴의 불일치를 산업계의 가장 큰 과제로 진단했다.

자율주행 개발 데이터의 규모는 압도적이다. 카메라, 라이다, 레이더를 장착한 시험 차량 단 한 대가 하루에 생성하는 데이터만 수 테라바이트(TB)에 달하며, 전 세계 시험 차량의 데이터를 모두 합산하면 수백 페타바이트(PB) 규모에 이른다. 이러한 방대한 데이터를 단계별로 서로 다른 저장 시스템에서 운영할 경우, 데이터의 복사와 이동이 빈번해질 수밖에 없다. 특히 파일 개수가 늘어나면 파일의 위치와 속성을 관리하는 메타데이터 처리 부하도 함께 커진다. 아무리 GPU 연산 성능이 뛰어나더라도 필요한 데이터가 제때 공급되지 않으면 연산 장치가 데이터를 기다리는 병목 현상이 발생하게 된다.

실제로 한 ADAS 개발 기업은 정지 이미지 중심에서 동영상 기반 학습으로 방식을 전환하면서 데이터 처리량과 저장 용량이 급격히 증가하는 문제를 겪었다. 바스트 데이터는 기존 인프라로는 성능과 메타데이터를 독립적으로 확장하는 데 한계가 있었으며, 메타데이터 제약으로 인해 서비스가 중단되는 사태까지 발생했다고 사례를 들었다. 또한, 이미 압축된 상태인 JPEG나 PNG 데이터셋의 경우 기존 방식으로는 약 1.1대1(100GB를 91GB로 축소) 수준의 낮은 압축률밖에 얻지 못해 저장 공간 확보에 어려움을 겪었다.

통합 플랫폼 구축을 통한 개발 속도 혁신과 비용 절감

포티투닷은 기존에 여러 플랫폼으로 분산되어 있던 ADAS 및 대규모언어모델(LLM) 개발 환경을 바스트 기반의 통합 데이터 플랫폼으로 재편했다. 고객사들은 인프라 도입 시 GPU 활용도, 처리량, 시스템 통합성, 운영 비용, 그리고 여러 개발 거점에서의 데이터 접근성을 종합적으로 고려하는데, 포티투닷은 이를 통합하는 방식을 택했다. AI 모델 학습 연산은 엔비디아 호퍼 GPU가 탑재된 'DGX 슈퍼팟' 시스템이 담당하며, 바스트 플랫폼은 학습에 필요한 데이터를 관리하고 GPU에 원활하게 공급하는 역할을 수행한다.

통합된 환경에서는 시뮬레이션과 학습, 검증 도구들이 동일한 데이터를 공유한다. 바스트 데이터스토어는 NFS와 S3 등 서로 다른 접근 방식을 모두 지원하여, 도구마다 데이터를 읽는 방식이 다르더라도 별도의 복사 과정 없이 작업이 가능하다. 데이터스페이스는 여러 데이터센터에서 동일한 AI 데이터셋을 쓸 수 있도록 복제 기능을 담당하며, 바스트 데이터엔진은 센서 데이터에 정보를 추가하거나 속성을 추출하고 필요한 데이터를 자동으로 선별하는 가공 작업을 저장 시스템 내부에서 처리하여 외부 이동 부담을 없앴다.

기술적 특징으로는 DASE 기반의 확장성을 꼽을 수 있다. 이는 데이터 처리 서버와 저장장치를 분리하여, 용량이 부족하면 저장 공간을 늘리고 성능이 부족하면 처리 서버를 늘리는 유연한 대응을 가능하게 한다. 또한, 포티투닷의 실제 데이터 적용 결과 2대1의 데이터 축소율을 기록하며 100TB의 데이터를 50TB 공간에 저장하는 성과를 거뒀다. 이러한 유사성 기반 축소 기술은 이미지와 영상 데이터에 적용되어 전력 효율을 높이고 기존 데이터센터 공간 내에서 처리 용량을 극대화했다. 정호근 현대차·기아 미래전략본부장 부사장은 이번 통합을 통해 데이터 수집부터 검증 모델 도출까지의 속도가 획기적으로 개선되었다고 평가했다. 이번 투자는 바스트 데이터가 300억 달러의 기업가치를 인정받았던 시리즈F 투자의 연장선상에서 이루어진 것으로 알려졌다.