그래픽처리장치(GPU)가 주도하던 인공지능 '학습'의 막이 내리고, 본격적인 '추론'의 시대가 도래할 것이라는 전망이 제기되었다. 이에 따라 비용 효율성을 극대화하면서도 성과를 낼 수 있는 하이브리드 형태의 AI 인프라 구축이 핵심 과제로 떠오르고 있다. 한국지능정보사회진흥원 지능기술인프라본부장은 29일 서울 삼성동 코엑스 B홀에서 개최된 '인프라 프런티어 컨퍼런스'에 참석해 이와 같은 내용을 발표했다.
학습에서 추론으로 전환되는 컴퓨팅 패러다임
김 본부장은 올해를 학습과 추론 기술이 교차하는 전환점으로 정의하며, 2027년부터는 인공지능이 학습보다는 추론에 투입되는 시기가 본격화될 것이라고 설명했다. 이미 추론 컴퓨팅은 올해 학습 분야를 앞지른 상태다. 딜로이트의 분석에 따르면 2026년에는 전 세계 컴퓨팅 자원의 약 67%가 추론에 활용될 것으로 보이며, 맥킨지 역시 지난 6월 보고서를 통해 인프라의 절반 이상이 이미 추론에 쓰이고 있다고 밝혔다.
김 본부장은 학습의 시대가 막대한 자본을 투입하는 '투자의 시대'였다면, 추론의 시대는 실질적인 수익을 창출해야 하는 '돈을 버는 시대'라고 규정했다. 따라서 전 세계적으로 비용 절감을 위한 경쟁이 치열해질 것이며, 인프라 또한 전력 소모를 최소화하는 방향으로 재편될 것이라고 내다봤다.
전력 효율 극대화하는 하이브리드 인프라와 냉각 기술
새로운 시대의 핵심은 '하이브리드 인프라'다. 이는 대규모 학습을 수행하는 하이퍼스케일 데이터센터(HDC)와 실시간 데이터 처리에 특화된 지역 기반의 엣지 인프라(Edge Infra), 그리고 가벼운 업무를 신속하게 처리하는 온디바이스(On-device) 칩으로 전력을 분산하는 모델을 의미한다. 김 본부장은 이러한 분산형 모델이 효율적이라고 강조했다.
데이터센터의 냉각 방식 또한 변화를 맞이하고 있다. 기존에는 공기를 순환시켜 열을 식히는 공랭(Air Cooling) 방식이 주를 이뤘으나, 고발열 칩에 콜드 플레이트를 설치해 냉각수를 돌리는 수랭(Liquid Cooling) 방식으로 전환되는 추세다. 수랭식은 이미 해외에서 표준으로 자리 잡았으나 한국은 아직 진입 단계에 있으며, 서버 전체를 냉각액에 담그는 액침(Immersion Cooling) 방식은 현재 전 세계적으로 실험이 진행 중이다.
한국형 '종합 생태계' 전략과 우주 데이터센터의 미래
김 본부장은 추론 시대의 도래가 한국에 새로운 기회가 될 것이라고 평가했다. 중앙 집중형 거대 인프라와 더불어 온디바이스 및 엣지 컴퓨팅 센터가 부각됨에 따라, 한국의 기술력을 바탕으로 글로벌 인프라 시장에 진출할 길이 열렸다는 분석이다. 한국의 전략은 특정 기업이 모든 과정을 독점하는 글로벌 빅테크 방식이 아니라, 전문성을 가진 기업들이 모여 하나의 생태계를 구성하는 '종합 생태계' 모델을 지향한다.
구체적으로는 퓨리오사나 리벨리온 같은 국내 반도체 기업들이 NPU(신경망처리장치) 개발을 통해 추론 특화 칩 시장을 공략하고, 냉각 기술 분야에서는 수랭식 확산과 함께 정유사를 중심으로 한 액침 냉각유 시장을 준비하는 방식이다. 나아가 2030년대에는 우주의 저온 환경과 태양열을 활용해 데이터센터를 가동하는 '우주 데이터센터'가 등장할 것으로 예측했다. 김 본부장은 한국의 기술적 위치를 파악하고 미래 정책을 수립하기 위해 지속적인 연구를 이어가겠다고 밝혔다.