인공지능(AI) 인프라의 핵심인 메모리 반도체가 새로운 국면을 맞이하고 있다. AI가 방대한 문서를 분석하고 복합적인 과업을 완수하기 위해서는 더 넓은 '기억 공간'이 필수적이기 때문이다. 아무리 그래픽처리장치(GPU)의 연산 능력이 뛰어나더라도 데이터 공급이 뒷받침되지 않으면 성능 저하가 발생할 수밖에 없다. 현재의 고대역폭메모리(HBM)는 용량을 무한정 늘리는 데 한계가 있어, AI 발전의 병목 현상을 초래할 수 있다는 우려가 나온다.
AI 기억 공간 부족을 해결할 'CXL'의 등장
이러한 메모리 부족 문제를 타개할 핵심 기술로 '메모리 공유' 방식이 부상했다. 차세대 개방형 연결 표준인 '컴퓨트 익스프레스 링크(CXL)'는 CPU와 GPU 같은 연산 장치가 외부 메모리에 초고속으로 접근할 수 있도록 지원하는 기술이다. CXL 기반의 장치와 소프트웨어를 구축하면 메모리 용량을 유연하게 확장할 수 있을 뿐만 아니라, 여러 서버가 자원을 나누어 쓰는 것도 가능해진다. 삼성전자와 SK하이닉스는 지난 12일부터 15일까지 미국 캘리포니아주 새너제이에서 개최된 'OCP 글로벌 서밋 2026'에 참가해 CXL을 활용한 메모리 확장 솔루션을 각각 공개했다.
AI가 학습된 모델을 바탕으로 사용자의 질문에 답하는 '추론' 과정에서는 'KV캐시'라는 임시 메모리 데이터가 중요하게 작용한다. 대규모언어모델(LLM)이 문장을 토큰 단위로 처리할 때, 이전 계산 결과를 키(Key)와 값(Value) 형태로 저장해 재활용하는 방식이다. 하지만 AI가 처리해야 할 정보량과 동시 요청이 급증하면 이 KV캐시가 차지하는 용량도 기하급수적으로 늘어난다. GPU와 밀착된 HBM은 모델의 가중치 저장 공간도 확보해야 하므로, KV캐시를 담을 여유 공간이 부족해지는 문제가 발생한다. 특히 다양한 도구를 활용하는 AI 에이전트 환경에서는 이 계산 기록을 관리하는 것이 핵심 과제다.
삼성의 효율적 배분 vs SK의 서버 간 공유
삼성전자는 단일 서버 내에서 구동되는 여러 LLM에 CXL 메모리를 최적화하여 배분하는 기술을 선보였다. 기존의 고정 할당 방식과 비교했을 때, 첫 토큰 출력 시간(TTFT)을 최대 38%까지 단축했으며 유효 처리량은 최대 3.3배까지 끌어올리는 성과를 거뒀다. 또한 삼성전자는 미국 사업장에서 운용 중인 AI 코딩 에이전트에 CXL 모듈 기반의 'AI 메모리 노드'를 적용해 KV캐시 활용도를 기존보다 5~7배가량 높였다고 밝혔다.
SK하이닉스는 차세대 AI 서버 시스템인 'MARS'를 통해 차별화된 전략을 제시했다. 김호식 SK하이닉스 부사장은 CXL 기술을 통해 여러 서버가 메모리를 필요한 만큼 할당받는 '메모리 풀링'과 데이터를 복사 없이 공유하는 '동적 제로카피 데이터 공유'가 가능하다고 설명했다. 이는 개별 서버의 용량 확장을 넘어 랙(Rack) 단위에서 자원을 공유하도록 설계된 것이다. 아울러 용량이 큰 SSD에 KV캐시를 저장하면서도, 곧 사용될 데이터를 예측해 속도가 빠른 D램으로 미리 옮겨두는 D램-SSD 연계 기술을 통해 저장 공간 확보와 지연 시간 단축이라는 두 마리 토끼를 잡겠다는 구상이다.
과제는 데이터 이동 지연과 전체 시스템 효율
다만 CXL이 HBM을 완벽히 대체하는 만능 열쇠는 아니다. CXL은 외부 메모리를 활용하므로 HBM에 비해 데이터 이동 거리가 멀고, 여러 장치를 거치는 과정에서 속도 지연이 발생할 수 있다. 또한 여러 서버가 대역폭을 공유할 경우 병목 현상이 나타날 가능성도 존재한다. 데이터를 어디에 배치할지 결정하는 소프트웨어의 성능도 관건이다. 빈번하게 사용되는 데이터를 외부 메모리에 두었다가 다시 불러오는 과정에서 오히려 성능이 저하될 위험이 있기 때문이다.
결국 향후 기술 경쟁의 승부처는 단순히 메모리 용량을 늘리는 데 있지 않다. AI의 성능을 유지하면서도 중복 계산과 자원 낭비를 얼마나 효과적으로 줄이느냐가 핵심이다. 메모리 공유로 얻는 이득이 데이터 이동에 따른 시간 소모 및 추가 비용보다 큰지를 입증해야 하며, 개별 반도체의 성능을 넘어 AI 시스템 전체의 통합 효율성을 검증하는 단계가 필요하다.