"속도는 HBM, 용량은 HBF"…삼성·하이닉스가 쥔 카드

[아이뉴스24 박지은 기자] 인공지능(AI) 성능 경쟁이 ‘연산’에서 ‘메모리 구조’로 옮겨가면서, 고속 고대역폭메모리(HBM)와 대용량 고대역폭플래시(HBF)를 모두 만들 수 있는 삼성전자와 SK하이닉스가 유리한 위치에 섰다는 분석이 나왔다.

김정호 한국과학기술원(KAIST) 전기 및 전자공학부 교수는 3일 서울 중구 프레스센터에서 열린 ‘HBF 기술 개발 성과, 로드맵 그리고 상품과 전략 발표회’에서 “AI에서는 속도는 HBM, 용량은 HBF가 각각 맡게 된다”고 말했다.

김 교수는 AI 모델이 커질수록 메모리가 병목이 된다고 설명했다. 질문을 이해하는 과정과 답을 생성하는 과정에서 필요한 데이터가 급격히 늘어나면서, 빠르지만 용량이 제한적인 HBM만으로는 한계가 있다는 판단이다.

특히 AI가 긴 문서, 영상, 멀티모달 데이터를 다루면서 중간 저장 공간 역할을 하는 키밸류 캐시(KV cache)가 수백 ㎇에서 테라바이트(TB) 단위로 커지고 있다고 설명했다. 이 데이터를 모두 HBM에 담기는 현실적으로 어렵다는 것이다.

이에 따라 김 교수는 역할 분담 구조를 제시했다. 연산과 직결된 데이터는 HBM이 처리하고, 대용량 데이터는 HBF가 맡는 방식이다.

HBF는 낸드 기반으로 용량은 크지만 속도는 느린 메모리로, GPU 가까이에 배치해 HBM을 보완하는 중간 단계 메모리로 정의했다.

이 구조가 확산될 경우, HBM과 HBF를 동시에 공급할 수 있는 기업이 유리해진다. 김 교수는 “두 기술을 함께 설계하고 양산할 수 있는 회사는 많지 않다”고 말했다.

국내에서는 삼성전자와 SK하이닉스가 대표적이다. 두 회사 모두 HBM을 양산 중이며, HBF로 확장할 수 있는 기술 기반을 갖췄다는 평가다.

김 교수는 HBF 상용화 시점을 2027년 말~2028년으로 전망했다. 초기에는 AI 추론용으로 채택이 시작되고, 이후 HBM과 HBF를 결합한 메모리 구조가 표준으로 자리 잡을 가능성을 제시했다.

한편 김 교수는 차세대 메모리 구조를 처음 제안하고 HBM 개념 정립에 기여한 인물로, 업계에서는 ‘HBM의 아버지’로 불린다. 세계 주요 반도체 기업과 AI 업체들이 그의 연구 결과를 참고하고 있으며, 메모리 중심 컴퓨팅 분야의 대표적 석학으로 평가받는다.

행사에는 김 교수가 이끄는 연구실 '테라랩' 소속 학생들도 함께했다. 테라랩 출신 학생들은 졸업 후 엔비디아, 애플, 구글, 테슬라 등 미국 빅테크 기업에 취업하는 경우도 적지 않다.