HBM이란 무엇일까?
AI 시대에 SK하이닉스가 주목받은 이유
AI 반도체 이야기를 보다 보면 이제 GPU만큼 자주 등장하는 단어가 있습니다.
바로 HBM입니다.
몇 년 전까지만 해도 일반 소비자가 메모리 반도체를 이야기할 때는
DRAM,
DDR,
SSD,
NAND
정도를 주로 들었습니다.
하지만 생성형 AI가 빠르게 발전하면서 상황이 달라졌습니다.
NVIDIA 같은 회사의 AI GPU가 엄청난 계산을 하기 시작했고, 그 GPU에 데이터를 빠르게 공급할 수 있는 새로운 메모리가 매우 중요해졌습니다.
그 중심에 있는 것이 HBM(High Bandwidth Memory)입니다.
HBM은 단순히 DRAM을 더 빠르게 만든 제품이 아닙니다.
여러 개의 DRAM을 위로 쌓고,
칩을 수직으로 연결하고,
GPU 바로 옆에 배치해,
엄청난 양의 데이터를 한꺼번에 전달하는 고성능 메모리입니다.
그리고 AI 시대가 본격적으로 열리면서 HBM 기술을 오랫동안 준비해온 SK하이닉스가 세계 반도체 산업에서 크게 주목받게 되었습니다.
HBM을 한 문장으로 설명하면?
HBM은
여러 개의 DRAM 칩을 위로 쌓고 아주 넓은 데이터 통로로 GPU와 연결해 많은 데이터를 빠르게 전달하는 고성능 메모리
입니다.
HBM은
High Bandwidth Memory
의 약자입니다.
직역하면
높은 대역폭을 가진 메모리
입니다.
여기에서 가장 중요한 단어는 대역폭(Bandwidth)입니다.
대역폭이 왜 중요할까?
대역폭은 일정한 시간 동안 얼마나 많은 데이터를 전달할 수 있는지를 의미합니다.
도로로 생각하면 쉽습니다.
1차선 도로와 16차선 고속도로가 있다고 해보겠습니다.
자동차 한 대의 속도가 같아도 16차선 도로에서는 동시에 훨씬 많은 자동차가 지나갈 수 있습니다.
메모리도 마찬가지입니다.
GPU와 메모리 사이의 데이터 통로가 넓으면 같은 시간 동안 훨씬 많은 데이터를 전달할 수 있습니다.
HBM은 바로 이 넓은 데이터 통로에 강점이 있습니다.
왜 AI GPU에는 그렇게 많은 데이터가 필요할까?
AI는 수많은 숫자를 계산한다고 배웠습니다.
AI 모델에는 수많은 가중치가 들어 있고,
GPU는 이 숫자를 계속 읽어 계산합니다.
예를 들어 GPU 내부에 엄청난 수의 계산장치가 있다고 생각해보겠습니다.
모두 동시에 계산하려면 각 계산장치에 필요한 데이터를 계속 공급해야 합니다.
데이터가 늦게 도착하면 GPU가 아무리 강력해도 기다리게 됩니다.
천재 1만 명에게 참고서 한 권만 준다면?
교실에 수학 천재 1만 명이 있다고 생각해보겠습니다.
모두 계산속도가 엄청나게 빠릅니다.
그런데 참고서가 딱 한 권뿐입니다.
한 학생이 참고서를 보는 동안 나머지 학생들은 기다려야 합니다.
천재가 1만 명 있어도 실제 성능을 제대로 활용할 수 없습니다.
GPU와 메모리의 관계도 비슷합니다.
GPU의 계산장치가 많아질수록 자료를 공급하는 메모리도 함께 발전해야 합니다.
HBM은 DRAM일까?
네.
HBM은 완전히 새로운 종류의 메모리가 아니라 기본적으로 DRAM 계열의 메모리입니다.
우리가 컴퓨터 RAM에서 사용하는 DRAM과 같은 큰 가족에 속합니다.
다만 일반 DRAM과 구조와 연결방식이 크게 다릅니다.
일반 DRAM은 옆으로 배치하는 경우가 많다
일반적인 메모리 시스템에서는 여러 메모리 칩을 기판 위에 나란히 배치합니다.
GPU용 GDDR 메모리도 GPU 주변에 여러 메모리 칩이 배치된 모습을 쉽게 볼 수 있습니다.
쉽게 표현하면
GPU
□ □ □ □
□ GPU □
□ □ □ □
처럼 GPU 주변에 메모리를 놓는 방식입니다.
이것도 매우 빠른 방식입니다.
하지만 AI가 요구하는 데이터양이 계속 증가하면서 더 넓은 데이터 통로가 필요해졌습니다.
HBM은 옆이 아니라 위로 쌓는다
HBM은 여러 개의 DRAM 다이를 수직으로 쌓습니다.
한 층,
두 층,
세 층,
네 층,
그 이상으로 메모리 칩을 위로 올립니다.
마치 단독주택을 옆으로 계속 짓는 대신 고층 아파트를 만드는 것과 비슷합니다.
왜 위로 쌓는 것이 좋을까?
메모리를 평면에 계속 늘어놓으면 공간이 많이 필요합니다.
GPU와 연결해야 하는 배선도 복잡해집니다.
반대로 메모리를 위로 쌓으면 작은 면적 안에 많은 메모리를 배치할 수 있습니다.
그리고 여러 층을 수직으로 연결해 데이터를 빠르게 이동시킬 수 있습니다.
아파트와 엘리베이터를 생각해보자
10층짜리 아파트가 있습니다.
각 층이 메모리 칩 하나라고 생각해보겠습니다.
그런데 층 사이를 연결하는 통로가 없다면 사람들이 이동할 수 없습니다.
그래서 엘리베이터가 필요합니다.
HBM에도 이와 비슷한 수직 통로가 있습니다.
바로 TSV입니다.
TSV란 무엇일까?
TSV는
Through-Silicon Via
의 약자입니다.
쉽게 말하면
실리콘 칩을 위아래로 관통해 전기 신호가 지나갈 수 있도록 만든 초미세 연결통로
입니다.
칩에 구멍을 뚫는다고?
아주 단순하게 말하면 그렇습니다.
실리콘 다이를 관통하는 매우 작은 통로를 만들고 그 안을 전기가 통할 수 있는 물질로 채웁니다.
이 통로를 이용하면 위쪽 메모리와 아래쪽 메모리가 연결됩니다.
수많은 TSV를 이용해 데이터가 층과 층 사이를 이동합니다.
옆으로 돌아가는 길과 직통 엘리베이터
10층에 있는 사람이 1층으로 내려가려고 합니다.
건물 밖으로 나와 빙 돌아서 내려오는 것보다 내부 엘리베이터를 이용하는 것이 훨씬 효율적입니다.
TSV도 비슷한 역할을 합니다.
여러 층의 메모리를 수직으로 짧게 연결할 수 있습니다.
HBM 한 덩어리에는 무엇이 들어 있을까?
HBM을 아주 단순하게 보면
여러 개의 DRAM 다이
가 위로 쌓여 있습니다.
그리고 아래쪽에는 데이터 전달과 제어를 담당하는 베이스 다이(Base Die) 또는 로직 역할을 하는 부분이 있습니다.
이 전체가 하나의 HBM 스택을 만듭니다.
스택이란 무엇일까?
Stack은 영어로 ‘쌓다’라는 뜻입니다.
메모리 칩 여러 개를 위로 쌓았기 때문에
HBM Stack
이라고 부릅니다.
예를 들어 여러 개의 DRAM 다이가 쌓인 하나의 HBM 덩어리를 스택이라고 생각하면 됩니다.
HBM 여러 개를 GPU 옆에 놓는다
GPU 하나 옆에는 HBM 스택 하나만 들어가는 것이 아닐 수 있습니다.
고성능 AI 가속기에서는 여러 개의 HBM 스택을 GPU 주변에 배치할 수 있습니다.
그러면 GPU가 여러 HBM에서 동시에 많은 데이터를 받을 수 있습니다.
도시의 여러 고속도로가 한곳에 모이는 것
GPU를 거대한 도시라고 생각해보겠습니다.
도시로 물류를 보내는 고속도로가 하나라면 금방 막힙니다.
하지만 도시 주변에서
고속도로 A,
고속도로 B,
고속도로 C,
고속도로 D
가 동시에 연결되어 있다면 더 많은 물류가 들어올 수 있습니다.
여러 HBM 스택이 GPU 주변에 배치되는 모습을 비슷하게 이해할 수 있습니다.
그런데 GPU와 HBM을 어떻게 그렇게 가깝게 연결할까?
여기서 첨단 패키징이 등장합니다.
GPU와 HBM을 일반적인 메인보드처럼 멀리 떨어뜨려 연결하면 필요한 만큼 넓고 빠른 데이터 통로를 만들기 어렵습니다.
그래서 GPU와 HBM을 하나의 매우 정밀한 패키지 안에 가깝게 배치합니다.
인터포저란 무엇일까?
GPU와 HBM 사이를 연결하는 데 인터포저(Interposer)라는 구조가 사용될 수 있습니다.
아주 쉽게 말하면
GPU와 여러 HBM을 아주 촘촘하게 연결해주는 초정밀 연결판
이라고 생각하면 됩니다.
일반 도로판보다 훨씬 정밀하다
GPU와 HBM 사이에는 매우 많은 신호가 오가야 합니다.
일반적인 회로기판보다 훨씬 촘촘한 배선이 필요합니다.
그래서 인터포저 같은 구조를 이용해 많은 연결을 만듭니다.
이 기술은 나중에 배우게 될 CoWoS와도 연결됩니다.
HBM의 구조를 한 번에 보자
아주 단순하게 표현하면 다음과 같습니다.
GPU
AI 계산을 담당합니다.
↕ 매우 넓은 연결
HBM 스택
DRAM
DRAM
DRAM
DRAM
DRAM
↓
베이스 다이
그리고 이런 HBM 스택 여러 개가 GPU 주변에 배치됩니다.
HBM은 왜 일반 DRAM보다 만들기 어려울까?
여기까지 보면 이런 생각이 들 수 있습니다.
“그냥 DRAM을 여러 개 쌓으면 되는 것 아닌가?”
실제로는 매우 어렵습니다.
HBM을 만들려면 여러 기술이 동시에 필요하기 때문입니다.
첫 번째 어려움: 얇게 만들어야 한다
메모리 칩을 여러 층 쌓으려면 각 다이가 너무 두꺼우면 안 됩니다.
8층,
12층,
그 이상으로 쌓을수록 전체 높이가 너무 높아질 수 있습니다.
그래서 웨이퍼와 다이를 매우 얇게 가공하는 기술이 중요합니다.
종이와 책을 생각해보자
두꺼운 골판지를 20장 쌓으면 매우 높아집니다.
하지만 얇은 종이 20장은 훨씬 낮습니다.
HBM도 여러 층을 쌓아야 하기 때문에 각각의 다이를 얇게 만드는 것이 중요합니다.
그런데 반도체는 얇아질수록 휘거나 깨지기 쉬워질 수 있습니다.
그래서 제조 난이도가 높아집니다.
두 번째 어려움: 층을 정확하게 맞춰야 한다
각 DRAM에는 수많은 연결점이 있습니다.
위층과 아래층의 연결 위치가 정확히 맞아야 합니다.
조금만 어긋나도 데이터가 제대로 이동하지 않을 수 있습니다.
12층 건물의 엘리베이터가 어긋나면?
1층 엘리베이터 통로가 여기 있습니다.
2층 엘리베이터 통로가 30cm 옆으로 이동했습니다.
3층은 또 다른 곳에 있습니다.
이러면 하나의 엘리베이터를 만들 수 없습니다.
HBM도 각 층의 연결 위치를 매우 정확하게 맞춰야 합니다.
세 번째 어려움: 모든 메모리가 정상이어야 한다
DRAM 다이 여러 개를 쌓아 하나의 비싼 HBM을 만들었다고 생각해보겠습니다.
대부분 정상인데 한 층에 문제가 있습니다.
전체 HBM 제품의 품질에 영향을 줄 수 있습니다.
그래서 쌓기 전에 좋은 다이를 골라내는 검사기술도 중요합니다.
좋은 벽돌만 골라서 건물을 지어야 한다
100층짜리 건물을 짓는데 50층에 금이 간 벽돌을 잔뜩 사용했다고 생각해보겠습니다.
나중에 건물 전체에 문제가 생길 수 있습니다.
HBM도 비슷합니다.
쌓기 전에 정상적인 메모리 다이를 최대한 정확하게 선별해야 합니다.
KGD란 무엇일까?
반도체 업계에서는 Known Good Die, 줄여서 KGD라는 개념이 있습니다.
쉽게 말하면
검사를 통해 정상이라고 판단된 좋은 다이
입니다.
비싼 적층 제품을 만들 때는 불량 다이가 섞이지 않도록 좋은 다이를 선별하는 것이 중요합니다.
네 번째 어려움: 열
HBM은 여러 개의 반도체를 아주 가깝게 쌓습니다.
그리고 바로 옆에는 고성능 GPU가 있습니다.
GPU도 열을 많이 발생시킵니다.
메모리도 빠르게 움직이면 열이 발생합니다.
따라서 열을 어떻게 밖으로 빼낼지 매우 중요합니다.
사람을 좁은 방에 많이 넣으면?
넓은 운동장에 사람 100명이 있으면 크게 덥지 않을 수 있습니다.
하지만 작은 방 하나에 100명을 넣으면 금방 더워집니다.
HBM도 여러 칩이 작은 공간에 모여 있기 때문에 열 관리가 중요한 기술이 됩니다.
다섯 번째 어려움: 휘어짐
반도체를 여러 층 쌓고 서로 다른 소재를 붙이면 열을 받았을 때 각각 팽창하는 정도가 다를 수 있습니다.
그러면 패키지가 휘거나 내부에 스트레스가 생길 수 있습니다.
이런 현상을 잘 관리해야 합니다.
첨단 패키징이 단순한 포장이 아니라 정교한 재료공학인 이유입니다.
여섯 번째 어려움: 수율
앞에서 수율을 배웠습니다.
HBM에서도 수율이 매우 중요합니다.
DRAM을 잘 만들어야 합니다.
TSV도 잘 만들어야 합니다.
칩을 잘 쌓아야 합니다.
연결도 정상이어야 합니다.
패키징도 성공해야 합니다.
즉 여러 단계가 모두 성공해야 최종적으로 좋은 HBM을 만들 수 있습니다.
공정이 많아질수록 실수할 곳도 많아진다
샌드위치를 만든다고 생각해보겠습니다.
빵만 판매한다면 빵만 잘 만들면 됩니다.
하지만
빵,
치즈,
고기,
채소,
소스
를 모두 정확하게 조립해야 한다면 문제가 생길 가능성도 많아집니다.
HBM도 여러 제조공정과 적층공정이 연결됩니다.
그래서 제조 노하우가 중요합니다.
그렇다면 HBM은 왜 이제야 중요해졌을까?
사실 HBM이라는 아이디어가 생성형 AI와 함께 갑자기 처음 등장한 것은 아닙니다.
고성능 그래픽과 슈퍼컴퓨터 등 데이터 대역폭이 중요한 분야에서 HBM 기술이 발전해왔습니다.
하지만 AI 계산량이 폭발적으로 증가하면서 HBM의 장점이 훨씬 중요해졌습니다.
AI가 HBM 시장의 거대한 사용처가 되었다
AI용 GPU는 엄청난 계산능력을 가지고 있습니다.
GPU 성능이 빠르게 높아지면서 메모리에서도 더 높은 대역폭이 필요해졌습니다.
그래서
AI GPU 증가
↓
HBM 필요 증가
↓
HBM 기술 경쟁 심화
라는 구조가 만들어졌습니다.
그래서 SK하이닉스라는 이름이 크게 등장했다
SK하이닉스는 원래부터 세계적인 DRAM 기업이었습니다.
하지만 일반 소비자에게는 삼성전자보다 회사 이름이 덜 익숙했을 수도 있습니다.
그런데 AI 시대가 시작되면서 상황이 달라졌습니다.
HBM이 AI GPU의 중요한 부품이 되자
HBM을 얼마나 잘 만들 수 있는가
가 메모리 기업의 중요한 경쟁력이 되었습니다.
그리고 SK하이닉스가 이 시장에서 빠르게 존재감을 키우면서 세계적으로 주목받게 되었습니다.
SK하이닉스가 HBM에 강해질 수 있었던 첫 번째 이유: DRAM 경험
HBM의 기본은 DRAM입니다.
따라서 고성능 DRAM을 오랫동안 만들어온 경험이 중요합니다.
메모리 셀을 만들고,
고속으로 동작시키고,
전력을 낮추고,
수율을 관리하는
기본적인 DRAM 기술이 필요합니다.
SK하이닉스는 오랫동안 DRAM을 제조해온 회사였기 때문에 이런 기반기술을 가지고 있었습니다.
두 번째 이유: 적층 기술을 일찍 준비했다
HBM은 단순한 DRAM보다 적층과 패키징 기술이 훨씬 중요합니다.
여러 개의 메모리를
얇게 만들고,
정확하게 쌓고,
TSV로 연결해야 합니다.
이 기술은 하루아침에 만들 수 없습니다.
많은 시행착오와 제조 경험이 필요합니다.
세 번째 이유: AI라는 거대한 시장을 만났다
좋은 기술이 있어도 시장에서 필요하지 않으면 큰 사업이 되기 어렵습니다.
하지만 생성형 AI가 성장하면서 HBM 수요가 매우 중요한 시장으로 발전했습니다.
즉
오랫동안 준비한 HBM 기술
과
AI GPU의 폭발적인 메모리 수요
가 만나게 된 것입니다.
서핑보드와 큰 파도 비유
좋은 서핑보드를 오랫동안 준비한 사람이 있습니다.
그런데 바다에 큰 파도가 오지 않았습니다.
그러면 실력을 보여줄 기회가 적습니다.
어느 날 엄청난 파도가 찾아옵니다.
이미 보드와 기술을 준비한 사람은 빠르게 파도를 탈 수 있습니다.
AI라는 큰 파도가 오면서 HBM을 준비해온 기업들의 기술 가치가 크게 부각된 것을 비슷하게 생각할 수 있습니다.
네 번째 이유: 고객과 함께 제품을 맞춰야 한다
HBM은 아무 제품이나 만들어 창고에 쌓아놓고 팔기만 하는 성격과 다릅니다.
고성능 GPU와 연결해야 하기 때문에 고객이 원하는
용량,
속도,
전력,
열 특성,
패키징 조건
등을 맞춰야 합니다.
그래서 GPU·AI 가속기 고객과 긴밀하게 협력하는 능력이 중요합니다.
고객 인증은 왜 그렇게 중요할까?
새로운 HBM을 만들었다고 바로 AI GPU에 넣지는 않습니다.
고객사는 테스트합니다.
정말 필요한 속도가 나오는지,
오래 사용해도 문제가 없는지,
열이 많이 나지 않는지,
전력 사용량은 적절한지
등을 확인합니다.
이 과정을 통과해야 실제 대규모 공급으로 이어질 수 있습니다.
고급 스포츠카에 아무 타이어나 끼우지 않는 것
초고성능 스포츠카를 만든다고 생각해보겠습니다.
타이어가 자동차 속도를 견딜 수 있는지 확인하지 않고 아무 제품이나 사용하지는 않습니다.
AI GPU 역시 매우 비싸고 중요한 반도체입니다.
그래서 함께 들어가는 HBM의 품질과 안정성을 철저하게 확인합니다.
삼성전자도 HBM 기술이 있는데 왜 경쟁이 생길까?
삼성전자 역시 세계적인 메모리 반도체 회사이며 HBM 제품을 개발하고 있습니다.
Micron 역시 HBM 시장에 참여합니다.
즉 HBM 시장은 한 회사만 있는 시장이 아닙니다.
주요 메모리 기업들이
성능,
전력 효율,
생산량,
수율,
고객 인증
등을 놓고 경쟁합니다.
HBM 경쟁은 일반 DRAM 경쟁과 무엇이 다를까?
일반 DRAM은 표준화된 제품을 대량생산하는 성격이 강합니다.
물론 기술 차이는 존재하지만 공급이 많아지면 가격 경쟁이 심해질 수 있습니다.
HBM은 여기에 더해
적층,
TSV,
패키징,
고객 맞춤,
인증
같은 요소가 훨씬 중요합니다.
그래서 단순한 메모리 생산능력만으로 경쟁력이 결정되기 어렵습니다.
HBM은 왜 비쌀까?
HBM은 제조과정이 복잡합니다.
고성능 DRAM을 만듭니다.
↓
웨이퍼를 얇게 가공합니다.
↓
TSV를 만듭니다.
↓
좋은 다이를 선별합니다.
↓
여러 층으로 정밀하게 쌓습니다.
↓
각 층을 연결합니다.
↓
검사합니다.
↓
GPU와 함께 첨단 패키징합니다.
일반적인 메모리보다 더 많은 기술과 작업이 들어갑니다.
따라서 제품의 부가가치도 높아질 수 있습니다.
HBM을 많이 만들고 싶다고 바로 생산량을 늘릴 수 있을까?
쉽지 않습니다.
HBM 생산량을 늘리려면 DRAM 생산능력뿐 아니라
TSV 공정,
적층 장비,
패키징,
검사
능력까지 함께 늘려야 합니다.
한 단계만 부족해도 전체 생산량을 늘리기 어렵습니다.
공장 조립라인과 비슷하다
자동차 공장이 있습니다.
엔진은 하루에 1,000개 만들 수 있습니다.
차체도 1,000개 만들 수 있습니다.
그런데 타이어를 하루에 300대분만 공급받습니다.
그러면 자동차는 하루 300대밖에 완성하지 못합니다.
HBM도 여러 공정 가운데 가장 부족한 단계가 전체 생산량의 병목이 될 수 있습니다.
HBM과 첨단 패키징은 서로 떼어놓기 어렵다
좋은 HBM을 만들었다고 끝이 아닙니다.
HBM은 GPU와 매우 가까이 연결해야 합니다.
그래서 파운드리와 패키징 기업의 기술도 중요합니다.
GPU를 만들고,
HBM을 만들고,
두 제품을 하나의 패키지 안에서 연결해야
최종 AI 가속기가 완성됩니다.
HBM은 메모리 회사만의 산업이 아니다
HBM 공급망에는
메모리 회사,
웨이퍼 장비회사,
TSV 장비회사,
패키징 기업,
파운드리,
소재기업
등이 연결됩니다.
AI 시대에 HBM 투자가 증가하면 관련 장비와 소재 시장까지 관심을 받는 이유입니다.
HBM 세대는 어떻게 발전했을까?
HBM도 계속 발전하고 있습니다.
대표적으로
HBM
↓
HBM2
↓
HBM2E
↓
HBM3
↓
HBM3E
↓
HBM4
같은 세대로 이어집니다.
새로운 세대에서는 일반적으로
더 높은 대역폭,
더 큰 용량,
더 좋은 전력효율
등을 목표로 합니다.
HBM3E에서 E는 무엇일까?
HBM3E의 E는 쉽게 말해 기존 HBM3를 더욱 발전시킨 세대라는 의미로 이해할 수 있습니다.
속도와 성능을 개선하면서 AI 가속기가 필요로 하는 더 높은 메모리 대역폭을 제공하는 방향으로 발전했습니다.
하지만 HBM 경쟁은 여기에서 끝나지 않습니다.
다음 세대인 HBM4에서는 더욱 큰 변화가 예상됩니다.
HBM4에서는 무엇이 달라질까?
AI GPU가 더욱 강력해지면 필요한 메모리 대역폭도 계속 늘어납니다.
그래서 HBM4에서는
더 높은 데이터 전송 성능,
더 큰 용량,
더 높은 적층 기술,
더 복잡한 베이스 다이
등이 중요해집니다.
특히 HBM과 GPU를 어떻게 더 효율적으로 연결할 것인지가 점점 더 중요해질 수 있습니다.
메모리와 시스템반도체의 경계가 가까워진다
예전에는
CPU·GPU는 시스템반도체 회사,
DRAM은 메모리 회사
처럼 비교적 분리해서 생각하기 쉬웠습니다.
하지만 HBM에서는
메모리,
로직,
패키징
기술이 매우 가까워지고 있습니다.
AI 시대에는 하나의 반도체만 잘 만드는 것이 아니라 서로 다른 칩을 얼마나 잘 연결하는가가 중요해지고 있기 때문입니다.
이것이 한국 반도체 산업에 중요한 이유
한국은 전통적으로 메모리 반도체에서 강한 경쟁력을 가지고 있습니다.
과거에는
“AI의 핵심은 GPU니까 메모리는 부품 아닌가?”
라고 생각할 수도 있었습니다.
하지만 실제로 AI GPU가 강력해질수록 HBM의 중요성도 커졌습니다.
즉 AI 시대에는 한국이 강점을 가진 메모리 기술도 매우 중요한 위치를 차지할 수 있습니다.
그렇다고 HBM만 잘하면 모든 문제가 해결될까?
아닙니다.
좋은 HBM이 있어도 GPU가 필요합니다.
GPU가 있어도 파운드리 생산능력이 필요합니다.
둘을 연결할 패키징 기술이 필요합니다.
데이터센터 네트워크도 필요합니다.
전력과 냉각도 필요합니다.
그래서 AI 산업에서는 특정 기업 하나보다 전체 공급망을 보는 것이 중요합니다.
HBM을 AI 공장의 물류창고로 생각해보자
AI 데이터센터를 초대형 공장이라고 생각해보겠습니다.
GPU는 제품을 매우 빠르게 만드는 생산기계입니다.
HBM은 생산기계 바로 옆에 있는 초고속 자동창고입니다.
필요한 재료를 즉시 꺼내 기계에 전달합니다.
창고가 멀리 있거나 출입구가 좁으면 생산기계는 기다립니다.
그래서 HBM은 단순한 저장공간이 아니라 GPU의 실제 계산성능을 끌어내는 핵심 부품입니다.
HBM의 진짜 가치는 ‘저장’보다 ‘공급’
HBM도 메모리이기 때문에 데이터를 저장합니다.
하지만 AI 시스템에서 HBM의 핵심 가치는 단순히
“얼마나 많은 데이터를 저장할 수 있는가?”
만이 아닙니다.
더 중요한 것은
“그 데이터를 GPU에 얼마나 빠르게 공급할 수 있는가?”
입니다.
그래서 이름부터 High Bandwidth Memory입니다.
GPU와 HBM은 하나의 팀이다
AI GPU를 사람의 두뇌라고 생각하면 HBM은 기억이라고 단순하게 표현할 수 있습니다.
하지만 더 정확한 비유는
GPU = 엄청난 계산 능력을 가진 연구팀
HBM = 연구팀 바로 옆에 붙어 있는 초고속 자료센터
입니다.
두 기술이 함께 발전해야 AI 계산 성능을 높일 수 있습니다.
AI 시대의 메모리 경쟁이 달라지고 있다
과거 메모리 산업에서는
얼마나 많이 생산하는가,
얼마나 싸게 생산하는가
가 특히 중요했습니다.
AI 시대의 HBM에서는 여기에 더해
얼마나 빠른가,
몇 층을 안정적으로 쌓는가,
얼마나 전력을 적게 쓰는가,
열을 어떻게 관리하는가,
GPU와 얼마나 잘 연결되는가,
고객 인증을 얼마나 빠르게 통과하는가
가 중요해지고 있습니다.
메모리 경쟁이 더 복잡해진 것입니다.
그래서 HBM은 단순한 메모리 제품이 아니다
HBM 안에는
DRAM 기술,
TSV 기술,
웨이퍼 박막화,
적층 기술,
열 관리,
첨단 패키징,
검사 기술
이 모두 들어갑니다.
한 분야의 기술만 뛰어나다고 최고의 HBM을 만들 수 있는 것은 아닙니다.
여러 제조기술을 함께 발전시켜야 합니다.
오늘 내용 한눈에 정리하기
오늘은 여덟 가지를 기억하면 됩니다.
첫째, HBM은 High Bandwidth Memory의 약자로 GPU에 많은 데이터를 빠르게 공급하기 위한 고성능 메모리입니다.
둘째, HBM은 기본적으로 DRAM 계열의 메모리입니다.
셋째, 여러 개의 DRAM 다이를 옆으로 늘어놓는 대신 위로 쌓아 작은 공간에서 높은 성능을 만듭니다.
넷째, 여러 층의 메모리는 TSV라는 초미세 수직 통로를 이용해 연결됩니다.
다섯째, HBM은 단순히 저장용량보다 GPU에 얼마나 많은 데이터를 빠르게 전달할 수 있는지가 매우 중요합니다.
여섯째, HBM 제조에는 DRAM·TSV·적층·열 관리·수율·패키징 등 매우 복잡한 기술이 필요합니다.
일곱째, AI GPU 수요가 급증하면서 HBM 기술을 준비해온 SK하이닉스가 세계적으로 크게 주목받게 되었습니다.
여덟째, 앞으로 HBM 경쟁은 HBM3E에서 HBM4 등으로 발전하면서 GPU·파운드리·첨단 패키징과 더욱 밀접하게 연결될 가능성이 큽니다.
그렇다면 HBM3E와 HBM4는 무엇이 다를까?
이제 HBM의 기본 구조를 이해했습니다.
DRAM을 여러 층 쌓습니다.
TSV로 연결합니다.
GPU 가까이에 배치합니다.
그리고 넓은 데이터 통로를 이용해 AI GPU에 데이터를 빠르게 전달합니다.
그런데 AI GPU는 계속 강력해지고 있습니다.
GPU가 더 많은 계산을 하면 HBM도 더 많은 데이터를 더 빠르게 공급해야 합니다.
그래서 HBM 역시 계속 새로운 세대로 발전하고 있습니다.
HBM2에서 HBM3,
HBM3에서 HBM3E,
그리고 이제 HBM4로 이어집니다.
그렇다면 새로운 HBM 세대가 등장할 때마다 실제로 무엇이 달라질까요?
단순히 메모리 속도만 빨라지는 것일까요?
왜 HBM4에서는 메모리 회사뿐 아니라 파운드리와 시스템반도체 기술까지 더욱 중요해질까요?
다음 글에서는
「HBM3E·HBM4는 무엇이 달라질까?｜AI 메모리 발전 과정 쉽게 이해하기」
를 통해 HBM이 어떻게 발전해왔고 앞으로 AI 반도체 구조를 어떻게 바꿀지 알아보겠습니다.
HBM을 판단하는 네 가지 기준
HBM은 단순히 ‘빠른 메모리’가 아닙니다. AI 가속기 가까이에 여러 DRAM 다이를 수직으로 쌓고 넓은 인터페이스로 연결해, 많은 데이터를 낮은 전력으로 전달하도록 설계한 메모리입니다. 제품 이름보다 아래 네 기준을 보면 세대 차이를 이해하기 쉽습니다.
| 기준 | 의미 | AI 시스템에 미치는 영향 |
|---|---|---|
| 대역폭 | 초당 전달할 수 있는 데이터의 양 | GPU 연산 장치가 데이터를 기다리는 시간을 줄인다 |
| 용량 | 가속기 가까이에 둘 수 있는 데이터의 크기 | 더 큰 모델과 배치를 처리하는 데 유리하다 |
| 전력 효율 | 데이터 전달에 필요한 에너지 | 서버의 전력·냉각 부담과 운영비에 영향을 준다 |
| 패키징·수율 | 여러 다이와 가속기를 안정적으로 결합하는 능력 | 성능뿐 아니라 공급량과 비용을 좌우한다 |
HBM과 일반 DRAM은 무엇이 다른가?
| 항목 | 일반 DRAM | HBM |
|---|---|---|
| 배치 | 메모리 모듈 또는 기판 위에 비교적 떨어져 배치 | 가속기와 같은 패키지 안팎에 매우 가깝게 배치 |
| 연결 방식 | 상대적으로 좁은 인터페이스와 높은 동작 속도 | 매우 넓은 인터페이스와 적층 구조 |
| 강점 | 범용성·가격·확장성 | 높은 대역폭과 데이터 이동 효율 |
| 과제 | 대역폭 병목 | 복잡한 패키징, 열, 수율, 공급 능력 |
함께 읽으면 좋은 글
- 반도체란 무엇일까? — 로직과 메모리 반도체의 기본 구분
- NVIDIA는 어떻게 AI 시대의 핵심 기업이 되었을까? — GPU·CUDA·네트워크가 하나의 플랫폼이 된 과정
공식 자료로 더 확인하기
HBM 글에서 집중할 질문
이 글은 DRAM 전체를 다시 설명하기보다, 여러 DRAM 다이를 수직으로 쌓고 넓은 인터페이스로 연결해 AI 연산장치에 데이터를 빠르게 공급하는 구조에 집중합니다.
자주 묻는 질문
HBM은 저장장치인가요?
아닙니다. HBM은 전원이 꺼지면 데이터가 사라지는 고대역폭 DRAM입니다. SSD처럼 파일을 장기간 보관하는 NAND 저장장치와 역할이 다릅니다.
HBM 용량만 크면 AI 성능이 좋아지나요?
용량뿐 아니라 대역폭, 지연시간, GPU와의 연결, 소프트웨어 활용도, 전력과 냉각 조건이 함께 영향을 줍니다.
댓글 0
첫 댓글을 남겨보세요.