AI가 발전할수록 GPU만큼 메모리가 중요해지는 이유
메모리 병목과 HBM의 등장
AI 성능을 이야기하면 대부분 먼저 GPU를 떠올립니다.
GPU가 빠르면 AI도 빠를 것 같고,
GPU가 많으면 AI 성능도 계속 좋아질 것처럼 느껴집니다.
하지만 실제 컴퓨터에서는 GPU 혼자 계산할 수 없습니다.
GPU가 계산하려면 먼저 데이터가 도착해야 합니다.
아무리 빠른 GPU가 있어도 필요한 데이터를 제때 받지 못하면 기다릴 수밖에 없습니다.
바로 여기에서 메모리가 중요해집니다.
특히 현대 AI에서는 계산해야 할 데이터가 매우 많아지면서
메모리가 데이터를 얼마나 빠르게 GPU에 전달할 수 있는가
가 전체 성능을 결정하는 중요한 요소가 되었습니다.
이 문제를 메모리 병목(Memory Bottleneck)이라고 부릅니다.
그리고 이 문제를 해결하기 위해 매우 중요해진 메모리가 바로 HBM입니다.
가장 먼저 한 문장으로 정리하면?
AI에서는 GPU가 아무리 빠르더라도 메모리가 데이터를 충분히 빠르게 공급하지 못하면 GPU가 기다려야 합니다.
그래서 AI 시대에는
GPU의 계산 속도
뿐 아니라
메모리의 데이터 전달 속도
가 매우 중요합니다.
GPU를 초고속 계산원이라고 생각해보자
세계에서 계산을 가장 빠르게 하는 사람이 있다고 생각해보겠습니다.
1초에 수천 개의 문제를 풀 수 있습니다.
그런데 문제가 하나 있습니다.
문제지를 한 번에 한 장씩만 받을 수 있습니다.
계산은 1초 만에 끝냈는데 다음 문제지가 10초 뒤에 도착합니다.
그러면 이 사람은 대부분의 시간을 무엇을 하게 될까요?
기다리게 됩니다.
GPU도 비슷합니다.
GPU가 계산하려면 데이터가 필요하다
GPU는 숫자를 계산하는 장치입니다.
하지만 계산할 숫자를 스스로 만들어내는 것은 아닙니다.
메모리에서 데이터를 가져와야 합니다.
예를 들어 AI가 문장을 처리한다고 생각해보겠습니다.
AI 모델의 여러 가중치와 입력 데이터가 메모리에 있습니다.
GPU는 이 데이터를 가져옵니다.
↓
계산합니다.
↓
다음 데이터를 가져옵니다.
↓
다시 계산합니다.
이 과정이 계속 반복됩니다.
GPU의 계산 속도만 빨라지면 어떤 일이 생길까?
GPU는 계속 발전하고 있습니다.
한 번에 더 많은 계산을 할 수 있습니다.
그러면 더 많은 데이터가 필요합니다.
예전 GPU가 1초에 데이터 10개를 처리했다면
새로운 GPU는 1초에 100개를 처리할 수 있다고 생각해보겠습니다.
그런데 메모리는 여전히 1초에 20개만 전달할 수 있습니다.
GPU는 실제로 100개의 계산 능력이 있어도 20개밖에 처리하지 못할 수 있습니다.
나머지 시간에는 데이터를 기다립니다.
이것이 병목이다
도로를 생각해보겠습니다.
왕복 20차선짜리 거대한 고속도로가 있습니다.
그런데 중간에 갑자기 2차선 도로로 좁아집니다.
자동차가 아무리 많이 들어와도 2차선 구간에서 막힙니다.
전체 교통량은 결국 가장 좁은 구간의 영향을 받습니다.
이런 현상을 병목(Bottleneck)이라고 합니다.
병의 목 부분이 몸통보다 좁은 것에서 나온 표현입니다.
메모리 병목이란 무엇일까?
메모리 병목은
GPU나 CPU가 계산할 능력은 충분하지만 메모리에서 데이터를 가져오는 속도가 부족해 전체 성능이 제한되는 현상
이라고 이해하면 됩니다.
즉
GPU → 매우 빠름
메모리 → 상대적으로 느림
이면
GPU가 기다리게 됩니다.
주방으로 생각하면 더 쉽다
세계 최고의 요리사 100명을 고용했습니다.
각 요리사는 1분에 음식 하나를 만들 수 있습니다.
그러면 이론적으로 1분에 음식 100개를 만들 수 있습니다.
그런데 재료창고에서 한 번에 재료 10개만 가져올 수 있습니다.
결국 90명의 요리사는 기다리게 됩니다.
이때 문제는 요리사의 실력이 아닙니다.
재료를 공급하는 속도입니다.
AI에서도 비슷합니다.
AI 모델에는 왜 그렇게 많은 데이터가 필요할까?
AI 모델 내부에는 매우 많은 숫자가 있습니다.
앞에서 이를 가중치(Weight)라고 배웠습니다.
AI가 어떤 결과를 만들기 위해 사용하는 수많은 조절값입니다.
AI 모델이 커질수록 가중치 수도 많아질 수 있습니다.
그리고 계산할 때 이 숫자를 계속 불러와야 합니다.
책이 한 권에서 도서관으로 커진다고 생각해보자
작은 AI 모델은 작은 참고서 한 권 정도라고 생각해보겠습니다.
필요한 내용을 찾기가 어렵지 않습니다.
그런데 AI 모델이 커지면서 참고자료가 수백만 권이 있는 도서관처럼 변합니다.
필요한 정보를 계속 찾아 계산기에 전달해야 합니다.
계산기가 아무리 빨라도 책을 전달하는 직원이 느리면 전체 작업이 늦어집니다.
AI에는 계산량과 데이터 이동량이 모두 크다
AI가 어려운 이유는 단순히 계산이 많기 때문만은 아닙니다.
엄청난 양의 데이터를 계속 이동시켜야 합니다.
메모리에서 GPU로 데이터를 보내고,
GPU 내부에서 데이터를 이동시키고,
다른 GPU와 계산 결과를 주고받습니다.
그래서 현대 컴퓨터에서는
계산 자체
뿐 아니라
데이터를 이동시키는 일
도 매우 중요합니다.
데이터를 움직이는 데도 전기가 필요하다
이 부분도 중요합니다.
데이터가 메모리와 GPU 사이를 이동할 때도 전기를 사용합니다.
거리가 멀수록,
더 많은 데이터를 보낼수록,
전력 소비가 커질 수 있습니다.
그래서 AI 반도체에서는
“얼마나 빨리 계산하느냐?”
뿐 아니라
“데이터를 얼마나 가까운 곳에서 효율적으로 공급하느냐?”
도 중요합니다.
그래서 메모리를 GPU 가까이 가져온다
일반적으로 데이터가 이동해야 하는 거리가 짧아지고 연결 통로가 넓어지면 효율을 높일 수 있습니다.
이런 생각이 HBM에서도 중요합니다.
HBM은 GPU 같은 고성능 프로세서 가까이에 배치하고 넓은 데이터 통로를 이용할 수 있도록 설계된 고성능 메모리입니다.
HBM이란 무엇일까?
HBM은
High Bandwidth Memory
의 약자입니다.
한국어로 그대로 풀면
높은 대역폭을 가진 메모리
입니다.
핵심 단어는 Bandwidth, 즉 대역폭입니다.
대역폭이란 무엇일까?
대역폭은
일정한 시간 동안 얼마나 많은 데이터를 보낼 수 있는가
를 나타내는 개념입니다.
도로로 비유하면 아주 쉽습니다.
1차선 도로보다
8차선 도로에서
같은 시간 동안 더 많은 자동차가 지나갈 수 있습니다.
메모리에서도 통로가 넓고 효율적이면 같은 시간에 더 많은 데이터를 GPU로 전달할 수 있습니다.
속도와 대역폭은 조금 다르다
자동차 한 대가 얼마나 빠르게 달리는지를 속도라고 생각해보겠습니다.
반면 같은 시간에 자동차 몇 대를 보낼 수 있는지를 도로의 처리량이라고 할 수 있습니다.
메모리에서도 단순히 신호 하나의 속도뿐 아니라
동시에 얼마나 많은 데이터를 전달할 수 있는가
가 중요합니다.
AI에서는 바로 이 대역폭이 매우 중요합니다.
수도관으로 생각하면 더 쉽다
작은 수도관 하나가 있습니다.
물은 빠르게 흐르지만 관이 매우 좁습니다.
한 번에 많은 물을 보낼 수 없습니다.
반대로 매우 굵은 수도관을 사용하면 같은 시간 동안 훨씬 많은 물을 보낼 수 있습니다.
AI GPU가 원하는 것은 많은 데이터를 빠르게 받을 수 있는 굵은 수도관입니다.
HBM이 이런 역할을 합니다.
일반 메모리도 있는데 왜 HBM이 필요할까?
일반적인 그래픽카드에는 GDDR 같은 메모리가 사용되어 왔습니다.
GDDR 역시 매우 빠른 메모리입니다.
게임 그래픽 같은 작업에는 뛰어난 성능을 제공합니다.
하지만 AI 계산량이 엄청나게 커지면서 더욱 높은 메모리 대역폭이 필요해졌습니다.
GDDR 방식은 메모리를 주변에 배치한다
전통적인 그래픽카드를 보면 GPU 주변에 여러 개의 메모리 칩을 배치하는 구조를 볼 수 있습니다.
각 메모리와 GPU를 연결합니다.
이 방식도 충분히 좋은 성능을 낼 수 있습니다.
하지만 더 많은 데이터 통로를 만들려고 하면
칩 주변 공간,
배선,
전력
등 여러 문제가 커질 수 있습니다.
HBM은 다른 방식으로 접근한다
HBM은 메모리 칩을 옆으로 많이 늘어놓기보다 위로 쌓는 방식을 사용합니다.
여러 개의 DRAM 다이를 층층이 쌓습니다.
그리고 이 메모리들을 아주 넓은 통로로 연결합니다.
그래서 GPU에 많은 데이터를 전달할 수 있습니다.
아파트로 생각해보자
100가구가 살 집을 만든다고 생각해보겠습니다.
모든 집을 단층으로 지으면 엄청나게 넓은 땅이 필요합니다.
하지만 아파트처럼 위로 쌓으면 좁은 땅에도 많은 가구를 넣을 수 있습니다.
HBM도 비슷하게 여러 메모리 칩을 위로 쌓습니다.
메모리를 쌓으면 어떻게 연결할까?
층층이 쌓은 메모리끼리 데이터를 주고받아야 합니다.
이때 중요한 기술 중 하나가 TSV입니다.
TSV는
Through-Silicon Via
의 약자입니다.
쉽게 말하면
실리콘 칩을 위아래로 관통해서 연결하는 아주 작은 전기 통로
입니다.
건물의 엘리베이터라고 생각해보자
20층 아파트가 있습니다.
각 층을 연결하려면 계단이나 엘리베이터가 필요합니다.
HBM에서도 여러 층의 메모리를 연결해야 합니다.
TSV는 각 층을 빠르게 연결하는 수많은 초소형 엘리베이터와 비슷합니다.
이를 통해 층 사이에서 데이터가 이동합니다.
옆으로 멀리 돌아갈 필요가 줄어든다
여러 메모리를 평면에 멀리 배치하면 신호가 비교적 긴 거리를 이동해야 할 수 있습니다.
HBM에서는 여러 메모리가 수직으로 가까이 쌓여 있습니다.
그리고 GPU와도 매우 가까운 위치에 연결할 수 있습니다.
데이터 이동 거리를 줄이고 넓은 연결을 만드는 데 유리합니다.
HBM의 핵심은 단순히 ‘쌓았다’가 아니다
HBM을
“메모리를 여러 층 쌓은 것”
이라고만 이해하면 조금 부족합니다.
핵심은
여러 DRAM을 쌓고 매우 넓은 데이터 통로를 이용해 GPU 같은 프로세서에 높은 대역폭을 제공하는 것
입니다.
즉 목적은 ‘높이 쌓기’가 아니라 데이터를 빠르게 많이 전달하는 것입니다.
HBM도 DRAM일까?
네.
HBM은 기본적으로 DRAM 계열의 메모리입니다.
새로운 종류의 저장장치가 완전히 따로 생긴 것이 아닙니다.
앞에서 배운 DRAM을 AI와 고성능 컴퓨팅에 더 잘 맞도록 발전시킨 고성능 메모리라고 이해하면 쉽습니다.
HBM과 NAND는 비교 대상이 아니다
이 부분도 꼭 기억해야 합니다.
HBM과 NAND는 역할이 다릅니다.
HBM
GPU 옆에서 현재 계산에 필요한 데이터를 매우 빠르게 공급합니다.
NAND
SSD처럼 데이터를 오랫동안 저장합니다.
따라서
“HBM이 NAND보다 더 좋은 메모리다.”
라고 말하면 정확하지 않습니다.
용도가 서로 다릅니다.
책상과 창고 비유로 다시 보자
앞에서
DRAM = 책상
NAND = 창고
라고 배웠습니다.
HBM은 이 비유를 확장하면
천재 연구팀 바로 옆에 설치된 초대형 고속 작업대
라고 생각할 수 있습니다.
창고는 여전히 필요합니다.
하지만 지금 당장 계산할 자료는 가까운 고속 작업대에 있어야 합니다.
AI가 커지면 HBM 용량도 중요하다
대역폭만 중요한 것은 아닙니다.
AI 모델이 커지면 저장해야 할 가중치와 중간 계산 결과도 많아집니다.
그래서 GPU 주변에 충분한 메모리 용량이 필요합니다.
메모리가 부족하면 모델 전체를 한 번에 올리지 못할 수도 있습니다.
큰 책을 작은 책상에 올릴 수 없다
1,000페이지짜리 책을 읽고 있습니다.
그런데 책상이 손바닥만 합니다.
책을 펼칠 수 없습니다.
AI 모델도 비슷합니다.
처리해야 할 데이터가 매우 많은데 GPU 메모리 용량이 너무 작으면 작업이 어려워질 수 있습니다.
그래서 AI GPU에서는
메모리 대역폭
과
메모리 용량
이 모두 중요합니다.
메모리가 부족하면 여러 GPU를 써야 할 수도 있다
한 GPU의 메모리에 모델이 들어가지 않는다면 모델을 여러 GPU에 나누어 저장할 수 있습니다.
그런데 GPU가 많아지면 또 다른 문제가 생깁니다.
GPU끼리 더 많은 데이터를 주고받아야 합니다.
그러면 네트워크와 연결 기술도 중요해집니다.
즉 AI 시스템에서는 모든 문제가 서로 연결되어 있습니다.
AI 모델이 커질수록 병목이 이동한다
처음에는 GPU 계산 성능이 부족할 수 있습니다.
GPU가 빨라집니다.
그러면 메모리 속도가 부족해집니다.
메모리를 개선합니다.
그러면 GPU 간 네트워크가 문제가 될 수 있습니다.
네트워크를 개선합니다.
그러면 전력과 냉각 문제가 커질 수 있습니다.
컴퓨터 성능 경쟁은 이렇게 가장 느린 부분을 계속 개선하는 과정이라고 볼 수도 있습니다.
가장 느린 사람이 전체 팀의 속도를 결정한다
학생 10명이 릴레이 경기를 합니다.
9명은 매우 빠릅니다.
하지만 한 명이 매우 느립니다.
결국 전체 기록은 그 느린 한 명에게 큰 영향을 받습니다.
AI 시스템도 비슷합니다.
GPU,
메모리,
네트워크,
스토리지
중 하나가 너무 느리면 전체 시스템 성능이 제한될 수 있습니다.
그래서 AI 반도체를 시스템으로 봐야 한다
AI 반도체를 공부할 때
GPU가 몇 배 빨라졌는지만 보면 부족합니다.
GPU가 늘어난 계산 능력을 실제로 사용할 수 있도록
메모리,
네트워크,
패키징
도 함께 발전해야 합니다.
그래서 최근의 고성능 AI 반도체는 하나의 칩보다 전체 시스템 설계가 중요해지고 있습니다.
HBM은 왜 GPU 바로 옆에 있을까?
GPU에서 멀리 떨어진 곳에 HBM을 놓으면 데이터 이동 경로가 길어집니다.
그래서 HBM을 GPU 가까이에 배치합니다.
하지만 일반적인 회로기판 위에 그냥 가까이 놓는 것만으로는 원하는 만큼 넓은 연결을 만들기 어렵습니다.
여기에서 첨단 패키징이 중요해집니다.
GPU와 HBM 사이에 거대한 고속도로를 만든다
GPU와 HBM 사이에는 아주 많은 신호가 오가야 합니다.
일반적인 좁은 연결만으로는 부족합니다.
그래서 첨단 패키징 기술을 이용해 GPU와 여러 HBM을 매우 가깝게 배치하고 수많은 연결통로를 만듭니다.
이것이 나중에 배우게 될 CoWoS 같은 기술과 연결됩니다.
HBM이 좋아도 패키징이 부족하면?
HBM을 많이 생산했습니다.
GPU도 많이 생산했습니다.
그런데 두 칩을 연결할 첨단 패키징 생산능력이 부족합니다.
그러면 최종 AI 반도체를 충분히 만들 수 없습니다.
즉 AI 반도체 공급망에서는
GPU,
HBM,
패키징
이 모두 필요합니다.
그래서 AI 시대의 공급 부족은 한 곳에서만 생기지 않는다
AI 칩 수요가 갑자기 늘었다고 생각해보겠습니다.
GPU 제조능력이 부족할 수 있습니다.
HBM이 부족할 수 있습니다.
첨단 패키징이 부족할 수 있습니다.
네트워크 장비가 부족할 수도 있습니다.
전력이 부족할 수도 있습니다.
AI 인프라는 여러 공급망이 연결되어 있기 때문에 한 부분의 부족이 전체 생산량을 제한할 수 있습니다.
HBM을 만드는 것은 왜 어려울까?
메모리를 위로 쌓는다고 했습니다.
그런데 여러 층을 쌓을수록 제조가 복잡해집니다.
각 DRAM 다이가 정상이어야 합니다.
층끼리 정확하게 연결해야 합니다.
열도 관리해야 합니다.
완성된 제품을 검사해야 합니다.
그래서 일반적인 메모리보다 더 높은 수준의 제조와 패키징 기술이 필요할 수 있습니다.
블록 8개를 쌓는다고 생각해보자
블록 하나는 정상입니다.
두 번째도 정상입니다.
그런데 여덟 번째 블록을 올리는 과정에서 연결이 잘못되었습니다.
그러면 완성된 탑 전체에 문제가 생길 수 있습니다.
HBM에서도 여러 메모리 다이와 연결 과정이 모두 안정적으로 작동해야 합니다.
그래서 수율 관리가 중요합니다.
HBM에서는 열도 중요하다
GPU와 HBM은 엄청난 양의 데이터를 빠르게 처리합니다.
많은 전력을 사용하면 열이 발생합니다.
게다가 메모리를 여러 층으로 쌓으면 내부 열을 밖으로 빼내는 것도 중요한 문제가 됩니다.
그래서 HBM 기술은 단순히 메모리 설계만의 문제가 아닙니다.
재료,
적층,
연결,
열 관리,
패키징
이 함께 중요합니다.
왜 SK하이닉스가 AI 시대에 주목받았을까?
SK하이닉스는 오랫동안 DRAM을 개발해온 메모리 전문기업입니다.
AI 시대가 되면서 높은 대역폭을 제공하는 HBM 수요가 크게 중요해졌습니다.
기존의 DRAM 기술에
적층,
TSV,
패키징
같은 기술을 결합해야 했고,
이 분야의 경쟁력이 회사의 중요한 강점으로 연결될 수 있게 되었습니다.
삼성전자와 Micron도 HBM을 중요하게 보는 이유
AI용 GPU와 AI 가속기 시장이 성장한다면 고성능 메모리 수요도 함께 증가할 수 있습니다.
그래서 주요 메모리 기업들은 HBM 기술과 생산능력을 중요하게 보고 경쟁합니다.
메모리 산업에서 새로운 고부가가치 시장이 만들어지는 것이기 때문입니다.
일반 DRAM과 HBM은 가격 경쟁도 다를 수 있다
일반적인 메모리는 같은 규격의 제품을 여러 회사가 대량으로 생산하면서 공급과 수요에 따라 가격 변동이 크게 나타나는 경우가 있습니다.
HBM은
고성능 설계,
적층 기술,
고객 인증,
첨단 패키징
등이 함께 필요합니다.
그래서 단순한 범용 DRAM과는 경쟁 요소가 더 복잡합니다.
고객 인증은 왜 필요할까?
메모리를 만들었다고 바로 모든 AI GPU에 사용할 수 있는 것은 아닙니다.
GPU 제조사나 시스템 회사는
성능,
안정성,
발열,
전력,
품질
등을 확인해야 합니다.
고가의 AI 시스템에 들어가는 부품이기 때문에 문제가 생기면 피해가 매우 클 수 있습니다.
따라서 고객과 함께 오랜 기간 테스트하고 검증하는 과정이 중요합니다.
AI 반도체에서는 메모리가 보조부품이 아니다
과거에는 CPU나 GPU가 주인공이고 메모리는 옆에서 돕는 부품처럼 생각하기 쉬웠습니다.
하지만 AI 시대에는 이런 관점이 달라지고 있습니다.
GPU가 아무리 강력해져도 메모리가 따라오지 못하면 성능을 제대로 낼 수 없습니다.
그래서 HBM은 AI 시스템의 핵심 부품 중 하나가 되었습니다.
F1 자동차를 생각해보자
세계 최고의 엔진이 달린 F1 자동차가 있습니다.
하지만 연료를 엔진에 공급하는 관이 너무 좁습니다.
엔진은 최고 출력을 낼 수 없습니다.
그렇다고 연료통만 크게 만든다고 해결되는 것도 아닙니다.
엔진에 연료를 빠르게 전달해야 합니다.
AI에서
GPU = 엔진
HBM = 초고속 연료 공급 시스템
으로 생각하면 이해하기 쉽습니다.
GPU 성능이 좋아질수록 HBM 요구도 커질 수 있다
GPU가 더 많은 계산을 동시에 처리한다면 더 많은 데이터를 필요로 합니다.
계산장치가 두 배로 많아졌는데 메모리 대역폭은 그대로라면 각 계산장치가 사용할 수 있는 데이터 공급량이 부족해질 수 있습니다.
그래서 차세대 AI 반도체에서는 GPU 계산 성능과 함께 메모리 대역폭도 계속 발전해야 합니다.
앞으로 HBM은 어떻게 발전할까?
HBM 기술은 세대를 거치면서 발전합니다.
HBM,
HBM2,
HBM2E,
HBM3,
HBM3E,
HBM4
처럼 새로운 세대가 등장합니다.
각 세대에서는 일반적으로
더 높은 대역폭,
더 큰 용량,
더 좋은 전력 효율
등을 목표로 합니다.
HBM 숫자가 높으면 무조건 모든 면에서 좋은 걸까?
새로운 세대는 더 높은 성능을 목표로 하지만 실제 제품 선택에는 여러 조건이 있습니다.
가격,
생산능력,
전력,
GPU와의 호환성,
패키징 구조
등을 함께 봐야 합니다.
그래서 단순히 HBM 숫자만 높다고 모든 시스템에 바로 사용할 수 있는 것은 아닙니다.
HBM4가 특히 중요한 이유
AI 모델과 GPU 성능이 계속 커지면서 메모리에서도 더 큰 변화가 필요해지고 있습니다.
HBM4 같은 새로운 세대에서는 단순히 메모리 속도를 높이는 것뿐 아니라
GPU와 어떻게 더 가깝게 연결할지,
메모리 내부 구조를 어떻게 발전시킬지,
패키징을 어떻게 할지
같은 문제가 더 중요해질 수 있습니다.
즉 앞으로는 메모리와 로직 반도체의 경계가 더 가까워질 수 있습니다.
CPU 시대와 AI 시대의 차이
전통적인 PC에서는 CPU 성능을 크게 강조했습니다.
클럭이 몇 GHz인지,
코어가 몇 개인지
를 많이 봤습니다.
하지만 AI 시대에는
GPU 계산 능력,
HBM 용량,
HBM 대역폭,
GPU 간 연결,
네트워크,
전력
까지 함께 봐야 합니다.
컴퓨터가 하나의 칩 중심에서 전체 시스템 중심으로 변화하고 있는 것입니다.
투자 관점에서도 메모리가 중요해진 이유
AI 산업을 볼 때 NVIDIA만 보면 전체 그림을 놓칠 수 있습니다.
GPU 수요가 커지면
GPU를 생산하는 파운드리,
GPU에 들어가는 HBM,
GPU와 HBM을 연결하는 패키징,
반도체 제조장비
등의 수요와도 연결될 수 있습니다.
그래서 AI 반도체 산업을 분석할 때는 어디에서 병목이 생기고 있는지를 보는 것이 중요합니다.
병목을 찾으면 산업의 핵심이 보인다
AI 시스템에서 어떤 부품이 충분하다면 그 부품만 더 생산해도 전체 AI 시스템 생산량이 크게 늘지 않을 수 있습니다.
반대로 부족한 부품이 하나 있다면 그 부품의 생산량을 늘리는 것이 전체 시스템 공급을 크게 늘릴 수 있습니다.
그래서 산업에서는
GPU가 부족한가?
HBM이 부족한가?
패키징이 부족한가?
전력이 부족한가?
를 계속 확인합니다.
AI 시대의 경쟁은 ‘누가 가장 빠른 칩을 만드느냐’만이 아니다
최종 목표는 AI 계산 전체를 빠르게 만드는 것입니다.
그래서
GPU 계산속도만 높이는 것보다
GPU에 데이터를 공급하고,
다른 GPU와 연결하고,
전력을 공급하고,
열을 식히는
전체 시스템을 함께 개선해야 합니다.
이것이 현대 AI 인프라 경쟁의 핵심입니다.
오늘 내용 한눈에 정리하기
오늘은 일곱 가지를 기억하면 됩니다.
첫째, GPU는 계산할 데이터를 메모리에서 받아야 합니다.
둘째, GPU가 아무리 빨라도 메모리가 데이터를 늦게 전달하면 GPU가 기다리게 되는데 이를 메모리 병목이라고 합니다.
셋째, AI 모델이 커질수록 많은 가중치와 데이터를 처리해야 해 메모리 대역폭과 용량이 중요해집니다.
넷째, HBM은 여러 DRAM을 쌓고 넓은 데이터 통로를 이용해 GPU에 높은 메모리 대역폭을 제공하는 고성능 메모리입니다.
다섯째, HBM에서는 TSV와 적층, 열 관리, 패키징 같은 기술도 중요합니다.
여섯째, AI 시대에는 GPU·HBM·네트워크·패키징이 함께 발전해야 전체 시스템 성능이 좋아집니다.
일곱째, AI 산업을 이해하려면 가장 빠른 반도체만 볼 것이 아니라 어디에서 병목이 생기는지를 함께 봐야 합니다.
그렇다면 HBM은 정확히 어떻게 만들어질까?
이제 우리는 HBM이 왜 필요한지 이해했습니다.
GPU가 아무리 빠르게 발전해도 데이터를 공급하는 메모리가 따라가지 못하면 성능을 제대로 사용할 수 없습니다.
그래서 여러 DRAM을 위로 쌓고,
TSV로 연결하고,
GPU 가까이에 배치해
엄청난 양의 데이터를 전달하는 HBM이 중요해졌습니다.
그런데 새로운 질문이 생깁니다.
DRAM을 어떻게 여러 층으로 쌓을까요?
실리콘에 어떻게 수많은 구멍을 뚫어 연결할까요?
HBM을 높게 쌓을수록 왜 제조가 더 어려워질까요?
그리고 SK하이닉스가 AI 시대에 HBM으로 특히 주목받게 된 이유는 무엇일까요?
다음 글에서는
「HBM이란 무엇일까?｜AI 시대에 SK하이닉스가 주목받은 이유」
를 통해 HBM의 구조와 작동원리를 더 자세히 알아보겠습니다.
AI 메모리 병목을 구분하는 방법
| 병목 | 증상 | 주요 대응 |
|---|---|---|
| 용량 | 모델·배치가 메모리에 들어가지 않는다 | 고용량 HBM, 모델 분할, 정밀도 축소 |
| 대역폭 | 연산 장치가 데이터를 기다린다 | 넓은 인터페이스, 데이터 재사용, 커널 최적화 |
| GPU 간 통신 | 여러 가속기 동기화가 느리다 | NVLink·고속 네트워크, 병렬화 최적화 |
| 스토리지 I/O | 데이터 로딩이 학습을 지연한다 | 캐시·병렬 I/O·데이터 파이프라인 개선 |
‘메모리가 중요하다’는 말은 용량과 대역폭을 구분해야 정확해집니다. 여기에 GPU 간 통신과 스토리지까지 포함해야 실제 AI 시스템의 데이터 이동 병목을 설명할 수 있습니다.
관련 글과 공식 자료
댓글 0
첫 댓글을 남겨보세요.