別的內存都在降價，為啥HBM漲了5倍？_風聞

存儲的寒氣從去年吹到現在，雖然今年開年以來不時聽到觸底反彈的聲音，但市場仍未見明顯解凍現象。

TrendForce數據顯示，本季度，佔據存儲市場一半以上的DRAM，已經連續三個季度下跌。DRAM三巨頭三星、SK海力士和美光在出貨量方面僅美光有上升，其餘均衰退；平均銷售單價三者均下跌，並且預計三巨頭在Q2還將繼續虧損。

以DRAM 4月的指標性產品DDR4 8Gb為例，批發價為每個1.48美元左右，環比下跌1%；4Gb產品價格為每個1.1美元左右，環比下跌8%。

在DRAM的整體頹勢之中，HBM（高帶寬內存，High Bandwidth Memory）卻在逆勢增長。身為DRAM的一種，與大部隊背道而馳，價格一路水漲船高。據媒體報道，2023年開年後三星、SK海力士兩家存儲大廠HBM訂單快速增加，HBM3規格DRAM價格上漲5倍。HBM3原本價格大約30美元每GB，現在的價格怕是更加驚人。

一邊是總體DRAM跌到成本價，一邊是“尖子生”HBM價格漲5倍。

HBM到底是什麼？用在什麼地方？為什麼和其他DRAM差別這麼大，價格水漲船高？

01

什麼是HBM

HBM（High Bandwidth Memory），意為高帶寬存儲器，是一種面向需要極高吞吐量的數據密集型應用程序的DRAM，HBM的作用類似於數據的“中轉站”，就是將使用的每一幀，每一幅圖像等圖像數據保存到幀緩存區中，等待GPU調用。

正如其名，HBM與其他DRAM最大的差別就是擁有超高的帶寬。最新的HBM3的帶寬最高可以達到819 GB/s，而最新的GDDR6的帶寬最高只有96GB/s，CPU和硬件處理單元的常用外掛存儲設備DDR4的帶寬更是只有HBM的1/10。

超高的帶寬讓HBM成為了高性能GPU的核心組件。自從去年ChatGPT出現以來，HBM作為AI服務器的“標配”，更是開始狠刷存在感。從“鮮有問津”的高嶺之花，變成了大廠們爭相搶奪的“香餑餑”。

HBM為什麼可以擁有這麼高的帶寬？它和其他DRAM的差別在哪？為什麼會成為高端GPU的標配呢？

先説一下HBM是怎麼發展而來的。

按照不同應用場景，JEDEC（固態技術協會）將DRAM分為三個類型：標準DDR、移動DDR以及圖形DDR，HBM屬於最後一種。

圖形DDR中，先出現的是GDDR（Graphics DDR），它是為了設計高端顯卡而特別設計的高性能DDR存儲器規格，是打破“內存牆”的有效方案。

由於處理器與存儲器的工藝、封裝、需求的不同，二者之間的性能差距越來越大，過去20年中，硬件的峯值計算能力增加了90,000倍，但是內存/硬件互連帶寬卻只是提高了30倍。當存儲的性能跟不上處理器，對指令和數據的搬運（寫入和讀出）的時間將是處理器運算所消耗時間的幾十倍乃至幾百倍。

可以想象一下，數據傳輸就像處在一個巨大的漏斗之中，不管處理器灌進去多少，存儲器都只能“細水長流”。而數據交換通路窄以及其引發的高能耗，便是通常所説的“內存牆”。

為了讓數據傳輸更快，就必須要提高內存帶寬，內存帶寬是處理器可以從內存讀取數據或將數據存儲到內存的速率。GDDR採用傳統的方法將標準PCB和測試的DRAMs與SoC連接在一起，旨在以較窄的通道提供更高的數據速率，進而實現必要的吞吐量，具有較高的帶寬和較好的能耗效率。

不過，隨着AI等新需求的出現以及風靡，對帶寬的要求更高了，GDDR也開始不夠用。但是按照GDDR現有的模式很難有突破性的帶寬進展，存儲廠商們望着現有的GDDR，終於頓悟：**這樣“躺平”下去不行，得“疊”起來！**於是，HBM出現了。

所以，HBM其實是GDDR的替代品，是將DDR芯片堆疊在一起後和GPU封裝在一起，實現大容量，高位寬的DDR組合陣列。聽起來有點複雜，看下面這張圖就一目瞭然了。

圖源：網絡

GDDR作為獨立封裝，在PCB上圍繞在處理器的周圍，而HBM則排布在硅中階層(Silicon Interposer)上並和GPU封裝在一起，面積一下子縮小了很多，舉個例子，HBM2比GDDR5直接省了94%的表面積。並且，HBM離GPU更近了，這樣數據傳輸也就更快了。

HBM之所以可以做到這樣的佈局，是因為採用了3D堆疊技術。HBM將DRAM裸片像摩天大樓一樣垂直堆疊，並通過硅通孔（Through Silicon Via, 簡稱“TSV”）技術將“每層樓”連接在一起，貫通所有芯片層的柱狀通道傳輸信號、指令、電流，以增加吞吐量並克服單一封裝內帶寬的限制。你可以將HBM想象成一個切的整整齊齊的三明治，TSV就是紮在裏面的那根牙籤，將整個三明治固定並打通。

從側面來看HBM，來源：AMD

採用3D堆疊技術之後，其直接結果就是接口變得更寬，其下方互聯的觸點數量遠遠多於DDR內存連接到CPU的線路數量。從傳輸位寬的角度來看，4層DRAM裸片高度的HBM內存總共就是1024 bit位寬。很多GPU、CPU周圍都有4片這樣的HBM內存，則總共位寬就是4096bit。

因此，與傳統內存技術相比，HBM具有更高帶寬、更多I/O數量、更低功耗、更小尺寸。

HBM與其他幾種內存方案的參數對比；來源：芯耀輝

HBM朝着不斷提高存儲容量、帶寬，減小功耗和封裝尺寸方向升級，目前已升級到HBM3。從最初的 1GB 存儲容量和 128GB/s 帶寬的HBM1發展到目前的 24GB 存儲容量和 819GB/s 帶寬。

來源：SK 海力士、Rambus

不過，雖然HBM擁有優秀的帶寬，但也不是適用於所有應用，HBM也有自身的侷限性：

首先，缺乏靈活性，由於HBM與主芯片封裝在一起，所以不存在容量擴展的可能；其次，容量小，雖説一片HBM封裝雖然可以堆8層DRAM裸片，但也僅有8G Byte；第三，訪問延遲高。HBM由於互聯寬度超寬，這就決定了HBM的傳輸頻率不能太高，否則總功耗和發熱撐不住，所以延遲高（延遲指從讀取指令發出，到數據準備就緒的過程，中間的一個等待時間）。

簡單概括一下，同一個GPU核心，往往低端顯卡用DDR內存，高端用GDDR內存，再高端用HBM2內存。目前，HBM已經可以算是高端GPU的標配了。

02

借AI東風

HBM需求激增

2021年的時候，HBM位元需求佔整體DRAM市場只有不到1%。主要是因為HBM高昂的成本以及當時服務器市場中搭載相關AI運算卡的比重仍小於1%，且多數存儲器仍使用GDDR5(x)、GDDR6來支持其算力。

而到了今年年初，HBM的需求激增，並且業內人士稱，與最高性能的 DRAM 相比，HBM3 的價格上漲了五倍，HBM“逆襲”的主要原因，就是AI服務器需求的爆發。

在ChatGPT火了之後，一下子點燃了AIGC（生成式AI）的熱潮，誰不追，誰就要被拋下，於是大廠們紛紛開始推出自己的類ChatGPT的大模型。據不完全統計，自3月16日百度率先公佈“文心一言”以來，國內已有超過30項大模型產品亮相。

而AI大模型的基礎，就是靠海量數據和強大算力來支撐訓練和推理過程。AI服務器作為算力基礎設施單元服務器的一種類型也來到了台前，備受追捧。TrendForce集邦諮詢預估，2023年AI服務器（包含搭載GPU、FPGA、ASIC等）出貨量近120萬台，同步上修2022-2026年AI服務器出貨量年複合成長率至22%。

HBM成本在AI服務器成本中佔比排名第三，約佔9%，單機ASP（單機平均售價）**高達18,000美元。**所以，AI服務器是HBM目前最矚目的應用領域。

AI服務器需要在短時間內處理大量數據，包括模型訓練數據、模型參數、模型輸出等。要想讓AI更加“智能”，AI大模型龐大的參數量少不了，比如ChatGPT基於的GPT3.5大模型的參數量就高達135B。數據處理量和傳輸速率的大幅提升，讓AI服務器對帶寬提出了更高的要求，而HBM基本是AI服務器的標配 。

AI服務器GPU市場以NVIDIA H100、A100、A800以及AMD MI250、MI250X系列為主，基本都配備了HBM。2023 GTC大會發布的ChatGPT專用最新H100 NVL GPU，也配置了188GB HBM3e內存。HBM方案目前已演進為較為主流的高性能計算領域擴展高帶寬的方案。

目前推出的搭載HBM和GDDR的GPU產品；來源：奎芯科技

隨着高端GPU需求的逐步提升，TrendForce集邦諮詢預估2023年HBM需求量將年增58%，2024年有望再成長約30%。

除了AI服務器，汽車也是HBM值得關注的應用領域。汽車中的攝像頭數量，所有這些攝像頭的數據速率和處理所有信息的速度都是天文數字，想要在車輛周圍快速傳輸大量數據，HBM具有很大的帶寬優勢。但是最新的HBM3目前還沒有取得汽車認證，外加高昂的成本，所以遲遲還沒有“上車”。不過，Rambus的高管曾提出，HBM 絕對會進入汽車應用領域。

AR和VR也是HBM未來將發力的領域。因為VR和AR系統需要高分辨率的顯示器，這些顯示器需要更多的帶寬來在 GPU 和內存之間傳輸數據。而且，VR和AR也需要實時處理大量數據，這都需要HBM的超強帶寬來助力。

此外，智能手機、平板電腦、遊戲機和可穿戴設備的需求也在不斷增長，這些設備需要更先進的內存解決方案來支持其不斷增長的計算需求，HBM也有望在這些領域得到增長。並且，5G 和物聯網 (IoT) 等新技術的出現也進一步推動了對 HBM 的需求。

不過，目前來講，HBM還是主要應用於服務器、數據中心等領域，消費領域對成本比較敏感，因此HBM的使用較少。

可以肯定的是，對帶寬的要求將不斷提高，HBM也將持續發展。市場調研機構Omdia預測，2025年HBM市場的總收入將達到25億美元。據新思界發佈的分析報告顯示，預計2025年中國HBM需求量將超過100萬顆。

03

存儲巨頭爭霸HBM

HBM作為DRAM的一種，其市場也被三巨頭瓜分。目前技術走在最前面的是SK海力士，並且它也擁有第一的市佔率，高達50%，緊隨其後的是三星，市佔率約40%，美光約佔10%。預計到2023年，SK 海力士市佔率有望提升至 53%，而三星、美光市佔率分別為38%及9%。

下游廠商主要是CPU/GPU廠商，如英特爾、英偉達以及AMD。因為HBM是於GPU封裝在一起的，所以HBM的封裝基本也由晶圓代工廠一同包攬完成，而晶圓代工廠商包括台積電、格芯等也在發力HBM相關技術。國內廠商佈局不大，只有一些企業涉及封測，如國芯科技與深科技。

來源：財聯社

總的來説，HBM的競爭還是在SK 海力士、三星以及美光之間展開。

從技術上先來看，SK海力士是目前唯一實現HBM3量產的廠商，並向英偉達大量供貨，配置在英偉達高性能GPU H100之中，持續鞏固其市場領先地位。根據此前的資料介紹，SK海力士提供了兩種容量產品，一個是12層硅通孔技術垂直堆疊的24GB（196Gb），另一個則是8層堆疊的16GB（128Gb），均提供819 GB/s的帶寬，前者的芯片高度也僅為30微米。相比上一代HBM2E的460 GB/s帶寬，HBM3的帶寬提高了78%。此外，HBM3內存還內置了片上糾錯技術，提高了產品的可靠性。

三星在2022年技術發佈會上發佈的內存技術發展路線圖中，顯示HBM3技術已經量產，其單芯片接口寬度可達1024bit，接口傳輸速率可達6.4Gbps。2024年預計實現接口速度高達7.2Gbps的HBM3P，預計2025年在新一代面向AI的GPU中見到HBM3P的應用。

美光科技走得較慢，於2020年7月宣佈大規模量產HBM2E，HBM3也仍作為其產品線在持續研發之中。

HBM之後的發力點在於打破速度、密度、功耗、佔板空間等方面的極限。

為了打破速度極限，SK海力士正在評估提高引腳數據速率的傳統方法的利弊，以及超過1024個數據的I/O總線位寬，以實現更好的數據並行性和向後設計兼容性。簡單來講，即用最少的取捨獲得更高的帶寬性能。

另一方面廠商也在致力於提高功耗效率，通過評估從最低微結構級別到最高Die堆疊概念的內存結構和操作方案，最大限度地降低每帶寬擴展的絕對功耗。

不過要想有上述突破，存儲廠商要與上下游生態系統合作伙伴攜手合作和開放協同，將HBM的使用範圍從現有系統擴展到潛在的下一代應用。

HBM的下游也在持續發力，英偉達歷代主流訓練芯片基本都配置HBM；英特爾Sapphire Rapids發佈全球首款配備HBM的X86 CPU；AMD也在持續更新HBM產品線。

藉着AI的東風，HBM最近熱度大幅上升，從原來的“小透明”變成了“網紅”。並且，AI的浪潮還在愈演愈烈，HBM今後的存在感或許會越來越強。集邦諮詢預計2023-2025年HBM 市場年複合增長率有望增長至40%-45%以上。而其他機構預測DRAM5年內（2022-2027）年複合增長率僅有6.1%。不過要清楚的是，與龐大的DRAM市場比起來，HBM還是“渺小的”，大約只佔整個DRAM市場的1.5%。

參考資料：

[1]HBM高帶寬內存：新一代DRAM解決方案，方正證券

[2]HBM 成高端 GPU 標配，充分受益於 AI 服務器需求增長，廣發證券

[3]HBM，增長速度迅猛！半導體行業觀察

[4]存儲巨頭競逐HBM，半導體行業觀察