在遲遲不能走出困境的半導(dǎo)體存儲器行業(yè)，新一代DRAM技術(shù)正備受關(guān)注。那就是通過層疊具有代表性的存儲器的DRAM芯片來實現(xiàn)高速大容量數(shù)據(jù)處理的“HBM（高帶寬存儲器）”。隨著人工智能（AI）的普及，需求出現(xiàn)猛增。作為擺脫存儲器不景氣的“救世主”，業(yè)界對HBM的期待正在升溫。

HBM是韓國SK海力士于2013年開發(fā)的新型存儲結(jié)構(gòu)。這是一種通過層疊多個DRAM芯片來提高數(shù)據(jù)處理速度的技術(shù)。目前受到關(guān)注的AI需要處理大容量數(shù)據(jù)，而HBM作為最用于AI的臨時存儲器已開始被采用。

用于長期保存數(shù)據(jù)的NAND型閃存的層疊技術(shù)是在電路形成工序的“前工序”中層疊存儲元件。而HBM是在作為組裝工序的“后工序”中層疊DRAM芯片，利用電子電路將多個半導(dǎo)體芯片連接起來。

據(jù)稱，通過這種方法，能夠以三維結(jié)構(gòu)在半導(dǎo)體封裝內(nèi)布滿電子電路，使數(shù)據(jù)處理速度提高到普通DRAM的10倍以上。SK海力士的第5代產(chǎn)品“HBM3e”（預(yù)定2024年啟動量產(chǎn)）的數(shù)據(jù)處理速度可達到每秒1.15TB （太字節(jié)）。


HBM3e技術(shù)即將實現(xiàn)量產(chǎn)

近日，NVIDIA又發(fā)布了全新的HGX H200加速器，可處理AIGC、HPC工作負載的海量數(shù)據(jù)。

NVIDIA H200的一大特點就是首發(fā)新一代HBM3e高帶寬內(nèi)存(疑似來自SK海力士)，單顆容量就多達141GB(原始容量144GB但為提高良率屏蔽了一點點)，同時帶寬多達4.8TB/s。對比H100，容量增加了76％，帶寬增加了43％，而對比上代A100，更是容量幾乎翻番，帶寬增加2.4倍。

得益于NVLink、NVSwitch高速互連技術(shù)，H200還可以四路、八路并聯(lián)，因此單系統(tǒng)的HBM3e內(nèi)存容量能做到最多1128GB，也就是1.1TB。只是相比于AMD Instinct MI300X還差點意思，后者搭載了192GB HBM3，帶寬高達5.2TB/s。

性能方面，H200再一次實現(xiàn)了飛躍，700億參數(shù)的Llama2大語言模型推理性能比H100提高了多達90％，1750億參數(shù)的GTP-3模型推理性能也提高了60％，而對比前代A100 HPC模擬性能直接翻番。

八路H200系統(tǒng)下，F(xiàn)P8深度學(xué)習(xí)計算性能可以超過32PFlops，也就是每秒3.2億億次浮點計算，堪比一臺大型超級計算機。


GPU推動HBM技術(shù)擴容和加速

英偉達的這次創(chuàng)新推出，標志著HBM技術(shù)在GPU領(lǐng)域的應(yīng)用取得了重要的突破。全球HBM市場在近年來一直處于快速增長的狀態(tài)，而這次英偉達推出的GPU，將進一步推動HBM市場的擴容。

在市場上，預(yù)計今年HBM的出貨量將達到50萬顆，而在未來，這一數(shù)字將逐年遞增。據(jù)預(yù)測，到2030年，HBM的年出貨量將達到1億顆。這表明，隨著技術(shù)的不斷進步和應(yīng)用領(lǐng)域的不斷拓展，HBM技術(shù)在未來的發(fā)展前景十分廣闊。

然而，盡管市場對HBM的需求在不斷增長，但目前三星和美光最新的HBM產(chǎn)品還處于籌備階段，預(yù)計要到24年第四季度才能開始批量生產(chǎn)。這意味著，在24年，HBM3e的供給將面臨嚴重的緊缺情況。這種短缺可能會進一步推動HBM價格的上漲，從而對整個行業(yè)產(chǎn)生深遠的影響。

同時，隨著服務(wù)器新世代CPU的推出和人工智能需求的不斷增加，市場對HBM高性能產(chǎn)品及高密度模組的需求也在不斷提升。這為HBM技術(shù)的發(fā)展提供了更多的機會和挑戰(zhàn)。

據(jù)了解，搭載HBM3e的第二代GH200將于24年第二季度開始出貨。這一新型GPU的推出，將進一步推動HBM技術(shù)的應(yīng)用和發(fā)展。同時，高速傳輸數(shù)據(jù)的HBM內(nèi)存芯片已經(jīng)成為人工智能的必要配置，這使得人工智能領(lǐng)域?qū)BM的需求也在不斷增長。

當前，HBM市場還處于初期發(fā)展階段。然而，據(jù)預(yù)測，到2025年，HBM市場規(guī)模有望年均增長45%以上。這一趨勢預(yù)示著HBM技術(shù)在未來的發(fā)展?jié)摿薮蟆?/span>

回顧今年，我們可以看到HBM的需求量受到了高階GPU提升的帶動而大幅增長了58%。與此同時，HBM3存儲器的價格已經(jīng)上漲了5倍。這種價格上漲的趨勢表明，HBM技術(shù)在市場上的價值正在得到越來越高的認可和重視。