破局“內存牆”，存算一體路線分析_風聞

來源：內容來自半導體行業觀察（ID：icbank）原創，作者：李飛。隨着人工智能應用的普及，雲端相關的計算需求也在相應上升。對於基於神經網絡的人工智能來説，算力是實現高性能模型的關鍵資源。

在雲端的人工智能計算中，“內存牆”是一個重要的性能瓶頸。在目前的主流計算機架構中，處理和存儲是兩個截然不同的部分，而隨着摩爾定律幾十年來的發展，事實上存儲器（尤其是主存DRAM）的性能發展是要遠遠落後於處理器的計算邏輯性能發展的，因此DRAM速度（包括存取和接口）就成為了限制雲端算力發展的一個瓶頸。另一方面，雲端人工智能模型的發展潮流是模型參數越來越多，例如在推薦系統這樣的雲端人工智能傳統項目中，典型模型的尺寸達到GB數量級；而在語音識別、自然語言處理、計算機視覺這樣的領域中，最近隨着transformer類模型逐漸佔據主流，模型的參數量也在上升。這兩者相結合，就是一方面人工智能計算對於內存的需求越來越高，而另一方面傳統的DRAM方案並不能滿足雲端人工智能的需求。

在這樣的情況下，存算一體的方案正在獲得越來越多的關注，並且正在慢慢由研究領域進入商用化。存算一體是指將內存和計算以相比傳統計算機架構更緊密地結合在一起，從而減少內存訪問帶來地開銷，並且解決“內存牆”問題。在雲端計算的應用場景，存算一體方案主要是圍繞DRAM去做創新，希望能將計算和DRAM能集成到一起，並以此降低內存訪問的能量和延遲。對於具體的做法，實際上有兩條主流技術路線：即近內存計算（near-memory computing）和存內計算（in-memory computing）。

業內巨頭在相關領域有所動作，往往是一項技術走向成熟和商用的標誌。對於雲端存算一體來説，我們最近看到三星和阿里巴巴在這個領域都有相關技術發表。三星在今年下半年的頂級商用芯片會議HotChips上發表了HBM2-PIM相關的技術，而阿里巴巴在基於3D封裝實現存算一體的論文則收錄在明年二月即將召開的國際固態半導體電路會議（ISSCC）上。從技術路線上來説，三星主要是走存內計算的路線，同時也兼顧近內存計算；而阿里巴巴目前則主要是針對近內存計算做開發。

三星的存內計算路線

三星的存內計算技術稱為“Aquabolt-XL”，主要是基於其HBM2 DRAM技術做了存內計算（HBM2-PIM）。具體來説，Aquabolt-XL在HBM2 DRAM內部集成了計算邏輯，因此擁有HBM2-PIM技術的DRAM既可以當作一塊普通的HBM2 DRAM來用（即直接寫入讀出，而繞開計算邏輯）；也可以在寫入和讀出的時候同時讓計算邏輯去做計算。當需要使用存內計算的時候，CPU只需要給HBM2-PIM寫入數據以及相應的計算指令，而下次讀出數據的時候可以直接讀出已經計算好的結果。

存內計算的技術路線中，計算邏輯和存儲單元都是使用相同的DRAM工藝，因此通常存內計算邏輯的性能比較有限，時鐘頻率無法到達很高，做到高性能計算邏輯則需要依靠對於DRAM工藝的深厚積累和優化。另一方面，由於計算邏輯和存儲單元是深度集成，因此計算邏輯可以以較小的開銷最大化地調用存儲單元，並且可以做協同設計和優化。最後，存內計算在HBM2 DRAM中實現之後，可以較快地應用到其他規格地存儲器中，包括用於桌面地DDR/GDDR以及使用於移動端的LPDDR等。除了HBM2-PIM之外，三星還公佈了近內存計算方案AxDIMM，實現了在每個DRAM芯片旁邊都集成了一塊單獨的加速器邏輯並可以同時訪問，從而等效地大大增加了訪存帶寬。

對於三星來説，主要走存內計算技術路線非常符合其技術背景以及商業模式。HBM2-PIM技術實際上是一塊帶有計算功能且在人工智能應用中能提升系統性能地內存芯片，所以三星最終還是希望能通過這個技術來確保其存儲器業務在人工智能時代能繼續保持領先。此外，三星在DRAM工藝領域地積累也確保它能做到使用DRAM實現存內邏輯計算的最優化，以及集成的成本可以控制到較好。

阿里的近內存計算路線

與三星相對，目前阿里巴巴在存算一體領域走的是近內存計算的方案。根據目前公佈的資料，阿里巴巴的存算一體方案是把計算邏輯芯片和DRAM使用3D封裝技術封裝到一起，從而利用封裝帶來的高IO密度來實現高內存帶寬以及較低的訪問開銷。從發表在明年ISSCC論文中，我們也可以看到這項技術是由阿里巴巴達摩院和紫光共同開發而成。

使用近內存計算可以讓計算邏輯使用和存儲器DRAM單元不同的工藝來實現，這樣計算邏輯可以實現較高地性能和能效比。另一方面，這可能也是阿里巴巴這樣並不掌握DRAM工藝的廠商入場存算一體最合理的方式了。同時，該技術使用的3D封裝技術加上定製化的額外計算邏輯將會使整體成本較高，必須要找到合適的應用場景才能體現其價值。目前，該技術主要還是處於研發階段，未來還有一些重要的工程化里程碑尚待解決，包括量產、良率等。

在商業模式方面，阿里巴巴顯然是以自用為首要目標，因此其存算一體研發主要的目標是能針對目標應用提供不受內存牆限制的計算解決方案，而不像三星一樣是開發下一代存儲芯片。從這個角度來説，只要阿里能確保這樣的近內存計算存算一體解決方案在推薦系統等高價值應用中能提供足夠的性價比（例如，比起採購GPU來説更便宜），就有進一步推動下去的動力。

中國雲端存算一體的未來

目前，我們看到存算一體已經成為巨頭爭相研發的目標，未來有機會成為雲端高性能計算領域的關鍵技術。我們同時很高興看到中國的阿里巴巴在這個領域的成果。展望未來，我們認為存算一體的兩個技術方向將會繼續共存，其中近內存計算憑藉其使用先進工藝節點的計算邏輯可以針對高價值應用場景做極致的加速優化，而存內計算則可能會成為下一代應用在高性能計算的存儲器技術廣泛應用在通用的計算場景中。

中國在存算一體領域和三星這樣的國際巨頭的差距主要體現在存內計算領域。中國在DRAM領域的技術仍然相對落後，而如果要讓存算一體真正進入大量部署，則必須要在DRAM中集成計算邏輯的方向也有突破。目前，我國在DRAM領域有大量投入，希望能在補足差距的同時，也能兼顧存內計算這樣的前瞻性技術，從而能賦能中國的高性能計算和人工智能計算需求。