模擬AI芯片怎麼玩？Mythic公佈了他們的新進展_風聞

來源：本文由公眾號半導體行業觀察（ID：icbank）翻譯自「wikichip」，作者：David Schor，謝謝。

説到人工智能硬件，我們向來事無鉅細。WikiChip密切關注的一家公司是Mythic。這家公司還沒有完全公開他們的架構和產品，但一些細節已經開始慢慢浮出水面。在最近的人工智能硬件峯會上，該公司的創始人兼首席執行官Mike Henry)紹了該芯片的最新情況。

這家位於奧斯汀的初創公司由Mike Henry和Dave Fick於2012年創立，最近完成了7000萬美元的B輪融資，總融資額剛剛超過8500萬美元。如今，公司員工已增至110人。

Mythic是一家模擬公司。但是，在我們探討細節之前，必須指出，它們目前僅專注於推理，無論是在數據中心還是在邊緣。到2024年，這兩個市場的TAM（Total Available Market總體有效市場）

預計將達到250億美元，這就是為什麼這裏有如此多的關注點的原因。從長遠來看，Mythic計劃針對大眾市場的消費品和汽車產品。

把所有東西都放在芯片上，放在閃存裏

隨着模型準確性的提高，其大小也會隨之增加。如今，模型達到了數億個參數，甚至達到數十億。最重要的是，通常實時地需要確定性行為，例如一致的幀速率和延遲。這就是Mythic的作用。Mythic的論點很簡單:將足夠的存儲與大量並行計算單元打包在芯片上，以最大化內存帶寬並減少數據移動的能力。但是有一個轉變——這就是Mythic的原始方法的閃光點——該公司拋棄了傳統的SRAM，轉而使用更密集的閃存，此外，Mythic還計劃在模擬環境下直接在內存中進行本地計算。

但是為什麼是閃存?答案很簡單:因為它密度大，功耗低，而且便宜，幾乎比SRAM的密度大兩個數量級。

理論上，Mythic的芯片更像內存，而不是傳統的CMOS。從更長的路線圖來看，隨着SRAM  bit cell的擴展變得越來越困難，它帶來的好處也越來越深遠。總的來説，從每美元的性能、每單位成本的密度和每瓦特的性能來看，這是一個潛在的巨大勝利。

多年來，我們看到了一大堆路線圖，當他們開始談論未來10年的時候，很容易忽視它。但對Mythic來説，有一些不同之處。值得特別指出的是，目前Mythic正在研究40納米的嵌入式閃存。他們有一個相當清晰的28nm和22nm的路徑，因此，粗略地説，這個圖的一半是基於今天已經發布的現有節點。

Mythic公司的首席執行官Mike Henry似乎相信他們可以繼續這樣做，但是儘管正在進行一些工作以繼續擴展到16/14納米節點，還不清楚它是否會上市。

許多業內人士認為，嵌入式閃存在22納米的時候遭遇了瓶頸。在與Mythic的一次簡短交談中，他們告訴我們，他們並沒有與嵌入式閃存結合，如果其中一項新興技術(如多位ReRAM、PCM或NRAM)作為一種強大的替代技術出現，他們肯定會考慮遷移到這種技術。

IPU

Mythic的芯片被稱為IPUs或智能處理單元。在外設方面，該芯片非常簡單，由PCIe的x4通道和DNN平鋪網格組成，PCIe是負責整個芯片管理的基本控制處理器。由於芯片的設計是為了存儲整個模型，沒有DRAM。

Mythic表示，由於這是一個基於tiles的設計，如果有需求，他們可以通過添加直接的音頻/視頻和各種其他接口來進一步定製。在去年的Hot Chip上，Mythic談論的是一款5000萬權值（weights）的初始產品。在最近的人工智能硬件峯會上，Mike Henry表示，初始產品權值將達到1.2億，這比最初的計劃要多很多。在富士通的40nm製程中，近標線全尺寸芯片應具有約300M權值的容量，因此120M仍然是一個相當大的芯片。

IPU的作用是作為一個連接到主機的PCIe加速器。對於大型模型或多個模型，可以使用多個IPU。模型最初被加載到IPU中，並保持靜止。沒有DRAM和編程閃存相對較慢，因此模型應該能夠適應芯片與多個應用映射到同一芯片。這對於許多邊緣應用程序來説非常典型。在正常操作下，主機CPU將數據發送到IPU，並通過PCIe端口接收結果。

IPU總體設計（WikiChip）

該芯片由DNN tiles構成網格。在一個tiles裏面是一個模擬矩陣乘法器，它建立在一個巨大的嵌入式閃存池的頂部，用來計算權值。嵌入式閃存單元使用浮動柵極通過存儲電荷、控制閾值電壓來存儲位。晶體管支持256級電導（G=1/R）之間的完全關閉和打開狀態，Mythic用它來表示8位值。

通過將所有神經元的權值映射到閃光晶體管上，他們可以利用歐姆定律自然地進行矩陣乘法運算。實現的方法是使用閃光晶體管將權值表示為可變電阻。這在計算之前執行一次。使用8位DAC，輸入矢量作為一組電壓通過可變電阻。根據歐姆定律，輸出電流是輸入數據與權值向量(I = V x G)相乘的結果。最後，一組adc將產生的電流轉換回數字值，成為輸出矢量。ReLu和其他各種非線性操作也由adc在那個時間點完成。

圍繞這個組件還有一些額外的邏輯。不管工作條件如何，DAC/ADC封裝器都會進行補償和校準，以獲得精確的8位計算—類似於今天的圖像傳感器所做的工作。

模擬矩陣乘法（wikichip）

需要指出的是，這個方案沒有實際的內存訪問。矩陣相乘是在內存中完成的，利用歐姆定律，所以沒有權值訪問能量。使用固定權值時，也沒有批量大小或其他特殊處理。雖然固定容量可能會帶來一些問題。順便説一下，它們支持神經元稀疏，但不支持權值稀疏性。

有趣的是，Mythic説，對於他們的第一代，為了加快開發和上市時間，他們不會使用DAC作為輸入。相反，他們使用一個數字近似電路，由此分別計算每個輸入位，然後累加結果。他們將在將來用DAC消除這種情況，這有望為他們提供一些很好的改善。