AI芯片發展現狀及前景分析_風聞
啊哦哦哦-2021-05-07 11:53
【文/期刊《微納電子與智能製造》 安寶磊】
隨着深度學習領域[1-4]帶來的技術性突破，人工智能（artificial intelligence，AI）無論在科研還是在產業應用方面都取得了快速的發展。深度學習算法需要大量的矩陣乘加運算，對大規模並行計算能力有很高的要求，CPU和傳統計算架構無法滿足對於並行計算能力的需求[5]，需要特殊定製的芯片。目前，AI芯片行業已經起步並且發展迅速[6]。
1. AI芯片定義及技術架構
1.1 AI芯片定義
廣義上所有面向AI應用的芯片都可以稱為AI芯片。目前一般認為是針對AI算法做了特殊加速設計的芯片。現階段，這些人工智能算法一般以深度學習算法為主，也可以包括其他淺層機器學習算法[7-8]。
1.2 AI芯片功能
（1）訓練。對大量的數據在平台上進行學習，並形成具備特定功能的神經網絡模型。對AI芯片有高算力、高容量和訪問速率、高傳輸速率、通用性的要求。
（2）推理。利用已經訓練好的模型通過計算對輸入的數據得到各種結論。對於 AI芯片主要注重算力功耗比、時延、價格成本的綜合能力。實驗證明低精度運算（如float16，int8）可達到幾乎和float32同等的推理效果，所以AI推理芯片有低精度算力的要求。
1.3 技術架構
表1列出了AI芯片的幾種技術架構，並對其優缺點進行比較。
表1.AI芯片技術架構
2. AI芯片應用場景
2.1 數據中心（IDC）
用於雲端訓練和推理，目前大多數的訓練工作都在雲端完成[9]。移動互聯網的視頻內容審核、個性化推薦等都是典型的雲端推理應用。Nvidia GPU在訓練方面一家獨大，在推理方面也保持領軍位置。FPGA和ASIC因為低功耗、低成本的優勢，在持續搶奪GPU的市場的份額。
雲端主要的代表芯片有Nvidia-TESLA V100、華為昇騰910、Nvidia-TESLA T4、寒武紀MLU270等。
2.2 移動終端
主要用於移動端的推理，解決雲端推理因網絡延遲帶來的用户體驗等問題。典型應用如視頻特效、語音助手等。通過在手機系統芯片（system on chip，SoC）中加入增加協處理器或專用加速單元來實現。受制於手機電量，對芯片的功耗有嚴格的限制。代表芯片有Apple A12 Neural Engine（加速引擎）和華為麒麟990。
2.3 安防
目前最為明確的AI芯片應用場景，主要任務是視頻結構化。攝像頭終端加入AI芯片，可以實現實時響應、降低帶寬壓力。也可以將推理功能集成在邊緣的服務器級產品中。AI芯片要有視頻處理和解碼能力。主要考慮的是可處理的視頻路數以及單路視頻結構化的成本[10]。代表芯片有華為Hi3559-AV100和比特大陸BM1684等。
2.4 自動駕駛
AI芯片作為無人車的大腦，需要對汽車上大量傳感器產生的數據做實時處理[11]，對芯片的算力、功耗、可靠性都有非常高的要求，同時芯片需要滿足車規標準，因此設計的難度較大[12]。面向自動駕駛的芯片目前主要有Nvidia Orin、Xavier和Tesla的FSD等。
2.5 智能家居
在AI+IoT時代，智能家居中的每個設備都需要具備一定的感知、推斷以及決策功能。為了得到更好的智能語音交互用户體驗，語音AI芯片進入了端側市場。語音AI芯片相對來説設計難度低，開發週期短。代表芯片有思必馳TH1520和雲知聲雨燕UniOne等。
3. AI芯片關鍵技術和基準測試平台
3.1 關鍵技術和挑戰
（1）AI芯片當前的核心是利用乘加計算（multiplier and accumulation，MAC）陣列來實現卷積神經網絡中最主要的卷積運算的加速。MAC陣列的大量運算，會造成功耗的增加。很多AI應用的場景對於功耗都有嚴格的限制，如何達到優異的性能功耗比是AI芯片研發的一個重要目標。
（2）深度學習算法中參與計算的數據和模型參數很多，數據量龐大，導致內存帶寬成為了整個系統的一個瓶頸“，Memory Wall”也是需要優化和突破的主要問題[13]。
（3）除了芯片本身硬件的設計以外，軟件對於AI芯片性能的發揮也有着十分重要的作用，編譯器和工具鏈軟件的優化能力、易用性現在也得到越來越多的重視。
3.2 基準測試平台
基準測試平台（Benchmark）為AI芯片建立了標準的評估體系，主要職責和意義有：
（1）基於調研和集羣信息收集，真實反映AI芯片的使用情況。
（2）引入評估和選型標準。
（3）對AI芯片的架構定義和優化指引方向。基準測試平台的評估指標包括延時（ms）、吞吐量（ims/s）、能效比（ims/s/W）、利用率（ims/s/T）等。主要的基準測試台有MLPerf、DawnBench（Stanford）、DeepBench（百度）、AI Matrix（阿里巴巴）。
4. AI芯片未來趨勢和探索
4.1 神經形態芯片
神經形態芯片是指顛覆經典的馮·諾依曼計算架構，採用電子技術模擬已經被證明了的生物腦的運作規則，從而構建類似於生物腦的芯片[14]。
神經形態芯片的優點：
（1）計算和存儲融合，突破Memory Wall瓶頸。
（2）去中心化的眾核架構，強大的細粒度互聯能力。
（3）更好的在線學習能力。清華大學、Intel、IBM等學校和企業都在做此方面的研究工作。
4.2 可重構計算芯片
可重構計算芯片也叫做軟件定義芯片[6]，主要針對目前AI芯片存在的以下問題和任務需求：
（1）高效性和靈活性難以平衡。
（2）複雜的AI任務需要不同類型AI算法任務的組合。
（3）不同任務需要的計算精度不同。可重構計算芯片的設計思想在於軟硬件可編程，允許硬件架構和功能隨軟件變化而變化，從而可以兼顧靈活性和實現超高的能效比。
5. 雲端和邊緣側AI芯片和應用
5.1 雲端和邊緣側AI芯片
本研究團隊從2017年開始研發AI芯片，並在當年發售了第一代雲端專用AI芯片 BM1680。在2019年發佈了第三代AI芯片BM1684。BM1684採用TSMC-12 nm工藝，有17.6Tops的int8和2.2Tflops的float32算力，典型功耗為16W，可以支持32路1080P的高清視頻解碼。基於BM1684芯片，研發了深度學習加速板卡SC5（如圖1所示）、高密度計算服務器SA5、邊緣計算盒子SE5、邊緣計算模組SM5等面向各種不同人工智能應用的產品。
圖1.深度學習加速板卡SC5
5.2 研發產品的應用
本團隊的AI產品已經在雲端和邊緣側的多種應用場景下落地使用，包括智慧園區（如圖2所示）、城市大腦（如圖3所示）、視頻結構化、人臉布控、智能支付等。
6. 結論
AI芯片行業尚處於起步階段，已經有越來越多的項目開始落地和商業化，它的快速發展有助於推動整個人工智能產業的進展。本文對AI芯片的現狀和未來可能的技術方向做了調研和分析，希望可以幫助讀者更好地瞭解AI芯片行業，AI 芯片擁有巨大的產業價值和戰略地位，相信中國的科研機構和企業會努力抓住機遇，讓中國的人工智能產業蓬勃發展。
文獻引用：
安寶磊.AI芯片發展現狀及前景分析[J].微納電子與智能製造, 2020, 2(1): 91-94.
《微納電子與智能製造》刊號：CN10-1594/TN
主管單位：北京電子控股有限責任公司
主辦單位：北京市電子科技科技情報研究所
北京方略信息科技有限公司
投稿郵箱：[email protected]（網站：www.mneim.org.cn）
參考文獻:
[1] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE，1998，86( 11) : 2278-2324.
[2] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]// Proceedings of the 25th International Conference on Neural Information Processing Systems.ACM, 2012: 1097-1105.
[3] VINCENT P，LAROCHELLE H，BENGIO Y，et al. Extracting and composing robust features wi- h denoising autoencoders[C]// Proc of the 25th International Conference on Machine Learning. ACM Press，2008: 1096- 1103.
[4] VINCENT P，LAROCHELLE H，LAJOIE I，et al. Stacked denoising autoencoders: learning useful representations in a deep network with a local denoising criterion [J]. Journal of Machine Learning Research，2010，11( 12) : 3371-3408.
[5] 施羽暇 . 人工智能芯片技術研究[J]. 電信網技術, 2016, 12(12) : 11-13. SHI Y X. Research on artificial intelligence process chip technology[J]. Telecommunication network technology, 2016, 12(12) : 11-13.
[6] 清華大學 . 人工智能芯片技術白皮書 (2018)[R/OL]. (2018-12-11) [2010-01-20]. https://www.tsinghua.edu.cn/ publish/thunews/9659/2018/20181217102627644168087/ 20181217102627644168087_.html. Tsinghua University. 2018 White Paper on AI Chip Technologies[R/OL]. (2018-12-11)[2010-01-20]. https://www. tsinghua.edu.cn/publish/thunews/9659/2018/2018121710 2627644168087/20181217102627644168087_.html.
[7] BENGIO Y. Learning deep architectures for AI[J]. Foundations and Trends in Machine Learning，2009，2(1) : 1- 127.
[8] HINTON G E. Learning distributed representations of concepts[C]// Proc of the 8th Annual Conference of the Cognitive Science Society. 1986: 1-12.
[9] 尹首一, 郭珩, 魏少軍 . 人工智能芯片發展的現狀及 趨勢[J]. 科技導報, 2018, 17: 45-51. YIN S Y, GUO H, WEI S J. Present situation and future trend of artificial intelligence chips[J]. Science & Technology Review, 2018, 17: 45-51.
[10] 湯煒偉 . AI 安防芯片的發展現狀與前景分析[J]. 中 國安防, 2018, 7: 47-50. TANG W W. Analysis of the development and Prospect of AI security chip[J]. China Security&Protection, 2018, 7: 47-50.
[11] 尹首一 . 人工智能芯片概述[J]. 微納電子與智能制 造, 2019, 2: 7-11. YIN S Y. Overview of artificial intelligence chip[J]. Micro/nano Electronics and Intelligent Manufacturing, 2019, 2: 7-11.
[12] 譚洪賀,餘凱 . 端側 AI 芯片的挑戰和展望[J]. 人工智 能, 2018, 2: 113-121. TAN H H,YU K. The challenge and prospect of edge AI chip[J]. Artificial Intelligence, 2018, 2: 113-121.
[13] 邱賜雲, 李禮, 張歡, 等 . 大數據時代——從馮 · 諾依 曼到計算存儲融合[J]. 計算機科學, 2018, 45(2): 71- 75. QIU C Y, LI L, Z H, et al. Age of big data: from von neumann to computing storage fusion[J]. Computer Science, 2018, 45(2): 71-75.
[14] 趙正平 . 納電子學與神經形態芯片的新進展[J]. 微納 電子技術, 2018, 55(1): 1-5. ZHAO Z P. New progress of nanoelectronics and neuromorphic chips[J]. Micronanoelectronic Technology, 2018, 55(1): 1-5