陳根 ：耗電又耗水，誰能拯救AI能耗之傷？_風聞

文/陳根

今天，以ChatGPT為代表的AI大模型在給人類社會帶來巨大變革的同時，也因為能耗問題飽受爭議。

經濟學人最新發稿稱：包括超級計算機在內的高性能計算設施，正成為能源消耗大户。**根據國際能源署估計，數據中心的用電量佔全球電力消耗的1.5%至2%，大致相當於整個英國經濟的用電量。**預計到2030年，這一比例將上升到4%。

**人工智能不僅耗電，還費水。**谷歌發佈的2023年環境報告顯示，其2022年消耗了56億加侖（約212億升）的水，相當於37個高爾夫球場的水。其中，52億加侖用於公司的數據中心，比2021年增加了20%。

面對巨大能耗成本，人工智能（AI）想要走向未來，經濟性已經成為ChatGPT亟待解決的現實問題。而如果要解決能耗問題，任何在現有技術和架構基礎上的優化措施都將是揚湯止沸，在這樣的背景下，前沿技術的突破或是才破解AI能耗困局的終極方案。 

人工智能正在吞噬能源

從計算的本質來説，計算就是把數據從無序變成有序的過程，而這個過程則需要一定能量的輸入。

僅從量的方面看，根據不完全統計，2020年全球發電量中，有5%左右用於計算能力消耗，而這一數字到2030年將有可能提高到15%到25%左右，也就是説，計算產業的用電量佔比將與工業等耗能大户相提並論。

2020年，中國數據中心耗電量突破2000億度，是三峽大壩和葛洲壩電廠發電量總和（約1000億千瓦時）的2倍。

實際上，對於計算產業來説，電力成本也是除了芯片成本外最核心的成本。

如果這些消耗的電力不是由可再生能源產生的，那麼就會產生碳排放。這就是機器學習模型，也會產生碳排放的原因。ChatGPT也不例外。

有數據顯示，訓練 GPT-3 消耗了1287MWh（兆瓦時）的電，相當於排放了552噸碳。對於此，可持續數據研究者卡斯帕-路德維格森還分析道：“GPT-3 的大量排放可以部分解釋為它是在較舊、效率較低的硬件上進行訓練的，但因為沒有衡量二氧化碳排放量的標準化方法，這些數字是基於估計。另外，這部分碳排放值中具體有多少應該分配給訓練ChatGPT，標準也是比較模糊的。需要注意的是，由於強化學習本身還需要額外消耗電力，所以ChatGPT在模型訓練階段所產生的的碳排放應該大於這個數值。”僅以552噸排放量計算，這些相當於126個丹麥家庭每年消耗的能量。

在運行階段，雖然人們在操作ChatGPT時的動作耗電量很小，但由於全球每天可能發生十億次，累積之下，也可能****使其成為第二大碳排放來源。

Databoxer聯合創始人克里斯·波頓解釋了一種計算方法，“首先，我們估計每個響應詞在A100 GPU上需要0.35秒，假設有100萬用户，每個用户有10個問題，產生了1000萬個響應和每天3億個單詞，每個單詞 0.35 秒，可以計算得出每天A100 GPU運行了29167個小時。”

Cloud Carbon Footprint列出了Azure數據中心中A100 GPU的最低功耗46W和最高 407W，由於很可能沒有多少ChatGPT處理器處於閒置狀態，以該範圍的頂端消耗計算，每天的電力能耗將達到11870kWh。

克里斯·波頓表示：“美國西部的排放因子為 0.000322167 噸/kWh，所以每天會產生3.82噸二氧化碳當量，美國人平均每年約15噸二氧化碳當量，換言之，這與93個美國人每年的二氧化碳排放率相當。”

雖然“虛擬”的屬性讓人們容易忽視數字產品的碳賬本，但事實上，互聯網早已成為地球上最大的煤炭動力機器之一。伯克利大學關於功耗和人工智能主題的研究認為，人工智能幾乎吞噬了能源。

比如，谷歌的預訓練語言模型T5使用了86兆瓦的電力，產生了47公噸的二氧化碳排放量；谷歌的多輪開放領域聊天機器人Meena使用了232兆瓦的電力，產生了96公噸的二氧化碳排放；谷歌開發的語言翻譯框架-GShard使用了24兆瓦的電力，產生了4.3公噸的二氧化碳排放；谷歌開發的路由算法Switch Transformer使用了179兆瓦的電力，產生了59公噸的二氧化碳排放。

深度學習中使用的計算能力在2012年至2018年間增長了30萬倍，這讓GPT-3看起來成為了對氣候影響最大的一個。然而，當它與人腦同時工作，人腦的能耗僅為機器的0.002%。 

不僅耗電，而且費水

人工智能除了耗電量驚人，同時還非常耗水。

事實上，不管是耗電還是耗水，都離不開數字中心這一數字世界的支柱。作為為互聯網提供動力並存儲大量數據的服務器和網絡設備，數據中心****需要大量能源才能運行，而冷卻系統是能源消耗的主要驅動因素之一。

真相是，一個超大型數據中心每年耗電量近億度，生成式AI的發展使數據中心能耗進一步增加。因為大型模型往往需要數萬個GPU，訓練週期短則幾周，長則數月，過程中需要大量電力支撐。

數據中心服務器運行的過程中會產生大量熱能，水冷是服務器最普遍的方法，這又導致巨大的水力消耗。有數據顯示，GPT-3在訓練期間耗用近700噸水，其後每回答20-50個問題，就需消耗500毫升水。

弗吉尼亞理工大學研究指出，數據中心每天平均必須耗費401噸水進行冷卻，約合10萬個家庭用水量。Meta在2022年使用了超過260萬立方米（約6.97億加侖）的水，主要用於數據中心。其最新的大型語言模型“Llama 2”也需要大量的水來訓練。即便如此，2022年，Meta還有五分之一的數據中心出現“水源吃緊”。

此外，人工智能****另一個重要基礎設施芯片，其製造過程也是一個大量消耗能源和水資源的過程。能源方面，芯片製造過程需要大量電力，尤其是先進製程芯片。國際環保機構綠色和平東亞分部《消費電子供應鏈電力消耗及碳排放預測》報告對東亞地區三星電子、台積電等13家頭部電子製造企業碳排放量研究後稱，電子製造業特別是半導體行業碳排放量正在飆升，至2030年全球半導體行業用電量將飆升至237太瓦時。

水資源消耗方面，硅片工藝需要“超純水”清洗，且芯片製程越高，耗水越多。生產一個2克重的計算機芯片，大約需要32公斤水。製造8寸晶圓，每小時耗水約250噸，12英寸晶圓則可達500噸。

**台積電每年晶圓產能約3000萬片，芯片生產耗水約8000萬噸左右。充足的水資源已成為芯片業發展的必要條件。**2023年7月，日本經濟產業省決定建立新制度，向半導體工廠供應工業用水的設施建設提供補貼，以確保半導體生產所需的工業用水。

而長期來看，生成式AI、無人駕駛等推廣應用還將導致芯片製造業進一步增長，隨之而來的則是能源資源的大量消耗。 

誰能拯救AI能耗之傷？

可以説，今天，能耗問題已經成為了制約AI發展的軟肋。按照當前的技術路線和發展模式，AI進步將引發兩方面的問題：

一方面，數據中心的規模將會越來越龐大，其功耗也隨之水漲船高，且運行越來越緩慢。

顯然，隨着AI應用的普及，AI對數據中心資源的需求將會急劇增加。大規模數據中心需要大量的電力來運行服務器、存儲設備和冷卻系統。這導致能源消耗增加，同時也會引發能源供應穩定性和環境影響的問題。數據中心的持續增長還可能會對能源供應造成壓力，依賴傳統能源來滿足數據中心的能源需求的結果，可能就是能源價格上漲和供應不穩定。當然，數據中心的高能耗也會對環境產生影響，包括二氧化碳排放和能源消耗。

另一方面**，AI芯片朝高算力、高集成方向演進，依靠製程工藝來支撐峯值算力的增長，製程越來越先進，其功耗和水耗也越來越大。**

那麼，面對如此巨大的AI能耗，我們還有沒有更好的辦法？其實，解決技術困境的最好辦法，就是發展新的技術。

一方面，後摩爾時代的AI進步，需要找到新的、更可信的範例和方法。

事實上，今天，人工智能之所以會帶來巨大的能耗問題，與人工智能實現智能的方式密切有關。

我們可以把現階段人工神經網絡的構造和運作方式，類比成一羣獨立的人工“神經元”在一起工作。每個神經元就像是一個小計算單元，能夠接收信息，進行一些計算，然後產生輸出。而當前的人工神經網絡就是通過巧妙設計這些計算單元的連接方式構建起來的，一旦通過訓練，它們就能夠完成特定的任務。

但人工神經網絡也有它的侷限性。舉個例子，如果我們需要用神經網絡來區分圓形和正方形。一種方法是在輸出層放置兩個神經元，一個代表圓形，一個代表正方形。但是，如果我們想要神經網絡也能夠分辨形狀的顏色，比如藍色和紅色，那就需要四個輸出神經元：藍色圓形、藍色正方形、紅色圓形和紅色正方形。

也就是説，隨着任務的複雜性增加，神經網絡的結構也需要更多的神經元來處理更多的信息。究其原因，人工神經網絡實現智能的方式並不是人類大腦感知自然世界的方式，而是“對於所有組合，人工智能神經系統必須有某個對應的神經元”。

相比之下，人腦可以毫不費力地完成大部分學習**，**因為大腦中的信息是由大量神經元的活動表徵的。也就是説，人腦對於紅色的正方形的感知，並不是編碼為某個單獨神經元的活動，而是編碼為數千個神經元的活動。同一組神經元，以不同的方式觸發，就可能代表一個完全不同的概念。

**可以看見，人腦計算是一種完全不同的計算方式。****而如果將這種計算方式套用到人工智能技術上，將大幅降低人工智能的能耗。**而這種計算方式，就是所謂的“超維計算”。即模仿人類大腦的運算方式，利用高維數學空間來執行計算，以實現更高效、更智能的計算過程。

打個比方，傳統的建築設計模式是二維的，我們只能在平面上畫圖紙，每張圖紙代表建築的不同方面，例如樓層佈局、電線走向等。但隨着建築變得越來越複雜，我們就需要越來越多的圖紙來表示所有的細節，這會佔用很多時間和紙張。

而超維計算就像給我們提供了一種全新的設計方法。我們可以在三維空間中設計建築，每個維度代表一個屬性，比如長度、寬度、高度、材料、顏色等。而且，我們還可以在更高維度的空間裏進行設計，比如第四維代表建築在不同時間點的變化。這使得我們可以在一個超級圖紙上完成所有的設計，不再需要一堆二維圖紙，大大提高了效率。

同樣地，AI訓練中的能耗問題可以類比於建築設計。傳統的深度學習需要大量的計算資源來處理每個特徵或屬性，而超維計算則將所有的特徵都統一放在高維空間中進行處理。這樣一來，AI只需一次性地進行計算，就能同時感知多個特徵，從而節省了大量的計算時間和能耗。

另一方面，找到新的能源資源解決方案**，比如，核聚變技術。**核聚變發電技術因生產過程中基本不產生核廢料，也沒有碳排放污染，被認為是全球碳排放問題的最終解決方案之一。

2023年5月，微軟與核聚變初創公司Helion Energy簽訂採購協議，成為該公司首家客户，將在2028年該公司建成全球首座核聚變發電廠時採購其電力。並且，從長遠來看，即便AI通過超維計算燈實現了單位算力能耗的下降，核聚變技術或其他低碳能源技術的突破可以依然使AI發展不再受碳排放制約，對於AI發展仍然具有重大的支撐和推動意義。

説到底，科技帶來的能源資源消耗問題，依然只能從技術層面來根本性地解決。技術制約着技術的發展，也推動着技術的發展，自古以來如是。