節能低碳技術，重構下一代綠色數據中心_風聞
智能相对论1-智能和车，边评边测；未来和家，且品且鉴。2022-08-04 13:33
序言
隨着“新基建”進程的不斷推進，數字化轉型升級進度加快，數據中心作為未來經濟社會發展的戰略資源和數字基礎設施，在迎來爆發式增長的同時，其算力不均衡、能耗高、精細化管理不足等問題凸顯，數據中心高質量發展戰略已成為全行業深化數字化轉型的時代機遇。
關於數據中心的高能耗問題，國內不同研究機構給出的年能耗值不盡相同，部分研究機構預測未來十年，國內數據中心耗電量將翻倍。事實上，隨着數據中心節能新技術的應用，儘管算力需求持續高比重增長，未來的數據中心的高耗能、高碳排放的情況未必會到達如此高的水平，但這並不意味着IT行業和決策者可以高枕無憂。數據中心的綠色節能低碳發展依然是值得關注的重點課題。
2020年9月我國明確了“碳達峯、碳中和”目標，標誌着中國對促進經濟高質量發展，社會繁榮和生態環境保護的決心。2021年2月，國務院發佈《關於加快建立健全綠色低碳循環發展經濟體系的指導意見》，要求加快信息服務業綠色轉型，做好大中型數據中心、網絡機房綠色建設和改造，建立綠色運營維護體系。2021年6月國管局和國家發改委聯合發佈的《“十四五”公共機構節約能源資源工作規劃》和同年11月由國家發改委、中央網信辦、工信部、國家能源局四部委發佈的《貫徹落實碳達峯碳中和目標要求推動數據中心和5G等新型基礎設施綠色高質量發展實施方案》中均要求大型、超大型數據中心運行電能利用效率下降到1.3以下。2021年7月，工信部發布《新型數據中心發展三年行動計劃（2021-2023年）》，提出堅持綠色發展理念，支持綠色技術、綠色產品、清潔能源的應用，全面提高新型數據中心能源利用效率。
隨着國家一系列政策的相繼頒佈，數據中心綠色、低碳發展作為數據中心高質量發展戰略的重要部分應運而生。數據中心綠色、低碳發展通過創新節能技術提升設備的能效，充分利用可再生能源降低碳排放，進而推動數據中心作為數字化新基建的基礎性支撐作用，驅動社會實現節能降碳的目標。
01
何謂“綠色”數據中心？
綠色數據中心旨在取得最大化的能源效率和最小化的環境影響，一般來説，包括數據中心的性能效率、環境影響、資源整合與能源統籌等方面。
性能效率是基本要求，高可靠性的數據中心需要滿足GB50174《數據中心設計規範》中A級數據中心的要求。一方面要保持數據中心無故障持續運行，另一方面數據中心的IT系統、製冷、照明和電氣系統能夠保持穩定高效率運作。環境影響主要指數據中心在正常生產運行過程中對外部環境所帶來的影響。在建築規劃和建設階段，應結合建築的使用功能和規劃定位，對項目進行包括大氣、水、土壤、聲、固體廢棄物和生態的綜合環境影響評價。資源整合主要考察數據中心建設過程中的材料選擇、建造技術、設備或材料回收和可再生利用率及產品包裝等方面。能源統籌側重於數據中心運營後的能源管理、節能措施等方面。
在現階段，綠色數據中心的評價主要是考慮其性能效率，兼顧數據中心運營後的能源統籌，提高整體能源使用效率。
數據中心由於存在高發熱元件散熱瓶頸、資源利用率和能源效率低“三大難題”，所以其綠色節能亦非常重要，從國家到地方層面都對數據中心的能耗進行了引導和限制。
數據中心的主要耗能為IT設備、配電系統和暖通空調系統，見圖1。一個典型的數據中心，能耗主要由四大塊組成：第一大塊，是佔數據中心總能耗約50%以上的IT設備系統，包括服務器設備、存儲設備和網絡通信設備等；第二大塊，是佔數據中心總能耗約38%的空調系統，其中，空調製冷系統約佔總功耗的25%，空調送、迴風系統約佔總功耗的13%；第三大塊，是佔數據中心總能耗約10%的UPS供配電系統，其中UPS供電系統約佔總功耗的5%，UPS輸入供電系統約佔總功耗的1%；第四大塊，數據中心總功耗剩餘的1%屬於輔助照明系統。
由以上分析可以看出，數據中心的IT設備為最大的能源消耗，這一部分能耗最大的是以服務器為代表的計算設備，因此需要重點關注服務器能效的狀況。數據中心內暖通空調系統的能耗佔數據中心總能耗約37%以上，該部分也被視為數據中心節能的極具潛力部分。供電系統的能耗約佔數據中心總能耗的10%，主要來自於變壓器、UPS等供配電系統的轉換，其次是照明。因此數據中心的綠色節能，要從計算設備，例如服務器，暖通空調和電氣三個系統做出努力。
02
如何提高數據中心能源使用效率？
03
產品節能技術
3.1 服務器
數據中心的本質作用是提供算力資源，並且數據中心能耗佔比最大的是信息設備能耗，拋開計算能力，單純追求極低的電能使用效率（PUE）是不合理的。英特爾、三星、高通、英偉達等眾多半導體廠商紛紛發力，各種加速芯片百花齊放。XPU（CPU、GPU、DPU等各種服務器處理器的統稱）成為半導體芯片廠商競爭的新賽道，一條清晰的競爭主線也逐漸明顯——各大芯片企業都在構建自己的多元化產品能力。其中，英特爾基於XPU產品戰略，打造了從CPU到GPU、FPGA、IPU等多種異構算力資源，以XPU+oneAPI為抓手推動異構計算，打造從雲到端的全面產品組合，涵蓋CPU、GPU、IPU、FPGA和專用ASICs等解決方案，解決了各種不同的處理器採用不同架構和不同指令集所造成的處理不同計算場景的不同表現，更好的應對計算的多元化，實現提供強大的計算力和足夠的靈活性的雙贏，並且在功耗、可靠性、體積等方面都有優勢，解決了通用計算在處理海量數據時採用更多處理器帶來的高昂成本和更高發熱量問題。
服務器芯片算力的提升，計算場景的多元化對於數據中心節能至關重要。英特爾通過專用加速芯片大幅提升負載處理速度，也就是説同等工作量算的快。發力GPU和AI，提供更高計算密度和更快計算速度。其中，即將推出的代號為Arctic Sound-M（ATS-M）的英特爾數據中心GPU，能夠提供每秒150萬億次運算（150 TOPS）。首個旗艦級數據中心GPU—Ponte Vecchio，已經在複雜的金融服務應用以及AI推理和訓練工作負載方面展現出了卓越的優勢。於今年5月發佈的專用於高性能深度學習AI訓練的Habana Gaudi2處理器，以及基於Xe HPC微架構且專為高性能計算和AI所設計的Ponte Vecchio GPU能夠通過支持多樣化架構，讓終端用户充分利用處理器的高性能和高能效。
數據中心的能耗結構中，製冷空調系統的能耗僅次於信息設備能耗，如何降低數據中心的製冷能耗成為降低PUE的關鍵。隨着服務器單位功耗增大，原先尺寸的普通服務器機櫃可容納的服務器功率往往超過15kw,在現有的風冷數據中心情形下，這已經到了空氣對流散熱能力的瓶頸。液冷技術作為一種散熱能力更強的技術，可以助力更高的功率密度。液冷技術指使用高比熱容、高傳熱係數的液體作為熱量傳輸的工質滿足服務器等IT設備散熱需求的冷卻方式。也就是説通過液體來替代空氣，把CPU、內存條、芯片組、擴展卡等器件在運行時所產生的熱量帶走。常見的液冷技術包括冷板式、浸沒式和噴淋式三種主要形式，液冷服務器可以接受更高的冷源供回水温度，最大化的利用室外自然冷源，有效降低數據中心PUE至1.2以內。聯想基於新一代海神温水水冷技術，以及第三代英特爾®至強®可擴展處理器，打造了聯想ThinkSystem SD650服務器，採用創新散熱技術提升性能，降低功耗。在上海交通大學打造了“思源一號”高性能計算集羣，PUE可低至1.1左右，實現42%的節能減排。
液冷服務器雖然在散熱效率上有較大提高，但是由於標準化水平比較差，業界尚未有統一的設計規範，因此可靠性仍待提高，成本還需要降低。英特爾聚力攜手產業生態夥伴開放創新，構建液冷解決方案，在芯片、服務器、機架、數據中心四個水平方向進行研究，探索更經濟、更高效的冷卻方案設計參考，致力於提出冷板液冷系統設計相關的要求，以及未來液冷設計需要遵守的規範要求，為數據中心液冷方案設計與研究提供路徑與借鑑，通過產業夥伴共同提高冷板液冷技術關鍵部件的質量，共同促其標準化，降低設計與使用成本，從而推動建立並完善冷板液冷的生態系統促進整個產業的成熟度提高。
3.2 機櫃級別的節能優化技術
機櫃級的節能技術主要包括：依據業務量、業務類型等引起的負載變化，進行功率的自動調整；採用完善的供配電方式，提升單機櫃功率密度；提升計算密度，統一供電和共享散熱管理等技術措施。
根據英特爾的實測數據顯示：使用機架備用電池消除計劃外峯值功耗，可將服務器上架率提高20%~30%。提升計算密度，通過增加母線電壓，適應大功率機架之需，可將電源效率提高2%，並提升機櫃空間利用率，來綜合提升能效。模塊化設計貫徹綠色節能理念，實現統一供電、共享散熱管理。液冷冷板式散熱，搭配專業冷媒，覆蓋 CPU、內存等主要部件，整機PUE低至1.1，且能夠極大降低總體擁有成本。進行處理器功率控制調優，和根據業務負載自動調整功率，以及基於英特爾的開放處理器微代碼，調整主板與處理器電壓等舉措。實踐表明，這一方案顯著性提升了功率密度，可支持高達20kW的單機櫃功率密度，實現算力的有效提升，即使採用純風冷，PUE 也可內控保持在1.2以下。
此外，英特爾攜手中國電信共同推進AI節能技術部署，製冷系統節能率超23%，機房平均PUE從1.49降至1.38；同時，也聯合超聚變共同打造極簡架構高算力密度整機櫃服務器，使製冷PUE低於1.1，單機櫃支持144個高功耗CPU。
04
系統能效提升技術
合理的末端空調氣流組織是空調系統節能降耗的基礎和前提。提高精密空調的送回風温度和冷源的供回水温度一直是數據中心暖通系統節能的共識，但往往由於末端氣流不合理造成以上節能措施達不到理論上的高效節能目標。合理的氣流組織體現在數據中心機房內機櫃進風區域空調冷氣流分佈均勻，垂直和水平方向温度場處於相對均衡狀態。可以藉助相關風量、風速、温度場測試儀器開展氣流組織的測量和評估，將抽象的氣流場參數化和具體化。通過測量技術的應用，探索數據中心機櫃送風區域氣流組織與温度場分佈的耦合關聯，在完善氣流組織管理的基礎上，進行末端精密空調運行方式研究，通過測量優化，實現機櫃進風區域温度相對均衡分佈，建立基於氣流組織優化的空調節能運行管理策略。最後，將氣流組織及空調節能管理策略AI智能化，保障測量、調優、管理和節能的精準控制。
AI智能控制技術的應用有助於數據中心能效的提升，主要應用於供配電系統和製冷空調系統。增加對可再生能源的利用，是減少碳排放的關鍵步驟。英特爾已經開發出一項解決方案，可集成到現有的能源網基礎架構中，以打造出可適應不斷變化的能耗需求和能源來源的智能化水平更高的電網。英特爾聯合一些全球最大規模的公用事業運營商組建了智能二級變電站邊緣設備聯盟(Edge for Smart Secondary Substations Alliance)，以實現電網變電站的現代化，並更好地支持可再生能源。法國最大的電網運營商Eenedis最近加入了這一聯盟，採用了提供全網實時控制的解決方案，對超過80萬個二級變電站進行了升級。為風能發電廠提供智能運營的北京金風慧能技術有限公司，通過利用英特爾AI解決方案、CPU集成AI加速，採用英特爾®DLBoost、Analytics Zoo，將風能預測的準確率從原先的59%提高到了79.41%。
將AI智能控制技術應用於製冷空調系統的自動控制邏輯，通過預測室外氣象參數、分析負載變化情況、計算冷源設備特性，調優冷源系統控制邏輯，最大化地利用室外自然冷源，實現製冷系統的高效節能。
高壓直流(HVDC)是為受人關注的技術，相比傳統的UPS減少了一個DC/AC逆變環節，使得電能利用效率大大提高，相比傳統UPS系統方案，其節能效果據測算最高可以提高8%。同時由於直流輸電導線根數少，沒有感抗和容抗的無功損耗，只有電阻的發熱損耗，提高了配電傳輸中的節能效果。直流輸電只需兩根導線，能夠節省大量線路投資，因此電纜費用省得多。
05
從組織層面提高能效
影響數據中心能耗的因素涉及多方面，包括服務器系統、空調製冷系統、供配電系統、機房裝修、照明、變配電設備、供配電電纜等，甚至運行維護的水平都會影響到數據中心的能耗。通過對數據中心各子系統運行負荷和用能效率的分項監測、分析，發現各子系統運行中存在的耗能問題，有針對性的對各子系統進行運行調整和技術改進，降低數據中心電能消耗，提高整體能效。傳統數據中心採用人工或者人工與動環系統相結合的能耗分析方式，面對海量的運行數據和報表很難做到監控全面、預測精準、分析和控制到位。因此必須藉助數據中心能耗分析工具，對數據中心的設備級、系統級以及項目級的能耗情況分級把控。
比如英特爾研發的數據中心能耗分析工具，主要涵蓋監控、分析、預測和控制四個功能板塊。
● 監控功能：帶網絡自動發現功能，支持多種設備和多種協議，支持各品牌設備，能夠跟蹤設備能耗變化趨勢；
● 分析功能：及時發現機房內熱點，具備服務器能耗分析功能，識別空調製冷和氣流組織的不均衡問題，及時發現“殭屍服務器”，具備容量分析功能，實現智能容量管理；
● 預測功能：容量增長預測，温度健康預測，關聯應用的能耗和温度預測；
● 控制功能：服務器能耗控制策略，基於熱點的製冷分析，提高服務器機櫃容量，基於温度/功耗的應用遷移。
基於數據中心能耗分析工具對各設備、系統運行狀況及能耗情況等數據信息的監控、分析和預測，及時發現問題，並制定精確的高效節能控制策略，依靠能耗分析工具的控制功能開展控制策略的實施，實現全面監控、精準預測分析和控制的全鏈條能耗管理策略。
在數據中心業界廣泛使用CQC8302-2018《數據中心基礎設施運行與維護評價技術規範》中對能效管理有如下要求：
1）制定能效管理制度，明確能耗數據的採集要求、採集方法及頻率，通過採集的數據進行系統分析，分析內容包括但不限於：
統計分析數據中心整體用電量變化情況；
a.統計分析數據中心日耗電量及日平均耗電量情況；
b.統計分析數據中心能耗組成及佔比；
c.統計分析數據中心月度能效指標變化情況；
d.統計分析UPS系統自身能耗變化情況；
e.統計分析空調暖通系統能耗變化情況；
2）統計分析數據中心耗水量變化情況（風冷系統選擇不適用），瞭解對IT 設備運行特徵的狀況：
a. 是否對數據中心基礎設施所承載的到機櫃顆粒度的IT設備運行峯谷期進行分析和了解；
b. 是否與客户或用户相關部門做好溝通，針對高密度IT負載的部署做出預測，並制定相關應對方案。
3）具備管理氣流組織的能力，包括但不限於：
a. 應封堵設施建築所有可能的漏風口，維持設施的正壓；
b. 應疏導設施內氣流的流向、封堵所有可能的漏風口、對機櫃內所有空閒U位安裝盲板、關閉不必要的出風口、保證冷空氣的最佳使用效率。
4）對運行閾值設定有管理制度和週期性修正策略。
5）基於安全性及運行效率的綜合考慮，建立運行閾值設定指南，設置監控報警閾值、空調回風温度等。
6）定期進行能耗分析會議，不斷完善及優化能耗管理策略。
上述能效管理要求，如果採用手工的方式進行操作，將極大耗費人力，且很難持續符合要求，英特爾的數據中心能耗分析工具能夠協助數據中心運維人員持續滿足CQC8302-2018《數據中心基礎設施運行與維護評價技術規範》的要求。
數據中心項目級別的能效管理，需要與組織的能源計量體系和能源管理體系結合在一起，融入數據中心運維體系之中，充分融合數據中心能耗分析工具和運行維護體系融合，在保證數據中心安全運行的基礎上，不斷尋求節能潛力，採用各種創新技術，提高整體的能效水平。
06
結論與展望
雖然數據中心能源消耗量比較大，但整個數據中心能耗水平與提供的計算能力相比，增長並不多，其中主要得益於近年來服務器能效水平的提升。2020年2月28日發表在《科學》期刊的一篇論文，題目是《全球數據中心能源使用在需求快速增長下仍然放緩》。該論文研究計算出2010年至2018年間，全球數據中心需求增長了550%，數據中心能源使用僅增長了6%。因此對於數字經濟有重要作用的數據中心，仍然要大力發展。
在大力建設數據中心的同時，注重節能低碳綠色技術的研究和應用，同時節能低碳技術需要與管理有機融合，共同驅動數據中心的高效節能。“三分建設，七分管理”已經是數據中心行業的共識，通過液冷技術、高效冷卻技術、高效芯片服務器等節能新技術的應用，配合精細化的運行維護管理，最終實現數據中心的綠色節能。
數據中心綠色高質量發展具有社會層面的引領和表率作用。不僅會使高能耗產業快速轉變發展方式，加快千行百業的數字化轉型過程，實現快速節能降碳，同時，數據中心實現雙碳目標時採用的一系列先進技術和思路，為其他行業帶來啓發。通過技術遷移，這些思路可以幫助其他高耗能行業，包括農業、物流、採礦和製造等領域實現碳排放的減少，使這些行業在實現數字化轉型的同時，加速向碳中和轉型的步伐，從而實現數據中心綠色高質量發展，發揮更大的社會價值。
作者：武彤，中國計量科學研究院先進測量工程中心主任