序言
隨著(zhù)“新基建”進(jìn)程的不斷推進(jìn)，數字化轉型升級進(jìn)度加快，數據中心作為未來(lái)經(jīng)濟社會(huì )發(fā)展的戰略資源和數字基礎設施，在迎來(lái)爆發(fā)式增長(cháng)的同時(shí)，其算力不均衡、能耗高、精細化管理不足等問(wèn)題凸顯，數據中心高質(zhì)量發(fā)展戰略已成為全行業(yè)深化數字化轉型的時(shí)代機遇。
關(guān)于數據中心的高能耗問(wèn)題，國內不同研究機構給出的年能耗值不盡相同，部分研究機構預測未來(lái)十年，國內數據中心耗電量將翻倍。事實(shí)上，隨著(zhù)數據中心節能新技術(shù)的應用，盡管算力需求持續高比重增長(cháng)，未來(lái)的數據中心的高耗能、高碳排放的情況未必會(huì )到達如此高的水平，但這并不意味著(zhù)IT行業(yè)和決策者可以高枕無(wú)憂(yōu)。數據中心的綠色節能低碳發(fā)展依然是值得關(guān)注的重點(diǎn)課題。
2020年9月我國明確了“碳達峰、碳中和”目標，標志著(zhù)中國對促進(jìn)經(jīng)濟高質(zhì)量發(fā)展，社會(huì )繁榮和生態(tài)環(huán)境保護的決心。2021年2月，國務(wù)院發(fā)布《關(guān)于加快建立健全綠色低碳循環(huán)發(fā)展經(jīng)濟體系的指導意見(jiàn)》，要求加快信息服務(wù)業(yè)綠色轉型，做好大中型數據中心、網(wǎng)絡(luò )機房綠色建設和改造，建立綠色運營(yíng)維護體系。2021年6月國管局和國家發(fā)改委聯(lián)合發(fā)布的《“十四五”公共機構節約能源資源工作規劃》和同年11月由國家發(fā)改委、中央網(wǎng)信辦、工信部、國家能源局四部委發(fā)布的《貫徹落實(shí)碳達峰碳中和目標要求推動(dòng)數據中心和5G等新型基礎設施綠色高質(zhì)量發(fā)展實(shí)施方案》中均要求大型、超大型數據中心運行電能利用效率下降到1.3以下。2021年7月，工信部發(fā)布《新型數據中心發(fā)展三年行動(dòng)計劃(2021-2023年)》，提出堅持綠色發(fā)展理念，支持綠色技術(shù)、綠色產(chǎn)品、清潔能源的應用，全面提高新型數據中心能源利用效率。
隨著(zhù)國家一系列政策的相繼頒布，數據中心綠色、低碳發(fā)展作為數據中心高質(zhì)量發(fā)展戰略的重要部分應運而生。數據中心綠色、低碳發(fā)展通過(guò)創(chuàng )新節能技術(shù)提升設備的能效，充分利用可再生能源降低碳排放，進(jìn)而推動(dòng)數據中心作為數字化新基建的基礎性支撐作用，驅動(dòng)社會(huì )實(shí)現節能降碳的目標。
01、何謂“綠色”數據中心?
綠色數據中心旨在取得最大化的能源效率和最小化的環(huán)境影響，一般來(lái)說(shuō)，包括數據中心的性能效率、環(huán)境影響、資源整合與能源統籌等方面。
性能效率是基本要求，高可靠性的數據中心需要滿(mǎn)足GB50174《數據中心設計規范》中A級數據中心的要求。一方面要保持數據中心無(wú)故障持續運行，另一方面數據中心的IT系統、制冷、照明和電氣系統能夠保持穩定高效率運作。環(huán)境影響主要指數據中心在正常生產(chǎn)運行過(guò)程中對外部環(huán)境所帶來(lái)的影響。在建筑規劃和建設階段，應結合建筑的使用功能和規劃定位，對項目進(jìn)行包括大氣、水、土壤、聲、固體廢棄物和生態(tài)的綜合環(huán)境影響評價(jià)。資源整合主要考察數據中心建設過(guò)程中的材料選擇、建造技術(shù)、設備或材料回收和可再生利用率及產(chǎn)品包裝等方面。能源統籌側重于數據中心運營(yíng)后的能源管理、節能措施等方面。
在現階段，綠色數據中心的評價(jià)主要是考慮其性能效率，兼顧數據中心運營(yíng)后的能源統籌，提高整體能源使用效率。
數據中心由于存在高發(fā)熱元件散熱瓶頸、資源利用率和能源效率低“三大難題”，所以其綠色節能亦非常重要，從國家到地方層面都對數據中心的能耗進(jìn)行了引導和限制。
圖一：數據中心的能源使用
數據中心的主要耗能為IT設備、配電系統和暖通空調系統，見(jiàn)圖1。一個(gè)典型的數據中心，能耗主要由四大塊組成：第一大塊，是占數據中心總能耗約50%以上的IT設備系統，包括服務(wù)器設備、存儲設備和網(wǎng)絡(luò )通信設備等;第二大塊，是占數據中心總能耗約38%的空調系統，其中，空調制冷系統約占總功耗的25%，空調送、回風(fēng)系統約占總功耗的13%;第三大塊，是占數據中心總能耗約10%的UPS供配電系統，其中UPS供電系統約占總功耗的5%，UPS輸入供電系統約占總功耗的1%;第四大塊，數據中心總功耗剩余的1%屬于輔助照明系統。
由以上分析可以看出，數據中心的IT設備為最大的能源消耗，這一部分能耗最大的是以服務(wù)器為代表的計算設備，因此需要重點(diǎn)關(guān)注服務(wù)器能效的狀況。數據中心內暖通空調系統的能耗占數據中心總能耗約37%以上，該部分也被視為數據中心節能的極具潛力部分。供電系統的能耗約占數據中心總能耗的10%，主要來(lái)自于變壓器、UPS等供配電系統的轉換，其次是照明。因此數據中心的綠色節能，要從計算設備，例如服務(wù)器，暖通空調和電氣三個(gè)系統做出努力。
02、如何提高數據中心能源使用效率?
數據中心整體能源效率的提高離不開(kāi)其各組成設備的能效提升，或者說(shuō)提升設備的能效能夠直接有效提高數據中心的能效，例如提高服務(wù)器能效、減少供電損耗等，但設備級能效提高會(huì )遇到瓶頸，到了一定程度由于技術(shù)和成本的限制，其能效無(wú)法再次提高或者提高能效造成成本急劇上升。在設備能效提升遇到困難后，通常采用提高系統能效的方式，例如通過(guò)負載優(yōu)化使服務(wù)器工作在高能效狀態(tài)，待機服務(wù)器進(jìn)行優(yōu)化;或者通過(guò)氣流組織分析，使制冷和空調散熱在時(shí)間和空間上進(jìn)行匹配，因在系統能效的彈性比較大，通常從小的系統開(kāi)始做起，逐漸引入更多變量，涉及的系統越來(lái)越多，同時(shí)再考慮管理因素，就成為從組織層面提高能效的方法和途徑。
03、產(chǎn)品節能技術(shù)
3.1 服務(wù)器
數據中心的本質(zhì)作用是提供算力資源，并且數據中心能耗占比最大的是信息設備能耗，拋開(kāi)計算能力，單純追求極低的電能使用效率(PUE)是不合理的。英特爾、三星、高通、英偉達等眾多半導體廠(chǎng)商紛紛發(fā)力，各種加速芯片百花齊放。XPU(CPU、GPU、DPU等各種服務(wù)器處理器的統稱(chēng))成為半導體芯片廠(chǎng)商競爭的新賽道，一條清晰的競爭主線(xiàn)也逐漸明顯——各大芯片企業(yè)都在構建自己的多元化產(chǎn)品能力。其中，英特爾基于XPU產(chǎn)品戰略，打造了從CPU到GPU、FPGA、IPU等多種異構算力資源，以XPU+oneAPI為抓手推動(dòng)異構計算，打造從云到端的全面產(chǎn)品組合，涵蓋CPU、GPU、IPU、FPGA和專(zhuān)用ASICs等解決方案，解決了各種不同的處理器采用不同架構和不同指令集所造成的處理不同計算場(chǎng)景的不同表現，更好的應對計算的多元化，實(shí)現提供強大的計算力和足夠的靈活性的雙贏(yíng)，并且在功耗、可靠性、體積等方面都有優(yōu)勢，解決了通用計算在處理海量數據時(shí)采用更多處理器帶來(lái)的高昂成本和更高發(fā)熱量問(wèn)題。
服務(wù)器芯片算力的提升，計算場(chǎng)景的多元化對于數據中心節能至關(guān)重要。英特爾通過(guò)專(zhuān)用加速芯片大幅提升負載處理速度，也就是說(shuō)同等工作量算的快。發(fā)力GPU和AI，提供更高計算密度和更快計算速度。其中，即將推出的代號為Arctic Sound-M(ATS-M)的英特爾數據中心GPU，能夠提供每秒150萬(wàn)億次運算(150 TOPS)。首個(gè)旗艦級數據中心GPU—Ponte Vecchio，已經(jīng)在復雜的金融服務(wù)應用以及AI推理和訓練工作負載方面展現出了卓越的優(yōu)勢。于今年5月發(fā)布的專(zhuān)用于高性能深度學(xué)習AI訓練的Habana Gaudi2處理器，以及基于Xe HPC微架構且專(zhuān)為高性能計算和AI所設計的Ponte Vecchio GPU能夠通過(guò)支持多樣化架構，讓終端用戶(hù)充分利用處理器的高性能和高能效。
數據中心的能耗結構中，制冷空調系統的能耗僅次于信息設備能耗，如何降低數據中心的制冷能耗成為降低PUE的關(guān)鍵。隨著(zhù)服務(wù)器單位功耗增大，原先尺寸的普通服務(wù)器機柜可容納的服務(wù)器功率往往超過(guò)15kw,在現有的風(fēng)冷數據中心情形下，這已經(jīng)到了空氣對流散熱能力的瓶頸。液冷技術(shù)作為一種散熱能力更強的技術(shù)，可以助力更高的功率密度。液冷技術(shù)指使用高比熱容、高傳熱系數的液體作為熱量傳輸的工質(zhì)滿(mǎn)足服務(wù)器等IT設備散熱需求的冷卻方式。也就是說(shuō)通過(guò)液體來(lái)替代空氣，把CPU、內存條、芯片組、擴展卡等器件在運行時(shí)所產(chǎn)生的熱量帶走。常見(jiàn)的液冷技術(shù)包括冷板式、浸沒(méi)式和噴淋式三種主要形式，液冷服務(wù)器可以接受更高的冷源供回水溫度，最大化的利用室外自然冷源，有效降低數據中心PUE至1.2以?xún)?。?lián)想基于新一代海神溫水水冷技術(shù)，以及第三代英特爾?至強?可擴展處理器，打造了聯(lián)想ThinkSystem SD650服務(wù)器，采用創(chuàng )新散熱技術(shù)提升性能，降低功耗。在上海交通大學(xué)打造了“思源一號”高性能計算集群，PUE可低至1.1左右，實(shí)現42%的節能減排。
液冷服務(wù)器雖然在散熱效率上有較大提高，但是由于標準化水平比較差，業(yè)界尚未有統一的設計規范，因此可靠性仍待提高，成本還需要降低。英特爾聚力攜手產(chǎn)業(yè)生態(tài)伙伴開(kāi)放創(chuàng )新，構建液冷解決方案，在芯片、服務(wù)器、機架、數據中心四個(gè)水平方向進(jìn)行研究，探索更經(jīng)濟、更高效的冷卻方案設計參考，致力于提出冷板液冷系統設計相關(guān)的要求，以及未來(lái)液冷設計需要遵守的規范要求，為數據中心液冷方案設計與研究提供路徑與借鑒，通過(guò)產(chǎn)業(yè)伙伴共同提高冷板液冷技術(shù)關(guān)鍵部件的質(zhì)量，共同促其標準化，降低設計與使用成本，從而推動(dòng)建立并完善冷板液冷的生態(tài)系統促進(jìn)整個(gè)產(chǎn)業(yè)的成熟度提高。
3.2 機柜級別的節能優(yōu)化技術(shù)
機柜級的節能技術(shù)主要包括：依據業(yè)務(wù)量、業(yè)務(wù)類(lèi)型等引起的負載變化，進(jìn)行功率的自動(dòng)調整;采用完善的供配電方式，提升單機柜功率密度;提升計算密度，統一供電和共享散熱管理等技術(shù)措施。
根據英特爾的實(shí)測數據顯示：使用機架備用電池消除計劃外峰值功耗，可將服務(wù)器上架率提高20%~30%。提升計算密度，通過(guò)增加母線(xiàn)電壓，適應大功率機架之需，可將電源效率提高2%，并提升機柜空間利用率，來(lái)綜合提升能效。模塊化設計貫徹綠色節能理念，實(shí)現統一供電、共享散熱管理。液冷冷板式散熱，搭配專(zhuān)業(yè)冷媒，覆蓋 CPU、內存等主要部件，整機PUE低至1.1，且能夠極大降低總體擁有成本。進(jìn)行處理器功率控制調優(yōu)，和根據業(yè)務(wù)負載自動(dòng)調整功率，以及基于英特爾的開(kāi)放處理器微代碼，調整主板與處理器電壓等舉措。實(shí)踐表明，這一方案顯著(zhù)性提升了功率密度，可支持高達20kW的單機柜功率密度，實(shí)現算力的有效提升，即使采用純風(fēng)冷，PUE 也可內控保持在1.2以下。
此外，英特爾攜手中國電信共同推進(jìn)AI節能技術(shù)部署，制冷系統節能率超23%，機房平均PUE從1.49降至1.38;同時(shí)，也聯(lián)合超聚變共同打造極簡(jiǎn)架構高算力密度整機柜服務(wù)器，使制冷PUE低于1.1，單機柜支持144個(gè)高功耗CPU。
04、系統能效提升技術(shù)
合理的末端空調氣流組織是空調系統節能降耗的基礎和前提。提高精密空調的送回風(fēng)溫度和冷源的供回水溫度一直是數據中心暖通系統節能的共識，但往往由于末端氣流不合理造成以上節能措施達不到理論上的高效節能目標。合理的氣流組織體現在數據中心機房?jì)葯C柜進(jìn)風(fēng)區域空調冷氣流分布均勻，垂直和水平方向溫度場(chǎng)處于相對均衡狀態(tài)?？梢越柚嚓P(guān)風(fēng)量、風(fēng)速、溫度場(chǎng)測試儀器開(kāi)展氣流組織的測量和評估，將抽象的氣流場(chǎng)參數化和具體化。通過(guò)測量技術(shù)的應用，探索數據中心機柜送風(fēng)區域氣流組織與溫度場(chǎng)分布的耦合關(guān)聯(lián)，在完善氣流組織管理的基礎上，進(jìn)行末端精密空調運行方式研究，通過(guò)測量?jì)?yōu)化，實(shí)現機柜進(jìn)風(fēng)區域溫度相對均衡分布，建立基于氣流組織優(yōu)化的空調節能運行管理策略。最后，將氣流組織及空調節能管理策略AI智能化，保障測量、調優(yōu)、管理和節能的精準控制。
AI智能控制技術(shù)的應用有助于數據中心能效的提升，主要應用于供配電系統和制冷空調系統。增加對可再生能源的利用，是減少碳排放的關(guān)鍵步驟。英特爾已經(jīng)開(kāi)發(fā)出一項解決方案，可集成到現有的能源網(wǎng)基礎架構中，以打造出可適應不斷變化的能耗需求和能源來(lái)源的智能化水平更高的電網(wǎng)。英特爾聯(lián)合一些全球最大規模的公用事業(yè)運營(yíng)商組建了智能二級變電站邊緣設備聯(lián)盟(Edge for Smart Secondary Substations Alliance)，以實(shí)現電網(wǎng)變電站的現代化，并更好地支持可再生能源。法國最大的電網(wǎng)運營(yíng)商Eenedis最近加入了這一聯(lián)盟，采用了提供全網(wǎng)實(shí)時(shí)控制的解決方案，對超過(guò)80萬(wàn)個(gè)二級變電站進(jìn)行了升級。為風(fēng)能發(fā)電廠(chǎng)提供智能運營(yíng)的北京金風(fēng)慧能技術(shù)有限公司，通過(guò)利用英特爾AI解決方案、CPU集成AI加速，采用英特爾?DLBoost、Analytics Zoo，將風(fēng)能預測的準確率從原先的59%提高到了79.41%。
將AI智能控制技術(shù)應用于制冷空調系統的自動(dòng)控制邏輯，通過(guò)預測室外氣象參數、分析負載變化情況、計算冷源設備特性，調優(yōu)冷源系統控制邏輯，最大化地利用室外自然冷源，實(shí)現制冷系統的高效節能。
高壓直流(HVDC)是為受人關(guān)注的技術(shù)，相比傳統的UPS減少了一個(gè)DC/AC逆變環(huán)節，使得電能利用效率大大提高，相比傳統UPS系統方案，其節能效果據測算最高可以提高8%。同時(shí)由于直流輸電導線(xiàn)根數少，沒(méi)有感抗和容抗的無(wú)功損耗，只有電阻的發(fā)熱損耗，提高了配電傳輸中的節能效果。直流輸電只需兩根導線(xiàn)，能夠節省大量線(xiàn)路投資，因此電纜費用省得多。
05、從組織層面提高能效
影響數據中心能耗的因素涉及多方面，包括服務(wù)器系統、空調制冷系統、供配電系統、機房裝修、照明、變配電設備、供配電電纜等，甚至運行維護的水平都會(huì )影響到數據中心的能耗。通過(guò)對數據中心各子系統運行負荷和用能效率的分項監測、分析，發(fā)現各子系統運行中存在的耗能問(wèn)題，有針對性的對各子系統進(jìn)行運行調整和技術(shù)改進(jìn)，降低數據中心電能消耗，提高整體能效。傳統數據中心采用人工或者人工與動(dòng)環(huán)系統相結合的能耗分析方式，面對海量的運行數據和報表很難做到監控全面、預測精準、分析和控制到位。因此必須借助數據中心能耗分析工具，對數據中心的設備級、系統級以及項目級的能耗情況分級把控。
比如英特爾研發(fā)的數據中心能耗分析工具，主要涵蓋監控、分析、預測和控制四個(gè)功能板塊。
?監控功能：帶網(wǎng)絡(luò )自動(dòng)發(fā)現功能，支持多種設備和多種協(xié)議，支持各品牌設備，能夠跟蹤設備能耗變化趨勢;
?分析功能：及時(shí)發(fā)現機房?jì)葻狳c(diǎn)，具備服務(wù)器能耗分析功能，識別空調制冷和氣流組織的不均衡問(wèn)題，及時(shí)發(fā)現“僵尸服務(wù)器”，具備容量分析功能，實(shí)現智能容量管理;
?預測功能：容量增長(cháng)預測，溫度健康預測，關(guān)聯(lián)應用的能耗和溫度預測;
?控制功能：服務(wù)器能耗控制策略，基于熱點(diǎn)的制冷分析，提高服務(wù)器機柜容量，基于溫度/功耗的應用遷移。
基于數據中心能耗分析工具對各設備、系統運行狀況及能耗情況等數據信息的監控、分析和預測，及時(shí)發(fā)現問(wèn)題，并制定精確的高效節能控制策略，依靠能耗分析工具的控制功能開(kāi)展控制策略的實(shí)施，實(shí)現全面監控、精準預測分析和控制的全鏈條能耗管理策略。
在數據中心業(yè)界廣泛使用CQC8302-2018《數據中心基礎設施運行與維護評價(jià)技術(shù)規范》中對能效管理有如下要求：
1)制定能效管理制度，明確能耗數據的采集要求、采集方法及頻率，通過(guò)采集的數據進(jìn)行系統分析，分析內容包括但不限于：
統計分析數據中心整體用電量變化情況;
a.統計分析數據中心日耗電量及日平均耗電量情況;
b.統計分析數據中心能耗組成及占比;
c.統計分析數據中心月度能效指標變化情況;
d.統計分析UPS系統自身能耗變化情況;
e.統計分析空調暖通系統能耗變化情況;
2)統計分析數據中心耗水量變化情況(風(fēng)冷系統選擇不適用)，了解對IT 設備運行特征的狀況：
a. 是否對數據中心基礎設施所承載的到機柜顆粒度的IT設備運行峰谷期進(jìn)行分析和了解;
b. 是否與客戶(hù)或用戶(hù)相關(guān)部門(mén)做好溝通，針對高密度IT負載的部署做出預測，并制定相關(guān)應對方案。
3)具備管理氣流組織的能力，包括但不限于：
a. 應封堵設施建筑所有可能的漏風(fēng)口，維持設施的正壓;
b. 應疏導設施內氣流的流向、封堵所有可能的漏風(fēng)口、對機柜內所有空閑U位安裝盲板、關(guān)閉不必要的出風(fēng)口、保證冷空氣的最佳使用效率。
4)對運行閾值設定有管理制度和周期性修正策略。
5)基于安全性及運行效率的綜合考慮，建立運行閾值設定指南，設置監控報警閾值、空調回風(fēng)溫度等。
6)定期進(jìn)行能耗分析會(huì )議，不斷完善及優(yōu)化能耗管理策略。
上述能效管理要求，如果采用手工的方式進(jìn)行操作，將極大耗費人力，且很難持續符合要求，英特爾的數據中心能耗分析工具能夠協(xié)助數據中心運維人員持續滿(mǎn)足CQC8302-2018《數據中心基礎設施運行與維護評價(jià)技術(shù)規范》的要求。
數據中心項目級別的能效管理，需要與組織的能源計量體系和能源管理體系結合在一起，融入數據中心運維體系之中，充分融合數據中心能耗分析工具和運行維護體系融合，在保證數據中心安全運行的基礎上，不斷尋求節能潛力，采用各種創(chuàng )新技術(shù)，提高整體的能效水平。
06、結論與展望
雖然數據中心能源消耗量比較大，但整個(gè)數據中心能耗水平與提供的計算能力相比，增長(cháng)并不多，其中主要得益于近年來(lái)服務(wù)器能效水平的提升。2020年2月28日發(fā)表在《科學(xué)》期刊的一篇論文，題目是《全球數據中心能源使用在需求快速增長(cháng)下仍然放緩》。該論文研究計算出2010年至2018年間，全球數據中心需求增長(cháng)了550%，數據中心能源使用僅增長(cháng)了6%。因此對于數字經(jīng)濟有重要作用的數據中心，仍然要大力發(fā)展。
在大力建設數據中心的同時(shí)，注重節能低碳綠色技術(shù)的研究和應用，同時(shí)節能低碳技術(shù)需要與管理有機融合，共同驅動(dòng)數據中心的高效節能?！叭纸ㄔO，七分管理”已經(jīng)是數據中心行業(yè)的共識，通過(guò)液冷技術(shù)、高效冷卻技術(shù)、高效芯片服務(wù)器等節能新技術(shù)的應用，配合精細化的運行維護管理，最終實(shí)現數據中心的綠色節能。
智能化技術(shù)的應用促進(jìn)數據中心綠色高質(zhì)量發(fā)展。AI智能控制技術(shù)能有效提高服務(wù)器運算效率、供配電效率和制冷能效，推動(dòng)數據中心能效的提升。借助智能能耗分析工具，通過(guò)監控、分析、預測和控制等模塊功能的實(shí)施，實(shí)現各設備、子系統和項目級的能耗監測與控制，助力數據中心綠色高效發(fā)展。
因此，數據中心的綠色節能低碳發(fā)展不能單純的追求極低的電能使用效率(PUE)，需要結合算力、IT設備能耗、暖通空調能耗、供配電能耗等多方面綜合考慮。
數據中心綠色高質(zhì)量發(fā)展具有社會(huì )層面的引領(lǐng)和表率作用。不僅會(huì )使高能耗產(chǎn)業(yè)快速轉變發(fā)展方式，加快千行百業(yè)的數字化轉型過(guò)程，實(shí)現快速節能降碳，同時(shí)，數據中心實(shí)現雙碳目標時(shí)采用的一系列先進(jìn)技術(shù)和思路，為其他行業(yè)帶來(lái)啟發(fā)。通過(guò)技術(shù)遷移，這些思路可以幫助其他高耗能行業(yè)，包括農業(yè)、物流、采礦和制造等領(lǐng)域實(shí)現碳排放的減少，使這些行業(yè)在實(shí)現數字化轉型的同時(shí)，加速向碳中和轉型的步伐，從而實(shí)現數據中心綠色高質(zhì)量發(fā)展，發(fā)揮更大的社會(huì )價(jià)值。
作者：武彤，中國計量科學(xué)研究院先進(jìn)測量工程中心主任
