填補AI能耗黑洞，我們用盡渾身解數

中國戰略新興產(chǎn)業(yè)融媒體記者 李子吉

AI的盡頭是電力

“下一個(gè)短缺的將是電力?！?/p>

圍繞人工智能（AI）發(fā)展，特斯拉首席執行官馬斯克發(fā)出這樣的預警。

OpenAI首席執行官山姆·奧特曼也在訪(fǎng)談中說(shuō)道：在人工智能時(shí)代，世界未來(lái)將有兩種重要“貨幣”，算力和能源。AI技術(shù)的發(fā)展將取決于能源突破。

在人工智能飛速發(fā)展的背后，能耗問(wèn)題也日益凸顯，成為業(yè)內關(guān)注的焦點(diǎn)。甚至有人提出，“AI的盡頭是算力，而算力的盡頭是電力”。那么，人工智能到底有多耗電？能耗問(wèn)題究竟有沒(méi)有那么嚴重？人工智能發(fā)展對電力系統的影響如何？面對能耗問(wèn)題，又該怎么應對？

AI究竟有多費電？

在大模型的訓練中，語(yǔ)料信息的規模是很重要的。一般來(lái)說(shuō)，語(yǔ)料規模越大，其蘊含的信息就越豐富，模型所形成的參數越大，具有更好的泛化能力。為了獲得智能水平更高的大模型，AI模型的語(yǔ)料規模和參數規模越來(lái)越大。

從參數規模上看，大模型先后經(jīng)歷了預訓練模型、大規模預訓練模型、超大規模預訓練模型三個(gè)階段，參數量實(shí)現了從億級到百萬(wàn)億級的突破。2017年，谷歌首次提出6500萬(wàn)參數的Transformer模型，自此大模型就開(kāi)始走上了一條快速發(fā)展之路。

2018年，谷歌發(fā)布基于Transformer的BERT，BERT學(xué)習了16GB的語(yǔ)料，形成3.4億個(gè)參數；2019年，OpenAI推出了15億參數的GPT-2，同年，谷歌推出T5模型，參數達到110億。從十億級到百億級，大模型在一年內實(shí)現躍升。2020年，OpenAI推出了1750億參數的GPT-3；2021年，谷歌推出Switch Transformer架構，其參數量擴展到了1.6萬(wàn)億；同年，北京智源人工智能研究院也推出參數量在萬(wàn)億級別的模型“悟道”。2022年，清華大學(xué)、阿里達摩院等機構的研究人員提出的“八卦爐”模型，其具有174萬(wàn)億個(gè)參數，可與人腦中的突觸數量相媲美。

據了解，AI服務(wù)器和芯片是產(chǎn)生能耗最主要的地方。通用型服務(wù)器只需要2顆800W服務(wù)器電源，而AI服務(wù)器則需要4顆1800W高功率電源，AI服務(wù)器對于電源的需求大大提升。荷蘭一位學(xué)者表示，到2027年，新制造的人工智能設備的用電量將與荷蘭、瑞典、阿根廷等國的用電量一樣。

大模型參數量和數據量越大，訓練耗費的電量也越大。根據斯坦福人工智能研究所（HAI）發(fā)布的《2023年人工智能指數報告》：1750億參數的OpenAI的GPT-3單次訓練耗電量高達1287兆瓦時(shí)，知名計算機專(zhuān)家吳軍的形容則更加形象：OpenAI每訓練一次，就相當于3000輛特斯拉同時(shí)跑30多公里。

人工智能大模型GPT-4的主要參數是GPT-3的20倍，計算量是GPT-3的10倍，能耗也隨之大幅增加。

OpenAI曾發(fā)布報告指出，自2012年以來(lái)，AI訓練應用的電力需求每3-4個(gè)月就會(huì )翻一倍。華為AI首席科學(xué)家田奇也曾給出數據，AI算力在過(guò)去10年至少增長(cháng)了40萬(wàn)倍。

牛津大學(xué)教授沃切特發(fā)現，每訓練一次ChatGPT，相當于約126個(gè)丹麥家庭1年的用電量。這僅僅是訓練AI大模型的前期電力，未包含模型實(shí)際使用推理時(shí)所消耗的電力。

大模型的訓練階段耗電量已不再是主要來(lái)源。谷歌數據也顯示，近年AI相關(guān)能源消耗中60%來(lái)自推理部分。GPT-3整個(gè)訓練階段的耗電量?jì)H相當于ChatGPT現在4天的消耗量。

據《紐約客》雜志援引國外研究機構報告，ChatGPT每天要響應大約2億個(gè)請求，在此過(guò)程中消耗超過(guò)50萬(wàn)千瓦時(shí)電力，相當于1.7萬(wàn)個(gè)美國家庭的用電量。也就是說(shuō)，ChatGPT一年光是電費，就要花2億元。這個(gè)電量相當于肯尼亞、危地馬拉和克羅地亞三國的年總發(fā)電量。

而在多模態(tài)大模型發(fā)展成為主流的情況下，在A(yíng)I響應需求的推理過(guò)程中，耗電量還將進(jìn)一步提升。預計到2027年，整個(gè)人工智能行業(yè)每年將消耗85-134太瓦時(shí)（1太瓦時(shí)=10億千瓦時(shí)）的電力。

國際能源署（IEA）2024年的一份報告預測，由于人工智能和加密貨幣的發(fā)展，全球數據中心的用電量不久后將大幅增加兩倍。該機構表示，2022年，全球數據中心的用電量約為460太瓦時(shí)，到2026年可能增至620-1050太瓦時(shí)，分別相當于瑞典、德國的年用電量。

據人工智能公司Hugging Face的研究，不僅多模態(tài)大模型耗電量遠超過(guò)一般模型，涉及圖像處理的模型也比純文本處理更耗電。具體到不同任務(wù)，文本分類(lèi)、標記和問(wèn)答等簡(jiǎn)單任務(wù)相對低耗，千次推理僅需0.002-0.007千瓦時(shí)。而在響應多模態(tài)任務(wù)時(shí)，一次文本到圖像生成耗能最高需要用到2.9千瓦時(shí)，相當于ChatGPT響應100次的耗電量。

AI飛速發(fā)展的B面

各種數據似乎都在說(shuō)明，AI的耗電像一個(gè)“無(wú)底洞”，那么下一個(gè)問(wèn)題就是，目前AI的發(fā)展有被能耗困住嗎？AI的耗電問(wèn)題真的有那么迫在眉睫嗎？關(guān)于這個(gè)問(wèn)題，業(yè)內看法也并不一致。

馬斯克表示，人工智能計算的約束條件是可預測的，“我在一年多前就預測過(guò)芯片短缺，下一個(gè)短缺的將是電力。我認為明年將沒(méi)有足夠的電力來(lái)運行所有的芯片?！?/p>

工信部信息通信經(jīng)濟專(zhuān)家委員會(huì )委員劉興亮則表示，科技大佬預言AI“缺電”，可能是想讓大家重視起這個(gè)問(wèn)題，這只說(shuō)明，AI確實(shí)耗電，電力成本也確實(shí)很高，但是目前能源問(wèn)題還沒(méi)有到影響AI發(fā)展的程度。

同樣可以看一組數據。

根據公開(kāi)資料，2023年，美國全口徑凈發(fā)電量為41781.71億千瓦時(shí)（1千瓦時(shí)=1度），以ChatGPT每天耗電50萬(wàn)千瓦時(shí)計算，年耗電量約為18250萬(wàn)千瓦時(shí)，這也只占全美發(fā)電量的約0.0044%。

AI當然不只ChatGPT，但它的耗能數據可以作為一個(gè)切口?？梢钥闯?，盡管隨著(zhù)AI算力的迅猛增長(cháng)，電力需求也持續增長(cháng)，但目前其在整體電力消耗中所占比例較小。

不過(guò)盡管如此，關(guān)注AI能耗問(wèn)題也并不是“杞人憂(yōu)天”。

波士頓咨詢(xún)集團曾發(fā)布報告稱(chēng)，到2030年底，僅美國數據中心的用電量預計就將是2022年的3倍，而這一增幅主要來(lái)自AI模型訓練和更高頻的AI查詢(xún)。

據吉印通社2023年報道，我國數據中心2020年用電量超過(guò)2000億千瓦時(shí)，占全社會(huì )用電量的2.7%。預計到2025年，中國數據中心用電量將突破4000億千瓦時(shí)，占全社會(huì )用電量4.1%。

AI發(fā)展“缺電”并不是現在已經(jīng)出現的問(wèn)題，而是未來(lái)可能面臨的問(wèn)題。

人工智能飛速發(fā)展的B面，是環(huán)境將要承載的巨大壓力。

2021年，美國馬薩諸塞大學(xué)研究員以當時(shí)幾種大型AI大模型的訓練周期為例，發(fā)現該過(guò)程排放超過(guò) 62.6萬(wàn)磅二氧化碳，幾乎是普通汽車(chē)壽命周期排放量的5 倍（包括汽車(chē)的制造過(guò)程）。

美國科羅拉多大學(xué)和德克薩斯大學(xué)的研究結果表示，微軟僅在訓練GPT-3時(shí)，就消耗了70萬(wàn)升多的水。這足以生產(chǎn)370輛寶馬汽車(chē)，或者320輛特斯拉電動(dòng)汽車(chē)。

用于訓練和支撐AI運行的數據中心，實(shí)際上是堆滿(mǎn)一個(gè)個(gè)服務(wù)器的機房。服務(wù)器長(cháng)時(shí)間運作，無(wú)法中斷，經(jīng)?？赡苓^(guò)熱。然而這些數據中心的運行尤其需要一個(gè)涼爽的環(huán)境。為此，各數據中心需要大量的水進(jìn)行降溫，而且必須用干凈的淡水資源，以避免設備腐蝕或者導致細菌滋生。

中國數據中心節能委員會(huì )數據顯示，在數據中心，IT設備能耗占比最大，為45%。其次是空調系統，占比40%。以ChatGPT為例，加州大學(xué)研究發(fā)現，每回答用戶(hù)20個(gè)問(wèn)題，ChatGPT就需要消耗超過(guò)500毫升水，用于冷卻硬件。

可以預見(jiàn)的是，隨著(zhù)AI大模型的能耗問(wèn)題不斷發(fā)展，會(huì )對電力系統產(chǎn)生重大影響。

一方面，電力需求急劇增加。高電力需求一旦超出現有電力基礎設施的設計容量，就需要對電網(wǎng)進(jìn)行升級或擴建以滿(mǎn)足需求。在用電高峰時(shí)段，AI訓練中心的電力消耗可能會(huì )影響電網(wǎng)的穩定性，導致供電波動(dòng)甚至停電。AI訓練中心的電力需求可能會(huì )與居民和工業(yè)用電發(fā)生沖突，特別是在電力供應不足時(shí)，需要權衡能源如何分配的問(wèn)題。電力供應緊張的壓力會(huì )導致電力成本上升，增加AI訓練的經(jīng)濟負擔，影響相關(guān)企業(yè)和研究機構的運營(yíng)。

另一方面，電力行業(yè)被倒逼轉型，能源結構隨之改變，為可再生能源帶來(lái)機遇。AI訓練的高能耗問(wèn)題也為可再生能源的利用提供了機遇，鼓勵數據中心采用太陽(yáng)能、風(fēng)能等清潔能源，促使電力行業(yè)向更環(huán)保的能源結構轉型。為了更有效地管理和分配電力，電力行業(yè)正在發(fā)展智能電網(wǎng)技術(shù)，提高電網(wǎng)的靈活性和可靠性。隨著(zhù)AI訓練對電力穩定性的需求，電力行業(yè)正在探索和應用各種儲能技術(shù)，如電池儲能系統，以平衡供需。同時(shí)，電力行業(yè)正通過(guò)需求側管理來(lái)應對AI訓練帶來(lái)的電力需求波動(dòng)，例如通過(guò)動(dòng)態(tài)定價(jià)機制來(lái)平衡負載。

如何解決AI能耗之困?

在技術(shù)上創(chuàng )新，“源頭”吉印通行節流，是當下技術(shù)加速主義者擁抱的方向。對技術(shù)保持樂(lè )觀(guān)的人們認為，隨著(zhù)技術(shù)的加速發(fā)展，許多事情在迭代中自然會(huì )找到答案。

為了節約能源，AI業(yè)界正在進(jìn)行架構的創(chuàng )新。許多公司開(kāi)始追求用更少的訓練步驟，訓練一個(gè)更大的模型。一個(gè)比較熱門(mén)的方向是名叫MoE（Mixed Expert Model）的大模型。研究者發(fā)現，這個(gè)基于Transformer改進(jìn)過(guò)的大模型在同等算力下訓練速度更快，而且擴展度高，允許模型在保持計算成本不變的情況下增加參數，使其擴展到非常大的模型參數。

另外，為降低電力和水資源消耗，很多企業(yè)在嘗試采用各種方法為數據中心散熱。比如，將數據中心選址盡量靠近電力中心，如水力資源豐富的地區，最主要的考慮就是輸送中的能耗。微軟曾嘗試部署海下數據中心，Facebook數據中心選址北極圈附近，阿里云千島湖數據中心使用深層湖水制冷等。

在今年的達沃斯世界經(jīng)濟論壇上，山姆·奧特曼提到，核聚變可能是能源的發(fā)展方向。他投資的兩家能源公司Helion和Oklo，正是在做核聚變的相關(guān)研究。

可控核聚變俗稱(chēng)“人造太陽(yáng)”，也就是在地球模擬太陽(yáng)上億攝氏度的環(huán)境，實(shí)現發(fā)電，也被稱(chēng)為人類(lèi)的“終極能源”，其有著(zhù)原料資源豐富、釋放能量大、安全清潔、環(huán)保等優(yōu)勢，基本滿(mǎn)足了人類(lèi)對于未來(lái)理想終極能源的各種要求。

山姆·奧特曼表示，“如果我們能夠真正實(shí)現豐富、廉價(jià)、安全、清潔能源的夢(mèng)想，那么所有人的生活質(zhì)量將會(huì )難以置信地提高。這就是為什么我這么長(cháng)時(shí)間以來(lái)都對這兩個(gè)項目充滿(mǎn)熱情?！?/p>

據統計，當前世界共有50多個(gè)國家正在進(jìn)行核聚變裝置的研發(fā)和建設，最快預計2050年世界第一座核聚變發(fā)電廠(chǎng)有望建成并投入運行。

值得一提的是，除了提升具體的AI和能源相關(guān)技術(shù)外，我國在宏觀(guān)層面的一個(gè)“解題思路”，也值得關(guān)注。

目前，我國算力總規模已經(jīng)位居全球第二，同時(shí)我國在電力方面具有優(yōu)勢，已建成全球規模最大的電力供應系統和清潔發(fā)電體系，其中，水電、風(fēng)電、光伏、生物質(zhì)發(fā)電和在建核電規模多年位居世界第一。

2022年2月，國家發(fā)展改革委等部門(mén)吉印通印發(fā)通知，同意在內蒙古、貴州、甘肅、寧夏等8地啟動(dòng)建設國家算力樞紐節點(diǎn)，并規劃了10個(gè)國家數據中心集群?！皷|數西算”工程正式全面啟動(dòng)。

2023年12月，《深入實(shí)施“東數西算”工程 加快構建全國一體化算力網(wǎng)的實(shí)施意見(jiàn)》發(fā)布，首次提出“算力電力協(xié)同”。

什么是“算力電力協(xié)同”？一方面，數據中心的高效運轉離不開(kāi)大量電力支撐；另一方面，電力系統的平穩高效運行也離不開(kāi)算力支撐。統籌算力電力協(xié)同布局，有助于促進(jìn)風(fēng)光綠電消納和數據中心零碳發(fā)展。

當然，客觀(guān)上看，由于網(wǎng)絡(luò )時(shí)延等限制存在，并非所有算力服務(wù)場(chǎng)景都適用“東數西算”。但是人工智能模型訓練推理這樣的高時(shí)延業(yè)務(wù)場(chǎng)景，正是“東數西算”的“舒適區”。

眼下，各地人工智能方面的“東數西算”項目都在提速中。北京首都在線(xiàn)與甘肅省慶陽(yáng)市簽訂人工智能產(chǎn)業(yè)合作框架協(xié)議；吉印通智能云與成都高新區簽訂戰略合作簽約儀式，打造大模型產(chǎn)業(yè)；在中國電信（國家）數字青海綠色大數據中心，通過(guò)風(fēng)光水等清潔能源的互補，已經(jīng)實(shí)現了數據中心的100%清潔能源供應；貴州省與深圳市簽訂算力協(xié)同發(fā)展戰略合作協(xié)議；華為云計算與貴安新區合作打造全球領(lǐng)先的智算中心。

目前，我國每年浪費掉的電力以及沒(méi)有產(chǎn)生社會(huì )價(jià)值的用電量非常多。和數據中心看似恐怖的用電量相比，更值得在意的是如何提升AI的能效。短期來(lái)看，人類(lèi)社會(huì )仍需要AI的發(fā)展，來(lái)為高質(zhì)量的經(jīng)濟發(fā)展和能源轉型鋪路。我們要做的既不是抑制AI大模型的規模，也不是要減少數據中心的能源消耗，而是要提升能源消費的質(zhì)量。

AI產(chǎn)業(yè)的發(fā)展速度之快，在人類(lèi)歷史上沒(méi)有任何產(chǎn)業(yè)能與之相比。隨著(zhù)科技日新月異，未來(lái)AI大模型會(huì )層出不窮。不可否認的是，生成式AI的出現給社會(huì )生活帶來(lái)了巨大的助力，但AI給人類(lèi)帶來(lái)效率提升的同時(shí)也可能引發(fā)能源危機。平衡AI技術(shù)的發(fā)展與環(huán)境的可持續性，把握好技術(shù)進(jìn)步和能源消耗之間的復雜關(guān)系，會(huì )是未來(lái)幾年的重要議題之一。