首頁(yè)IT—正文
如何提升智效同時(shí)解決能耗難題?AI迎來(lái)“大考”
2024年06月03日 11:10 來(lái)源:中青報·中青網(wǎng)

  1.05萬(wàn)億千瓦時(shí)(kW·h)!

  這是國際能源署(International Energy Agency,以下簡(jiǎn)稱(chēng)“IEA”)日前發(fā)布的《電力2024》報告中,對2026年全球數據中心的最高總用電量作出的預測。1千瓦時(shí)就是1度電,“超過(guò)1萬(wàn)億度電”,根據報告的估算,這些電量大約是整個(gè)日本全年的用電量。

  數據中心、智算中心等算力基礎設施是人工智能(AI)的數據中樞和算力載體。隨著(zhù)AI尤其是生成式人工智能(AIGC)和大模型技術(shù)的快速發(fā)展,算力需求激增,AI的能耗問(wèn)題也越來(lái)越受到關(guān)注。在近段時(shí)間舉行的多場(chǎng)國際會(huì )議上,一些科技巨頭紛紛表達了對AI發(fā)展帶來(lái)的能耗問(wèn)題的擔憂(yōu)。

  如何在提升智效的同時(shí)解決能耗難題,對AI行業(yè)來(lái)說(shuō),是一場(chǎng)“大考”。

  AI在推理階段的耗能不容忽視

  討論AI耗能的問(wèn)題,不可避免地要談到AI大語(yǔ)言模型(以下簡(jiǎn)稱(chēng)“大模型”)。

  “生成式人工智能是當前AI技術(shù)發(fā)展的重點(diǎn)!彬v訊研究院資深專(zhuān)家王鵬在接受中青報·中青網(wǎng)記者采訪(fǎng)時(shí)說(shuō)。他表示,當前,生成式人工智能技術(shù)的基礎就是以數據和算力堆疊為標志的大模型,其訓練和應用需要大量的算力支持,“算力背后則是算力基礎設施耗電所帶來(lái)的巨大電能需求”。

  全國政協(xié)委員、中國科學(xué)院計算技術(shù)研究所研究員張云泉指出,大模型的參數和數據規模越大,其智能效果就越好。在大模型中,“Scaling Laws”(規模效應)意味著(zhù)當參數和數據規模大到一定程度時(shí),大模型的智能表現將出現躍升,也就是“智能涌現”!澳壳拔覀冞沒(méi)看到‘智能涌現’的上限在哪!

  “一般來(lái)說(shuō),參數量越大,大模型的算力消耗就越大,其消耗的電能就越多!蓖貔i表示,因為還沒(méi)達到上限,以OpenAI為代表的人工智能公司在“Scaling Laws”的驅使下,還在持續增加大模型的參數和數據規模,以求實(shí)現通用人工智能(AGI)的目標,造成短期內算力需求和電能需求的巨大提升。

  “因為GPT-3有1750億個(gè)參數,訓練用到了1024張英偉達A100芯片,所以業(yè)內將其稱(chēng)為‘千卡千參’!鄙虦萍贾悄墚a(chǎn)業(yè)研究院院長(cháng)田豐說(shuō),目前GPT-4、GPT-5等大模型都達到了“萬(wàn)卡萬(wàn)參”的規模,且訓練模型所用芯片也從英偉達A100更新到英偉達H100、B200,“參數量的激增將導致能耗顯著(zhù)增加”。

  除了模型訓練以外,AI在推理階段的耗能也不容忽視!巴评砑创竽P晚憫脩(hù)需求的過(guò)程”,張云泉介紹,大模型單次響應用戶(hù)需求的耗電量并不大,“但隨著(zhù)用戶(hù)規模的增加,耗電量也將不斷累積并增大!

  近日,源自美國的一則“如果將10萬(wàn)塊英偉達H00芯片部署在同一地區進(jìn)行模型訓練,會(huì )導致電網(wǎng)崩潰”的新聞引起社會(huì )關(guān)注。

  多位專(zhuān)家在接受記者采訪(fǎng)時(shí)表示,AI導致電網(wǎng)崩潰的原因在于,大模型的訓練是階段性的工作,所用到的算力要集中在一個(gè)數據中心里,在有限時(shí)空范圍內進(jìn)行大模型訓練,會(huì )給局部電網(wǎng)帶來(lái)非常大的用電負荷。

  “穩定的電網(wǎng)系統中突然出現巨大負荷擾動(dòng),會(huì )對電網(wǎng)的穩定和安全產(chǎn)生影響!睆堅迫赋,隨著(zhù)大模型參數和數據規模的進(jìn)一步增加,AI的能耗問(wèn)題將越來(lái)越突出,尤其是對于電力供應緊張的國家和地區!伴L(cháng)遠來(lái)看,AI推理過(guò)程的耗能將越來(lái)越大;短期內,大模型訓練的能耗則是最大的AI能耗增量!

  在王鵬看來(lái),與家庭用電量相比,AI的耗電量顯得很大,但其在社會(huì )總用電量中的占比依然很小,“還遠沒(méi)有達到制造業(yè)用電的數量級”。

  解決方案:技術(shù)創(chuàng )新與新能源

  根據美國機構Uptime Institute的預測,到2025年,AI相關(guān)業(yè)務(wù)在全球數據中心用電量中的占比將從2%增加到10%;到2030年,智能計算的年耗電量將占全球發(fā)電總量的5%。

  “解決能耗問(wèn)題,是AI技術(shù)發(fā)展的重要前提!碧镓S對記者說(shuō),雖然目前AI的能源消耗還不至于引起大范圍“電荒”,但隨著(zhù)AI的大規模應用,未來(lái)可能發(fā)生AI“缺電”的情況,需要尋找合適的解法,讓有限的電力能源可以容納更大的算力規模。

  通過(guò)研究和實(shí)踐,人們對AI的了解逐漸增強,一系列解法隨之而來(lái)。從需求角度看,優(yōu)化大模型架構、提升芯片效率和算力效率等,被認為是降低AI能耗的有效途徑。

  張云泉表示,首先,可以設計AI模型訓練的專(zhuān)用芯片,其效率相較GPU(圖形處理器,現常用于A(yíng)I計算)提升了10倍以上;其次,可以?xún)?yōu)化AI模型的參數,很多小模型僅有幾十億的參數量,但已經(jīng)實(shí)現了和大模型一樣的效果;此外,還可以通過(guò)對推理過(guò)程進(jìn)行優(yōu)化壓縮,設計專(zhuān)用推理芯片,進(jìn)一步降低AI推理階段的能耗。

  “大模型變小模型,目前降低能耗效果最好!睆堅迫晕④4月底發(fā)布的自研小尺寸AI模型Phi-3為例介紹。據了解,Phi-3模型目前有3個(gè)版本,其中Phi-3 mini是一個(gè)擁有38億參數的語(yǔ)言模型,可部署在手機上,根據實(shí)驗和測試結果,其性能已經(jīng)可以與GPT-3.5等大模型相媲美。

  在能源供應方面,訴諸多樣化的新能源供給、依靠國家進(jìn)行宏觀(guān)調控與規劃等舉措,將有助于解決AI能耗問(wèn)題。天使投資人、資深人工智能專(zhuān)家郭濤對記者表示,當前,新能源,包括太陽(yáng)能、風(fēng)能、水能等可再生能源,正逐漸成為數據中心的最佳能源選擇!叭绻麤](méi)有足夠的可再生能源來(lái)滿(mǎn)足AI能耗的增長(cháng),可能會(huì )導致對化石燃料的依賴(lài)加劇,從而對環(huán)境造成負面影響。此外,數據中心還可以通過(guò)智能算法來(lái)優(yōu)化能源使用效率,實(shí)現AI與電網(wǎng)的協(xié)同發(fā)展!

  不少人工智能公司已經(jīng)開(kāi)始關(guān)注新能源。2021年,OpenAI首席執行官山姆·奧爾特曼向核聚變初創(chuàng )公司Helion Energy投入3.75億美元;2024年3月,亞馬遜云服務(wù)公司(AWS)收購美國賓夕法尼亞州一座數據中心園區,據了解,該園區就是從鄰近的核電站獲取電力。

  “解決AI耗能問(wèn)題涉及到算力、電力等多個(gè)系統的協(xié)調與配合!蓖貔i指出,一方面,要從AI本身去降低能耗,包括優(yōu)化算法、降低模型參數、提高計算性能等;另一方面,整個(gè)能源系統也要積極響應AI的能耗需求。

  “源網(wǎng)荷儲”一體化考慮

  新能源或將成為解決AI耗能問(wèn)題的一把“鑰匙”,這正好與我國此前提出的“東數西算”工程相契合。

  國家能源局的數據顯示,2023年,我國可再生能源新增裝機3.05億千瓦,占全國新增發(fā)電裝機的82.7%,占全球新增裝機的一半;全國可再生能源發(fā)電量近3萬(wàn)億千瓦時(shí),接近全社會(huì )用電量的1/3。目前,我國已建成全球規模最大的電力供應系統和清潔發(fā)電體系,其中青海、內蒙古、寧夏等西北部地區則是清潔能源的“富礦”。

  2021年,我國提出實(shí)施“東數西算”工程,引導數據中心向西部資源豐富地區聚集,推動(dòng)當地數據中心走向低碳、綠色、可持續,同時(shí)滿(mǎn)足東部地區的算力需求。2022年2月,內蒙古、貴州、甘肅等8地啟動(dòng)建設國家算力樞紐節點(diǎn),10個(gè)國家數據中心集群被寫(xiě)入工程總體“規劃”,“‘東數西算’工程全面啟動(dòng)”。

  “大模型時(shí)代,‘東數西算’工程將對全國的電力需求和算力需求起到重要的宏觀(guān)調控作用!睆堅迫A計,未來(lái)將會(huì )有越來(lái)越多的大型算力中心或智算中心選址我國西部地區,“東數西訓”(即東部地區的AI大模型,在西部地區進(jìn)行訓練——記者注)將成為AI與新能源協(xié)調發(fā)展的典型場(chǎng)景。但他強調,推動(dòng)新能源更好地賦能AI發(fā)展,儲能是一個(gè)需要解決的問(wèn)題。

  “大規模儲能的建設決定了新能源是否能更好地滿(mǎn)足算力需求!碧镓S也同意張云泉的觀(guān)點(diǎn)。田豐指出,包括光電、風(fēng)電等在內的新能源,具有間歇性發(fā)電的特點(diǎn),需要依靠?jì)δ芟到y將多發(fā)的電及時(shí)存儲起來(lái),削峰調谷,以保證電網(wǎng)的供需平衡。

  國家能源局的最新數據顯示,截至2024年一季度末,我國已建成投運的新型儲能項目累計裝機規模達到3530萬(wàn)千瓦,同比增長(cháng)超過(guò)210%,其中10萬(wàn)千瓦以上的儲能電站超5成,呈現集中式、大型化的發(fā)展趨勢。

  在儲能的建設上,王鵬著(zhù)重強調了新能源汽車(chē)的分布式儲能能力!半S著(zhù)電池充放電次數和壽命不斷提高,數億輛電車(chē)利用峰谷電價(jià)差來(lái)儲能并反向回供電網(wǎng),基本可以實(shí)現零成本用車(chē)甚至盈利,同時(shí)也能解決電網(wǎng)的調峰問(wèn)題!

  此外,王鵬還認為要重新思考“數據網(wǎng)”和“電力網(wǎng)”的分布式聯(lián)動(dòng)與微觀(guān)布局協(xié)同。他指出,為滿(mǎn)足短期內快速增長(cháng)的人工智能推理算力需求,除了在西部可再生能源豐富的地區布局大型算力中心,實(shí)現“東數西算”;也需要考慮在東部需求側的數據中心和算力中心附近,積極布局分布式可再生能源,如與城鄉建筑、農業(yè)設施等結合的分布式BIPV(光伏建筑一體化)、光儲直柔一體化等!岸疫要‘源網(wǎng)荷儲’一體化考慮,盡可能通過(guò)微電網(wǎng)實(shí)現就地峰谷平衡,減少棄風(fēng)棄光!

  “這需要電價(jià)政策、基礎設施建設、政策支持和用戶(hù)行為等多方面的配合!痹谕貔i看來(lái),整個(gè)算力網(wǎng)絡(luò )、輸電網(wǎng)絡(luò )、分布式能源網(wǎng)絡(luò ),與車(chē)輛(充電)網(wǎng)絡(luò )的高度耦合,或許是解決我國未來(lái)AI能耗問(wèn)題的關(guān)鍵。

  “在考慮投入和產(chǎn)出算總賬的情況下,AI實(shí)際上進(jìn)一步提高了社會(huì )的生產(chǎn)效率,降低了能耗!碧镓S認為,AI作為新質(zhì)生產(chǎn)力正在賦能經(jīng)濟社會(huì )發(fā)展,如今的AI大模型已經(jīng)成為重要的基礎科研設施,其訓練中的投入,最終將為全社會(huì )帶來(lái)新質(zhì)生產(chǎn)力的紅利。

  目前,在A(yíng)I大模型的訓練成本中,能源消耗成本的占比已經(jīng)超過(guò)一半。田豐說(shuō),從基礎科研的角度看,要繼續加大對AI技術(shù)的投資,“現在是奮起直追的時(shí)候,不應該自束手腳”。具體到AI耗能方面,他建議,可以給予大模型訓練一定的能源支持政策。

  中青報·中青網(wǎng)見(jiàn)習記者 賈驥業(yè) 記者 朱彩云 來(lái)源:中國青年報

編輯:孫婷婷