如何破解大模型時代的算力困局？
來源：人民郵電報 時間：2023-06-19 10:22:34 作者：北京鴻雪信息科技有限公司CEO鄭乃東
ChatGPT爆火引發(fā)全球AIGC發(fā)展的新一輪熱潮，而事實(shí)上，ChatGPT之所以能夠成為火遍全球的頂流模型，離不開強(qiáng)大計算力，其背后是耗資數(shù)億美元用了英偉達(dá)數(shù)萬顆A100的微軟超級計算機(jī)。目前，打造出ChatGPT的OpenAI公司依然巨額虧損，但提供核心算力芯片的英偉達(dá)公司已經(jīng)實(shí)現(xiàn)了萬億美元的市值。全球大模型之爭，同樣是算力之爭，算力正成為全球新一輪科技革命的競爭焦點(diǎn)。
全球算力產(chǎn)業(yè)正因AI大規(guī)模應(yīng)用產(chǎn)生新的變化，新一輪的算力變革正在到來，智能計算正在重塑云、軟件、芯片產(chǎn)業(yè)，還在影響其他產(chǎn)業(yè)的智能化轉(zhuǎn)型。
AI算力選擇和中國面臨的挑戰(zhàn)
AIGC大模型無論是訓(xùn)練還是推理，都是吃算力的“老虎機(jī)”。正因?yàn)槿绱耍姸嗫萍脊径荚诜e極探索新的算力基礎(chǔ)架構(gòu)，以應(yīng)對AI大規(guī)模的計算需求。
算力的核心是芯片，目前有幾種芯片是大模型訓(xùn)練和推理的主流選擇：一是GPU（圖形處理器），二是ASIC（專用集成電路），三是FPGA（可編程邏輯器件）。
從當(dāng)下全球AI大模型對于算力芯片的選擇來看，GPU仍是主流的AI算力支撐。目前，GPU芯片被英偉達(dá)壟斷，市場研究機(jī)構(gòu)JonPeddieResearch數(shù)據(jù)顯示，截至2022年第四季度，英偉達(dá)占全球GPU市場份額為82%，英特爾為9%，AMD為9%。
自從英偉達(dá)高端GPU對中國限售，中國AI市場的高端GPU就捉襟見肘，中國用戶就只能使用英偉達(dá)針對中國市場的降維產(chǎn)品，這些降維GPU與國外的原版芯片存在一定的差距，雖然性能沒有受到影響，但是數(shù)據(jù)傳輸速度受限、功耗增加，相應(yīng)的電費(fèi)以及訓(xùn)練成本必然增加。
GPU行業(yè)人士表示，互聯(lián)網(wǎng)企業(yè)在計算數(shù)據(jù)中心整體成本支出時，高端產(chǎn)品一次性購買成本、機(jī)架占位/人工服務(wù)費(fèi)（運(yùn)維）、電費(fèi)三者所占比重大約為3∶3∶4。如果英偉達(dá)A100、H100被禁用，只能采用12nm的V100產(chǎn)品，考慮到電費(fèi)、機(jī)架費(fèi)用的增加，整體成本支出將超過3倍。
即便是成本增加，英偉達(dá)的降維GPU在中國仍然一片難求。這幾年國產(chǎn)GPU芯片快速成長，但與英偉達(dá)的高端芯片相比依然有一定的差距，這進(jìn)一步加劇了中國在智能算力發(fā)展上面臨的挑戰(zhàn)。
隨著大模型時代的到來，中國AI用戶對智能算力提出更多的需求。業(yè)內(nèi)相關(guān)人士透露，目前在一些智算中心，要想租用A800的算力，需要排隊。國家信息中心聯(lián)合浪潮信息發(fā)布的《智能計算中心創(chuàng)新發(fā)展指南》顯示，當(dāng)前我國超過30個城市正在建設(shè)或提出建設(shè)智算中心，但仍然無法滿足相關(guān)的需求。
《2022—2023中國人工智能計算力發(fā)展評估報告》顯示，中國人工智能計算力繼續(xù)保持快速增長，2022年智能算力規(guī)模為268百億億次/秒（EFLOPS），超過通用算力規(guī)模。預(yù)計到2026年中國智能算力規(guī)模會達(dá)到1271.4EFLOPS，未來五年的年復(fù)合增長率達(dá)52.3%，同期通用算力規(guī)模的年復(fù)合增長率為18.5%。
用新思路加速AI算力發(fā)展
一方面中國AI算力需求呈現(xiàn)出高速增長的態(tài)勢，另一方面，支撐AI核心算力的高端GPU芯片面臨短缺，該如何破解中國AI發(fā)展的算力困局？
一是用新思路加快中國AI芯片產(chǎn)業(yè)的發(fā)展。應(yīng)該說無論是在GPU還是ASIC、FPGA或是類腦AI芯片等賽道上，中國企業(yè)都在加快發(fā)展，呈現(xiàn)出百花齊放的局面，但在性能上與國外高端芯片還存在一定差距，加之工具與生態(tài)上的短板，發(fā)展高端AI芯片依然任重道遠(yuǎn)。
對于國內(nèi)AI芯片產(chǎn)業(yè)的發(fā)展，我們除了要在“人有我有”的技術(shù)路線上加力，更需要在“人未有”的技術(shù)路線上進(jìn)行更多探索。事實(shí)上，面對大模型龐大而多元的算力需求，國外芯片巨頭都在尋求新的發(fā)展思路。
隨著多模態(tài)成為大模型時代的大勢所趨，未來的AI芯片需要同時處理文本、語音、圖像、視頻等多類數(shù)據(jù)，如何提高單芯片算力，如何提升算力利用率，實(shí)現(xiàn)更高的效能比，已成為大模型向AI算力基礎(chǔ)設(shè)施提出的核心訴求。存算一體、先進(jìn)互聯(lián)技術(shù)、超異構(gòu)集成等正成為AI芯片發(fā)展的主流技術(shù)。
存算一體、超異構(gòu)集成的“系統(tǒng)級創(chuàng)新”正成為英偉達(dá)、AMD、英特爾等眾多芯片巨頭面對大模型的解題思路之一，綜合考慮跨計算、跨通信、跨內(nèi)存等元素，從而推動系統(tǒng)級性能和效能的提升，同樣為中國企業(yè)在AI芯片上“換道超車”提供了機(jī)會。
二是推動基礎(chǔ)軟件與平臺軟件的創(chuàng)新。大模型時代的到來，不僅對底層芯片提出了更多挑戰(zhàn)，基礎(chǔ)軟件同樣面臨更多的挑戰(zhàn)，軟硬協(xié)同創(chuàng)新是大勢所趨。尤其是在中國，由于底層芯片存在短板，更需要軟件與架構(gòu)的創(chuàng)新，進(jìn)一步提升底層算力能力，提升效率，降低成本。
應(yīng)該說，基礎(chǔ)軟件是人工智能的底座，基礎(chǔ)軟件的發(fā)展水平?jīng)Q定了人工智能發(fā)展的深度、高度和廣度。人工智能的發(fā)展離不開高質(zhì)量的基礎(chǔ)軟件，算力的釋放離不開高質(zhì)量的基礎(chǔ)軟件，尤其是基礎(chǔ)軟件的工程化、易用性、完備性都是影響AI落地與發(fā)展的關(guān)鍵。
英偉達(dá)的GPU之所以在人工智能算力市場成為最大的贏家，其CUDA軟件平臺功不可沒。所以當(dāng)我們大力推動AI算力變革時，不可忽略基礎(chǔ)軟件和平臺軟件的同步變革。
事實(shí)上，未來隨著算力性能逐漸同質(zhì)化和標(biāo)準(zhǔn)化，數(shù)據(jù)的差異性和企業(yè)需求的個性化將逐漸加大，AI基礎(chǔ)軟件就成為提升模型訓(xùn)練效率和算力使用效率的決定性因素。隨著多模態(tài)大模型的發(fā)展，操作系統(tǒng)、數(shù)據(jù)庫都將發(fā)生深刻的變革，眼下向量數(shù)據(jù)庫在成為數(shù)據(jù)庫技術(shù)演變的下一個重要方向。
三是推進(jìn)供需對接，加速算力網(wǎng)絡(luò)變革。今年2月，中共中央、國務(wù)院印發(fā)的《數(shù)字中國建設(shè)整體布局規(guī)劃》明確提出，系統(tǒng)優(yōu)化算力基礎(chǔ)設(shè)施布局，促進(jìn)東西部算力高效互補(bǔ)和協(xié)同聯(lián)動。這對跨域、異構(gòu)算網(wǎng)資源的感知整合、靈活分配、智能調(diào)度提出了更高要求。與此同時，隨著“東數(shù)西算”的推進(jìn)，數(shù)據(jù)與算力之間的調(diào)度與整合也出現(xiàn)了一系列的問題，比如在應(yīng)用端出現(xiàn)了“東數(shù)西渲”“東數(shù)西訓(xùn)”兩個典型應(yīng)用，對存力的跨區(qū)域調(diào)度提出了新的挑戰(zhàn)。
破解這些難題，需要加速算力網(wǎng)絡(luò)的技術(shù)與架構(gòu)創(chuàng)新。比如最近浪潮推出算力網(wǎng)絡(luò)操作系統(tǒng)，解決了傳統(tǒng)分離式作業(yè)模式難以匹配端到端的需求場景等問題，實(shí)現(xiàn)算力、算效的全方位智能優(yōu)化。又比如，針對“東數(shù)西算”“東數(shù)西存”，曙光存儲推出了跨區(qū)域的自動數(shù)據(jù)遷移技術(shù)，能夠智能識別東部數(shù)據(jù)中心的溫冷數(shù)據(jù)并自動遷移到西部數(shù)據(jù)中心，最大限度利用西部數(shù)據(jù)中心在能源成本和海量存力、算力資源方面的優(yōu)勢。
大模型時代的到來，AI算力升級已是大勢所趨，這給整個IT產(chǎn)業(yè)從芯片、軟件到系統(tǒng)、云、應(yīng)用等全產(chǎn)業(yè)鏈都提出了新的挑戰(zhàn)，也帶來重塑的巨大機(jī)會，我們需要解放思想、大膽探索，迎接新的AI算力時代的到來。
責(zé)任編輯：張薇