關(guān)于大模型生態(tài)建設(shè)的若干思考

來源：《中國金融》2023年第13期 時間：2023-07-12 16:40:55 作者：姚前

　　進入2023年，ChatGPT、GPT4以及Midjourney等以內(nèi)容生成為導(dǎo)向的人工智能應(yīng)用，引發(fā)了一輪又一輪的創(chuàng)新浪潮。有人甚至認為，大模型正在以日為單位迭代進化。作為新型生產(chǎn)要素，大模型訓(xùn)練數(shù)據(jù)的良性可持續(xù)發(fā)展，對于大模型和人工智能產(chǎn)業(yè)的發(fā)展至關(guān)重要。金融業(yè)作為大數(shù)據(jù)和人工智能應(yīng)用的重要領(lǐng)域，理應(yīng)密切關(guān)注當前大模型訓(xùn)練相關(guān)技術(shù)的最新態(tài)勢。本文首先分析大模型的進化與升級路徑，之后通過探討大模型和中小模型可能的交互方式，闡述大模型的數(shù)據(jù)生態(tài)和模型生態(tài)建設(shè)，為保障產(chǎn)業(yè)安全健康發(fā)展、規(guī)避數(shù)據(jù)和技術(shù)風險以及構(gòu)建可持續(xù)發(fā)展的大模型生態(tài)提供相關(guān)思路。

　　大模型的升級與進化路徑分析

　　從長期視角來看，大模型的進化衍生出眾多分支。最近一段時間，大模型迭代不僅速度加快，而且參與者也越來越多，基本上涵蓋了所有的大型科技公司，生態(tài)的多樣性和復(fù)雜性已初步顯現(xiàn)。

　　目前，大模型升級迭代過程中的底層算法框架并沒有本質(zhì)的變化，算力投入以及訓(xùn)練數(shù)據(jù)的豐富仍然是其快速進化的關(guān)鍵，只不過最新的GPT4呈現(xiàn)出一些新的特征。

　　一是算法方面更適配具體的下游任務(wù)。GPT3與GPT3.5都是1750億參數(shù)的大模型。GPT4目前沒有公布具體參數(shù)，但有人推測其參數(shù)將達到萬億級別，同時在強化學習和解決具體任務(wù)方面也將有顯著提升，比較流行的術(shù)語是“對齊”（Alignment）。如果說GPT3系列模型向大家證明了人工智能能夠在一個模型里做多個任務(wù)，那么GPT4則在很多任務(wù)上已經(jīng)達到甚至超過人類水平，比如，在律師等專業(yè)學術(shù)考試上，分數(shù)能夠達到應(yīng)試者前10%左右的水平。

　　二是具備更規(guī)范的訓(xùn)練數(shù)據(jù)治理能力且支持多模態(tài)。GPT4擁有“堪比人腦”的多模態(tài)能力，跟目前很多論文闡述的多模態(tài)機理并無太多差別，但它能夠把文本模型的少樣本處理能力和思維鏈（ChainofThought，CoT）結(jié)合進來。GPT4訓(xùn)練數(shù)據(jù)的治理與供給，離不開數(shù)據(jù)標注、數(shù)據(jù)管理與評估、數(shù)據(jù)自動化以及數(shù)據(jù)合成。

　　三是構(gòu)建更強大的算力集群，以滿足更多的訓(xùn)練數(shù)據(jù)集和更大的輸入?yún)?shù)。例如，微軟已經(jīng)將超過一半的云資源投入大模型訓(xùn)練與人工智能生成內(nèi)容（AIGC）應(yīng)用。英偉達更是與臺積電、荷蘭阿斯麥、新思科技強強聯(lián)手，打造全新的算力平臺與更強大的GPU。

　　構(gòu)建各類模型相互聯(lián)通的生態(tài)

　　GPT類大模型功能強大，在未來會成為許多行業(yè)如互聯(lián)網(wǎng)、金融、醫(yī)療等領(lǐng)域的重要基礎(chǔ)設(shè)施之一。例如，在金融領(lǐng)域，經(jīng)過相關(guān)專業(yè)數(shù)據(jù)的訓(xùn)練，大模型可以具備理解金融業(yè)務(wù)知識的能力，并能針對具體場景提出解決方案，支持金融機構(gòu)開展營銷自動化、客戶關(guān)聯(lián)關(guān)系挖掘、智能風險識別、智能客服、智能投研等。

　　但在具體應(yīng)用落地的過程中，GPT類大模型還會面臨一系列挑戰(zhàn)。一是如何確保訓(xùn)練數(shù)據(jù)的數(shù)量與質(zhì)量。一般而言，大模型的訓(xùn)練語料為來自于多個領(lǐng)域的通用語料，而專業(yè)語料的收集通常比較耗時費力，同時也存在隱私問題，由此導(dǎo)致大模型在具體的個別應(yīng)用領(lǐng)域可能出現(xiàn)專業(yè)性不足的情況。二是如何降低大模型的運行和維護成本。大模型需要巨大的算力支持和嚴格的數(shù)據(jù)治理，普通的機構(gòu)和應(yīng)用部門往往難以支撐大模型的運行以及迭代升級工作。為此，需要建立一個各類模型健康交互和協(xié)同進化的生態(tài)，以保證大模型相關(guān)人工智能產(chǎn)業(yè)可以在各個應(yīng)用領(lǐng)域成功落地。

　　從技術(shù)角度來分析，大模型的進化依靠人工反饋的強化學習（ReinforcementLearningfromHumanFeedback，RLHF），其采用的數(shù)據(jù)標注與過去那種用低成本勞動力完成的簡單數(shù)據(jù)標注工作有所不同，需要非常專業(yè)的人士來寫詞條，針對相應(yīng)的問題和指令，給出符合人類邏輯與表達的高質(zhì)量答案。但由于人工與機器的交互存在一定的隔閡，比較理想的模式是通過模型之間的交互來進行強化學習，即依靠模型反饋的強化學習（ReinforcementLearningfromModelFeedback，RLMF）?；诟黝惸Ｐ偷慕换?，可以將整個大模型的數(shù)據(jù)和模型生態(tài)統(tǒng)一為一個框架。

　　過去，在分散化的模型研發(fā)模式下，單一的人工智能應(yīng)用場景下多個任務(wù)需要由多個模型共同支撐完成，每一個模型建設(shè)都要經(jīng)歷算法開發(fā)、數(shù)據(jù)處理、模型訓(xùn)練與調(diào)優(yōu)過程。預(yù)訓(xùn)練大模型增強了人工智能的通用性、泛化性，基于大模型通過零樣本或小樣本精調(diào)，就可在多種任務(wù)上取得較好效果。大模型“預(yù)訓(xùn)練+精調(diào)”模式為人工智能研發(fā)帶來了新的標準化范式，使人工智能模型可以在更統(tǒng)一、更簡明的方式下實現(xiàn)規(guī)模化生產(chǎn)。圍繞技術(shù)創(chuàng)新與應(yīng)用落地，大模型的數(shù)據(jù)和產(chǎn)業(yè)生態(tài)可劃分為基礎(chǔ)設(shè)施（包括通用語料及算力平臺）、基礎(chǔ)大模型、大模型服務(wù)（包括合成數(shù)據(jù)、模型供給及應(yīng)用插件）。在下游應(yīng)用中，用戶可以部署自己的小模型，通過大模型的各種服務(wù)來提升性能，同時也可反向給大模型提供相應(yīng)的反饋服務(wù)，幫助大模型迭代進化（見圖1）。

　　基礎(chǔ)大模型是大模型產(chǎn)業(yè)生態(tài)的核心引擎，其優(yōu)勢在于基礎(chǔ)性和通用性，面向典型任務(wù)如自然語言處理、計算機視覺、跨模態(tài)任務(wù)等需求，進一步結(jié)合任務(wù)特性，優(yōu)化模型算法，學習相關(guān)數(shù)據(jù)與知識，從而使大模型表現(xiàn)出更優(yōu)異的效果，甚至可以零樣本直接應(yīng)用。

　　小模型具有體量?。ㄍǔＴ诎賰|參數(shù)級別）、易于訓(xùn)練及維護的特點，因此適合各垂直領(lǐng)域，適合各行業(yè)進行內(nèi)部開發(fā)和使用。在通常情況下，小模型訓(xùn)練成本較低，但性能遠不及大模型。通過大、小模型交互應(yīng)用，可以讓小模型獲得大模型的部分能力或?qū)崿F(xiàn)部分功能，從而在不增加運維成本的前提下，使小模型的性能得到較大提升，滿足具體的應(yīng)用需求。大、小模型交互的方式可以分為三類：數(shù)據(jù)交互、模型交互和應(yīng)用交互（見圖2）。

　　數(shù)據(jù)交互

　　數(shù)據(jù)交互是指大、小模型不直接參與彼此的訓(xùn)練或推理過程，而是間接通過彼此產(chǎn)生的數(shù)據(jù)來進行交互。大模型的訓(xùn)練通常需要大規(guī)模的通用語料，如GPT3的訓(xùn)練語料多達753GB，來自維基百科等多個數(shù)據(jù)源。通用語料指的是覆蓋多個領(lǐng)域的語料，在某些特定領(lǐng)域的知識覆蓋可能存在不足。大模型訓(xùn)練完成后，可以通過指令生成一些特定領(lǐng)域的合成語料，再通過本地化部署，連同該領(lǐng)域的專用語料或行業(yè)內(nèi)的私有語料一起訓(xùn)練小模型。小模型訓(xùn)練語料的領(lǐng)域比較集中，因此可以系統(tǒng)掌握本領(lǐng)域的知識，從而使模型的輸出更專業(yè)、更細致、更精準。大模型在這一過程中的作用是產(chǎn)生大規(guī)模的高質(zhì)量合成語料，使小模型的訓(xùn)練可以更加充分，防止專用語料或私有語料因規(guī)模小而導(dǎo)致模型的過度擬合。反之，小模型生成的專業(yè)語料，也可以作為大模型訓(xùn)練語料的補充，增強大模型在不同領(lǐng)域的專業(yè)能力，使大模型可以不斷迭代進化。

　　實現(xiàn)大、小模型的數(shù)據(jù)交互，除了要依靠數(shù)據(jù)源管理機構(gòu)外，還需考慮建立數(shù)據(jù)托管和交易機構(gòu)，使得大、小模型的訓(xùn)練數(shù)據(jù)可以有序管控和流動，并為各方合理分配相應(yīng)的權(quán)益。

　　模型交互

　　除了間接的數(shù)據(jù)交互之外，大、小模型還可在模型層面進行交互，通過參與彼此的訓(xùn)練過程，使得雙方可以共同受益，提升大模型的迭代效率。一方面，大模型可以指導(dǎo)小模型的訓(xùn)練，常用的方式為蒸餾學習（KnowledgeDistillation）。在蒸餾學習模式中，訓(xùn)練好的大模型可以作為教師模型，待訓(xùn)練的小模型作為學生模型，針對同一批訓(xùn)練數(shù)據(jù)，通過設(shè)計合理的損失函數(shù)，將大模型產(chǎn)生的軟標簽與訓(xùn)練數(shù)據(jù)本身的硬標簽對小模型的訓(xùn)練進行聯(lián)合指導(dǎo)。同樣，小模型也可對大模型進行反向蒸餾，利用小模型做樣本價值判斷幫助大模型加速收斂——將訓(xùn)練好的小模型在下游數(shù)據(jù)集上進行進一步微調(diào)之后，得到樣本價值判斷模型。

　　應(yīng)用交互

　　大、小模型在應(yīng)用層面進行交互的典型方式為插件模式，即將模型構(gòu)建的應(yīng)用封裝為插件服務(wù)供其他模型調(diào)用。插件模式具有兩大優(yōu)點：一是便捷高效，模型無需重復(fù)訓(xùn)練；二是隔離性好，可以避免模型細節(jié)的泄露，從而更好地保護模型訓(xùn)練方和使用方的權(quán)益。

　　一方面，大模型基本上采用預(yù)訓(xùn)練方式，實時性不高。通過調(diào)用小模型應(yīng)用插件，大模型應(yīng)用不僅可以提高輸出結(jié)果的實時性，也可以擴展自身在特定領(lǐng)域的知識缺失。另一方面，小模型構(gòu)建的應(yīng)用也可以通過調(diào)用GPT類大模型提供的插件，直接獲得大模型強大的生成能力和推理能力。這種應(yīng)用交互方式可以讓小模型免去通用知識的訓(xùn)練過程，以較低成本來專注于特定領(lǐng)域的內(nèi)容生產(chǎn)，用戶也可以感受到各類模型互聯(lián)互通后產(chǎn)生的“化學”反應(yīng)。

　　開放人工智能（OpenAI）近期發(fā)布的新產(chǎn)品ChatGPTplugins可以通過應(yīng)用插件連接ChatGPT與第三方應(yīng)用。這些第三方應(yīng)用，可以是由單個領(lǐng)域的小模型構(gòu)建而成。通過這種方式，小模型可以在ChatGPT類的大模型中完成多種擴展功能，如檢索實時資訊或知識庫信息、代替用戶對現(xiàn)實世界進行“智能調(diào)度”等。

　　大模型訓(xùn)練數(shù)據(jù)與模型工具鏈的標準化和安全管控

　　大模型的性能依賴于訓(xùn)練數(shù)據(jù)的質(zhì)量，同時，模型在不同落地場景下所需的底層技術(shù)規(guī)格也不盡相同。因此，構(gòu)建大模型持續(xù)發(fā)展、健康交互的良好產(chǎn)業(yè)生態(tài)，必須推進大模型訓(xùn)練數(shù)據(jù)與底層技術(shù)的標準化，加快模型的迭代與落地。

　　一方面，大模型自身的訓(xùn)練數(shù)據(jù)集以及定義的數(shù)據(jù)服務(wù)接口（API），將會成為行業(yè)的事實標準，而接入大模型的各種應(yīng)用都必須遵循該標準。目前，模型“預(yù)訓(xùn)練＋微調(diào)”已經(jīng)成為行業(yè)統(tǒng)一的標準流程和范式。在此基礎(chǔ)上，結(jié)合具體的應(yīng)用場景和專業(yè)數(shù)據(jù)，可以進一步定制和優(yōu)化各領(lǐng)域各行業(yè)的小模型。從某種程度上來說，大模型訓(xùn)練數(shù)據(jù)和數(shù)據(jù)服務(wù)接口標準，將會成為下一代國際標準的核心之一。

　　另一方面，處理大模型訓(xùn)練數(shù)據(jù)的底層技術(shù)所需的工具鏈也必須產(chǎn)品化和標準化。大模型在標準化技術(shù)服務(wù)的有力支撐下，可輸出硬件適配、模型蒸餾和壓縮、模型分布式訓(xùn)練和加速、向量數(shù)據(jù)庫、圖數(shù)據(jù)庫、模型互聯(lián)互通等技術(shù)方案，提供自然語言處理、計算機視覺、跨模態(tài)、知識圖譜等各類能力，讓更多的企業(yè)、開發(fā)者可以低門檻地將大模型應(yīng)用于自身業(yè)務(wù)并構(gòu)建行業(yè)垂直模型，從而促進人工智能在各領(lǐng)域廣泛落地。

　　值得注意的是，大模型的開發(fā)和應(yīng)用雖然會對產(chǎn)業(yè)和經(jīng)濟發(fā)展帶來巨大紅利，但如果不加以合理管控，也會給國家和產(chǎn)業(yè)安全帶來風險。一是數(shù)據(jù)泄露風險。大模型的訓(xùn)練、落地，都需要以海量的數(shù)據(jù)支撐，其中包含行業(yè)或個人敏感信息的數(shù)據(jù)。如果沒有合理的數(shù)據(jù)脫敏和數(shù)據(jù)托管機制，則可能造成數(shù)據(jù)泄露，給行業(yè)和個人造成損失。二是模型安全風險。比如，插件可能被植入有害內(nèi)容，成為不法分子欺詐和“投毒”的工具，危及社會和產(chǎn)業(yè)安全。

　　相關(guān)建議

　　以大模型訓(xùn)練數(shù)據(jù)為抓手，標準制定和數(shù)據(jù)治理雙管齊下。通過制定模型應(yīng)用規(guī)范，統(tǒng)一接口標準，促進行業(yè)規(guī)范化發(fā)展。可考慮對模型的合成數(shù)據(jù)進行托管，以加強監(jiān)督，保障數(shù)據(jù)內(nèi)容合規(guī)、權(quán)益清晰、流通順暢。同時完善法律法規(guī)，優(yōu)化政策制度，以多種途徑與方式形成監(jiān)管合力，嚴防惡意篡改模型和滲入有害數(shù)據(jù)等行為。

　　構(gòu)建大模型訓(xùn)練數(shù)據(jù)要素市場。厘清訓(xùn)練數(shù)據(jù)采集處理、合成數(shù)據(jù)服務(wù)、大小模型互聯(lián)互通、應(yīng)用API之間的產(chǎn)業(yè)鏈。加快數(shù)據(jù)要素市場建設(shè)，為訓(xùn)練數(shù)據(jù)提供市場化定價，以利權(quán)益分配與激勵。

　　構(gòu)建大小模型共生發(fā)展、相互促進的良好生態(tài)。總體來看，目前國內(nèi)外主流大模型在算法層面尚不存在代際差，但是在算力和數(shù)據(jù)方面存有差距。建議在通用領(lǐng)域大力支持國內(nèi)頭部科技企業(yè)研發(fā)自主可控的國產(chǎn)大模型，同時鼓勵各垂直領(lǐng)域在大模型基礎(chǔ)上，利用開源工具構(gòu)建規(guī)范可控的自主工具鏈，既探索“大而強”的通用模型，又研發(fā)“小而美”的垂直行業(yè)模型，從而構(gòu)建基礎(chǔ)大模型和專業(yè)小模型交互共生、迭代進化的良好生態(tài)。

責任編輯：張薇