清華大學(xué)發(fā)布《大模型綜合性能評(píng)估報(bào)告》

來源：清華大學(xué)新聞與傳播學(xué)院 時(shí)間：2023-08-08 15:55:20 作者：

　　近日，清華大學(xué)新聞與傳播學(xué)院發(fā)布了《大語言模型綜合性能評(píng)估報(bào)告》，該報(bào)告對(duì)目前市場(chǎng)上的7個(gè)大型語言模型進(jìn)行了全面的綜合評(píng)估。

　　近年，大語言模型以其強(qiáng)大的自然語言處理能力，成為AI領(lǐng)域的一大熱點(diǎn)。它們不僅能生成和理解文本，還能進(jìn)行復(fù)雜的分析和推理。本報(bào)告從生成質(zhì)量、使用與性能、安全與合規(guī)三個(gè)維度對(duì)大語言模型進(jìn)行評(píng)估，并深入分析不同大語言模型之間的優(yōu)劣，提供競(jìng)品對(duì)比，提供關(guān)于大語言模型的全面和客觀的視角。

　　大語言模型：從數(shù)據(jù)到涌現(xiàn)

　　大語言模型（LLM）是基于深度學(xué)習(xí)技術(shù)構(gòu)建的強(qiáng)大語言理解和生成模型，通過大規(guī)模文本數(shù)據(jù)的訓(xùn)練，它能夠生成具有語義和語法正確性的連貫文本。基于注意力機(jī)制的序列模型，LLM能夠捕捉上下文信息，并在各種自然語言處理任務(wù)中廣泛應(yīng)用，如對(duì)話系統(tǒng)、文本翻譯和情感分析。

　　大模型的顯著特點(diǎn)

　　1、數(shù)據(jù)驅(qū)動(dòng)，自主學(xué)習(xí)

　　2、類人的表達(dá)與推理能力

　　3、遷移學(xué)習(xí)的能力

　　4、跨模態(tài)的理解與生成

　　大模型開發(fā)的充要條件

　　1、大規(guī)模的數(shù)據(jù)

　　2、強(qiáng)大的計(jì)算能力

　　3、高效的算法和模型架構(gòu)

　　4、高質(zhì)量的標(biāo)注和標(biāo)簽

　　大語言模型未來發(fā)展建議

　　1.強(qiáng)化跨語言遷移學(xué)習(xí)

　　發(fā)揮本土語料優(yōu)勢(shì)的同時(shí)，減少模型的語言偏向，提高模型在非母語語言上的理解和生成能力。

　　2.擴(kuò)大訓(xùn)練數(shù)據(jù)的范圍

　　關(guān)注互聯(lián)網(wǎng)大數(shù)據(jù)，同時(shí)采用教科書、文學(xué)及其他領(lǐng)域的數(shù)據(jù)進(jìn)行補(bǔ)充訓(xùn)練，拓展模型的知識(shí)面。

　　3.加強(qiáng)利用人工數(shù)據(jù)

　　幫助模型提高語義理解，生成更人性化的回復(fù)。

　　4.推進(jìn)敏感和有害信息的精準(zhǔn)化過濾

　　現(xiàn)有過濾機(jī)制效果不彰，需要標(biāo)注更多真實(shí)例子，開發(fā)更加漸進(jìn)和語境化的過濾方式。

　　5.理解社會(huì)影響和倫理限制

　　任何高級(jí)AI系統(tǒng)的發(fā)展都可能產(chǎn)生深遠(yuǎn)影響，研究者需要意識(shí)到自身的社會(huì)責(zé)任，考慮如何最大限度地發(fā)揮技術(shù)優(yōu)勢(shì)，同時(shí)減少潛在風(fēng)險(xiǎn)。

　　具體內(nèi)容如下：

責(zé)任編輯：張薇