谷歌 Gemini 與 GPT-4 哪家強(qiáng)？
來(lái)源：數(shù)據(jù)觀綜合 時(shí)間：2023-12-07 15:10:24 作者：
美國(guó)時(shí)間12月6日，谷歌正式發(fā)布了 Gemini 大模型。按照谷歌的說(shuō)法， Gemini 可以像人類一樣理解世界，處理代碼、文字、音頻、圖像和視頻通通不在話下。
Google DeepMind團(tuán)隊(duì)稱，Gemini在32項(xiàng)基準(zhǔn)性能測(cè)試中的30項(xiàng)上超過(guò)了GPT-4。
“我們離新一代人工智能模型的愿景越來(lái)越近了。”進(jìn)行完一系列視頻演示后，Google DeepMind產(chǎn)品副總裁Eli Collins（伊萊·柯林斯）對(duì)包括第一財(cái)經(jīng)在內(nèi)的媒體說(shuō)，這是Google迄今為止功能最強(qiáng)大、最通用的大模型。
谷歌CEO Sundar Pichai(桑達(dá)爾·皮查伊) 評(píng)價(jià)，Gemini 這一新時(shí)代的模型代表了 Google 作為一家公司在科學(xué)和工程方面所做的最大努力之一。他同時(shí)提到，這也是 Google 今年早些時(shí)候成立 Google DeepMind 時(shí)的愿景首次實(shí)現(xiàn)。
Gemini的各種能力
谷歌稱，Gemini 是一種“原生多模態(tài)”AI模型。這意味著它從一開(kāi)始就經(jīng)過(guò)預(yù)先訓(xùn)練，可以處理用戶基于文本和圖像的提示詞任務(wù)，支持文本和圖像的服務(wù)。
據(jù)悉，Gemini 包含三個(gè)不同尺寸，分別是Gemini Ultra、Gemini Pro、Gemini Nano。其中，Gemini Nano主要應(yīng)用于設(shè)備端，Pixel 8 Pro將是第一款搭載 Gemini Nano 的智能手機(jī)；Gemini Pro 則適用于在各種任務(wù)中擴(kuò)展，谷歌便計(jì)劃用 Gemini Pro 來(lái)升級(jí)旗下的聊天機(jī)器人 Bard，以及包括搜索、廣告、Chrome等在內(nèi)的更多谷歌產(chǎn)品中。
對(duì)于功能最強(qiáng)悍的 Gemini Ultra，谷歌稱目前正在進(jìn)行信任和安全檢查，以及通過(guò)微調(diào)和基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)一步完善模型，預(yù)計(jì)明年初向開(kāi)發(fā)人員和企業(yè)客戶推出。
·理解文本、圖片、音頻
Gemini模型經(jīng)過(guò)海量數(shù)據(jù)訓(xùn)練，可以很好識(shí)別和理解文本、圖像、音頻等內(nèi)容，并可以回答復(fù)雜主題相關(guān)的問(wèn)題。所以，非常擅長(zhǎng)解釋數(shù)學(xué)和物理等復(fù)雜學(xué)科的推理任務(wù)。
·生成代碼
Gemini可以生成和理解Python、Java、C++和Go等主流代碼。Gemini Ultra在多個(gè)編碼基準(zhǔn)測(cè)試中表現(xiàn)出色，包括HumanEval，這是評(píng)估編碼任務(wù)性能的重要行業(yè)標(biāo)準(zhǔn)。
谷歌還基于Gemini模型開(kāi)發(fā)了專業(yè)的代碼模型AlphaCode 2。與前一代相比，AlphaCode 2的性能提升了至少50%以上。
·復(fù)雜推理
Gemini的多模態(tài)功能，使其能在視覺(jué)理解、文本生成等方面有非常強(qiáng)的功能。例如，從數(shù)十萬(wàn)字的小說(shuō)中整理出重要觀點(diǎn)；
從200頁(yè)的金融報(bào)告中找出最有價(jià)值的內(nèi)容。這對(duì)于金融、科技、醫(yī)療的科研和業(yè)務(wù)人員來(lái)說(shuō)幫助巨大。
支持Bard
目前，谷歌的Bard已經(jīng)集成了 Gemini Pro 模型，「AIGC開(kāi)放社區(qū)」體驗(yàn)了一下，其圖片理解和文本生成能力比之前強(qiáng)很多，尤其是代碼生成和審查能力很出色。
谷歌方面表示，Gemini 將通過(guò)谷歌產(chǎn)品推向數(shù)十億用戶。目前，谷歌計(jì)劃通過(guò)谷歌云將 Gemini 授權(quán)給客戶，供他們?cè)谧约旱膽?yīng)用程序中使用。12月13日開(kāi)始，開(kāi)發(fā)者和企業(yè)客戶可以通過(guò)谷歌AI Studio或谷歌 Cloud Vertex AI 中的 Gemini API（應(yīng)用程序編程接口）訪問(wèn) Gemini Pro，安卓開(kāi)發(fā)人員可以使用 Gemini Nano 完成構(gòu)建。
能打敗GPT4嗎？
過(guò)去八年，谷歌一直把 AI-first 作為公司戰(zhàn)略，2016年打敗人類圍棋冠軍的 AlphaGo 便是出自谷歌之手。毫不夸張地說(shuō)，是谷歌掀起的一股AI浪潮，但現(xiàn)在，它亟需在大模型領(lǐng)域證明自己。
今年4月，Google 將曾經(jīng)誕生了Tensorflow 與Transformer 的 Google Brain 團(tuán)隊(duì)，和憑借AlphaGo掀起上一輪AI熱潮、創(chuàng)造了AlphaFold 預(yù)測(cè)蛋白質(zhì)折疊的DeepMind 團(tuán)隊(duì)合并，成立 Google DeepMind，這一團(tuán)隊(duì)也被外界調(diào)侃是“AI復(fù)仇者聯(lián)盟”。
Gemini 被視作是 Google 在AI大模型領(lǐng)域放出的“大招”。Gemini 發(fā)布后，外界最關(guān)心的是其對(duì) OpenAI GPT4 的挑戰(zhàn)。
谷歌在MMLU、DROP 、HellaSwag、GSM8K等主流評(píng)測(cè)中，將 Gemini 與 OpenAI 的 GPT-4 和 GPT-4 V 進(jìn)行深度評(píng)測(cè)。
DeepMind的CEO Demis Hassabis稱，谷歌運(yùn)行了32種完善的基準(zhǔn)指標(biāo)相關(guān)測(cè)試，對(duì)比Gemini和GPT-4這兩個(gè)模型，既有諸如多任務(wù)語(yǔ)言理解這類廣泛的整體測(cè)試，到生成Python代碼這種單一能力的測(cè)試。32種基準(zhǔn)指標(biāo)中，Gemini有30項(xiàng)都“遙遙領(lǐng)先”。
在性能測(cè)試上，Gemini Ultra在32個(gè)大語(yǔ)言模型基準(zhǔn)測(cè)試中的30個(gè)中超過(guò)了當(dāng)前最優(yōu)成績(jī)，另外在MMLU（大規(guī)模多任務(wù)語(yǔ)言理解）中，Gemini Ultra的得分為90%，成為首個(gè)超越人類專家的大模型。
據(jù)悉，MMLU通過(guò)結(jié)合數(shù)學(xué)、物理、歷史、法律、醫(yī)學(xué)和倫理學(xué)等57個(gè)科目，來(lái)測(cè)試大模型對(duì)世界知識(shí)和解決問(wèn)題的能力。此前，GPT-4在該測(cè)試中的成績(jī)?yōu)?6.4%，而人類專家的成績(jī)?yōu)?9.8%。
而在MMMU基準(zhǔn)測(cè)試中，Gemini Ultra取得了59.4%的最高得分，GPT-4V的成績(jī)?yōu)?6.8%，該項(xiàng)測(cè)試由跨越不同領(lǐng)域的多模態(tài)任務(wù)組成。
黛米斯·哈薩比斯稱，在測(cè)試圖像基準(zhǔn)過(guò)程中，Gemini Ultra 在沒(méi)有來(lái)自圖像字符識(shí)別（OCR）系統(tǒng)的幫助下，就超越了此前最先進(jìn)的模型。這些基準(zhǔn)測(cè)試凸顯了Gemini的多模態(tài)能力，也展現(xiàn)出其具有更復(fù)雜推理能力的早期跡象。
“我們將Gemini設(shè)計(jì)為原生多模態(tài)，它從一開(kāi)始就針對(duì)不同模態(tài)進(jìn)行了預(yù)訓(xùn)練，然后我們使用額外的多模態(tài)數(shù)據(jù)對(duì)其進(jìn)行微調(diào)，以進(jìn)一步提高其效果?！摈烀姿埂す_比斯介紹道，“這幫助Gemini從頭開(kāi)始就能無(wú)縫理解和推理各種輸入，遠(yuǎn)遠(yuǎn)優(yōu)于現(xiàn)有的多模態(tài)模型，而且其能力在幾乎所有領(lǐng)域都達(dá)到了最先進(jìn)的水平?！?/p>
此外，Gemini 具有到目前為止所有谷歌AI模型中最全面的安全評(píng)估，包括對(duì)偏見(jiàn)和有害信息的評(píng)估。同時(shí)，為了識(shí)別內(nèi)部評(píng)估方法中的盲點(diǎn)，谷歌還在與各種外部專家和團(tuán)隊(duì)合作，對(duì)Gemini 模型在各種問(wèn)題上進(jìn)行壓力測(cè)試。
另外值得關(guān)注的是，Gemini的訓(xùn)練是基于谷歌自己的張量處理單元(TPUs)——v4 和 v5e。在這些TPUs上，Gemini比谷歌之前的模型運(yùn)行速度更快、成本更低。所以除了新模型外，谷歌還宣布將推出新的TPU系統(tǒng)——Cloud TPU v5p，這是專為訓(xùn)練尖端AI模型而設(shè)計(jì)的，也將用于Gemini的開(kāi)發(fā)。
圣達(dá)菲研究所的AI研究員Melanie Mitchell對(duì)媒體表示，Gemini基準(zhǔn)測(cè)試的表現(xiàn)令人印象深刻，這的確說(shuō)明Gemini是一個(gè)非常復(fù)雜的人工智能系統(tǒng)，但她指出，自己并沒(méi)有明顯感受到Gemini和GPT-4在實(shí)際能力上的差距。
Mitchell還指出，Gemini在語(yǔ)言和代碼基準(zhǔn)測(cè)試上的表現(xiàn)要比在圖像和視頻上表現(xiàn)更好：“多模態(tài)基礎(chǔ)模型仍然有很長(zhǎng)的路要走，才能在許多任務(wù)里大范圍、可靠地應(yīng)用?！?/p>
斯坦福大學(xué)基礎(chǔ)模型研究中心主任Percy Liang也對(duì)媒體表示，雖然Gemini具有良好的基準(zhǔn)分?jǐn)?shù)，但由于訓(xùn)練數(shù)據(jù)中的內(nèi)容保密，很難知道如何解釋這些數(shù)字。
多位科技分析人士認(rèn)為，雖然 Gemini 的性能的確優(yōu)于現(xiàn)有的多模態(tài)模型，但它和GPT-4的差距并沒(méi)有那么夸張。從谷歌放出的演示視頻來(lái)看，很少有什么我們?cè)谶^(guò)去一年的AI炒作狂潮里沒(méi)見(jiàn)過(guò)的東西。
更大的問(wèn)題在于，如果以谷歌的算力資源、研發(fā)能力和豐富的數(shù)據(jù)都僅能做到勉強(qiáng)擊敗GPT4，Gemini或許就是以人類目前的技術(shù)，能夠打造的大模型的上限了。
責(zé)任編輯：張薇