GPT有四個不可解釋的現(xiàn)象

來源：圖靈社區(qū) 時間：2023-08-22 14:06:40 作者：周鴻祎

　　面對GPT模型展現(xiàn)出的不可思議的智能，我們需要正確認識這一人工智能突破所帶來的深遠影響。

　　360集團創(chuàng)始人周鴻祎在近期直播中詳細舉例了GPT模型表現(xiàn)出的四大令人難以置信的能力：涌現(xiàn)、幻覺、語言遷移、邏輯增強。這些現(xiàn)象似乎預示著一個真正的通用人工智能時代即將來臨。很多人詬病大模型的點就是在問題沒有確定答案的時候，它會給你胡亂生成一段煞有介事的回答。他認為，能否胡說八道，恰恰是智能的分水嶺，將來很多新的GPT大腦在某種程度上要保留這種幻覺的能力。

　　本文內(nèi)容節(jié)選自周鴻祎在得到直播間的分享，主題為“人工智能引領(lǐng)新工業(yè)革命”。

　　為了證明GPT是真正有智力的，我舉四個不可解釋的現(xiàn)象。就連創(chuàng)造出Transformer模型的谷歌科學家、做出ChatGPT的OpenAI的科學家們，包括微軟做測試的專家們，都只知道有這幾個結(jié)論，但無法解釋它為什么會出現(xiàn)。

　　第一叫涌現(xiàn)。就是模型的推理能力突然有了指數(shù)級提升。在小模型階段，很多人工智能公司訓練的一些推理模型，參數(shù)太小、容量太小，你可以理解成腦子太小，只能訓練它的搜索能力，沒有真正地把它的推理能力、形成思維鏈的能力訓練出來。

　　但在OpenAI訓練GPT的過程中，大家突然發(fā)現(xiàn)，在模型參數(shù)到達1000億的這個階段，整個模型的推理能力突然有了指數(shù)級的提升，可以開始解答多步推理問題：

　　比如如何把大象放在冰箱里。人類會把它分三步：第一步，把冰箱門打開；第二步，把大象塞進去；第三步，關(guān)上冰箱。經(jīng)過多步邏輯推理才能作出回答，這是人類很重要的思維模式。這種具有強大思維鏈的推理能力不是靠搜索，而是靠參數(shù)。

　　從進化論的角度看，從猿到人，人類在進化過程中，智力出現(xiàn)了躍升，一定是因為在某個階段，人腦的神經(jīng)單元數(shù)目增加了。就像參數(shù)增加了，受到的刺激增加了。

　　當我們在訓練大模型的過程中，參數(shù)奇跡般增加時，人工智能產(chǎn)生了新的強推理能力，而且這個能力越來越強，就很像人類的進化過程。

　　第二個是幻覺。實際上就是胡說八道。很多人詬病大模型的點就是在問題沒有確定答案的時候，它會給你胡亂生成一段煞有介事的回答。

　　從某種角度來說，在某些特定場合，它確實是個缺點。且由于搜索只能找到存在的事情，這個缺點可以通過再次搜索、知識庫的校正，從技術(shù)上得到解決。

　　但你有沒有想過它為什么會胡說八道？這不是恰恰說明它的智能性嗎？我記得《人類簡史》里面提到，在人類進化的過程中，人類和動物的分水嶺就是人類是能夠胡說八道的生物。

　　人類能夠描繪不存在的東西。如果你給大猩猩講三個蘋果，它能學會。但如果你描繪說，明天，我給你三個蘋果，大猩猩理解不了沒有發(fā)生的事情。正因為人類有了幻想的能力、預言不存在事物的能力，人類才有了社群、宗教和團體。

　　包括人類引以為豪的創(chuàng)造力，是無中生有的嗎？其實我們?nèi)祟悇?chuàng)造的大部分產(chǎn)品都是把兩個不相關(guān)的概念在一塊融合交叉，產(chǎn)生了創(chuàng)新。當然，可能99%的兩個不相關(guān)的概念在一起結(jié)出的東西是胡說八道，但可能有1%就是一個典型的創(chuàng)新。

　　這種幻想的能力是永遠難以消除的，它跟你的訓練資料沒有關(guān)系。就像我今天晚上決定來做直播，可能一個小時之前我還不愿意來。但一個小時以后，我又改變了主意。這就是量子糾纏，有一個隨機的色子產(chǎn)生。

　　能否胡說八道，恰恰是智能的分水嶺。我覺得將來很多新的GPT大腦在某種程度上要保留這種幻覺的能力。因為它回答事實性問題的時候，我不需要它的幻覺。但當它給我寫小說、寫劇本的時候，我需要這種能力。

　　順便說一下，你每天晚上做夢的時候都會胡說八道。因為在夢里，你的神經(jīng)網(wǎng)絡(luò)會發(fā)生短路，把兩個本來白天不會碰到一起的概念碰到一起。比如昨天晚上我就夢見羅振宇在追殺我，這就是羅振宇、追殺和我這三個神經(jīng)網(wǎng)絡(luò)連接在一起，才產(chǎn)生的夢境。

　　第三個難以解釋的現(xiàn)象是語言上的能力遷移。在大模型出來之前，我們都在做人工智能翻譯，但全世界的翻譯都做得不太好。理由是各種語言的規(guī)律不一樣，比如中文有分詞，阿拉伯文是從右往左寫，拉丁語系沒法和我們象形文字互通等。

　　但是，在大模型鍛造的過程中，OpenAI的訓練有95%使用的是拉丁文字，只用了大概5%的中文語料。結(jié)果一個奇怪的現(xiàn)象發(fā)生了，它在學英文時學到的邏輯能力、推理能力、知識能力在應用到其他語言時，都得到了很好的體現(xiàn)。你用ChatGPT，它用中文回答，很多時候也回答得不錯。這個現(xiàn)象也很有趣。

　　我猜測在大模型里面，雖然阿拉伯文、中文、日文、拉丁語言看起來不一樣，但它們都是人類發(fā)明的、用來描述這個世界的符號化的東西。人類不同的語言、不同的表象背后一定有一種共通的規(guī)律。我們自己學習語言的人沒有發(fā)現(xiàn)，但被ChatGPT訓練出來了，所以它實現(xiàn)了語言能力的遷移。

　　最后一個叫邏輯增強。ChatGPT的一個很重要的功能是學習寫程序，這是它的擅長領(lǐng)域。因為它本來就是一個符號系統(tǒng)、一個語言模型。

　　計算機語言是最單純的。相比之下，我們?nèi)祟惖淖匀徽Z言有歧義性、多義性，是最復雜的。在不同的語境下，基于不同的理解，都能表示不同的含義。比如，公交車報站說，“前門快到了請從后門下車”，我到底是從前門下還是從后門下？這種例子比比皆是。

　　但是大家發(fā)現(xiàn)，當讓ChatGPT學習了幾十億行GitHub的代碼后，它在寫程序時學到的邏輯感，竟然作用到了自然語言上。它用自然語言回答問題時，邏輯性飛速提升。

　　很多家長問我說，“ChatGPT都這樣了，還要讓小孩學習嗎？”我的回答是，當然要讓孩子學習了，你不學習，腦子就不會長出新的神經(jīng)網(wǎng)絡(luò)連接，你的大腦就是嶄新的，沒有溝回。

　　現(xiàn)在小朋友學編程，長大了可能不一定干編程，甚至程序員這個職業(yè)將來可能會發(fā)生變遷。但你通過學編程，提高的邏輯判斷力和表達能力是確定的。這一點在ChatGPT上也得到了驗證。

　　用好GPT有一個很重要的環(huán)節(jié)叫提示。當你的提示詞給得很差時，GPT可能隨便挑一段話敷衍你，但如果提示很好，有挑戰(zhàn)性、批判性，它會給出更好的結(jié)果。

　　這種給提示詞的能力也是需要培養(yǎng)的。就像我做直播的時候喜歡找一個人給我做訪談。如果我一個人滔滔不絕地講，沒有輸入和提示，我講著講著大腦皮層就不活躍了。如果有觀眾愿意給我一些很有挑戰(zhàn)性、批判性的問題，會激發(fā)我的辯論欲望，或者說激發(fā)我討論的想法，我就會講得更多。

　　總結(jié)一下，我講了很多觀點，就是讓大家對GPT大語言模型有一個正確的認知。英特爾創(chuàng)始人安迪·格魯夫博士在他著名的《只有偏執(zhí)狂才能生存》里講到，任何產(chǎn)業(yè)革命都不是敲鑼打鼓地到來的，都是以微弱的噪音信號的方式出現(xiàn)的。

　　如果GPT大語言模型象征著一場巨大的革命，你一定不能判斷失誤。如果你覺得這玩意兒就是二十年前做的模型，就是貝葉斯函數(shù)的統(tǒng)計，就是無足輕重的“填空機”或者是神經(jīng)網(wǎng)絡(luò)應用，那你可能就會在認知上發(fā)生錯誤。

　　GPT具體怎么用，是技術(shù)問題，但最重要的核心戰(zhàn)略問題是你認不認可GPT是一個強人工智能，甚至它的出現(xiàn)，是不是代表著一個超級人工智能時代的來臨。

　　我要補充的一個觀點，關(guān)于通用人工智能。第一，在自然語言處理過程中，基本上其他的處理方法都要被大語言模型這種以Transformer解碼器為主的模型取代。GPT-4里面加了多模態(tài)的功能，它能看懂圖片、聽見聲音。

　　過去語音識別有獨特的算法，就是圖片識別也有自己的算法。這些算法基于的深度學習網(wǎng)絡(luò)，CN、RN、DN這些，更多的是像人的視覺神經(jīng)網(wǎng)絡(luò)一樣，還停留在感知層。

　　但是，今天大語言模型模擬了人的大腦神經(jīng)元網(wǎng)絡(luò)工作原理，它已經(jīng)到了認知層，是完全不同的層次。

　　它能理解這個世界是因為它能認知。過去的人臉識別只是把一張照片ID化，就像一個人臉識別的攝像頭，認出周鴻祎來了，無非是對數(shù)據(jù)庫里預存的周鴻祎的照片進行了對比，只是實現(xiàn)了圖像的編碼化，并不具備理解周鴻祎背后的360公司、數(shù)字安全、人工智能等等的認知能力。大語言模型會把這些算法都給顛覆掉。

　　OpenAI的首席科學家很意味深長地說，當你用大語言模型對這個世界的知識建立了完整的了解之后，在這個基礎(chǔ)之上再去識別照片、物體，你的能力是完全不一樣的。這是通用人工智能的第二層意思。

　　大家知道人工智能在很多領(lǐng)域都碰到了問題，比如對機器人的控制，人形機器人的行走、動作的操控、自動駕駛等。

　　為什么自動駕駛出現(xiàn)很多問題，因為它的很多算法是由很多傳統(tǒng)人工智能在垂直領(lǐng)域比較碎片的算法拼合而成的，里面有規(guī)則，有感知層的障礙識別、物體識別，它不統(tǒng)一，總有很多問題需要去學習、標注。一旦碰上不能標注、不能自我學習的地方，它的能力會受到很多的限制。

　　未來隨著大語言模型能力的進一步的提升，它能真正模擬駕駛員對這個世界的認知能力。有可能大語言模型將來都會顛覆掉今天自動駕駛的算法，可能用大語言模型多模態(tài)的處理就能讓我們今天認為的L4級或者L5級的真正的人工智能駕駛在幾年內(nèi)變成現(xiàn)實。

　　這也是為什么我們把今天的GPT定義成通用人工智能，就是它改變了過去這種把人工智能分成100個小任務(wù)，用100個小模型去分別解決的碎片化的打法。它用一個大的模型完整地編碼、索引、推理人類所有的知識，從而建立對這個世界完整的認知。這就是通用人工智能的第三層。

責任編輯：張薇