Yoshua Bengio清華最新演講：深度學(xué)習(xí)AI邁向人類水平還面臨這些挑戰(zhàn)

來源：大數(shù)據(jù)文摘 時間：2018-11-08 15:54:58 作者：

昨日，清華大學(xué)主樓報告廳迎來了人工智能的一次小高潮。

被稱為“人工智能三巨頭”之一的蒙特利爾大學(xué)計算機科學(xué)與運算研究系教授Yoshua Bengio為清華的師生帶來了一場長達(dá)一個半小時的充實演講。

剛剛?cè)雸鼍捅磺迦A同學(xué)團(tuán)團(tuán)圍住簽名合照的Yoshua教授

本次計算機科學(xué)與系列講座第59講暨CCF YOCEEF TDS Special系列講座，Yoshua Bengio帶來的主題講座名為《深度學(xué)習(xí)抵達(dá)人類水平面臨的挑戰(zhàn)（Challenges for Deep Learning towards Human-Level AI》。

本次演講講述了人工智能尚未達(dá)到人類水平的原因，以及機器學(xué)習(xí)和自然語言處理遇到的挑戰(zhàn)，整個演講娓娓道來且讓人意猶未盡。

在演講中，Bengio提到AI如今的大獲成功主要是靠有監(jiān)督學(xué)習(xí)，而有監(jiān)督學(xué)習(xí)里的高級概念（比如label）是人類給的，不是機器自己去發(fā)現(xiàn)的。沒有這個主動認(rèn)知的過程，機器對數(shù)據(jù)的理解其實是相當(dāng)膚淺的，改幾個像素就會錯把狗的圖片當(dāng)成鴕鳥。

Bengio和Yann LeCun在2007年的一篇論文里提出：我們需要學(xué)到一個好的表示。好的表示到底是什么，這尚無定論，但我們希望學(xué)到的表示能抓住事物的原因和數(shù)據(jù)的內(nèi)在解釋。

Bengio進(jìn)一步認(rèn)識到，既然好的表示可以得到簡單的相關(guān)性，又沒有免費的午餐，那么就一定需要先驗去輔助分離內(nèi)在的因子變量。

這類先驗可以是空間和時間尺度上的先驗（比如變量變化的快慢），也可以是高層表示之間應(yīng)具有統(tǒng)計獨立性。

好的表示還應(yīng)具有這樣的先驗：能把數(shù)據(jù)映射到一個空間，在這個空間里做什么都很簡單，計算簡單、學(xué)習(xí)簡單、因子之間的相關(guān)也很簡單。

還有一類先驗不是被動給予的，而是主動與環(huán)境交互獲取的，這是強化學(xué)習(xí)的范疇。

心理學(xué)家提出認(rèn)知任務(wù)有兩種不同類型，這可以幫助我們理解深度學(xué)習(xí)當(dāng)前存在的局限，以及該向何處發(fā)展。

第一類認(rèn)知任務(wù)是可以快速完成的、無意識的動作，比如口渴時一下就能把水杯拿起來喝水，而不是盯著水杯刻意地識別它。

第二類任務(wù)則是速度較慢的、有意識的，包含邏輯、語言、計算等。經(jīng)典符號AI曾經(jīng)嘗試去解決這類任務(wù)。

意識空間里的事物維度很低，因此我們能在這樣的空間里進(jìn)行推理。

“下雨時打傘”，這個句子雖然只有“下雨”和“打傘”兩個變量，但因為它高概率為真，所以具有很強的預(yù)測能力，這說明僅用很少的信息就能做出預(yù)測。

意識先驗就是假設(shè)有很多只包含很少變量但為真的事情，因此，好的表示的一個性質(zhì)，就是當(dāng)我們把數(shù)據(jù)映射到表示空間之后，變量之間只有少數(shù)相關(guān)。

我們也可以在這樣的空間里討論變量的因果性：在像素空間里說一個像素引起另一個像素的變化是沒有意義的，但在表示空間里就可以說一個變量引起另一變量的變化。

無意識狀態(tài)是高維的，有意識狀態(tài)是低維的，可以用注意力機制選擇較少維度去表示有意識狀態(tài)。

借鑒GAN的思想，訓(xùn)練可區(qū)分來自P(A,B)和P(A)P(B)這兩個分布的(A,B)的判別器，如果區(qū)分不出則說明它們是獨立的。這樣可以讓encoder學(xué)到的表示盡可能獨立。

直接計算互信息往往是困難的，我們也可以用類似的思想，用判別器去學(xué)習(xí)互信息的估計。這樣學(xué)到的互信息估計可用來提高GAN的性能。

現(xiàn)在的NLP任務(wù)只是在文本上訓(xùn)練模型。

這樣會出現(xiàn)很多常識性的錯誤，因為它并沒有理解語言內(nèi)在的含義。

想要真正理解自然語言，不僅要對語言本身建模，還要對所處環(huán)境進(jìn)行建模。要將語言學(xué)習(xí)和世界運轉(zhuǎn)方式的學(xué)習(xí)相結(jié)合。

機器需要對事物之間的因果聯(lián)系進(jìn)行建模。

BabyAI通過19個由易到難的游戲關(guān)卡而不斷學(xué)習(xí)，就像嬰兒成長的過程一樣。這很像課程學(xué)習(xí)（curriculum learning）。

?

責(zé)任編輯：陳近梅