深扒Yann LeCun清華演講中提到的深度學(xué)習(xí)與人工智能技術(shù)（PPT+視頻）

來(lái)源：數(shù)據(jù)觀-自媒 時(shí)間：2017-03-27 15:44:46 作者：THU數(shù)據(jù)派-鄭順

　　姚期智先生引言：非常榮幸來(lái)給大家介紹今天的演講嘉賓！大家一定還記得去年的一個(gè)大事件—— AlphaGo 在圍棋上戰(zhàn)勝了人類冠軍。圍棋被認(rèn)為是人類智力競(jìng)賽的王冠，而 AlphaGo 背后的最重要的技術(shù)就是深度學(xué)習(xí)。今天的演講嘉賓就是深度學(xué)習(xí)方面的專家 LeCun。

　　LeCun 現(xiàn)任 Facebook AI 研究院院長(zhǎng)，同時(shí)他也是美國(guó)紐約大學(xué)的終身教授。他的研究興趣包括機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、移動(dòng)機(jī)器人以及計(jì)算神經(jīng)學(xué)等。他因著名且影響深遠(yuǎn)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）相關(guān)的工作而被人稱為 CNN 之父。

　　LeCun 演講梗概

　　LeCun 演講內(nèi)容跨度數(shù)十載，從最早追溯到 1957 年神經(jīng)科學(xué)的監(jiān)督學(xué)習(xí)談起并對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練做了一個(gè)基本的介紹。接著 Lecun 重點(diǎn)講解了他的成名作——卷積神經(jīng)網(wǎng)絡(luò)（CNN），還給大家展示了錄制于 1993 年的珍貴視頻——年輕的 LeCun 在一臺(tái) 486 PC 上編寫的光學(xué)字符識(shí)別系統(tǒng)。

　　不知那時(shí)候還在攻讀博士的 LeCun 是否想到他的研究成果在隨后的二十年給整個(gè)世界帶來(lái)的巨大影響和翻天覆地的變化。然而，在當(dāng)時(shí)的環(huán)境下，并不是所有的人都相信神經(jīng)網(wǎng)絡(luò)技術(shù)，更多的人傾向于一些有理論保障的機(jī)器學(xué)習(xí)方法，比如 kernel machine 等。

　　LeCun 給大家展示了他在 1995 年所見證的兩位機(jī)器學(xué)習(xí)前輩 Jackel 和 Vapnik（當(dāng)時(shí)他們都在貝爾實(shí)驗(yàn)室，Jackel 是 Vapnik 的上司）的兩個(gè)有趣賭局：第一個(gè)賭局中，Jackel 聲稱最遲到 2000 年我們就會(huì)有一個(gè)關(guān)于大的神經(jīng)網(wǎng)絡(luò)為什么有效的理論解釋，當(dāng)然隨后的歷史證明他輸了；第二個(gè)賭局中，Vapnik 聲稱最遲到 2000 年沒(méi)有人將會(huì)繼續(xù)使用 1995 年的這些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（意思是大家都會(huì)轉(zhuǎn)而使用支持向量機(jī) SVM，Vapnik 是 SVM 的發(fā)明人之一），結(jié)果 Vapnik 也輸了。

　　不僅在 2000 年，大家依然在用，直到今天，在結(jié)合了大數(shù)據(jù)與強(qiáng)大計(jì)算能力后，這些古老的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)迸發(fā)出更加巨大的能量。這個(gè)深度學(xué)習(xí)史上有趣的八卦，我們?nèi)缃衤爜?lái)卻也不勝唏噓。技術(shù)的發(fā)展往往是螺旋式且兼具跳躍性，實(shí)在難以預(yù)料。正如今天的我們?cè)谇迦A的大禮堂里與 LeCun 一起暢想著深度學(xué)習(xí)與人工智能的未來(lái)，卻不知十年、二十年后我們又在哪里用什么樣的視角來(lái)看待今天的自己。

　　技術(shù)干貨

　　盡管未來(lái)是如此的難以預(yù)料，但科研的道路卻是一步一個(gè)腳印的走出來(lái)的。LeCun 接著給大家展示了一系列的技術(shù)干貨，包括近幾年在計(jì)算機(jī)視覺(jué)（Computer Vision）、深度學(xué)習(xí)（Deep Learning）等方面的最新進(jìn)展以及頗有未來(lái)潛力的技術(shù)方向?qū)箤W(xué)習(xí)（Adversarial Learning）。

　　深度卷積網(wǎng)絡(luò)（Deep Convolutional Nets）

　　LeCun 先向大家介紹了在各類計(jì)算機(jī)視覺(jué)任務(wù)中舉足輕重的技術(shù)——深度卷積神經(jīng)網(wǎng)絡(luò)（Deep CNN）。并向大家解釋為什么深度卷積網(wǎng)絡(luò)會(huì)非常有效，因?yàn)槲覀兗僭O(shè)世界（圖像）是由很多很多小的部分（特征）組合而來(lái)，而當(dāng)深度卷積網(wǎng)絡(luò)作用于圖像時(shí)，隨著深度的增加會(huì)提取出更加高層次的抽象特征，而這些特征對(duì)圖像的識(shí)別非常有用。原始的機(jī)器學(xué)習(xí)方式是需要人來(lái)手工設(shè)計(jì)特征，再在設(shè)計(jì)后的特征上訓(xùn)練分類器，而深度學(xué)習(xí)高效地自動(dòng)化了特征抽取及表示這一塊的工作，因此現(xiàn)在已經(jīng)成為圖像處理的主導(dǎo)性技術(shù)。深度學(xué)習(xí)被視為一種自動(dòng)學(xué)習(xí)層級(jí)化特征表示的學(xué)習(xí)方法。

　　近些年，逐漸加深的深度卷積神經(jīng)網(wǎng)絡(luò)顯示出了依次遞增的識(shí)別效果，從 VGG 到 GoogLeNet，再到 ResNet，也印證了 LeCun 所說(shuō)的深度卷積網(wǎng)絡(luò)逐層抽取特征的能力。

　　接著，LeCun 給大家展示了一些基于深度卷積網(wǎng)絡(luò)的有趣應(yīng)用，比如自動(dòng)駕駛，

　　看圖說(shuō)話

　　定位并識(shí)別物體的 DeepMask 技術(shù)

　　更加高性能的 SharpMask++

　　以及圖像中各類目標(biāo)的定位及識(shí)別

　　人工智能繼續(xù)前進(jìn)的障礙（Obstacles to AI）

　　LeCun 認(rèn)為想要實(shí)現(xiàn)人工智能，機(jī)器需要首先感知世界的狀態(tài)，然后需要能夠更新和記憶世界的狀態(tài)，并在此基礎(chǔ)上實(shí)現(xiàn)推理和規(guī)劃。因此，智能和常識(shí)可以視為感知（Perception）+ 預(yù)測(cè)模型（Prediction Model）+ 記憶（Memory）+ 推理和規(guī)劃（Reasoning &Planning）。

　　那么什么是常識(shí)呢？比方說(shuō) " 湯姆拿起了他的包離開了房間 "，我們?nèi)丝吹竭@個(gè)視頻就可以理解對(duì)應(yīng)的行為，而機(jī)器只是看到了湯姆拿起包、打開門、離開房間和關(guān)上門等一系列的動(dòng)作，如何讓機(jī)器去理解呢？

　　常識(shí)就是通過(guò)想象（預(yù)測(cè)）來(lái)填補(bǔ)空白的能力。

　　接著 LeCun 指出了進(jìn)一步發(fā)展非監(jiān)督學(xué)習(xí)（預(yù)測(cè)學(xué)習(xí)）的必要性。考慮到用于訓(xùn)練一個(gè)大的學(xué)習(xí)機(jī)器的必要數(shù)據(jù)量取決于我們要求它能預(yù)測(cè)多少信息，因此，僅僅預(yù)測(cè)人們所提供的標(biāo)簽（監(jiān)督學(xué)習(xí)）是不夠的，僅僅預(yù)測(cè)一個(gè)值函數(shù)（強(qiáng)化學(xué)習(xí)）也是不夠的。

　　接著 LeCun 展示了他著名的 " 蛋糕 " 理論。根據(jù)需要機(jī)器預(yù)測(cè)信息的多寡來(lái)考量，" 純 " 的強(qiáng)化學(xué)習(xí)僅僅是蛋糕上的櫻桃，而監(jiān)督學(xué)習(xí)也不過(guò)只是蛋糕的一層糖衣，真正的蛋糕本身其實(shí)是強(qiáng)化學(xué)習(xí)（預(yù)測(cè)學(xué)習(xí)）。

　　當(dāng)然這里 LeCun 表示這種說(shuō)法有些冒犯強(qiáng)化學(xué)習(xí)方向的同僚，因?yàn)閺?qiáng)化學(xué)習(xí)確實(shí)獲得了一些巨大突破，比如 AlphaGo 還有各種電競(jìng)游戲等。

　　LeCun 展示了經(jīng)典的強(qiáng)化學(xué)習(xí)架構(gòu) Dyna —— " 在腦中先嘗試然后再去行動(dòng) "，以及經(jīng)典的基于模型的最優(yōu)控制。

　　人工智能系統(tǒng)的架構(gòu)（The Achitecture of an Intelligent System）

　　LeCun 展示了人工智能系統(tǒng)的兩個(gè)重要組成部分：一個(gè)會(huì)學(xué)習(xí)的智能體和一個(gè)不變的目標(biāo)函數(shù)。智能體進(jìn)行從世界中感知，做實(shí)際決策，再感知，再?zèng)Q策，………這樣一個(gè)循環(huán)迭代的過(guò)程，智能體的目標(biāo)是最小化長(zhǎng)期的期望損失。

　　而把預(yù)測(cè)和規(guī)劃聯(lián)合起來(lái)就是推理。如何優(yōu)化智能體做決策的過(guò)程呢？可以通過(guò)最小化預(yù)測(cè)損耗來(lái)實(shí)現(xiàn)。

　　我們需要的是如下基于模型的增強(qiáng)學(xué)習(xí)。

　　學(xué)習(xí)世界的前向預(yù)測(cè)模型（Learning Predictive Forward Models of the World）

　　LeCun 給大家展示了基于卷積網(wǎng)絡(luò)預(yù)測(cè)掉落物體軌跡的 PhysNet。

　　之前 LeCun 提到，記憶（Memory）是非常重要的一塊，而最新的研究工作就嘗試了如何把記憶引入到神經(jīng)網(wǎng)絡(luò)中去，即所謂的記憶網(wǎng)絡(luò)（Memory Network）。

　　通過(guò)引入可導(dǎo)的記憶模塊，我們就可以直接通過(guò)反向傳播（BP）來(lái)訓(xùn)練如何處理記憶。

　　Facebook 提出了實(shí)體周期神經(jīng)網(wǎng)絡(luò)（Entity Recurrent Neural Network），這是第一個(gè)解決所有 20 個(gè) bAIb 任務(wù)的模型。（bAIb 是 Facebook 設(shè)計(jì)的測(cè)試模型推理能力的數(shù)據(jù)集）

　　非監(jiān)督學(xué)習(xí)（Unsupervised Learning）

　　LeCun 介紹基于能量的非監(jiān)督學(xué)習(xí)，基本的思想是學(xué)習(xí)一個(gè)能量函數(shù)，使其在數(shù)據(jù)流形上具有較低的值，而在空間其他地方具有較高的值。

　　那么我們?cè)趺磳W(xué)習(xí)能量函數(shù)呢？

　　我們可以參數(shù)化能量函數(shù)，然后利用數(shù)據(jù)估計(jì)出相應(yīng)的參數(shù)。那具體我們是怎么估計(jì)的呢？

　　下面列了 7 種構(gòu)建能量函數(shù)的策略，但 LeCun 表示并不想講這 7 種，因?yàn)榻鼛啄晏岢龅膶?duì)抗學(xué)習(xí)（Adversarial Learning）更有意思。

　　對(duì)抗學(xué)習(xí)（Adversarial Learning）

　　LeCun 指出預(yù)測(cè)模型的困難之處，需要基于不確定性去做預(yù)測(cè)。比如我們感知到了一個(gè)輸入 X，而 X 不過(guò)是世界里真實(shí)分布的一個(gè)采樣，假設(shè)其由某個(gè)隱變量 Z 而決定，其相應(yīng)的預(yù)測(cè)值 Y 是處于空間的某個(gè)流形分布之中，如果采樣不夠多的話，我們并不能夠很好的估計(jì)這個(gè)流形，這也是預(yù)測(cè)的困難之處。

　　而從基于能量的觀點(diǎn)看對(duì)抗學(xué)習(xí)，可以由生成器來(lái)決定讓哪些點(diǎn)的能量值變高。

　　下面看一個(gè)生成器的例子，輸入是隨機(jī)數(shù)，輸出是臥室圖片。這都是完全由模型生成的圖片，并不真實(shí)存在。

　　有趣的是對(duì)抗訓(xùn)練可以做算術(shù)運(yùn)算生成相應(yīng)含義的圖像。

　　對(duì)抗訓(xùn)練還可以用在視頻預(yù)測(cè)上，取得了不錯(cuò)的效果。

　　我們可以像人腦一樣去預(yù)測(cè)未來(lái)嗎？可能目前通過(guò)對(duì)抗訓(xùn)練取得了一些進(jìn)展，但這個(gè)問(wèn)題還遠(yuǎn)遠(yuǎn)沒(méi)有解決。

　　如果使用模型預(yù)測(cè) 5 幀，效果還不錯(cuò)。

　　但如果我們用其預(yù)測(cè) 50 幀的話，效果就大打折扣了。

　　尾聲：

　　兩個(gè)小時(shí)的演講結(jié)束后，大家熱情依然高漲，踴躍地向 LeCun 提各種問(wèn)題，LeCun 也給出了很多精彩的回答，他認(rèn)為現(xiàn)在的研究環(huán)境越來(lái)越好，有在線免費(fèi)的學(xué)術(shù)分享網(wǎng)站 Arxiv（http://m.yongsiang.cn），每天都會(huì)有新工作掛出供大家學(xué)習(xí)討論，同時(shí)大家都爭(zhēng)相開源代碼，方便更多的人發(fā)現(xiàn)并學(xué)習(xí)新技術(shù)，技術(shù)的更新迭代速度越來(lái)越快，他相信未來(lái)人工智能和深度學(xué)習(xí)技術(shù)還會(huì)有更大的進(jìn)步，將從各個(gè)方面改善人們的生活，比如更安全的自動(dòng)駕駛，F(xiàn)acebook 更智能的人與人的連接服務(wù)等等。

本內(nèi)容出自《創(chuàng)新與創(chuàng)業(yè)：硅谷洞察》（Innovation and Entrepreneurship: Insights from Silicon Valley）課程（課號(hào)：60510302）的于3月22日在清華大禮堂的公開課。該課程由清華大學(xué)經(jīng)濟(jì)管理學(xué)院發(fā)起，清華x-lab與Facebook公司聯(lián)合設(shè)計(jì)。

本文所用活動(dòng)照片、視頻由清華x-lab提供。

本文PPT選自LeCun在NIPS 2016上的公開內(nèi)容。

注：本稿件摘自入駐數(shù)據(jù)觀自媒體——THU數(shù)據(jù)派，轉(zhuǎn)載請(qǐng)注明來(lái)源。微信掃描下方二維碼可直接關(guān)注數(shù)據(jù)觀微信公眾號(hào)。

責(zé)任編輯：王培