Michael I.Jordan：大數(shù)據(jù)時代下的安全實時決策堆棧與增強學(xué)習(xí)

來源：數(shù)據(jù)派THU 時間：2017-09-26 13:44:37 作者：俊澤 Lily

金秋九月，2017國際大數(shù)據(jù)產(chǎn)業(yè)技術(shù)創(chuàng)新高峰論壇暨大數(shù)據(jù)系統(tǒng)軟件國家工程實驗室第一次會議盛大開幕，大數(shù)據(jù)系統(tǒng)軟件國家工程實驗室作為大數(shù)據(jù)系統(tǒng)軟件技術(shù)研發(fā)與工程化的國家級創(chuàng)新平臺，將通過大數(shù)據(jù)系統(tǒng)軟件技術(shù)的跨界合作與國際交流，建立和完善大數(shù)據(jù)領(lǐng)域的技術(shù)創(chuàng)新平臺，集聚整合創(chuàng)新資源，加強產(chǎn)學(xué)研用結(jié)合，突破一批關(guān)鍵共性技術(shù)并實現(xiàn)產(chǎn)業(yè)化，促進大數(shù)據(jù)產(chǎn)業(yè)的快速發(fā)展，為培育和發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)提供驅(qū)動力。

在活動上，清華大學(xué)杰出訪問教授、美國三院院士、機器學(xué)習(xí)先驅(qū)Michael I.Jordan做了題為“大數(shù)據(jù)時代下的安全實時決策堆棧與增強學(xué)習(xí)”的主題分享。

演講精華內(nèi)容經(jīng)數(shù)據(jù)派THU整理如下：

Michael I.Jordan：人們常常提到人工智能，并認為機器學(xué)習(xí)是人工智能的一部分，我并不這么認為。我認為機器學(xué)習(xí)是統(tǒng)計學(xué)和計算機科學(xué)的一部分，對于我來說，大數(shù)據(jù)還有數(shù)據(jù)科學(xué)比你們現(xiàn)在經(jīng)常聽到的“人工智能”一詞更重要。每一個計算機系統(tǒng)都需要利用數(shù)據(jù)，需要適應(yīng)數(shù)據(jù)庫，需要診斷自己的系統(tǒng)，并且給每一個決策計算置信度。這些任務(wù)是計算機之前從未做過的。數(shù)據(jù)庫接收一個請求并給出解答，之后你需要根據(jù)這個解答計算置信度，因為它總是不確定的。

有一個說法是，工業(yè)界產(chǎn)出軟件，而主宰工業(yè)界的不是中國而是其他國家，這個說法是不對的。目前世界上最主流的軟件并不由工業(yè)界產(chǎn)出，而是學(xué)術(shù)界。因此，像清華大學(xué)這樣的學(xué)術(shù)機構(gòu)不僅僅是這個領(lǐng)域的參與者，更能夠成為這個領(lǐng)域的領(lǐng)導(dǎo)者。最主要的原因在于開源軟件的出現(xiàn)，開源軟件起始于Linux，如今已遍布在計算機科學(xué)的各個領(lǐng)域。一些世界上比較好的軟件已經(jīng)作為開源包存在于GitHub上，供所有人免費獲取并共同搭建。因此大部分公司，尤其是小型公司，他們信賴這些軟件，他們知道使用這些軟件永遠不會被收取費用。他們?nèi)绻枰恍┬碌奶匦裕麄円部梢詤⑴c軟件的編寫，這是一個很大的改變。主要由我們AMP實驗室（2011-2016年）研究生研發(fā)的Spark平臺在大數(shù)據(jù)領(lǐng)域的使用比工業(yè)界推出的其他軟件有更廣泛的使用。

我認為在中國也是一樣，大公司會意識到即使競爭非常激烈，參與開發(fā)人人都可以使用的軟件系統(tǒng)是更明智的選擇，它將促進中國的發(fā)展，提升世界范圍內(nèi)的參與度。更值得注意的事實是，在學(xué)術(shù)界一個由二十到四十人組成的實驗室便可以主導(dǎo)世界軟件產(chǎn)業(yè)的開發(fā)。如今我們在AMP實驗室所做的五年項目已結(jié)束，我們又成立了新的實驗室。新實驗室得到的支持主要來自工業(yè)界（包括一些中國的公司，如華為）。

盡管AMP實驗室貢獻了許多有意義的項目，但它并不是我們所期待的未來。我們眼中的未來每分每秒都在產(chǎn)生的實時數(shù)據(jù)，它需要被及時地處理，因此需要實時決策，比如自動駕駛、醫(yī)療預(yù)算、財經(jīng)預(yù)算等。收集龐大的數(shù)據(jù)并用幾個小時去處理它不是科學(xué)前沿，數(shù)據(jù)的價值往往與它所支持的決策共同體現(xiàn)，對實時數(shù)據(jù)進行決策是我們實驗室正著眼的話題。那么什么是好的決策呢？快速決策一定比慢速決策好嗎？也不一定。快速決策有可能出錯，因此我們會考慮風(fēng)險，我們會將風(fēng)險與時間都考慮進來。這是學(xué)術(shù)界一個新的研究領(lǐng)域。

從前，風(fēng)險是在統(tǒng)計學(xué)、經(jīng)濟學(xué)中研究，而時間概念則在計算機科學(xué)、電氣科學(xué)中考慮，將這兩個傳統(tǒng)的問題放在一起來考慮具有非凡的意義。權(quán)衡風(fēng)險與時間并不簡單，并且至今尚未被解決。我們擁有許多數(shù)據(jù)，有些是最新且相關(guān)的，有些卻不是，這一點給決策造成了困難。什么叫做相關(guān)？將數(shù)據(jù)保存為可以預(yù)測的形式，不僅僅是時間上的預(yù)測，而且包含了數(shù)據(jù)相關(guān)性的預(yù)測，這是一個很復(fù)雜的概念。過去的十年，公司收集的數(shù)據(jù)往往是普適的，他們提供的服務(wù)對于所有人都是相同的。而今天，我們收集的數(shù)據(jù)來自每一個不同的人，對于每個個體，我們希望提供個性化的服務(wù)。這種決策是非常困難的，因為我們要用計算機建立成千上萬的模型，需要將數(shù)據(jù)整合再分開，并且對每一個人都需要提供好的預(yù)測，這個問題需要學(xué)術(shù)界來解決?？偠灾?，我們考慮的事情包括對實時數(shù)據(jù)毫秒級的實時決策，以及系統(tǒng)安全性問題。

在實時決策中我們要解決如下三個問題：

首先，處理海量的數(shù)據(jù)并及時給予反饋難度很高，數(shù)據(jù)量越大，實時性就越難達到。我們需要大數(shù)據(jù)量來提高決策的準(zhǔn)確性，但與此同時決策速度卻會變慢。那我們該怎樣解決這個問題呢？我們需要構(gòu)造流水線，來快速地搭建模型、模型服務(wù)并更新模型。我們想到運用增強學(xué)習(xí)算法，這一算法在自動駕駛中已用到。盡管增強學(xué)習(xí)的思路與技術(shù)都具備，但目前它尚未帶來我們預(yù)期的突破。Alpha Go運用的就是增強學(xué)習(xí)算法，有人認為它是一個重大突破，但我不這么認為。因為它并沒有解決目前的實際問題，它只是一個游戲，你可以去模擬這個游戲平臺，你很清楚地知道這盤游戲的布局。而現(xiàn)實生活并非如此，我們永遠不知道那個角落有什么，永遠不知道后面會發(fā)生什么。你無法模擬現(xiàn)實生活，根據(jù)這一狀態(tài)來預(yù)測下一狀態(tài)的事情。因此，我們確實希望構(gòu)建增強學(xué)習(xí)系統(tǒng)，來看我們每一步是否有意義，但目前我們尚無手段來證明這件事。

接下來一個非常重要的問題是，承認“我不知道”的能力。目前的機器學(xué)習(xí)系統(tǒng)在這一點上表現(xiàn)得并不好，它總是說它知道。就像你們?nèi)メt(yī)院尋求治療，醫(yī)生很確定地告訴你你的心臟有問題需要手術(shù)一樣，你知道這其中肯定是有不確定性的，但他并不給你第二個答案，這是非常危險的。

最后，可解釋性。人們希望得到的答案往往不是簡單的是或否，而希望得到進一步的解釋，但目前的系統(tǒng)尚未做到這一點。因此我們的目標(biāo)就是解決這些問題并將開源平臺提供給大家，當(dāng)然我們不認為這件事是可以由我們獨自完成的，它是每一個人都面臨的挑戰(zhàn)。

現(xiàn)在，我來介紹一下在過去的半年里我們所做的工作。

首先是SRDS，它隨著時間不斷演化。它基于AMPLab棧，并關(guān)注新的事情。我們有一個輕量級的微型核，用于調(diào)度、目標(biāo)存儲與優(yōu)化，它是開源的。我們現(xiàn)在致力于研究一種在大數(shù)據(jù)流下不需要等待上一個節(jié)點處理完再做接下來事情的架構(gòu)，相關(guān)資料可以在網(wǎng)上找到。

Clipper是模型服務(wù)的一項工程。模型服務(wù)是一項很重要的任務(wù)，我們常常需要花費好幾天來訓(xùn)練一個與時機、環(huán)境、人都契合得很好的模型。以往我們很容易能得到單一的模型，將它復(fù)制多份即可，但現(xiàn)在我們要搭建的不再是單一模型，而是個性化的模型。每個人要得到不同的模型，那么你該如何組織、服務(wù)，該如何整合人群信息來得到針對每個人的好模型，這是一個很難的挑戰(zhàn)。

我們現(xiàn)在來談?wù)凴ay,這是我主要參與的工程。它用到了增強學(xué)習(xí)系統(tǒng)，拿一個機器人為例，我們現(xiàn)在要建立一種規(guī)則，根據(jù)當(dāng)前環(huán)境來判斷接下來的舉措。那我們現(xiàn)在給出一個規(guī)則，讓機器人做一個動作并觀察會發(fā)生什么，我們通過它的表現(xiàn)來調(diào)整規(guī)則，從而讓它表現(xiàn)得越來越好，這是增強學(xué)習(xí)最基本的想法。增強學(xué)習(xí)系統(tǒng)不是超智能系統(tǒng)，而是在不斷嘗試多種可能性后選擇對事情發(fā)展更有利的舉措，它是將搜索與學(xué)習(xí)結(jié)合的系統(tǒng)。機器學(xué)習(xí)中沒有任何一件事是真正關(guān)乎智力的，它只是用梯度下降搜索或嘗試各種可能性。所以盡管人們常提到人工智能，我只能說我們在構(gòu)建機器學(xué)習(xí)系統(tǒng)，它做著有限的模式識別以及增強學(xué)習(xí)之類的工作。不過盡管這些事情是有限的，機器學(xué)習(xí)正在不斷地改變世界。

在監(jiān)督學(xué)習(xí)中，我們擁有一堆由人工標(biāo)注的訓(xùn)練數(shù)據(jù)，而在增強學(xué)習(xí)中，我們沒有這些標(biāo)簽，取而代之的是我們告訴這個系統(tǒng)它們做的決策好與不好，然后看這個系統(tǒng)可不可以在沒有標(biāo)簽的情況下自己學(xué)得很好。就比如，要控制一個小人跑動，我們需要控制它的每一寸肌肉。但我們不會建立一個監(jiān)督學(xué)習(xí)系統(tǒng)告訴這個小人每一步該如何控制肌肉，我們只會告訴它從這兒運動到那兒是好的，否則是不好的。

我們該怎么做這件事呢？這兒有許多算法，我們通常用“嘗試”規(guī)則，看這么嘗試的效果是否好，Alpha Go的原理便是如此。現(xiàn)在我們站在一個計算機科學(xué)研究者的角度來處理這個問題，我們要面對的動作空間包含了成千上萬的動作，我們用大量處理器同時運算。當(dāng)其中某些做了不好的嘗試后便立即停止，一直等其他的處理器將好的嘗試搜索完，這種做法會使問題處理得非常慢。因此我們需要構(gòu)建一個數(shù)據(jù)流驅(qū)動的系統(tǒng)，一旦某個處理器做出不好的嘗試，它可以立刻去做其他的嘗試。

關(guān)于數(shù)據(jù)的隱私性方面，這是一個還沒有得到解決的大問題，而且相當(dāng)重要。讓我們仔細考慮一下，這其實是一個有關(guān)網(wǎng)絡(luò)安全的問題。我們知道騰訊、百度、阿里都有很大規(guī)模的數(shù)據(jù)，而我（清華大學(xué)）作為可以信賴的第三方,你們愿意將數(shù)據(jù)交給我來處理，根據(jù)數(shù)據(jù)訓(xùn)練之后得到一個效果很好的分類模型。不過可能阿里會認為數(shù)據(jù)是涉及隱私的，我們不能向你們（清華大學(xué)）提供，但是騰訊和百度卻認為我們應(yīng)該交給可信賴的第三方，讓他們研究，這樣就形成了一種公司之間的競爭關(guān)系。最后，阿里也會給我們數(shù)據(jù)，因為我們確實可以訓(xùn)練出精度很高的模型，而且數(shù)據(jù)部分會處理加上一些噪聲。

不過發(fā)給可信賴的第三方的數(shù)據(jù)可能有好有壞，作為獎勵，提供給我們好的數(shù)據(jù)的機構(gòu)，我們會把訓(xùn)練的精度高的模型給他們，而那些數(shù)據(jù)不是很好的機構(gòu)，會給他們精度一般的模型來作為獎罰措施。問題是，我們?nèi)绾沃罃?shù)據(jù)好壞，這其實是機器學(xué)習(xí)領(lǐng)域一個非常簡單的問題，我們將所有企業(yè)提供的數(shù)據(jù)來訓(xùn)練，比如最后精度是95%，然后，再單獨拿阿里的數(shù)據(jù)或者是百度的數(shù)據(jù)訓(xùn)練，如果他們的數(shù)據(jù)訓(xùn)練的結(jié)果是90%，那說明他們給我們提供的數(shù)據(jù)還不錯，如果低于這個值，那可能數(shù)據(jù)本身是有問題的。

我還有一個想法是最近想出來的，就是推薦系統(tǒng)?，F(xiàn)在人們經(jīng)常談?wù)摰亩际菣C器學(xué)習(xí)、深度學(xué)習(xí)在圖像、語音方面的識別，然而最早的機器學(xué)習(xí)的研究是推薦系統(tǒng)，它是非常重要的，例如亞馬遜能成為世界上領(lǐng)先的公司之一就是因為它的推薦系統(tǒng)，人們在網(wǎng)上買書，網(wǎng)站推薦給客戶他們感興趣的東西，這樣客戶可以購買更多的商品；還有推薦電影，我們可以向所有人去推薦同一部電影，每個人去電影院觀看，可是對于推薦餐館這件事，就不能這么做了，因為這樣做很多人都去同一家餐館，要排很長的隊，很可能還沒有空位，但現(xiàn)在如果我們有一個APP，它負責(zé)推薦電影院周圍的餐館，這樣向潛在的客戶發(fā)出邀請，可以保證餐館的盈利和推薦系統(tǒng)的高效。

最后，再次祝賀清華大學(xué)大數(shù)據(jù)系統(tǒng)軟件國家工程實驗室成立，我非常期待它同世界其他實驗室保持持續(xù)的交流合作，也感謝大會邀請我來做此次報告，謝謝！

?

責(zé)任編輯：陳近梅