對(duì)話東航數(shù)據(jù)實(shí)驗(yàn)室王學(xué)武：打造爆款產(chǎn)品速勝，為數(shù)據(jù)找到立足之地

來源：THU數(shù)據(jù)派 時(shí)間：2017-07-11 14:42:29 作者：魏子敏

?“數(shù)據(jù)實(shí)驗(yàn)室不是科研組織，我們要的是成果落地?！?/p>

?中國東方航空數(shù)據(jù)實(shí)驗(yàn)室負(fù)責(zé)人王學(xué)武非常明確數(shù)據(jù)的價(jià)值所在，“科研成果變?yōu)閯趧?dòng)生產(chǎn)力需要有很長的路要走。而我們要的就是分析成果的落地，要的就是全面鋪開，釋放數(shù)據(jù)的潛能,通過數(shù)字化推動(dòng)業(yè)務(wù)的提升。”

?隸屬東方航空客運(yùn)營銷委員會(huì)和東航信息部，東航數(shù)據(jù)實(shí)驗(yàn)室經(jīng)過一年籌備，于2017年初正式成立。

?變現(xiàn)大數(shù)據(jù)資產(chǎn)的價(jià)值，推動(dòng)業(yè)務(wù)價(jià)值提升，后期甚至可以孵化新的項(xiàng)目出來，盡管剛剛出現(xiàn)不到一年，王學(xué)武對(duì)這一籌備許久終于上馬的項(xiàng)目充滿了想象力。

?而當(dāng)把航空這一與用戶貼合緊密的領(lǐng)域與大數(shù)據(jù)放在一起，也確實(shí)可以產(chǎn)生很多新的碰撞場(chǎng)景。

?數(shù)據(jù)實(shí)驗(yàn)室不是隨便建起來的拍腦袋工程，在其正式成立之前，王學(xué)武和同事花費(fèi)了大量的時(shí)間與公司高層、與目標(biāo)用戶進(jìn)行溝通。他很明確地告訴我們，首先，一個(gè)公司需要從戰(zhàn)略上明確，為什么需要數(shù)據(jù)實(shí)驗(yàn)平臺(tái)？將會(huì)起到什么作用？再從高級(jí)分析用戶層面考慮，數(shù)據(jù)實(shí)驗(yàn)室是否能解決他們現(xiàn)有數(shù)據(jù)分析的難點(diǎn)和痛點(diǎn)？有沒有一個(gè)明確的業(yè)務(wù)場(chǎng)景，能夠推動(dòng)他們?cè)跀?shù)據(jù)實(shí)驗(yàn)平臺(tái)作嘗試？

?

?東方航空數(shù)據(jù)實(shí)驗(yàn)室項(xiàng)目負(fù)責(zé)人 王學(xué)武

?“用得順手”是讓大家“真正用起來”的關(guān)鍵

?“大家都在上（數(shù)據(jù)團(tuán)隊(duì)／項(xiàng)目），但到底能做什么？具體做什么？其實(shí)很多都還不知道。但是別人都在做，你沒做的話就像土八路了?！蓖鯇W(xué)武說。

?數(shù)據(jù)實(shí)驗(yàn)室是適應(yīng)東航數(shù)據(jù)分析發(fā)展的產(chǎn)物。如何讓分析人員在實(shí)驗(yàn)室真正創(chuàng)造價(jià)值，把數(shù)據(jù)探索、數(shù)據(jù)挖掘、數(shù)據(jù)可視化等工具用起來，卻不容易。對(duì)此，王學(xué)武認(rèn)為，“對(duì)數(shù)據(jù)的價(jià)值有非常清晰的定位，讓大家用得順手”是讓產(chǎn)品“真正被用起來”的關(guān)鍵。

?基本的出發(fā)點(diǎn)有了，團(tuán)隊(duì)在著手做事情前，要有非常明確的目標(biāo)和清晰的商業(yè)訴求，能清楚地描述給來自各領(lǐng)域的聯(lián)合數(shù)據(jù)分析團(tuán)隊(duì)成員，統(tǒng)一目標(biāo)，并制定合理的計(jì)劃。

?數(shù)據(jù)實(shí)驗(yàn)過程是一個(gè)持續(xù)探索、持續(xù)迭代的過程。不僅是對(duì)分析成果進(jìn)行迭代，也對(duì)工作方式和流程進(jìn)行優(yōu)化。

?“最重要一點(diǎn)，我們會(huì)針對(duì)不同類型的分析成果，制定它們的量化規(guī)則，量化通過模型所產(chǎn)生的經(jīng)濟(jì)收益、生產(chǎn)效率的提升幅度或其他考核指標(biāo)，以此量化數(shù)據(jù)分析的價(jià)值?！边@也是數(shù)據(jù)驅(qū)動(dòng)文化真正建立起來的重要步驟。

?王學(xué)武稱東航建立數(shù)據(jù)實(shí)驗(yàn)室沒有現(xiàn)成的經(jīng)驗(yàn)可參考，需要進(jìn)行很多創(chuàng)新嘗試。實(shí)驗(yàn)室前期籌建階段，也是一個(gè)推廣的階段，“我們經(jīng)常與用戶進(jìn)行頭腦風(fēng)暴，一是能讓用戶更深入了解數(shù)據(jù)實(shí)驗(yàn)平臺(tái)，了解相關(guān)技術(shù)和機(jī)器學(xué)習(xí)概念，二是我們能了解用戶的痛點(diǎn)，與用戶一起構(gòu)思大數(shù)據(jù)應(yīng)用場(chǎng)景。定期對(duì)各部門的核心分析人員進(jìn)行數(shù)據(jù)挖掘知識(shí)和技術(shù)培訓(xùn)，以及統(tǒng)計(jì)學(xué)等方面知識(shí)培訓(xùn)，形成很好的學(xué)習(xí)氣氛?！?/p>

?合作各方，先打造幾款爆款產(chǎn)品“速勝”

?“燃油是航空公司高層例會(huì)上最大的敏感詞，只要你提到‘可以降低燃油能耗’，你就能看到，大家會(huì)立刻提起興趣?！蓖鯇W(xué)武玩笑著說出了這個(gè)航空公司的大難題。

?和很多數(shù)據(jù)團(tuán)隊(duì)一樣，在成立之初，王學(xué)武的團(tuán)隊(duì)面臨著如何讓高層和業(yè)務(wù)團(tuán)隊(duì)看到自身價(jià)值的問題，這時(shí)候，打造一款“爆款”產(chǎn)品，讓各合作方看到數(shù)據(jù)的價(jià)值十分重要。“燃油效率分析”是其中一個(gè)這樣的課題。

?油價(jià)是航空公司最大的變動(dòng)成本項(xiàng)，航空公司急需通過控制油耗來降低運(yùn)營成本。但是，與實(shí)際油耗相關(guān)的屬性有70多個(gè)，逐個(gè)去分析它們的相關(guān)性，很耗時(shí)，容易出錯(cuò)。而且需要有很好的業(yè)務(wù)知識(shí)支持。

?東航數(shù)據(jù)實(shí)驗(yàn)室通過Oracle BDA解析QAR數(shù)據(jù)，打造了一款針對(duì)燃油效率分析的產(chǎn)品；分析發(fā)動(dòng)機(jī)壽命，預(yù)測(cè)可能出現(xiàn)故障的設(shè)備。通過平臺(tái)提供的工具，即便在不是很熟悉業(yè)務(wù)的情況下，也能很方便快速地發(fā)現(xiàn)一些問題：

?

?首先，用戶在數(shù)據(jù)列表找到自己所需的數(shù)據(jù)，將它們導(dǎo)入個(gè)人數(shù)據(jù)沙箱；然后，利用實(shí)驗(yàn)室的數(shù)據(jù)發(fā)現(xiàn)工具，瀏覽數(shù)據(jù)狀況，剔除數(shù)據(jù)質(zhì)量不高的屬性。屬性由原來的70多個(gè)減少到60個(gè)。

?再按與實(shí)際油耗的相關(guān)程度進(jìn)行排序，與油耗相關(guān)程度越高的就排在越前面，這樣就可以很快地發(fā)現(xiàn)哪些是相關(guān)程度最高的屬性。比如：飛行距離、最大業(yè)載、機(jī)型、最大起飛重量、實(shí)際業(yè)載、發(fā)動(dòng)機(jī)型號(hào)等。

?再進(jìn)一步，挑選幾個(gè)需要分析的屬性，可以看到它們與實(shí)際油耗的相關(guān)系數(shù)和圖形化的分布情況，為后續(xù)深入分析指引方向。

?航空領(lǐng)域天然擁有不少數(shù)據(jù)。而提到飛行，除了油耗，多數(shù)乘客首先想到的應(yīng)該都是黑匣子中記錄下的數(shù)據(jù)。其實(shí)，飛機(jī)飛行數(shù)據(jù)的記錄時(shí)刻都在進(jìn)行，比如飛機(jī)快速存取記錄器（下稱QAR）記錄的數(shù)據(jù)，通過遍布飛機(jī)全身的數(shù)千個(gè)傳感器，記錄飛機(jī)在飛行時(shí)的品質(zhì)、安全等參數(shù)，是輔助飛行員養(yǎng)成良好飛行習(xí)慣的必需品。

?QAR可實(shí)時(shí)記錄飛行員自飛機(jī)倉門關(guān)閉、爬行、攀升、漸進(jìn)到降落的整個(gè)航程的操作行為和發(fā)動(dòng)機(jī)狀態(tài)的數(shù)據(jù)。這個(gè)數(shù)據(jù)量很大，每年將產(chǎn)生100T的數(shù)據(jù)量。

?通過飛機(jī)上的傳感器，東航可以獲取每個(gè)飛行員從起飛到降落的所有操作行為，以及發(fā)動(dòng)機(jī)的損耗、氣象資料等數(shù)據(jù)，利用大數(shù)據(jù)建立模型分析，找出飛行員日常操作和飛行潛在風(fēng)險(xiǎn)因素,提升安全水平，并可以有針對(duì)性地加強(qiáng)飛行員培訓(xùn)，為其養(yǎng)成良好的操作習(xí)慣，糾正飛行員有時(shí)候出現(xiàn)的不規(guī)則的手動(dòng)操作，減少因操作不當(dāng)造成的飛機(jī)發(fā)動(dòng)機(jī)損耗等問題，也會(huì)給飛行員提供更節(jié)省燃油的飛行建議，比如，針對(duì)不同的機(jī)型、風(fēng)力、高度、航道的擁堵等情況，給出建議的飛行速度。

?東航數(shù)據(jù)實(shí)驗(yàn)室技術(shù)架構(gòu)探索：基于Oracle BDA解析QAR數(shù)據(jù)

?

?如此高量級(jí)的數(shù)據(jù)存儲(chǔ)分析需求也對(duì)東方航空的數(shù)據(jù)架構(gòu)提出了更高的要求。

?東航數(shù)據(jù)實(shí)驗(yàn)室利用Oracle BDA的12個(gè)節(jié)點(diǎn)所提供的強(qiáng)大的計(jì)算能力和網(wǎng)絡(luò)傳輸能力，來處理來自營銷、運(yùn)行、機(jī)務(wù)、物流、地服、電商、呼叫中心等業(yè)務(wù)領(lǐng)域的海量數(shù)據(jù)，并將處理好的結(jié)果數(shù)據(jù)供數(shù)據(jù)實(shí)驗(yàn)室使用。

?東航是基于旅客出行的全流程來建立數(shù)據(jù)分析體系。在旅客的航前、航中、航后環(huán)節(jié)，建立相應(yīng)應(yīng)用系統(tǒng)，增加和旅客的業(yè)務(wù)接觸點(diǎn)，通過“以客戶為中心”的服務(wù)理念，為客戶提供全方位的出行服務(wù)。并在每個(gè)環(huán)節(jié)都有相應(yīng)的運(yùn)營系統(tǒng)作支撐。

?

?數(shù)據(jù)實(shí)驗(yàn)室通過一套流程去促進(jìn)業(yè)務(wù)提升。從上圖可以看出，整個(gè)流程分為執(zhí)行層面和創(chuàng)新層面。實(shí)驗(yàn)室是其中的一部分，數(shù)據(jù)流通過前端應(yīng)用的客戶接觸點(diǎn)進(jìn)入到數(shù)據(jù)平臺(tái)，數(shù)據(jù)實(shí)驗(yàn)室從數(shù)據(jù)平臺(tái)獲得數(shù)據(jù)，進(jìn)行分析，得到成果，通過規(guī)則引擎、數(shù)據(jù)產(chǎn)品等方式發(fā)布到應(yīng)用前端，促進(jìn)業(yè)務(wù)效率提升。

?

?數(shù)據(jù)實(shí)驗(yàn)室有個(gè)優(yōu)點(diǎn)就是數(shù)據(jù)實(shí)驗(yàn)環(huán)境與業(yè)務(wù)生產(chǎn)環(huán)境是相互隔離的。數(shù)據(jù)實(shí)驗(yàn)室通過ETL把BDA、Teradata、Exadata、Greenplum的數(shù)據(jù)抽取到實(shí)驗(yàn)室數(shù)據(jù)存儲(chǔ)區(qū)，用戶直接操作的是實(shí)驗(yàn)室數(shù)據(jù)存儲(chǔ)區(qū)的數(shù)據(jù)，即便用戶在實(shí)驗(yàn)環(huán)境進(jìn)行大數(shù)據(jù)量操作時(shí)，也不會(huì)對(duì)現(xiàn)有的生產(chǎn)系統(tǒng)產(chǎn)生影響。

?應(yīng)用架構(gòu)分為生產(chǎn)環(huán)境和實(shí)驗(yàn)環(huán)境兩部分。實(shí)驗(yàn)存儲(chǔ)區(qū)通過ETL從數(shù)據(jù)平臺(tái)抽取數(shù)據(jù)，再整合用戶上傳的數(shù)據(jù)、各主題數(shù)據(jù)、參數(shù)數(shù)據(jù)和實(shí)驗(yàn)成果等數(shù)據(jù)。用戶在數(shù)據(jù)沙箱獲取這些數(shù)據(jù)，再利用前端工具使用數(shù)據(jù)。目前，實(shí)驗(yàn)存儲(chǔ)區(qū)使用私有云Hadoop集群，未來也會(huì)考慮向公有云擴(kuò)展。

?信息化是企業(yè)開啟數(shù)據(jù)化的第一步

?東航在2014年就開始布局大數(shù)據(jù)戰(zhàn)略，時(shí)任東航CIO的蔡陽先生帶領(lǐng)著信息部各產(chǎn)品部成立了BICC商業(yè)智能競(jìng)爭(zhēng)力中心，進(jìn)行數(shù)據(jù)、技術(shù)和思維的專題研究，定期交流成果。圍繞著這三方面，東航數(shù)據(jù)實(shí)驗(yàn)室討論了很多主題，從云計(jì)算，大數(shù)據(jù)技術(shù)，數(shù)據(jù)價(jià)值鏈，產(chǎn)品路線圖，算法，再到一張機(jī)票后面的二維碼,都在討論范圍內(nèi)。經(jīng)過了1年多的場(chǎng)景探索，最終基本確定了營銷、服務(wù)和運(yùn)行這三大領(lǐng)域的業(yè)務(wù)目標(biāo)。

?

?在很多傳統(tǒng)企業(yè)，信息化都是企業(yè)開啟數(shù)據(jù)化的第一步。數(shù)據(jù)團(tuán)隊(duì)在進(jìn)行數(shù)據(jù)分析、洞察、打造爆款產(chǎn)品之前，需要先整合企業(yè)內(nèi)部數(shù)據(jù)，進(jìn)而不斷引入結(jié)構(gòu)化和非結(jié)構(gòu)化的外部數(shù)據(jù)，并通過數(shù)據(jù)管理，提升數(shù)據(jù)質(zhì)量，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)。

?“信息化之后，數(shù)據(jù)在東航發(fā)揮著越來越核心的作用，航空業(yè)的數(shù)字化業(yè)態(tài)逐漸形成。我們信息部和各業(yè)務(wù)部門緊密聯(lián)系在一起，共同攻關(guān)克難，所收獲的成果、經(jīng)驗(yàn)與教訓(xùn)，都將為建設(shè)數(shù)字化東航打下基礎(chǔ)?！蓖鯇W(xué)武說。

?

?王學(xué)武坦言，隨著分析用戶的水平越來越高，在使用數(shù)據(jù)分析系統(tǒng)時(shí)，也遇到了很多痛點(diǎn)和難點(diǎn)，阻礙他們進(jìn)一步去分析數(shù)據(jù)。比如：

?用戶在進(jìn)行大數(shù)據(jù)量查詢與計(jì)算時(shí)，會(huì)直接對(duì)生產(chǎn)系統(tǒng)的性能產(chǎn)生影響；

?實(shí)現(xiàn)用戶的分析需求，需要業(yè)務(wù)與技術(shù)來回溝通，周期較長；

?隨著用戶分析能力提高，用戶使用數(shù)據(jù)的局限性也越來越明顯，他們迫切需要一個(gè)能自主、自助進(jìn)行數(shù)據(jù)分析的平臺(tái)，且有很多易用的工具選擇；

?用戶希望能有一個(gè)快速定位問題、快速試錯(cuò)的平臺(tái)，從而降低決策和投資的風(fēng)險(xiǎn)；

?他們想獲得更多的數(shù)據(jù)，而不限于自己部門的；

?要打破公司內(nèi)各領(lǐng)域間的數(shù)據(jù)孤島問題，能讓數(shù)據(jù)流動(dòng)起來；

?現(xiàn)在課題的攻關(guān)難度比以往更大，需要多領(lǐng)域的專家一起解決，這就需要一種創(chuàng)新的協(xié)作方式，有效銜接業(yè)務(wù)、技術(shù)、學(xué)科等領(lǐng)域的專家；

?從應(yīng)用數(shù)據(jù)的角度來看，用戶希望能“看得懂、拿得到、做得了事情”，即用戶能知道有什么數(shù)據(jù)？它的質(zhì)量怎么樣？適不適用？通過什么渠道可以拿到這些數(shù)據(jù)？通過哪些合適的工具去分析這些數(shù)據(jù)?從而產(chǎn)出一定成果。

?為了解決這些問題，數(shù)據(jù)實(shí)驗(yàn)室應(yīng)運(yùn)而生。

?數(shù)據(jù)實(shí)驗(yàn)室有4個(gè)核心理念：

?開放：實(shí)驗(yàn)室是開放的大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)，用戶擁有最大程度的靈活性與自由度去使用數(shù)據(jù)；

?連接：連接人、數(shù)據(jù)和分析算法，以及能在不同的人之間，不同的數(shù)據(jù)之間，不同的算法之間建立連接。這些連接會(huì)形成一種合力，能有效地解決課題研究的難點(diǎn)；

?融合：數(shù)據(jù)融合、數(shù)據(jù)流動(dòng)、數(shù)據(jù)活力。通過跨領(lǐng)域的數(shù)據(jù)融合，可以發(fā)現(xiàn)各領(lǐng)域之間的相關(guān)性，聯(lián)動(dòng)性，通過有效的協(xié)調(diào)，提高整體的競(jìng)爭(zhēng)力；

?生產(chǎn)力：數(shù)據(jù)驅(qū)動(dòng)、數(shù)據(jù)產(chǎn)品，分析成果與生產(chǎn)應(yīng)用的緊密結(jié)合，促進(jìn)價(jià)值提升。

?數(shù)據(jù)人才建議：以明確清晰的商業(yè)目標(biāo)為導(dǎo)向

?現(xiàn)階段，數(shù)據(jù)實(shí)驗(yàn)室成員來自信息部數(shù)據(jù)產(chǎn)品部、營銷委的網(wǎng)絡(luò)收益部和客戶關(guān)系部，以及其他部門的分析團(tuán)隊(duì)，共30多人。主要由具體作數(shù)據(jù)分析和實(shí)施課題的人員組成，公司領(lǐng)導(dǎo)為實(shí)驗(yàn)室明確戰(zhàn)略方向和協(xié)調(diào)資源。成員包括業(yè)務(wù)部高級(jí)經(jīng)理、統(tǒng)計(jì)學(xué)博士、業(yè)務(wù)專家、市場(chǎng)研究、產(chǎn)品規(guī)劃、產(chǎn)品經(jīng)理、技術(shù)架構(gòu)師、大數(shù)據(jù)工程師、高級(jí)數(shù)據(jù)分析等。

?王學(xué)武對(duì)于數(shù)據(jù)人才的培養(yǎng)也給出了自己的建議：“以明確的、清晰的商業(yè)目標(biāo)為導(dǎo)向，通過在作課題和項(xiàng)目的過程中，培養(yǎng)具有復(fù)合能力的數(shù)據(jù)科學(xué)人才。定期舉行技術(shù)、業(yè)務(wù)培訓(xùn)和知識(shí)分享。發(fā)揮企業(yè)內(nèi)社區(qū)的作用，提升成員的認(rèn)同感與成就感，進(jìn)而提升參與度。在工作中，計(jì)算機(jī)科學(xué)、數(shù)據(jù)可視化、業(yè)務(wù)分析、運(yùn)籌、統(tǒng)計(jì)等角色的成員之間要保持緊密的溝通，在不斷提升自己領(lǐng)域的專業(yè)水平以更好對(duì)外提供支持的同時(shí)，還要學(xué)習(xí)其他領(lǐng)域的知識(shí)和技能，建立一個(gè)良好的學(xué)習(xí)共進(jìn)氛圍，讓成員具備更多的能力維度。

?經(jīng)常帶著商業(yè)問題，在數(shù)據(jù)中去探索，去驗(yàn)證自己的想法。這個(gè)數(shù)據(jù)發(fā)現(xiàn)的過程，會(huì)很有意思，很有趣，會(huì)逐漸理解數(shù)據(jù)，以及數(shù)據(jù)之間的關(guān)系，加快掌握業(yè)務(wù)知識(shí)。注意在課題和項(xiàng)目的實(shí)施過程中作總結(jié)和積累經(jīng)驗(yàn)，失敗的或成功的經(jīng)驗(yàn)都是非常有價(jià)值的。最后，套一句互聯(lián)網(wǎng)思維的話，懂得分享，才更有價(jià)值。”

責(zé)任編輯：陳近梅