大數(shù)據(jù)和區(qū)塊鏈之異同（上篇）

來源：亞信數(shù)據(jù) 時間：2017-02-22 15:31:14 作者：方亮

?兩者之間有個共同的關(guān)鍵詞：分布式，代表了一種從技術(shù)權(quán)威壟斷到去中心化的轉(zhuǎn)變。

?

?分布式存儲：HDFS vs. 區(qū)塊

?大數(shù)據(jù)，需要應(yīng)對海量化和快增長的存儲，這要求底層硬件架構(gòu)和文件系統(tǒng)在性價比上要大大高于傳統(tǒng)技術(shù)，能夠彈性擴張存儲容量。谷歌的GFS和Hadoop的HDFS奠定了大數(shù)據(jù)存儲技術(shù)的基礎(chǔ)。另外，大數(shù)據(jù)對存儲技術(shù)提出的另一個挑戰(zhàn)是多種數(shù)據(jù)格式的適應(yīng)能力，因此現(xiàn)在大數(shù)據(jù)底層的存儲層不只是HDFS，還有HBase和Kudu等存儲架構(gòu)。

?區(qū)塊鏈，是比特幣的底層技術(shù)架構(gòu)，它在本質(zhì)上是一種去中心化的分布式賬本。區(qū)塊鏈技術(shù)作為一種持續(xù)增長的、按序整理成區(qū)塊的鏈式數(shù)據(jù)結(jié)構(gòu)，通過網(wǎng)絡(luò)中多個節(jié)點共同參與數(shù)據(jù)的計算和記錄，并且互相驗證其信息的有效性。從這一點來說，區(qū)塊鏈技術(shù)也是一種特定的數(shù)據(jù)庫技術(shù)。由于去中心化數(shù)據(jù)庫在安全、便捷方面的特性，很多業(yè)內(nèi)人士看好其發(fā)展，認為它是對現(xiàn)有互聯(lián)網(wǎng)技術(shù)的升級與補充。

?分布式計算：MapReduce vs. 共識機制

?大數(shù)據(jù)的分析挖掘是數(shù)據(jù)密集型計算，需要巨大的分布式計算能力。節(jié)點管理、任務(wù)調(diào)度、容錯和高可靠性是關(guān)鍵技術(shù)。Google和Hadoop的MapReduce是這種分布式計算技術(shù)的代表，通過添加服務(wù)器節(jié)點可線性擴展系統(tǒng)的總處理能力(Scale Out)，在成本和可擴展性上都有巨大的優(yōu)勢?，F(xiàn)在，除了批計算，大數(shù)據(jù)還包括了流計算、圖計算、實時計算、交互查詢等計算框架。

?區(qū)塊鏈的共識機制，就是所有分布式節(jié)之間怎么達成共識，通過算法來生成和更新數(shù)據(jù)，去認定一個記錄的有效性，這既是認定的手段，也是防止篡改的手段。區(qū)塊鏈主要包括四種不同的共識機制，適用于不同的應(yīng)用場景，在效率和安全性之間取得平衡。以比特幣為例，采用的是“工作量證明”（Proof Of Work，簡稱POW），只有在控制了全網(wǎng)超過51%的記賬節(jié)點的情況下，才有可能偽造出一條不存在的記錄。

?IT技術(shù)發(fā)展的分分合合

?和人類社會一樣，IT技術(shù)發(fā)展的也呈現(xiàn)出“合久必分，分久必合”，即集中與分布的螺旋式上升。

?計算機誕生初期，僅能實現(xiàn)一對一的使用，是集中化的。為了使得一臺大型機能夠同時為多個客戶提供服務(wù)，IBM公司引入了虛擬化的設(shè)計思想，使得多個客戶在同時使用同一臺大型機時，就好像將其分割成了多個小型化的虛擬主機，是時分復(fù)用的集中式計算。

?進入小型機和PC時代，回歸了一對一的使用，不過設(shè)備已經(jīng)分散到了千家萬戶。進入互聯(lián)網(wǎng)時代，C/S模型的客戶端和服務(wù)器是分布式計算，只不過服務(wù)器之間還是分散的。

?進入云計算時代，計算能力又被統(tǒng)一管控起來，在客戶端和服務(wù)器的分布式計算基礎(chǔ)之上，服務(wù)器之間也開始了分布式協(xié)同工作。因為協(xié)同，所以也可以認為它們在整體上是一種集中式的計算服務(wù)。

?進入大數(shù)據(jù)時代，云計算成為大數(shù)據(jù)基礎(chǔ)設(shè)施，也使得大數(shù)據(jù)的核心思想和云計算一脈相承。MapReduce將任務(wù)分解進行分布式計算，然后將結(jié)果合并從而實現(xiàn)了信息的整合分析。

?區(qū)塊鏈則是純粹意義上的分布式系統(tǒng)。

?是什么力量造成了集中與分布的此消彼長？

?讓我們從歷史中試著尋找答案。

?商業(yè)需要集中，希望通過產(chǎn)品實現(xiàn)更好的控制和更高的利潤。但隨著產(chǎn)品集中度的不斷上升，系統(tǒng)會越來越復(fù)雜，實現(xiàn)的難度越來越大，溝通、交流和管理的成本也越來越高，最終變得不經(jīng)濟。

?社會需要分工，讓專業(yè)的人做專業(yè)的事，涂爾干的《社會分工論》談到，“分工使社會像有機體一樣，每個成員都為社會整體服務(wù)，同時又不能脫離整體，分工就像社會的紐帶，故謂之‘有機團結(jié)’?！?/p>

?分布式技術(shù)的誕生，正是基于這種思想。產(chǎn)品功能被分解并分布到不同的節(jié)點上去完成，節(jié)點之間通過網(wǎng)絡(luò)實現(xiàn)溝通。分布式系統(tǒng)中的一些節(jié)點或因為商業(yè)上的成功，重新成為“集中化”的節(jié)點，但隨著時代的改變，它們終將會進入新一輪的分布式周期。如此往復(fù)。

?集中和分布不是光譜的兩端，任何偉大的產(chǎn)品，都是商業(yè)和技術(shù)的“有機團結(jié)”。

?【關(guān)于數(shù)博會】

　　數(shù)博會作為全球首個大數(shù)據(jù)主題博覽會，秉承“國際化、專業(yè)化、高端化、可持續(xù)化、產(chǎn)業(yè)化”的核心理念，旨在為全球范圍大數(shù)據(jù)領(lǐng)域?qū)I(yè)人士和企業(yè)提供行業(yè)前沿資訊、熱點動態(tài)以及合作交流平臺，促進大數(shù)據(jù)行業(yè)的技術(shù)發(fā)展和應(yīng)用。數(shù)博會已成為全球大數(shù)據(jù)領(lǐng)域的盛會。

　　2017中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會將于5月25日-28日在貴陽市舉行，它將繼續(xù)聚焦大數(shù)據(jù)的探索與應(yīng)用，展示大數(shù)據(jù)最新的技術(shù)創(chuàng)新與成就，成為中國最具國際化和產(chǎn)業(yè)化的高端專業(yè)平臺。

數(shù)博會官方微信二維碼?

?

責任編輯：陳近梅