大數(shù)據融合發(fā)展看貴州 ▏數(shù)據工廠：“建管”一體化 為數(shù)據靈活賦能

來源：數(shù)據觀 時間：2019-05-01 11:32:08 作者：朱靜、李蘭松

大數(shù)據時代，“大數(shù)據”既是一項技術也是一種資源。作為資源，研究機構Gartner給出的定義是：“大數(shù)據”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產。而作為技術，大數(shù)據是采集、處理、存儲龐大數(shù)據并進行分析、應用的信息技術手段。隨著新一代信息技術的迅速發(fā)展與普及，全球數(shù)據以“井噴式”的速度生產，據IDC發(fā)布的《數(shù)據時代2025》顯示，全球每年產生的數(shù)據將從2018年的33ZB（1ZB=10萬億億字節(jié)）增長到175ZB，相當于每天產生491EB的數(shù)據。

相關數(shù)據顯示，我國擁有全球最多的移動互聯(lián)網用戶，無時無刻不在產生數(shù)據，積累沉淀了豐富的數(shù)據資源。但是，目前市場上大量的數(shù)據生產出來后停滯在數(shù)據庫，即使有使用，大多僅停留在淺度的應用中，于是出現(xiàn)了信息源采集單一、數(shù)據不精準、難以調度等問題。

作為新時代的戰(zhàn)略性資源，數(shù)據若只能停留在數(shù)據庫中沒有得到更好的利用，那將是一大損失。那么，該如何把這些數(shù)據合理利用起來呢？在貴州有這樣一個產品，或許是該痛點的一劑良藥，它就是由年華數(shù)據科技有限公司（以下簡稱“年華數(shù)據”）耗時多年研發(fā)出的數(shù)據工廠（SDAP）。

“建管”一體化 全面服務數(shù)據處理

基于數(shù)據價值無法得到充分發(fā)揮的痛點，SDAP將數(shù)據生產和數(shù)據管理合二為一，旨在實現(xiàn)企業(yè)大數(shù)據生產領域的“建管”一體化的服務產品。年華數(shù)據總經理姚滔告訴記者，SDAP中的建管一體化可以從兩個方面來理解，其中，“建”主要指大數(shù)據平臺數(shù)據生產線的建設；“管”主要是指數(shù)據治理運營。

據年華數(shù)據副總經理王剛介紹，SDAP在研發(fā)之初主要考慮到兩個方面的問題：一是數(shù)據生產，二是數(shù)據治理。在數(shù)據生產層面，主要是指SDAP與大數(shù)據平臺的數(shù)據資源和存儲介質進行融合的問題。目前該產品可支持實時/非實時數(shù)據資源接入，支持Hadoop、Vertica MPP、DB2、GBase等多種數(shù)倉跨平臺生產，同時還可以利用產品的開放能力進行二次開發(fā)，最終確保數(shù)據生產高效和透明，為各行業(yè)企業(yè)級客戶提供穩(wěn)定和高效的數(shù)據生產能力。而數(shù)據治理方面，從元模型設計、元數(shù)據開發(fā)、生產調度、工程運維進行全流程治理，將治理辦法和管控手段100%落地在平臺，通過技術手段進行數(shù)據治理，確保治理的效果可量化、可評估、可追溯。

王剛介紹到，通過數(shù)據生產和數(shù)據治理兩層面的深度融合，目前，SDAP已實現(xiàn)數(shù)據生產與數(shù)據治理一體化管理，進而實現(xiàn)模型可視化設計、配置化開發(fā)、可視化調度、可視化運維，進而為企業(yè)實現(xiàn)管理的降本增效愿景。

數(shù)據的“加工廠”，讓數(shù)據實現(xiàn)“從有到用”

如果將數(shù)據比作原材料，那么SDAP就是“加工廠”，SDAP通過建設數(shù)據生產線，讓數(shù)據個性化生產、數(shù)據工業(yè)化生產，將成品數(shù)據提供給運營分析決策，讓數(shù)據“說話”，讓數(shù)據創(chuàng)造價值。

往往很多未轉型的傳統(tǒng)企業(yè)沒有意識到數(shù)據加工的重要性，常以“手工”或“作坊式”的手段進行采集和處理數(shù)據，數(shù)據生產效率和數(shù)據質量過渡依賴于人工，無法滿足企業(yè)級用戶對數(shù)據生產的及時性、正確性的需求。此外，目前市場上很多數(shù)據存在被“裸放”的情況，很多公司或單位，即使收集到了大量的數(shù)據，但不知道如何高效利用，把數(shù)據資產放滯在數(shù)據庫，使其成為無效資產而造成資源浪費。但是，如果將這些數(shù)據收集起來，結合企業(yè)的業(yè)務場景，通過SDAP對數(shù)據進行“加工處理”，對底層存儲資源、計算資源的統(tǒng)一調度和管理，就能讓數(shù)據實現(xiàn)“從有到用”的轉變。

姚滔介紹道：“數(shù)據工業(yè)化生產，數(shù)據可管、可控、可視化生產是SDAP最大的特色?！眰鹘y(tǒng)的“作坊式”數(shù)據生產在現(xiàn)階段可以滿足大部分企業(yè)級客戶的需求，但隨著數(shù)據量的增加、模型量的增加、人員的更替，數(shù)據生產、數(shù)據管理、數(shù)據運營層面會有越來越多的問題困擾的企業(yè)管理人員、數(shù)據管理人員。對于企業(yè)而言，數(shù)據作為一種資產是存在生命周期的，企業(yè)需要對數(shù)據的規(guī)劃、數(shù)據生產、數(shù)據優(yōu)化、數(shù)據退役進行全流程的管理，而在這個生命周期內，如何積極響應市場變化和業(yè)務需求、如何優(yōu)化數(shù)據生成的質量和效率、怎樣及時清退落后的產能是企業(yè)級數(shù)據生產必須要考慮的內容，而SDAP正是解決企業(yè)級數(shù)據生產和管理的工具。

SDAP可打破數(shù)據加工過程的技術壁壘，實現(xiàn)大數(shù)據生產多源采集、跨平臺生產調度、加工過程可視化，可有效節(jié)省時間、物力、財力，讓數(shù)據生產及時化、個性化、高效化。SDAP能靈活應用于各行各業(yè)，為其賦能，得益于其底層“數(shù)據對象”和“模型驅動”機制，滿足不同行業(yè)客戶使用SDAP做數(shù)據處理的需求，只要涉及到數(shù)據“輸入、處理、輸出”，SDAP就可以為使用者“加工”出滿意的成品。

大數(shù)據沃土中茁壯成長

談及貴州大數(shù)據，年華數(shù)據董事長趙定喜說到：“年華數(shù)據是貴州的本土企業(yè)，公司作為享受到貴州大數(shù)據發(fā)展紅利的一員，感到十分的榮幸。公司在2011年開始逐步轉型向發(fā)展大數(shù)據靠齊，與貴州的大數(shù)據發(fā)展戰(zhàn)略相得益彰，是一個明智的決定?！贝髷?shù)據時代的到來，給了貴陽一個千載難逢的“彎道取直、后發(fā)趕超”機遇，近年來，貴陽堅持高一格快一步深一層推動大數(shù)據戰(zhàn)略行動，培育了大批優(yōu)秀的大數(shù)據企業(yè)，年華數(shù)據作為其中一員，在貴州大數(shù)據這片沃土中快速成長。

同時，對于貴州如何發(fā)展好大數(shù)據，趙定喜也提出了自己的看法：首先，人才是關鍵，他認為貴州有了好的大數(shù)據發(fā)展環(huán)境，對于大多數(shù)的企業(yè)來說人才問題亟待解決；其次，也是最重要的就是加強打造大數(shù)據產業(yè)生態(tài)圈，他認為貴州大數(shù)據的發(fā)展離不開融合開放的產業(yè)生態(tài)圈，提高產業(yè)鏈聚集度，共同探索多元化合作運營模式，促進整個產業(yè)生態(tài)圈繁榮，使其中每個個體都能在這片大數(shù)據土壤中受益。（朱靜 李蘭松）

責任編輯：李蘭松