基于微服務技術的政務數據共享交換“五可”實踐

來源：數據觀 時間：2018-11-06 14:45:11 作者：

從《政務信息系統(tǒng)整合共享實施方案》到黨的十九大精神，國家對推動政府數據“聚通用”水平再上新臺階以及深化“放管服”改革轉變政府職能提出了更高要求。但全國大部分地區(qū)在深化大數據“聚通用”時，依然存在較多問題。比如“聚”的方面，“金”字工程數據集聚難、數據孤島依然存在；“通”的方面，一些涉及利益調整“不愿通”，一些由國家部委垂直建設的系統(tǒng)“不能通”；“用”的方面，部門單位缺乏應用意識“不想用數據”，一些實用技能不夠“不會用數據”，一些擔心數據揭示現(xiàn)實問題“不愿用數據”，沒有制度支持數據共享與開放“不敢用數據”，用傳統(tǒng)思想和方法管數據“不善用數據”。

目前，微服務作為一個新興的軟件架構，通過把一個大型的單個應用程序和服務轉化拆分為數十個的微服務。針對微服務的技術特點，我們可以對每一個數據項建立標準接口，對數據接口進行二次封裝，規(guī)范化、標準化、統(tǒng)一化的發(fā)布、訪問管理，以及推送用戶數據以及消息隊列等服務。同時，建立微服務總線接管標準接口，按接口細粒度對數據資源進行管理，形成服務目錄、數據目錄和安全目錄。通過服務目錄、數據目錄及安全目錄的協(xié)同使用，有效避免了服務交換過程中不可監(jiān)督、不可視、不可追溯、不可控導致的數據濫用、冒用和復用。

配合機制創(chuàng)新、制度創(chuàng)新、技術創(chuàng)新，遵循“責權清晰、統(tǒng)建共用、全程管控、標準一致”的原則，建立“誰擁有，誰負責”、“誰使用，誰負責”、“誰流轉、誰負責”的機制。明晰數據在共享交換過程中數據的歸屬權、使用權、管理權，通過微服務總線技術模式，實現(xiàn)數據共享交換服務。最終在“三融五跨”的基礎上，實現(xiàn)政務數據共享交換的“可有”“可用”“可視”“可控”“可溯”，實現(xiàn)“聚、通、用”的新跨越。構建以“三融五跨”為特征的政府數據“聚通用”發(fā)展新格局。

?

微服務總線+數據區(qū)實現(xiàn)邏輯

【可有】分步建立“分布式數據區(qū)”，解決物理分散、數據不搬家問題

借助數據資產“一張圖”，建立數據資產登記情況、目錄發(fā)布情況、數據上架等政務信息資源目錄體系，并對數據進行分級分類。通過數據盤點、登記，建立清晰的數據歸屬權、共享管理權、使用權，確保數據共享交換全流程的可監(jiān)控、可追溯。

對于實現(xiàn)信息系統(tǒng)和數據資源的原始數據，通過數據調度平臺進行數據接入，故需建立專門的數據區(qū)進行數據存儲。采用建立數據區(qū)對數據接口進行標準化二次封裝，替代建立數據前置區(qū)方案。分布式系統(tǒng)主要包含分布式存儲、分布式文件系統(tǒng)、分布式數據庫系統(tǒng)、數據接入功能和異構數據庫接入等功能。實現(xiàn) “數據不搬家、數據不重寫、不打破原有數據管理模式”，解決數據共享交換問題。

針對存量業(yè)務系統(tǒng)原始數據，可采用BaaS服務（后端即服務，是一種新型的垂直領域微服務），進行數據接口的二次封裝，并對數據接口提供規(guī)范化、標準化、統(tǒng)一化的數據緩存、消息推送、消息隊列、數據目錄、接口發(fā)布等服務。

【可用】基于“微服務總線”架構，建立標準化共享交換管道

微服務總線核心功能是按接口細粒度對數據資源進行管理。在提供基于接口總線的指揮調度功能的同時，還提供安全服務，充分滿足數據調度管理的要求。同時，微服務總線將權限控制這些較為繁重的非業(yè)務邏輯內容，遷移到服務路由層面，使得服務集群主體能夠具備更高的可復用性和可測試性。微服務總線業(yè)務流程大致分為：服務管理、權限控制、服務交換。

服務管理的主要功能是將服務管理系統(tǒng)化，可以直接在數據調度方中，方便的維護接口，而且需要有版本管理和權限管理。服務實際上架完成后，可以根據服務管功能，直接進行服務的實際調用測試。

權限控制的主要功能是實現(xiàn)APIKey，通過以密鑰為參數，配合適當的簽名算法，可以得到原始信息的數字簽名，防止內容在傳遞過程中被偽造或篡改。

服務交換的主要功能是透明化服務路由，服務調用者只可以知道當前服務提供者提供了哪些方法，并不知道服務具體在什么位置。以此實現(xiàn)服務的透明化指揮調度，實現(xiàn)對服務的全面掌控。

【可控】基于“ 微服務總線”架構的服務控制

微服務總線提供服務控制功能，如服務流量控制、優(yōu)先級控制，限制了用戶對微服務總線資源的訪問，確保使用者只能訪問它應該訪問到的資源。

提供多級（實例、服務、授權）的服務流量，用于防止在端口阻塞的情況下丟幀，這種方法是當發(fā)送或接收緩沖區(qū)開始溢出時，通過將阻塞信號發(fā)送回源地址實現(xiàn)的。服務流量控制可以有效的防止由于服務中瞬間增大的數據量對網絡帶來的沖擊，保證用戶服務和網絡高效而穩(wěn)定的運行。流量控制可以用于管控服務的被訪問頻率、APP的請求頻率、用戶的請求頻率，控制的時間單位可以是分鐘、小時、天。當流量超過閾值，新來的請求會被微服務總線攔截，確保后端服務可以正常運行。因此流量控制可以用于管控 API的被訪問頻率、APP的請求頻率、用戶的請求頻率，是微服務總線重要的控制手段之一。

通過配置決定服務優(yōu)先通行權的控制方式。例如，要按照服務的性質或是按照服務的來源等，指定其優(yōu)先級，然后微服務總線根據各服務優(yōu)先級的高低，來決定處理各服務的先后次序，甚至在處理過程中，還能允許優(yōu)先級較高的程序中斷優(yōu)先級較低的程序。

【可視】基于“ 微服務總線”架構管控操作日志可視化

微服務總線可將管控操作日志推送至可視化平臺。管控操作日志內容包括：操作日志、故障定位和資源監(jiān)控。微服務總線提供的操作系統(tǒng)日志，包括統(tǒng)計信息，如數量錯誤、最小和最大響應時間以及處理的消息數量。故障定位包括管控、服務消費與管理審計日志，詳盡的服務調用狀況統(tǒng)計、網絡鏈路分析，以及系統(tǒng)巡檢和報警。資源監(jiān)控，提供日志監(jiān)控以及實時報警功能，同時支持提供實例管理、用戶管理、靈活的系統(tǒng)角色權限定制能力。

【可溯】基于“ 微服務總線”架構的數據全流程的追溯

微服務總線是基于微服務架構所呈現(xiàn)的形態(tài)，微服務總線的建立，可以滿足數據調度過程的可控、可溯，對經由微服務總線的所有數據接口、數據流進行全程監(jiān)控，并能夠對整體流程進行審計。同時，微服務組件化管理中的服務目錄還需要形成服務庫表，以供數據調度進行使用。

微服務總線接收數據調度指令，根據數據來源，將數據區(qū)封裝發(fā)布的標準API/SDK接口回調到數據調度平臺，完成整個調度流程。微服務總線可以說是數據調用接口的詳細信息集，用于存儲數據調用的具體參數、調用方式、接口等信息。以此達到全流程化的精細化管理助推政務信息數據資源“一數一源”。

【關于國路安科技】

國路安科技公司成立于 2009 年，是一家專注于大數據領域，為政府、行業(yè)、企業(yè)提供數據整合共享平臺、配套產品研發(fā)、一體化解決方案的高新技術企業(yè)?？偛吭O于西藏，在北京、上海、貴州等11個地區(qū)設有分支機構，目前已形成“兩個中心，七大區(qū)域平臺，多行業(yè)縱深發(fā)展”的全國性戰(zhàn)略布局。

國路安作為工信部“全國信標委大數據工作組”工作組成員之一，創(chuàng)新性的提出以“微服務架構+分布式數據區(qū)”為核心技術的數據整合共享解決方案，并將該方案以及相關產品、技術先后在某人力資源社會保障廳基礎支撐平臺建設、某省數據交換平臺、某部委數據資產梳理等項目中獲得成功應用。

責任編輯：陳近梅