隨著社會的發(fā)展，數(shù)據(jù)已成為最重要的生產(chǎn)資源，是企業(yè)發(fā)展的寶貴財富。大數(shù)據(jù)是工業(yè)社會的“自由”資源，誰掌握了數(shù)據(jù)，誰就掌握了主動權。然而現(xiàn)實中企業(yè)在使用這些數(shù)據(jù)的時候,卻發(fā)現(xiàn)數(shù)據(jù)散落在多個系統(tǒng)當中,無法互相印證、共享，導致數(shù)據(jù)使用效率低下。
為解決這個問題，目前主要有兩種典型途徑：
途徑一：
建設公司級系統(tǒng)，囊括現(xiàn)有各內(nèi)部系統(tǒng)的功能，統(tǒng)一存儲數(shù)據(jù)，企業(yè)級ERP系統(tǒng)就是代表。這個途徑的優(yōu)勢是數(shù)據(jù)統(tǒng)一存儲、信息整合、標準化及一致性強;劣勢是數(shù)據(jù)系統(tǒng)耦合性強、數(shù)據(jù)來源單一、系統(tǒng)龐大復雜、更新升級不便、系統(tǒng)投資大。
途徑二：
建立數(shù)據(jù)共享平臺，將公司內(nèi)重要數(shù)據(jù)共享至這一平臺。各項數(shù)據(jù)經(jīng)清洗、標準化、發(fā)布后形成公司級數(shù)據(jù)，交由其他系統(tǒng)使用。此種方式的代表是主數(shù)據(jù)系統(tǒng)(MDM)。這個途徑的優(yōu)勢各業(yè)務系統(tǒng)解耦，總體系統(tǒng)架構靈活，性能和擴展性強;劣勢是數(shù)據(jù)實時性不強、因存在多副本數(shù)據(jù)有一定冗余。
通過主數(shù)據(jù)管理系統(tǒng)，實現(xiàn)主數(shù)據(jù)為集團公司現(xiàn)有系統(tǒng)提供基礎數(shù)據(jù)資源。實現(xiàn)基礎數(shù)據(jù)在集團公司財務、物資集中管理、銷售、生產(chǎn)等各業(yè)務領域的全方面應用。實現(xiàn)與集團公司在建的所需的各類主數(shù)據(jù)的接收/分發(fā)系統(tǒng)集成規(guī)范和接口功能開發(fā)。
01 主數(shù)據(jù)概述
主數(shù)據(jù)是指具有高業(yè)務價值的、可以在企業(yè)內(nèi)跨越各個業(yè)務部門被重復使用的數(shù)據(jù)，是單一、準確、權威的數(shù)據(jù)來源。
主數(shù)據(jù)包含元數(shù)據(jù)、屬性、定義、角色、關聯(lián)關系、分類方法等內(nèi)容，被不同的應用所使用，設計企業(yè)多數(shù)組織及業(yè)務單元。常見的主數(shù)據(jù)類型有產(chǎn)品、物料、供應商、客戶(客商)、員工、會計科目、組織機構、項目等。
主數(shù)據(jù)管理是一個全面的信息基礎，用于決定和建立單一、準確、及時、權威的事實來源，主數(shù)據(jù)管理最重要的就是數(shù)據(jù)的唯一性、完整性和相互的關系，建立統(tǒng)一、集中的主數(shù)據(jù)系統(tǒng)是信息共享和集成的基礎，良好的系統(tǒng)集成方式和效率是主數(shù)據(jù)系統(tǒng)應用的重要目標。
主數(shù)據(jù)系統(tǒng)支持主動推送和數(shù)據(jù)共享兩類發(fā)布方式，能夠在主數(shù)據(jù)發(fā)生變化時將其推送至目標系統(tǒng)，也可建立主數(shù)據(jù)共享庫，將發(fā)生變化的主數(shù)據(jù)以主題視圖或其它方式存儲于共享數(shù)據(jù)庫中并實時更新，以便于業(yè)務系統(tǒng)采用，同時支持對有主數(shù)據(jù)需求的業(yè)務系統(tǒng)進行定義，通過標準接口或數(shù)據(jù)交換平臺進行標準化的主數(shù)據(jù)分發(fā)。
主數(shù)據(jù)系統(tǒng)與外部業(yè)務系統(tǒng)之間應具有較好的集成性，以保證主數(shù)據(jù)管理的及時性，能夠反映當前業(yè)務的基礎數(shù)據(jù)狀況和滿足當前業(yè)務運營對主數(shù)據(jù)管理的實際需求。
系統(tǒng)建設必須遵照集團統(tǒng)一的數(shù)據(jù)規(guī)范和管理規(guī)范，不僅要考慮系統(tǒng)的完整實現(xiàn)，還要考慮企業(yè)現(xiàn)有系統(tǒng)與之相關業(yè)務的無縫集成能力。集成系統(tǒng)的接口不但要保證暢通的數(shù)據(jù)交換，還要滿足擴展要求，符合接口標準規(guī)范。
同時，系統(tǒng)要預留軟、硬件接口，能夠?qū)崿F(xiàn)與集團現(xiàn)有信息系統(tǒng)的集成，實現(xiàn)數(shù)據(jù)共享。系統(tǒng)的內(nèi)容與標準會隨著企業(yè)的發(fā)展而產(chǎn)生變化，因此，系統(tǒng)建設隨著業(yè)務的變化可以柔性地適應，要便于維護、升級，并留有數(shù)據(jù)接口，利于以后系統(tǒng)變更。
02 主數(shù)據(jù)管理系統(tǒng)
主數(shù)據(jù)的管理是針對異構系統(tǒng)建立的時間前后不一致所采用的折中方式，即在不破壞原有系統(tǒng)數(shù)據(jù)結構的基礎上通過在各個系統(tǒng)上面加上一層“帽子”而采用的一種數(shù)據(jù)映射關系，企業(yè)集團公用的人員、客戶、供應商、物資、財務等數(shù)據(jù)是被映射的主數(shù)據(jù)。
這樣既適應了集團企業(yè)的發(fā)展階段，最大限度的保護了各個子公司單獨的系統(tǒng)的完整性，又為集團集約化管控提供了公用數(shù)據(jù)。
建立集團公司統(tǒng)一的主數(shù)據(jù)管理平臺，可以使基礎數(shù)據(jù)編碼標準化，管理流程規(guī)范化，實現(xiàn)基礎數(shù)據(jù)的集中管理，實現(xiàn)業(yè)務流程的標準化管理及監(jiān)控，保證數(shù)據(jù)質(zhì)量的真實性、一致性、完整性、及時性，提高全集團的數(shù)據(jù)管理能力和數(shù)據(jù)共享能力，提高通過數(shù)據(jù)綜合分析為管理層決策提供依據(jù)的能力。
一個完整的主數(shù)據(jù)管理空平臺既能夠滿足主數(shù)據(jù)整合和分發(fā)，同時能夠完整的滿足主數(shù)據(jù)日常內(nèi)容管理，以及結合服務共享層能力，實現(xiàn)主數(shù)據(jù)服務的共享和發(fā)布。
在原有架構的基礎上，對主數(shù)據(jù)管理平臺進行重新分層，即分為基礎層，應用層和共享層三層?；A層主要是提供基礎引擎和技術服務能力，對于應用層則圍繞主數(shù)據(jù)全生命周期展開，在應用層形成了完整的主數(shù)據(jù)視圖后，再通過最上層的服務共享層提供的能力實現(xiàn)主數(shù)據(jù)數(shù)據(jù)服務的對外快速發(fā)布和共享。
通過主數(shù)據(jù)平臺與有關信息系統(tǒng)的集成，建立集團公司主數(shù)據(jù)的注冊和訂閱分發(fā)機制，發(fā)布標準化數(shù)據(jù)至各應用系統(tǒng)，實現(xiàn)整體數(shù)據(jù)源頭清晰、標準統(tǒng)一、共享應用，促進上下游業(yè)務系統(tǒng)為核心的集團公司系統(tǒng)群充分發(fā)揮整體效用。
03總體集成架構
主數(shù)據(jù)系統(tǒng)是各業(yè)務系統(tǒng)主數(shù)據(jù)的源頭，及時有效的主數(shù)據(jù)自動分發(fā)方案才能確保主數(shù)據(jù)系統(tǒng)的成功實施。為保證數(shù)據(jù)分發(fā)，需在主數(shù)據(jù)系統(tǒng)與目標系統(tǒng)之間建立接口連接。
系統(tǒng)主要采用WEB SERVICE方式對其它系統(tǒng)提供數(shù)據(jù)接口，具體訪問地址和服務名稱根據(jù)實際情況而定。
系統(tǒng)架構具有靈活性和擴展性，能夠以低成本、高效率的方式支持未來系統(tǒng)升級和業(yè)務流程變化。系統(tǒng)支持多語言環(huán)境，系統(tǒng)使用unicode編碼進行系統(tǒng)間數(shù)據(jù)傳輸，對于需要一次傳輸大量數(shù)據(jù)量，采用分段異步數(shù)據(jù)傳輸或?qū)⑼较⑦M行拆分并分段傳輸?shù)姆绞?，保證系統(tǒng)數(shù)據(jù)傳輸?shù)臏蚀_性，避免影響系統(tǒng)性能。
系統(tǒng)接口支持標準WebService、MQ、Mail、文件、數(shù)據(jù)庫等常用方式以及PI等數(shù)據(jù)交換中間件的集成，系統(tǒng)具備定時任務的功能。
系統(tǒng)集成架構圖
集成方案有二種，其中一種是通過數(shù)據(jù)服務總線系統(tǒng)(PO)方式分發(fā)或訂閱主數(shù)據(jù)，另外一種是通過主數(shù)據(jù)系統(tǒng)和目標系統(tǒng)后臺表對表方式傳遞數(shù)據(jù)。結合集團的業(yè)務特點，一般推薦使用企業(yè)數(shù)據(jù)服務總線(PO)的方式進行系統(tǒng)集成。
04 集成方案
主數(shù)據(jù)系統(tǒng)支持系統(tǒng)集成以Web Service、RESTFul服務為傳輸協(xié)議，采用松耦合的方式進行集成。集成方案有二種，其中一種是通過主數(shù)據(jù)搭建接口服務的方式分發(fā)或訂閱主數(shù)據(jù)，另外一種是通過主數(shù)據(jù)系統(tǒng)為目標系統(tǒng)建立接口表的方式，目標系統(tǒng)自主到表中獲取數(shù)據(jù)的方式。
3.1 數(shù)據(jù)來源為業(yè)務系統(tǒng)
數(shù)據(jù)來源為業(yè)務系統(tǒng)的，例如：供應商準入系統(tǒng)等，表現(xiàn)為業(yè)務系統(tǒng)已經(jīng)長時間運行，里面有大量歷史數(shù)據(jù)，且數(shù)據(jù)與新制定標準不存在原則性沖突，同時業(yè)務部門將該業(yè)務系統(tǒng)作為主數(shù)據(jù)管理的主要平臺。主數(shù)據(jù)系統(tǒng)上線后，針對此類主數(shù)據(jù)，其集成方式既要作為接收主數(shù)據(jù)的一方進行管理，同時又要作為發(fā)送一方進行管理。
主要步驟有以下4步：
①業(yè)務系統(tǒng)數(shù)據(jù)發(fā)送至主數(shù)據(jù)接口模塊，由主數(shù)據(jù)接口模塊返回成功、失敗標志，失敗則重復上述步驟;
②主數(shù)據(jù)接口模塊將數(shù)據(jù)發(fā)送至主數(shù)據(jù)系統(tǒng)，由主數(shù)據(jù)系統(tǒng)返回成功、失敗標識至主數(shù)據(jù)接口模塊，再由主數(shù)據(jù)接口模塊將標識返回給業(yè)務系統(tǒng)，如果失敗則重復上述步驟;
③主數(shù)據(jù)系統(tǒng)將數(shù)據(jù)發(fā)送至主數(shù)據(jù)接口模塊，由主數(shù)據(jù)接口模塊返回成功、失敗標識，失敗則重復上述步驟;
④主數(shù)據(jù)接口模塊將數(shù)據(jù)發(fā)送至各個業(yè)務系統(tǒng)，由業(yè)務系統(tǒng)返回成功、失敗標識至主數(shù)據(jù)接口模塊，再由主數(shù)據(jù)接口模塊將標識返回給主數(shù)據(jù)系統(tǒng)，如果失敗則重復上述步驟。
(注：初始化數(shù)據(jù)較大時，建議線下操作，如excel等。上述描述中主數(shù)據(jù)接口模塊過程可省略，省略后即為主數(shù)據(jù)系統(tǒng)與業(yè)務系統(tǒng)點對點集成。)
3.2 數(shù)據(jù)來源為主數(shù)據(jù)系統(tǒng)
數(shù)據(jù)來源為主數(shù)據(jù)系統(tǒng)的，主要是通用性較高，無法在現(xiàn)有的單一業(yè)務系統(tǒng)里面進行管理的主數(shù)據(jù)。此類主數(shù)據(jù)，由于數(shù)據(jù)的產(chǎn)生、審核、變更、存儲、分發(fā)都在同一個系統(tǒng)里面，因此系統(tǒng)集成時，主數(shù)據(jù)系統(tǒng)只作為一個分發(fā)系統(tǒng)，并不接受業(yè)務系統(tǒng)的主數(shù)據(jù)。
主要步驟如下：
①主數(shù)據(jù)系統(tǒng)將數(shù)據(jù)發(fā)送至主數(shù)據(jù)接口模塊，由主數(shù)據(jù)接口模塊返回成功失敗標識，失敗則重復上述步驟;
②主數(shù)據(jù)接口模塊將數(shù)據(jù)發(fā)送至各個業(yè)務系統(tǒng)，由業(yè)務系統(tǒng)返回成功、失敗標識至主數(shù)據(jù)接口模塊，再由主數(shù)據(jù)接口模塊將標識返回給主數(shù)據(jù)系統(tǒng)，如果失敗則重復上述步驟。
3.3 新建系統(tǒng)的集成
新的信息系統(tǒng)上線時，原則上所有主數(shù)據(jù)都應與主數(shù)據(jù)系統(tǒng)里的數(shù)據(jù)一致。因此，針對新建系統(tǒng)，主要有幾方面工作要做：
①收集新建系統(tǒng)所需主數(shù)據(jù)類別;
②查看主數(shù)據(jù)系統(tǒng)代碼體系內(nèi)容，并下載所需代碼;
③根據(jù)下載的代碼，初始化新建系統(tǒng)，并根據(jù)主數(shù)據(jù)系統(tǒng)要求，調(diào)整主數(shù)據(jù)模板;
④新建系統(tǒng)與主數(shù)據(jù)系統(tǒng)約定好集成時間，在集成時間點，根據(jù)新建系統(tǒng)主數(shù)據(jù)需求，下載主數(shù)據(jù)系統(tǒng)內(nèi)對應的靜態(tài)主數(shù)據(jù)，并將其導入新建系統(tǒng);
⑤新建系統(tǒng)完成與主數(shù)據(jù)接口模塊的集成，增量數(shù)據(jù)通過主數(shù)據(jù)接口模塊;
⑥方式接收;若新建系統(tǒng)在主數(shù)據(jù)系統(tǒng)內(nèi)沒有找到所需的代碼，需向公司信息化管理部門申請在主數(shù)據(jù)系統(tǒng)新建對應的分類，待新建的代碼或信息代碼在主數(shù)據(jù)系統(tǒng)建立后再進行系統(tǒng)集成。
3.4 已有系統(tǒng)的集成
（1）數(shù)據(jù)映射方式。
此類系統(tǒng)主要是其歷史數(shù)據(jù)不能或者不愿意按照新的標準進行清洗，可采取數(shù)據(jù)映射的方式進行系統(tǒng)的集成。此類系統(tǒng)集成需要確認其歷史數(shù)據(jù)與主數(shù)據(jù)系統(tǒng)內(nèi)數(shù)據(jù)的對應關系，并在業(yè)務系統(tǒng)內(nèi)部建立映射關系表。
（2）數(shù)據(jù)清洗方式。
此類系統(tǒng)內(nèi)的歷史數(shù)據(jù)可以按照新標準進行清洗，可以直接接收主數(shù)據(jù)系統(tǒng)內(nèi)的相關數(shù)據(jù)。此類系統(tǒng)的集成需先將歷史數(shù)據(jù)導出，然后按照新標準清洗后，同時導入主數(shù)據(jù)系統(tǒng)和業(yè)務系統(tǒng)，然后再進行系統(tǒng)集成。
05 集成測試
系統(tǒng)集成完成后，需要模擬生產(chǎn)環(huán)境對集成接口進行驗證，測試過程中既要選擇有效、合理的數(shù)據(jù)進行測試，也要選擇無效、不合理的數(shù)據(jù)進行測試，用以發(fā)現(xiàn)接口問題并及時處理。
06 集成效果
主數(shù)據(jù)管理系統(tǒng)通過系統(tǒng)接口，將一致的、唯一的、標準的數(shù)據(jù)發(fā)放給需要使用該數(shù)據(jù)的各個系統(tǒng)。主數(shù)據(jù)管理系統(tǒng)可確保主數(shù)據(jù)的全生命周期管理。
從創(chuàng)建，修改，使用，停用等多個環(huán)節(jié)進行管理，統(tǒng)一各個業(yè)務系統(tǒng)主數(shù)據(jù)，避免使用主數(shù)據(jù)的業(yè)務系統(tǒng)不必再次進行功能重復建設。一定程度上節(jié)省了信息化建設資金。
07 總結
綜上所述，通過搭建統(tǒng)一的主數(shù)據(jù)管理平臺，將各類數(shù)據(jù)標準及數(shù)據(jù)明細進行統(tǒng)一管理，實現(xiàn)主數(shù)據(jù)的在線申請、審批、分發(fā)等功能。
分享到微信 ×
打開微信，點擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。
基于企業(yè)服務總線的主數(shù)據(jù)管理系統(tǒng)（...
