目前，我正在體系化更新數(shù)據(jù)資源管理/數(shù)據(jù)治理/數(shù)據(jù)中臺(tái)系列文章。
今天的文章，我們繼續(xù)聊一聊：主數(shù)據(jù)管理。
前段時(shí)間，寫了一篇關(guān)于主數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)中臺(tái)差異的文章(點(diǎn)擊查看)，有個(gè)讀者，也是同行，閱讀完后私信我說，自己企業(yè)已經(jīng)從數(shù)據(jù)中臺(tái)轉(zhuǎn)型了，砍掉了數(shù)據(jù)中臺(tái)產(chǎn)品，全力做主數(shù)據(jù)管理平臺(tái)了。
大家都知道市面上做數(shù)據(jù)中臺(tái)的廠商，沒有 100 家，也有 50 家，可以說是魚龍混雜。
前幾年數(shù)據(jù)中臺(tái)火的時(shí)候，大大小小的企業(yè)，認(rèn)為所謂的數(shù)據(jù)中臺(tái)，不就是通過開源組件拼裝的軟件嗎，有啥難的?居然賣幾百萬。
于是，都想湊過來想要分一杯羹，紛紛入局。
隨著數(shù)據(jù)中臺(tái)近幾年的熱度持續(xù)下降，市面上的數(shù)據(jù)中臺(tái)廠商也進(jìn)行了一輪大面積的清洗。
很多中小型企業(yè)，紛紛轉(zhuǎn)型或者直接倒閉了。
據(jù)我所知，包含數(shù)瀾科技、袋鼠云和奇點(diǎn)云，原來這些頭部獨(dú)立第三方數(shù)據(jù)中臺(tái)廠商，由于缺少外部輸血，市場(chǎng)預(yù)冷，加上自身造血能力不足等因素，這兩年都進(jìn)行大大小小規(guī)模的裁員。
數(shù)據(jù)中臺(tái)市場(chǎng)會(huì)一直存在，但，競(jìng)爭將會(huì)越來越集中，也會(huì)越來越激烈，不過對(duì)于甲方來說，也許是一件好事，至少選擇的成本更低，服務(wù)也更能得到保障。
有人說中國的 ToB 軟件市場(chǎng)走過了最艱苦的 10 年，也許還要再走 10 年....
行業(yè)從業(yè)者流下了心碎的眼淚。
扯遠(yuǎn)了，今天的文章，我們聊一聊，開頭的同行為啥轉(zhuǎn)行了，不搞數(shù)據(jù)中臺(tái)而是去專注搞主數(shù)據(jù)管理平臺(tái)，兩者有何差異?轉(zhuǎn)行背后的思考是什么?企業(yè)是更需要主數(shù)據(jù)管理還是數(shù)據(jù)中臺(tái)?
01、主數(shù)據(jù)管理系統(tǒng)屬于數(shù)據(jù)中臺(tái)嗎？
這是一個(gè)很經(jīng)典的問題，也非常具有迷惑性。
首先，先說一下答案，主數(shù)據(jù)管理系統(tǒng)不屬于數(shù)據(jù)中臺(tái)，嚴(yán)格意義上來說，主數(shù)據(jù)管理系統(tǒng)更偏向于業(yè)務(wù)中臺(tái)的范疇。
當(dāng)然，即使你沒有業(yè)務(wù)中臺(tái)，依然可以單獨(dú)構(gòu)建主數(shù)據(jù)管理平臺(tái)。
什么是主數(shù)據(jù)管理平臺(tái)?
主數(shù)據(jù)管理系統(tǒng)(MDM，Master Data Management)的核心職責(zé)是管理企業(yè)的核心業(yè)務(wù)對(duì)象(如客戶、商品、供應(yīng)商等)的基礎(chǔ)數(shù)據(jù)，確保數(shù)據(jù)的統(tǒng)一性、準(zhǔn)確性和完整性。
主要功能包括主數(shù)據(jù)建模、主數(shù)據(jù)標(biāo)準(zhǔn)定義、數(shù)據(jù)清洗與匹配、版本控制和分發(fā)等。
具體見下方架構(gòu)圖：
主數(shù)據(jù)管理系統(tǒng)架構(gòu) 來源于億信華辰
那么，考題來了：訂單流水?dāng)?shù)據(jù)屬不屬于主數(shù)據(jù)?
答案是：不屬于。
判斷是不是主數(shù)據(jù)，需要從三個(gè)維度出發(fā)來判斷，分別是核心、穩(wěn)定、可復(fù)用。
核心性：主數(shù)據(jù)通常描述企業(yè)最關(guān)鍵的業(yè)務(wù)對(duì)象，如客戶、產(chǎn)品、供應(yīng)商、員工等。
穩(wěn)定性：主數(shù)據(jù)的變動(dòng)頻率較低，更新通常是通過治理流程完成的，不像交易數(shù)據(jù)或日志數(shù)據(jù)那樣頻繁變化。
復(fù)用性：主數(shù)據(jù)為不同場(chǎng)景提供服務(wù)，具有高復(fù)用價(jià)值。例如，一個(gè)“商品目錄”可能用于電商、倉儲(chǔ)、財(cái)務(wù)對(duì)賬等多個(gè)業(yè)務(wù)。
而訂單流水?dāng)?shù)據(jù)是典型的交易數(shù)據(jù)，不屬于主數(shù)據(jù)范疇。
所謂的交易數(shù)據(jù)，是指描述企業(yè)活動(dòng)、事件或操作的數(shù)據(jù)，例如訂單、發(fā)票、支付記錄等。
這些數(shù)據(jù)的特性是：
頻繁更新：交易數(shù)據(jù)隨業(yè)務(wù)活動(dòng)的發(fā)生而持續(xù)生成和變更。
高時(shí)效性：訂單流水?dāng)?shù)據(jù)通常反映的是業(yè)務(wù)活動(dòng)的實(shí)時(shí)狀態(tài)，比如訂單提交、支付完成等。
不具備復(fù)用性：訂單流水?dāng)?shù)據(jù)通常是一次性的，很少被跨業(yè)務(wù)復(fù)用。
通常訂單流水?dāng)?shù)據(jù)包括訂單號(hào)、時(shí)間戳、商品明細(xì)、金額等信息。
這些數(shù)據(jù)有以下特點(diǎn)：
動(dòng)態(tài)變化：例如訂單狀態(tài)從“待支付”變?yōu)?ldquo;已支付”，然后到“已完成”。
非共享性：訂單流水?dāng)?shù)據(jù)通常針對(duì)特定業(yè)務(wù)或用戶，主要用于分析和運(yùn)營。
不穩(wěn)定性：訂單流水是典型的高頻交易數(shù)據(jù)，數(shù)據(jù)量龐大且生命周期短。
因此，并不是我們通常認(rèn)為很重要的數(shù)據(jù)，就是主數(shù)據(jù)，這是一個(gè)很普遍的誤解。
那么，主數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)中臺(tái)是什么關(guān)系呢?
屬于典型的上下游關(guān)系，主數(shù)據(jù)管理系統(tǒng)為數(shù)據(jù)中臺(tái)提供高質(zhì)量的數(shù)據(jù)輸入，數(shù)據(jù)中臺(tái)以主數(shù)據(jù)為基礎(chǔ)，支持跨業(yè)務(wù)的數(shù)據(jù)加工、治理和服務(wù)化。
更加詳細(xì)的差異對(duì)比如下：
市面上不少企業(yè)誤以為主數(shù)據(jù)管理系統(tǒng)屬于數(shù)據(jù)中臺(tái)，甚至認(rèn)為數(shù)據(jù)中臺(tái)可以替代主數(shù)據(jù)管理。
這種認(rèn)知可能帶來一些落地的麻煩，核心問題是：
1.數(shù)據(jù)中臺(tái)無法完成主數(shù)據(jù)治理：中臺(tái)擅長的是消費(fèi)整合數(shù)據(jù)，缺乏深入的校驗(yàn)、去重、數(shù)據(jù)版本控制(非開發(fā)腳本版本控制)、主數(shù)據(jù)變更版本控制等功能，強(qiáng)行擴(kuò)展會(huì)導(dǎo)致中臺(tái)性能下降。
2.管理成本增加：如果沒有專門的主數(shù)據(jù)管理系統(tǒng)，主數(shù)據(jù)的混亂問題將反復(fù)出現(xiàn)，數(shù)據(jù)質(zhì)量低下會(huì)影響后續(xù)業(yè)務(wù)決策。
簡單來說，主數(shù)據(jù)管理系統(tǒng)是數(shù)據(jù)中臺(tái)高效運(yùn)轉(zhuǎn)的“地基”，而數(shù)據(jù)中臺(tái)則是讓主數(shù)據(jù)創(chuàng)造價(jià)值的“橋梁”。
企業(yè)在設(shè)計(jì)數(shù)據(jù)架構(gòu)時(shí)，應(yīng)明確兩者的角色，做到分工明確，各司其職，才能實(shí)現(xiàn)數(shù)據(jù)價(jià)值的最大化。
02、為什么企業(yè)更需要主數(shù)據(jù)管理平臺(tái)
很多企業(yè)處于數(shù)字化轉(zhuǎn)型的早期或初期，其實(shí)，并不適合大躍進(jìn)式的搞各類數(shù)據(jù)工具或平臺(tái)。
比如直接上百萬立項(xiàng)一個(gè)數(shù)據(jù)中臺(tái)項(xiàng)目，而自己內(nèi)部還沒有想清楚如何使用數(shù)據(jù)。
而主數(shù)據(jù)管理系統(tǒng)，則是一個(gè)更偏向業(yè)務(wù)視角的“數(shù)據(jù)管理”平臺(tái)。
即使企業(yè)沒有人說得清楚內(nèi)部數(shù)據(jù)如何使用，依然可以清晰的判斷，內(nèi)部的主數(shù)據(jù)是否準(zhǔn)確，以及主數(shù)據(jù)混亂給企業(yè)管理和經(jīng)營帶來哪些問題。
而這則是企業(yè)最直接的業(yè)務(wù)數(shù)據(jù)痛點(diǎn)。
相比于使用數(shù)據(jù)中臺(tái)如何給企業(yè)業(yè)務(wù)“各種賦能”(這個(gè)詞現(xiàn)在說的也比較少了)，把主數(shù)據(jù)搞規(guī)范、搞準(zhǔn)確，更適合作為企業(yè)數(shù)字化轉(zhuǎn)型的第一站，也更易于做出結(jié)果，給企業(yè)自身增加信心。
這樣說可能還是比較抽象，主數(shù)據(jù)管理平臺(tái)到底有什么價(jià)值?能夠解決什么問題?
可以從以下維度進(jìn)行說明：
1.專注核心數(shù)據(jù)，解決基礎(chǔ)問題
主數(shù)據(jù)是企業(yè)運(yùn)行的基石，覆蓋客戶、供應(yīng)商、商品等核心實(shí)體信息。這些數(shù)據(jù)需要確保一致性、準(zhǔn)確性和唯一性。
主數(shù)據(jù)管理平臺(tái)提供從數(shù)據(jù)模型到全生命周期治理的完整方案，專注于核心數(shù)據(jù)質(zhì)量提升。
案例：某零售企業(yè)在不同系統(tǒng)中存在多個(gè)“同一客戶”信息記錄，導(dǎo)致營銷活動(dòng)重復(fù)或失效。通過主數(shù)據(jù)管理平臺(tái)，統(tǒng)一客戶視圖，避免了資源浪費(fèi)。
2. 應(yīng)對(duì)多系統(tǒng)協(xié)作與數(shù)據(jù)孤島
企業(yè)往往擁有多個(gè)業(yè)務(wù)系統(tǒng)，如ERP、CRM、供應(yīng)鏈管理系統(tǒng)，這些系統(tǒng)共享的核心數(shù)據(jù)容易形成孤島。
主數(shù)據(jù)管理平臺(tái)可以集中治理核心實(shí)體數(shù)據(jù)，實(shí)現(xiàn)跨系統(tǒng)的準(zhǔn)確同步，避免重復(fù)數(shù)據(jù)和沖突。
案例：某制造企業(yè)采用主數(shù)據(jù)管理平臺(tái)后，將ERP和CRM中的供應(yīng)商數(shù)據(jù)整合，統(tǒng)一了采購流程，提高了供應(yīng)鏈效率。
3. 支撐復(fù)雜業(yè)務(wù)需求，提升數(shù)據(jù)可信度
主數(shù)據(jù)是企業(yè)運(yùn)營和分析的基礎(chǔ)數(shù)據(jù)，其質(zhì)量直接決定了后續(xù)數(shù)據(jù)開發(fā)、分析的可信度。
主數(shù)據(jù)管理平臺(tái)提供數(shù)據(jù)標(biāo)準(zhǔn)化和一致性，確保所有業(yè)務(wù)部門使用同一版本的事實(shí)數(shù)據(jù)，從根本上提升數(shù)據(jù)驅(qū)動(dòng)的效果。
案例：一家電商企業(yè)利用MDM提升商品主數(shù)據(jù)質(zhì)量后，不僅降低了訂單處理時(shí)間，還減少了物流糾紛。
03、為啥有的企業(yè)說數(shù)據(jù)中臺(tái)可以做主數(shù)據(jù)治理
上面已經(jīng)解釋了數(shù)據(jù)中臺(tái)和主數(shù)據(jù)管理的差異，以及為什么處于數(shù)字化轉(zhuǎn)型初期的企業(yè)，應(yīng)該優(yōu)先構(gòu)建主數(shù)據(jù)管理系統(tǒng)。
那么，該采購單獨(dú)的主數(shù)據(jù)管理系統(tǒng)呢?還是直接采購一個(gè)數(shù)據(jù)中臺(tái)，用數(shù)據(jù)中臺(tái)來做主數(shù)據(jù)管理呢?
我們先來看一下常見的數(shù)據(jù)中臺(tái)的架構(gòu)圖：
圖片來源于網(wǎng)易數(shù)帆
可以看出，數(shù)據(jù)中臺(tái)也有標(biāo)準(zhǔn)管理、數(shù)據(jù)同步、數(shù)據(jù)服務(wù)模塊。
那么，是不是可以直接用數(shù)據(jù)中臺(tái)來做主數(shù)據(jù)管理系統(tǒng)用呢?
理論上是可以的，只是有些錯(cuò)位。
畢竟主數(shù)據(jù)管理系統(tǒng)處理的是相對(duì)有限、形態(tài)穩(wěn)定的企業(yè)核心數(shù)據(jù)，而數(shù)據(jù)中臺(tái)則是面向企業(yè)大數(shù)據(jù)加工治理及開放應(yīng)用場(chǎng)景的工具，這就導(dǎo)致，用起來很別扭，有種“殺雞用牛刀”的感覺。
另一方面，很多數(shù)據(jù)中臺(tái)底層通常是用 HDFS 作為存儲(chǔ)，這就導(dǎo)致歷史數(shù)據(jù)的更新非常麻煩，通常要?jiǎng)h除歷史數(shù)據(jù)重新寫入，這可能會(huì)導(dǎo)致主數(shù)據(jù)服務(wù)不穩(wěn)定的問題，導(dǎo)致主數(shù)據(jù)服務(wù)中斷的風(fēng)險(xiǎn)。
市面上有不少企業(yè)，想要一步到位，直接采購一個(gè)數(shù)據(jù)中臺(tái)，既承載主數(shù)據(jù)管理的場(chǎng)景，又承載內(nèi)部數(shù)據(jù)加工、治理、資產(chǎn)管理及開放服務(wù)的場(chǎng)景。
這并不是一個(gè)單純對(duì)錯(cuò)的問題。
商業(yè)本身確實(shí)比較復(fù)雜，如果預(yù)算有限這么做未嘗不可，只是后續(xù)一些“主數(shù)據(jù)管理”的需求，通常數(shù)據(jù)中臺(tái)廠商是不會(huì)接的，會(huì)比較難受。
04、結(jié)語
主數(shù)據(jù)管理系統(tǒng)與數(shù)據(jù)中臺(tái)是企業(yè)數(shù)據(jù)治理體系中不可或缺的兩個(gè)部分，但它們的職責(zé)并不重疊。
簡單來說，主數(shù)據(jù)管理系統(tǒng)是數(shù)據(jù)中臺(tái)高效運(yùn)轉(zhuǎn)的“地基”，而數(shù)據(jù)中臺(tái)則是讓主數(shù)據(jù)創(chuàng)造價(jià)值的“橋梁”。
企業(yè)在設(shè)計(jì)數(shù)據(jù)架構(gòu)時(shí)，應(yīng)明確兩者的角色，做到分工明確，各司其職，才能實(shí)現(xiàn)數(shù)據(jù)價(jià)值的最大化。
分享到微信 ×
打開微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。
傳化集團(tuán)流程與IT部總經(jīng)理賴江龍：催...
