近十年，BI 市場風(fēng)云變幻，新名詞層出不窮，如大數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)體系、數(shù)據(jù)湖、湖倉一體、數(shù)據(jù)中臺等;這些層出不窮的概念如潮水般涌來，很多看起來高大上的概念并沒有帶來新的價值，讓眾多投身于數(shù)字化轉(zhuǎn)型的團隊深感困惑與迷茫。
然而，在 AI 大模型問世前，在傳統(tǒng)企業(yè)的數(shù)字化建設(shè)過程中，非結(jié)構(gòu)化數(shù)據(jù)實際上并未得到有效利用。盡管文字、圖片、視頻等各種形式的數(shù)據(jù)都存儲于大數(shù)據(jù)體系，但處理效率極低。這些非結(jié)構(gòu)化數(shù)據(jù)大多被閑置，那些新的數(shù)據(jù)架構(gòu)體系創(chuàng)造的價值并沒有超過傳統(tǒng)的數(shù)據(jù)倉庫，白白浪費了數(shù)字化團隊的時間精力和預(yù)算。
今天，我想結(jié)合自身的從業(yè)經(jīng)歷，講一下我所見證的 BI 發(fā)展歷程。初入 SAP 行業(yè)時，我首先接觸到的便是 SAP 的 BI 和數(shù)據(jù)倉庫產(chǎn)品。此后，行業(yè)發(fā)展風(fēng)起云涌，我經(jīng)歷了 SAP 收購 BOBJ 的重要階段，也見證了 SAP 的 HANA 分布式數(shù)據(jù)庫時期，一直到后來的 SaaS 化數(shù)據(jù)平臺出現(xiàn)。隨著行業(yè)發(fā)展，我在工作中又接觸到了大量互聯(lián)網(wǎng)業(yè)務(wù)體系。在互聯(lián)網(wǎng)業(yè)務(wù)運營中，指標體系至關(guān)重要。再往后，隨著 AI 大模型的問世，一系列與之相關(guān)的新概念如雨后春筍般涌現(xiàn)出來，開啟了新的發(fā)展篇章。
IT統(tǒng)籌下的BI體系
SAP 自身的 BI 產(chǎn)品是典型的以 IT 視角為主導(dǎo)的產(chǎn)品體系。在這個體系中，IT 團隊承擔(dān)著從各個業(yè)務(wù)系統(tǒng)借助 ETL(Extract, Transform, Load)流程抽取數(shù)據(jù)至數(shù)據(jù)倉庫的工作，隨后利用專業(yè)的報表設(shè)計工具為業(yè)務(wù)團隊構(gòu)建各式各樣的報表。而業(yè)務(wù)團隊僅需使用這些報表即可;若業(yè)務(wù)團隊有不滿意的地方，IT 團隊會對報表進行修改并重新發(fā)布。這種BI 的開發(fā)部署流程，跟大部分軟件系統(tǒng)的開發(fā)流程比較類似。
IT主導(dǎo)的BI流程往往比較嚴謹，對數(shù)據(jù)的權(quán)限把控良好，所開發(fā)報表的運行性能也相對較高。這種 IT 主導(dǎo)的建設(shè)模式，通常適用于多業(yè)務(wù)單元的大型集團，像世界五百強企業(yè)、跨國公司等。因為在這些企業(yè)中，不同業(yè)務(wù)單元的數(shù)據(jù)需要進行適當?shù)臋?quán)限隔離，同時綜合性的數(shù)據(jù)還需要在集團層面進行匯總處理，所以 IT 的管控在此情境下顯得尤為關(guān)鍵。
然而，這種模式也存在較為顯著的缺點，即效率不高且業(yè)務(wù)靈活性不足。特別是當業(yè)務(wù)團隊和 IT 團隊在地理或溝通層面距離較遠時，一個簡單的業(yè)務(wù)需求可能需要花費數(shù)天才能完成交付。這種情況在一定程度上阻礙了業(yè)務(wù)的快速響應(yīng)和發(fā)展，難以適應(yīng)日益增長的業(yè)務(wù)需求以及快速變化的市場環(huán)境。
業(yè)務(wù)自助的BI體系
2007 年 10 月，SAP 宣布以 68 億美元的價格收購 Business Objects2。這是 SAP 歷史上較大的一筆收購交易，引起了業(yè)界的廣泛關(guān)注。SAP 獲得了 BOBJ 先進的商務(wù)智能技術(shù)和產(chǎn)品，如水晶報表(Crystal Reports)、Web Intelligence 等，這些產(chǎn)品與 SAP 原有的企業(yè)資源規(guī)劃(ERP)等系統(tǒng)相結(jié)合，為客戶提供了更全面、更強大的數(shù)據(jù)分析和決策支持功能。
在 Business Objects 的產(chǎn)品體系架構(gòu)之中，用戶主體通常是源自業(yè)務(wù)團隊的數(shù)據(jù)分析人員。他們常常憑借各類自助式的操作手段，僅通過簡便的拖拉拽動作便能構(gòu)建出報表體系，這與當下的低代碼開發(fā)平臺極為相似。
此類 BI 開發(fā)模式一般適用于中小型企業(yè)，或者是各業(yè)務(wù)單元相對獨立的公司中，各業(yè)務(wù)公司在自身的業(yè)務(wù)范疇內(nèi)他們擁有較大的權(quán)限和自由度。業(yè)務(wù)人員能夠依據(jù)自身需求，靈活運用該模式快速搭建符合業(yè)務(wù)邏輯的報表，無需過多依賴專業(yè)的技術(shù)人員，從而大大提高了數(shù)據(jù)處理的效率，使數(shù)據(jù)能夠更及時、準確地為業(yè)務(wù)決策提供支持，進一步提升了業(yè)務(wù)的響應(yīng)速度和創(chuàng)新能力。
互聯(lián)網(wǎng)化的BI指標體系
在傳統(tǒng)企業(yè)當中，由于自身的業(yè)務(wù)周期較長，從客戶獲取到最后的現(xiàn)金流通常需要幾個月甚至跨年，這樣的情況下KPI 和績效目標的指引通常是以季度和年度作為時間周期來設(shè)定的。然而在互聯(lián)網(wǎng)行業(yè)里，無論是互聯(lián)網(wǎng)金融，還是互聯(lián)網(wǎng)電商，其業(yè)務(wù)的周期更短，通常以天甚至分鐘就可以完成一個閉環(huán)。在這種情況下，互聯(lián)網(wǎng)公司的運營必須要用更易于量化的指標體系來指引業(yè)務(wù)的運營。
指標作為評估業(yè)務(wù)目標表現(xiàn)或者效果的量化參數(shù)，其最為直觀的作用便是將業(yè)務(wù)進行量化處理。各個行業(yè)都擁有自身獨特的關(guān)鍵指標，像媒體廣告領(lǐng)域的點擊率，物流行業(yè)的準時送達率，以及電商平臺的商品轉(zhuǎn)化率等。大家感興趣的話，神策數(shù)據(jù)的指標拆解工具里也可以找到不同行業(yè)的指標模板。
很多傳統(tǒng)企業(yè)在向互聯(lián)網(wǎng)學(xué)習(xí)的過程中，紛紛將自身業(yè)務(wù)進行在線化改造以實現(xiàn)數(shù)據(jù)閉環(huán)。通過數(shù)據(jù)閉環(huán)的指標體系，企業(yè)能夠及時了解業(yè)務(wù)狀況，公司的每個業(yè)務(wù)環(huán)節(jié)得以量化和透明化，企業(yè)可以清晰地了解目標與現(xiàn)狀之間的差距，進而利用這些信息更精準地進行決策，調(diào)整運營策略。
傳統(tǒng)企業(yè)在構(gòu)建指標體系的進程中，切不可盲目地全盤照搬互聯(lián)網(wǎng)巨頭的體系?；ヂ?lián)網(wǎng)巨頭所依托的基礎(chǔ)架構(gòu)非常復(fù)雜，成本高昂，各種大數(shù)據(jù)平平臺，分布式數(shù)據(jù)庫體系，多云架構(gòu)，一個大數(shù)據(jù)的開發(fā)人員成本可能就超過了一套BI系統(tǒng)的產(chǎn)品，這些體系并非普通企業(yè)所能輕易承受和維持的。倘若企業(yè)自身業(yè)務(wù)規(guī)模相對較小，不妨參考衡石 BI 的指標體系平臺。傳統(tǒng)企業(yè)的 BI 平臺若運用得當，同樣能夠搭建出頗為出色且適配自身的指標體系。
BI+低代碼，更深入業(yè)務(wù)的數(shù)據(jù)應(yīng)用
有些公司在傳統(tǒng)的BI指標體系上做了進一步的創(chuàng)新，例如平安證券的微卡片應(yīng)用。每個微卡片代表一個獨立的業(yè)務(wù)功能，作為前端業(yè)務(wù)呈現(xiàn)。既可以獨立使用、分享，還能嵌入其他頁面，一次創(chuàng)作可多次復(fù)用，大大提高了開發(fā)效率。例如平安證券的微卡片平臺卡片復(fù)用率高達 191.44% 以上。
微卡片應(yīng)用包括展示類，如卡片看板、數(shù)據(jù)大屏等;操作類，像操作表單、報表等;辦公協(xié)同類，涵蓋在線 PPT、在線 Excel 和微會議等工具。不同的卡片靈活組裝到不同的應(yīng)用場景，滿足業(yè)務(wù)在數(shù)字化轉(zhuǎn)型過程中多樣化、個性化的需求，打破了傳統(tǒng)前端應(yīng)用模式。微卡片應(yīng)用讓不具備專業(yè)前端開發(fā)技能的人員，如業(yè)務(wù)人員、后端人員、運維人員等也能參與到前端界面的開發(fā)，提高了業(yè)務(wù)人員的參與度。
微卡片應(yīng)用可以看作一種BI與低代碼產(chǎn)品的融合和擴展。
AI輔助的BI產(chǎn)品- ChatBI
人們?nèi)粘Ｉ钪刑幚淼男畔⒍嗍亲匀浑S意的語言交流內(nèi)容，而 BI 系統(tǒng)是基于結(jié)構(gòu)化數(shù)據(jù)和特定分析邏輯構(gòu)建的。人類并非天生就擅長應(yīng)對數(shù)字世界，對大多數(shù)人來說，用數(shù)據(jù)分析師思維方式相當相當費腦。AI 大模型出現(xiàn)后，能否跨越人類語言與結(jié)構(gòu)化數(shù)據(jù)體系的鴻溝呢?于是，各種基于 AI 大模型的 ChatBI 體系應(yīng)運而生，它能讓普通用戶用熟悉的語言風(fēng)格便捷使用 BI 系統(tǒng)，降低使用門檻，提升用戶體驗。
許多技術(shù)同學(xué)或許會期待 Text - To - SQL 的直接轉(zhuǎn)化，例如將企業(yè)的數(shù)據(jù)全部存儲在一個容量更大的數(shù)據(jù)庫里，使得提出的任何問題都能精準地匹配到一個 SQL 的執(zhí)行，并返回所需的數(shù)據(jù)。如此一來，是不是就可以不再依賴當前現(xiàn)有的 BI 體系了呢?我們也嘗試過用Vanna這樣的開源體系搭建了一些Demo，在處理簡單的數(shù)據(jù)時效果還是不錯的。
大家或許對 Text-To-SQL 的閉環(huán)操作寄予了很高的期望，但實踐結(jié)果卻顯示其準確率并不理想。大部分Text-To-SQL 的系統(tǒng)的準確率只能達到60%左右，如果把數(shù)據(jù)庫的結(jié)構(gòu)信息補充給大模型，并把數(shù)據(jù)庫里執(zhí)行過的SQL執(zhí)行做人工的文本標注，加入相關(guān)的上下文的文檔后，準確率可以提升至90%左右。詳細的內(nèi)容可以參考這篇文章：
https://vanna.ai/blog/ai-sql-accuracy.html
在實際業(yè)務(wù)環(huán)境中，數(shù)據(jù)的來源和邏輯錯綜復(fù)雜，自然語言的模糊性和數(shù)據(jù)的精準性存在巨大差異，畢竟 AI 大語言模型是概率模型，而 BI 更像精準的機器。人工增加數(shù)據(jù)的上下文固然可以提高精準度，但是也提升了AI數(shù)據(jù)自動化的成本。
在 ChatBI 實際落地應(yīng)用過程中，更為可行的方式或許是對已有的 BI 報表和卡片添加一定的文本標注。通過這種方式，能夠讓數(shù)據(jù)的使用變得更加便捷。如此一來，業(yè)務(wù)人員無需再進入專門的 BI 系統(tǒng)進行查看，只需在 IM 聊天系統(tǒng)中通過自然語言溝通就能喚起這些數(shù)據(jù)，從而極大地提高了數(shù)據(jù)使用的效率和便捷性。即便 AI 出現(xiàn)調(diào)用錯誤數(shù)據(jù)卡片的情況，業(yè)務(wù)人員也能夠依據(jù)卡片上的其他標注內(nèi)容迅速察覺錯誤，避免因錯誤數(shù)據(jù)而導(dǎo)致的決策失誤。
AI自動駕駛下的BI體系
一些大型企業(yè)的ERP系統(tǒng)中包含幾萬張表，這些數(shù)據(jù)表之間也有非常復(fù)雜的關(guān)聯(lián)，針對這樣的場景，即便是這樣的專業(yè)數(shù)據(jù)分析師要梳理其中邏輯關(guān)系也極為困難。在AI能夠?qū)崿F(xiàn)BI的自動駕駛之前，一定是建立在全面理解企業(yè)的業(yè)務(wù)基礎(chǔ)之上。
在企業(yè)中，只有一小部分人同時具備利用數(shù)據(jù)的兩項關(guān)鍵技能：一是對高級 SQL 有扎實理解，二是全面了解組織獨特的數(shù)據(jù)結(jié)構(gòu)和模式，同時滿足這兩個條件的人數(shù)極少。
AI 大模型的出現(xiàn)為突破這一瓶頸帶來了曙光。通過對企業(yè)歷史數(shù)據(jù)、各業(yè)務(wù)系統(tǒng)、業(yè)務(wù)流程文檔、用戶操作記錄和員工組織的溝通記錄等多源數(shù)據(jù)的學(xué)習(xí)，AI 可以構(gòu)建起對企業(yè)業(yè)務(wù)全面且深入的理解模型。
例如，對于一家大型制造企業(yè)，AI 可以學(xué)習(xí)從原材料采購、生產(chǎn)排期、質(zhì)量檢測到產(chǎn)品銷售整個鏈條的數(shù)據(jù)邏輯。它能理解不同部門在不同業(yè)務(wù)環(huán)節(jié)對數(shù)據(jù)的需求，以及這些數(shù)據(jù)是如何在各個流程中流轉(zhuǎn)和變化的。在這個學(xué)習(xí)過程中，AI 不再局限于簡單的數(shù)據(jù)關(guān)聯(lián)分析，而是從業(yè)務(wù)的本質(zhì)出發(fā)，像人類專家一樣理解數(shù)據(jù)的 “生命歷程”。
當 AI 實現(xiàn)了對企業(yè)業(yè)務(wù)的深度理解后，還需要掌握對數(shù)據(jù)工具的靈活使用，例如各類數(shù)據(jù)的抽取、清洗、分析和可視化呈現(xiàn)等一系列操作，要能夠把人類的分析意圖自動拆解成一個個 AI 可以驅(qū)動的環(huán)節(jié)，并將這些環(huán)節(jié)拼接成可執(zhí)行的閉環(huán)流程。以銷售數(shù)據(jù)分析為例，AI 可以根據(jù)市場動態(tài)、銷售區(qū)域、產(chǎn)品類型等多個維度自動生成分析報告，及時為企業(yè)決策提供支持。
不僅如此，除了被動執(zhí)行用戶的數(shù)據(jù)請求外，AI 系統(tǒng)還應(yīng)自動生成大量的數(shù)據(jù)看板、卡片和故事展示給用戶。用戶點贊、關(guān)注以及修正的數(shù)據(jù)能夠反過來進一步指導(dǎo) AI 的進化，形成一種良性的互動反饋機制，使 AI 在企業(yè)數(shù)據(jù)應(yīng)用場景中持續(xù)優(yōu)化，更好地服務(wù)于企業(yè)的數(shù)字化發(fā)展需求。
然而，要實現(xiàn) AI 在 BI 體系中的自動駕駛并非一蹴而就。一方面，企業(yè)需要投入大量的資源來訓(xùn)練和優(yōu)化 AI 模型，包括高質(zhì)量的數(shù)據(jù)標注、強大的計算資源等。另一方面，企業(yè)也需要建立起完善的數(shù)據(jù)治理體系，確保數(shù)據(jù)的質(zhì)量、一致性和完整性。只有在數(shù)據(jù)質(zhì)量可靠的基礎(chǔ)上，AI 才能更好地發(fā)揮其自動駕駛的優(yōu)勢。
大家也可以做一個預(yù)判，在BI領(lǐng)域，數(shù)據(jù)的自動駕駛什么時候能實現(xiàn)呢?
分享到微信 ×
打開微信，點擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。
王愛民：智能制造發(fā)展重點與趨勢-決策
