數(shù)據(jù)與決策
現(xiàn)代世界充斥著數(shù)據(jù)。經(jīng)驗數(shù)據(jù)，由機器人和人類抓取、收集和存儲。人工數(shù)據(jù)，由科學家和工程師創(chuàng)建和運行的模型和模擬生成。甚至高管和主題專家的意見，記錄下來以備日后使用，也是數(shù)據(jù)。
為了什么?我們?yōu)槭裁匆ㄟ@么多時間和精力收集數(shù)據(jù)?數(shù)據(jù)革命的口號是數(shù)據(jù)驅(qū)動決策：我們可以利用這些數(shù)據(jù)做出更好的決策。對于企業(yè)來說，這可能意味著選擇一組能夠最大化未來收入的研發(fā)項目或營銷推廣。對于個人來說，這可能僅僅意味著對他們購買的下一輛汽車、手機或電腦的滿意度增加。
那么數(shù)據(jù)科學家以及分析師和工程師如何利用他們的數(shù)據(jù)來支持決策呢?大多數(shù)數(shù)據(jù)到?jīng)Q策的流程都是從探索性數(shù)據(jù)分析開始的——清理和描述數(shù)據(jù)集的過程，主要使用統(tǒng)計分析和支持圖表來展示許多特征之間的分布、異常值和相關性。探索性數(shù)據(jù)分析具有許多優(yōu)點，可以加深對數(shù)據(jù)集的理解，進而加深對任何可能用它做出的決策的理解：
識別潛在錯誤或有缺陷的數(shù)據(jù)，以及糾正它們的方法
識別數(shù)據(jù)集中可能代表性不足或過度的子群體，以便進行數(shù)學調(diào)整或推動額外的數(shù)據(jù)收集
建立對可能發(fā)生的事情和常見事情的直覺
開始理解不同特征之間的潛在因果關系(但永遠要注意相關性并不等于因果關系)
這是邁向決策的第一步!執(zhí)行良好的探索性數(shù)據(jù)分析將產(chǎn)生可靠的數(shù)據(jù)集和一系列關于數(shù)據(jù)趨勢的洞察，決策者可以使用這些洞察來指導他們的行動。稍微概括一下，趨勢洞察涉及數(shù)據(jù)集中項目取特定值的頻率：例如“這些東西通常是X”或“當這些東西是X時，其他東西通常是Y”。
不幸的是，許多現(xiàn)實世界的數(shù)據(jù)到?jīng)Q策流程都止步于此：將數(shù)據(jù)科學家使用探索性數(shù)據(jù)分析生成的一些趨勢洞察拋給給業(yè)務決策者。然后，決策者負責將這些洞察推斷出他們(可能有很多)不同行動方案的可能后果。說起來容易做起來難!這是一項具有挑戰(zhàn)性的任務，無論是復雜性還是規(guī)模，尤其是對于非技術(shù)利益相關者而言。
數(shù)據(jù)科學家經(jīng)常需要將趨勢“拋給”做出商業(yè)決策的人，而無法了解這些決策是如何做出的，有時甚至不知道這些決策是什么!
如果我們想做出更好的決策，就需要打破數(shù)據(jù)與決策本身之間的隔閡。如果我們能夠收集或生成與決策者可用的選擇或行動方案直接對應的數(shù)據(jù)，我們就可以讓他們免于根據(jù)趨勢進行推斷。根據(jù)所做決策的類型，這通常很簡單：例如，購房者擁有一份其所在地區(qū)所有待售房屋的清單，或者工程公司擁有可以評估新組件的數(shù)千種潛在設計的模型。
創(chuàng)建以決策為中心的數(shù)據(jù)集需要的思維方式與傳統(tǒng)探索性數(shù)據(jù)分析略有不同，結(jié)果更容易解釋，因此更有可能充分支持決策。我們的探索不會止步于趨勢，而是需要解決大海撈針的問題，找到集合中最好的單個數(shù)據(jù)點，以便從端到端完成數(shù)據(jù)到?jīng)Q策的流程。
從數(shù)據(jù)知情到數(shù)據(jù)驅(qū)動
在我們深入探討權(quán)衡空間探索的細節(jié)之前，讓我們先用一個示例決策來展開討論。買車是許多人都熟悉的一個決策，它是一個很好的例子，原因如下：
.后果很嚴重，值得付出努力“改正”。汽車價格昂貴，理想情況下使用壽命長，大多數(shù)人每天都使用它們!任何買過次品的人都會告訴你，這是一個特別具有挑戰(zhàn)性和令人沮喪的挫折。
.人們在比較汽車時會關心多種因素：價格、可靠性、安全性、操控性等。這不是您可以簡單地選擇馬力最大的汽車并期望感到滿意的問題。
.通常有很多選擇。每個制造商的新車、來自停車場和在線市場的二手車，甚至摩托車等與汽車相鄰的東西都可能是有效的解決方案。有很多潛在數(shù)據(jù)需要整理!
為了進一步簡化這個例子，假設我們只想購買一輛二手車。
現(xiàn)在，讓我們思考一下，針對這個問題的正常探索性數(shù)據(jù)分析工作可能是什么樣子。首先，我會獲得一個大型數(shù)據(jù)集，最常見的數(shù)據(jù)集是由經(jīng)驗觀察組成：瓜子二手車的銷售數(shù)據(jù)集就很好。像這樣的平面數(shù)據(jù)文件，其中每個項目對應于由一組共享特征描述的汽車列表，是公開數(shù)據(jù)集的最常見格式。然后，我將開始總結(jié)、查找問題并清理數(shù)據(jù)以刪除不完整/異常列表或定義不一致的列。數(shù)據(jù)清理完畢后，我將使用統(tǒng)計數(shù)據(jù)或圖表分析數(shù)據(jù)集，以確定不同變量之間的相關性。
常見的探索性數(shù)據(jù)分析可視化是散點圖矩陣，顯示數(shù)據(jù)集中關鍵參數(shù)的成對關系。
現(xiàn)在再想想這個決定：我想買一輛二手車。探索性數(shù)據(jù)分析幫助了我嗎?對于探索性數(shù)據(jù)分析粉絲和專家來說，好消息是：當然有幫助!我現(xiàn)在掌握了與我的決定高度相關的趨勢見解。價格與車型年份顯著相關，與里程表里程多少相關!大多數(shù)可用的汽車都有3-7年車齡!通過更好地了解二手車市場，我將更有信心地判斷一輛車是否劃算。
但是探索性數(shù)據(jù)分析是否找到了最適合我的汽車?答案是否定的!我實際上無法購買數(shù)據(jù)集中的汽車，因為它們是歷史列表。如果其中有任何汽車仍然有效，我不知道是哪些，因為它們沒有被標明。我沒有實際可用的汽車數(shù)據(jù)，因此我仍然需要自己找到這些汽車——而且我的探索性數(shù)據(jù)分析只有在我發(fā)現(xiàn)的趨勢可以幫助我在手動搜索其他數(shù)據(jù)集時找到好車時才有用。
當有關過去數(shù)據(jù)的趨勢被“拋到”決策者面前，而決策者正在查看當前/未來的數(shù)據(jù)時，這些趨勢就更難被用來做出正確的決策。
這就是所謂的數(shù)據(jù)和決策之間存在的隔閡，在實踐中這種情況極為常見，因為絕大多數(shù)數(shù)據(jù)集都包含歷史數(shù)據(jù)，但我們的決策是當前或面向未來的。盡管探索性數(shù)據(jù)分析可以將大量歷史數(shù)據(jù)集處理成一組有用的見解，但見解和主動決策之間存在脫節(jié)，因為它們僅通過類比描述我的選擇(即，如果我愿意假設當前的二手車市場與過去的市場相似)。也許將以這種方式做出的決策稱為數(shù)據(jù)知情決策而不是數(shù)據(jù)驅(qū)動決策更好。真正的數(shù)據(jù)驅(qū)動決策將基于描述實際決策的數(shù)據(jù)集——在本例中，數(shù)據(jù)集由當前可用的汽車列表填充。
設置交易空間
交易空間探索，或者更具體地說多屬性交易空間探索(MATE)，是一個數(shù)據(jù)驅(qū)動的決策分析框架。它最初于2000年在麻省理工學院創(chuàng)建，經(jīng)過數(shù)十年的改進和應用，至今仍未過時。MATE將以價值為中心的思維帶入了大型數(shù)據(jù)集的世界，其明確目的是增加利用這些數(shù)據(jù)做出的決策所創(chuàng)造的價值。
MATE框架可幫助決策者和數(shù)據(jù)科學家/分析師批判性地思考如何定義和構(gòu)建決策問題、如何進行數(shù)據(jù)收集，以及最終如何探索數(shù)據(jù)以產(chǎn)生實用、相關的見解并找到最佳解決方案。從高層次來看，MATE分為三個層次，分別對應于以下步驟：定義、生成和探索。
MATE的定義、生成、探索層將做出數(shù)據(jù)驅(qū)動決策所需的步驟劃分為單獨的任務，以全面描述問題、收集必要的數(shù)據(jù)，然后可視化/分析結(jié)果。
定義基本的MATE研究首先要從幾個核心概念開始：
.利益相關者。誰做出決定或受其影響?為簡單起見，我們假設我是購車的唯一利益相關者;但是，請記住，許多決策都有多個利益相關者，他們的需求和愿望可能截然不同，我們可以而且應該將他們?nèi)靠紤]在內(nèi)。
.替代方案。有哪些可能的解決方案，即有哪些可用的選擇?在這個例子中，我已經(jīng)將自己限制為購買二手車。我的替代方案是任何在我居住地附近合理距離內(nèi)有售的二手車。重要的是，替代方案應該是唯一的：我可以用制造商、型號和年份等基本變量來定義我的選擇，但如果有多個相同車型的列表，則還需要一個像VIN這樣的唯一標識符。
.資源。利益相關者如何獲得和使用替代方案，即需要花費多少錢?每輛車都有一次性購買價格。我還可以選擇考慮以后產(chǎn)生的所有權(quán)成本，例如燃料和維護，但我們現(xiàn)在先忽略這些。
.好處。我們?yōu)槭裁聪胍粋€替代方案，即利益相關者使用什么標準來判斷替代方案有多“好”?也許我關心的是汽車可以搭載的乘客數(shù)量(為了實用性)、發(fā)動機氣缸(為了樂趣)、里程表里程(為了耐用性)和安全等級(為了……安全)。
這個簡單的大綱為我們指明了如何在生成步驟中收集數(shù)據(jù)。為了正確捕捉這一決定，我需要收集我在定義步驟中確定的所有替代變量、資源和收益的數(shù)據(jù)。如果數(shù)據(jù)不足，我的價值圖景就會不完整——但我可以隨時添加任何我認為有用的額外變量。
在嘗試收集數(shù)據(jù)之前完成定義層有助于確保收集工作充分，并避免在不必要的參數(shù)上浪費時間。
想象一下，瓜子二手車汽車數(shù)據(jù)集確實包含一列，指示哪些列表仍可供購買，因此是我做決定的真正替代方案。我收集完數(shù)據(jù)了嗎?沒有——這個數(shù)據(jù)集包括我的替代變量(制造商、型號、年份、VIN)和我的資源(價格)，但缺少我的兩個優(yōu)勢：乘客人數(shù)和安全評級。我需要用其他數(shù)據(jù)補充這個數(shù)據(jù)集，否則我將無法準確判斷我對每輛車的喜愛程度。這需要分析師做一些準備工作來獲取新數(shù)據(jù)并將其與新列中的現(xiàn)有數(shù)據(jù)集正確匹配。
幸運的是，替代變量可以充當交叉引用不同數(shù)據(jù)集的“鍵”。例如，我需要為每個替代方案找到一個安全評級。安全評級通常針對汽車的品牌/型號/年份，因此我可以：
.查找有關安全評級的表格數(shù)據(jù)(由其他人編制)，然后通過連接品牌/型號/年份等列的表格將其與我自己的數(shù)據(jù)相結(jié)合
.自行收集安全評級數(shù)據(jù)并將其直接插入我的表格中，例如通過搜索查找每個替代方案的品牌/型號/年份
我可能還想用其他替代方案補充瓜子二手車數(shù)據(jù)：畢竟，并非所有二手車都在瓜子二手車上出售。MATE的最佳做法是盡可能多地提供替代方案，以免預先限制決策。通過訪問附近汽車經(jīng)銷商的網(wǎng)站并搜索他們的二手車庫存，我可以將更多汽車作為附加行添加到我的數(shù)據(jù)集中。根據(jù)可用的汽車數(shù)量(以及我自己的動機)，我甚至可以使用網(wǎng)絡爬蟲自動執(zhí)行此過程，這通常是大規(guī)模執(zhí)行數(shù)據(jù)收集的方式。但請記?。何胰匀恍枰辽儆袛?shù)據(jù)集中每輛車的替代變量、資源和好處的數(shù)據(jù)。大多數(shù)經(jīng)銷商列表不會包含安全評級等詳細信息，因此我需要以與以前相同的方式使用其他數(shù)據(jù)源來補充這些信息。
此時，我已經(jīng)有了數(shù)據(jù)“大海撈針”，我?guī)缀鯗蕚浜脝犹剿鲗硬ふ夷歉?ldquo;針”。但我該怎么做?MATE與探索性數(shù)據(jù)分析有何不同?
什么才是好的解決方案?
現(xiàn)在我的數(shù)據(jù)集中已經(jīng)填充了與實際決策相關的替代方案，我是否可以只對其進行探索性數(shù)據(jù)分析來解決問題并找到最佳汽車?嗯……既可以又不行。您可以也應該!對MATE數(shù)據(jù)集執(zhí)行探索性數(shù)據(jù)分析—清除數(shù)據(jù)集中的潛在錯誤或異常仍然很重要，如果數(shù)據(jù)是通過網(wǎng)絡抓取工具等自動化流程收集的，這一點尤其重要。建立對數(shù)據(jù)趨勢的直覺的目標也沒有什么不同：我們越了解不同標準之間的關系，我們最終的決策就越有信心。例如，我在幾張圖片之前展示的散點圖矩陣也是MATE的常見可視化。
但即使擁有活躍汽車列表數(shù)據(jù)集和所有必要變量，探索性數(shù)據(jù)分析的基本相關性和分布分析也無法幫助提取單個高價值數(shù)據(jù)點。請記?。何覀冴P心汽車的許多不同屬性(多屬性交易空間探索的多屬性)，因此我們不能簡單地按價格排序并選擇最便宜的汽車。僅憑探索性數(shù)據(jù)分析趨勢洞察，我仍然需要手動檢查許多潛在選擇，直到找到具有理想功能、性能和價格組合的汽車。
我需要的是一種工具，可以將最好的汽車放在最前面。這種工具就是：價值建模。
從最基本的層面上講，價值模型是一種數(shù)學函數(shù)，它試圖復制利益相關者的偏好。我們將在定義層中確定的利益和/或資源輸入其中，并得出一個價值分數(shù)，該分數(shù)表示每個替代方案的“好”程度。如果模型準確，我們的利益相關者將更喜歡得分較低的替代方案(汽車)。
價值模型的參數(shù)是為了模擬利益相關者的偏好而創(chuàng)建的，這樣，如果傳入汽車的收益/資源指標，模型就會返回一個分數(shù)，該分數(shù)可用于自動將其相對于其他汽車進行排名。
大多數(shù)數(shù)據(jù)科學家可能已經(jīng)多次創(chuàng)建并使用了一個簡單的價值模型(無論他們是否意識到這一點或用不同的名稱稱呼它)，作為完成這項任務的一種手段：在數(shù)據(jù)集中創(chuàng)建一個新列，使用其他列的函數(shù)對行進行“評分”，以便可以對數(shù)據(jù)集進行排序并突出顯示高分行。價值模型有很多種類型，每種都有自己的優(yōu)點和缺點。更準確的價值模型通常更復雜，相應地需要更多精力來創(chuàng)建。
在這個例子中，我們將使用一個簡化的效用函數(shù)來結(jié)合我從購買汽車中獲得的四個好處。有一個正式的啟發(fā)過程可以與利益相關者一起完成，以創(chuàng)建一個可驗證的正確效用函數(shù)，但我們只需通過為每個屬性分配一個閾值要求(最差可接受水平)、目標(最大價值水平，超過此點沒有額外價值)和波動權(quán)重(重要性度量)來快速構(gòu)建一個效用函數(shù)。還有其他方法可以自定義效用函數(shù)，包括非線性曲線和互補/替代效應，我們這次將跳過這些。
每個屬性在需求和目標之間都有一條定義的效用曲線(在本例中為線性曲線)，以及將單屬性效用組合成多屬性效用的擺動權(quán)重。背景中的條形圖顯示了該參數(shù)在數(shù)據(jù)集中的分布。
但是等一下：為什么我沒有將價格納入效用函數(shù)?技術(shù)上的答案是，大多數(shù)人在收益和資源之間表現(xiàn)出“不完全排序”——這是一種花哨的說法，即利益相關者通常無法明確說明他們是喜歡低成本低收益的替代方案還是高成本高收益的替代方案，因為兩者都不是嚴格意義上優(yōu)于另一個。順便說一句，這也是為什么通過優(yōu)化函數(shù)來“解決”決策非常困難的原因：在實踐中，決策者通常喜歡看到一組從低成本低收益到高成本高收益的替代方案，并自己判斷，這比將收益/成本結(jié)合到一個價值模型中更可靠。這個集合稱為帕累托集(或以圖形方式查看時為帕累托前沿)，是交易空間中價值最高的區(qū)域。
交易空間的散點圖，突出顯示了帕累托前沿——最理想的替代方案通常位于前沿附近。請注意，左上角的收益率低于100%，因為數(shù)據(jù)集中并非所有汽車都符合我們的要求。
這就是“權(quán)衡空間”。散點圖的y軸表示收益，x軸表示成本(每個散點圖都可能是一個由多個屬性組成的價值模型)。收益和成本之間的權(quán)衡是迄今為止最常見的現(xiàn)實世界中用通俗英語表達的決策框架，而MATE框架的存在是為了指導我們以數(shù)據(jù)為驅(qū)動的決策分析，將其納入利益相關者和決策者所熟悉的這種結(jié)構(gòu)中。這些點中的每一個都是我可以購買的汽車——一個我可以實際做出的選擇，以及一種無需依賴過去趨勢推斷就能解決我的決策的方法。
現(xiàn)在只剩下探索層，我需要從那堆點中找到我最喜歡的針。
找到大海里的針
讓我們使用程序?qū)ξ业钠嚁?shù)據(jù)集進行快速探索。首先，因為它們可能是我要購買的候選車型，所以我將用火焰突出顯示帕累托集中的汽車-一個自定義標記，它出現(xiàn)在圖的“頂部”，即使我更改圖尺寸也會保留。我還對里程表里程與交易空間的價值維度之間的關系感到好奇，所以我將使用該參數(shù)為點著色。
交易空間按里程表里程數(shù)著色，帕累托集汽車以洋紅色三角形標記。
我立刻想到了兩個問題：
.辨別里程表里程的模式有點困難，因為17,000多輛汽車的交易空間非常密集，以至于點相互遮擋：一些點遮住了其他點。我可以看出，這些點通常沿著y軸向上從暗變亮，但如果我可以消除遮擋，我就可以更清楚地看到不同里程等級在我的收益/資源維度上的分布。
/我還看不出帕累托集中汽車的里程表里程數(shù)，因為它們是洋紅色的。如果我仍能突出顯示這些汽車，同時還能看到它們的里程顏色，那就太理想了。
為了解決這些問題，我將以兩種方式修改我的情節(jié)：
.我將用凸包替換交易空間中的點——本質(zhì)上將里程表的里程范圍劃分為更小的塊，并在每個塊中的所有汽車周圍繪制一個“氣泡”。
.我將保留我的帕累托集火焰，但對其進行更新，使三角形填充相應的里程表里程顏色。
通過這兩個更改，我得到了以下結(jié)果：
交易空間以里程表里程的凸包表示，其中帕累托集中的個別汽車仍以火焰突出顯示?？纯催@個!我可以看到里程表里程和效用之間的明確關系，這是有道理的，因為這是我在價值模型中使用的收益指標之一。此外，除了圖右下角的幾個賣家外，很明顯里程數(shù)較高的汽車的最高要價較低——但也許更有趣的是，里程數(shù)似乎不會對最低要價產(chǎn)生很大影響。即使是低里程數(shù)的汽車也可以便宜買到!
但是讓我們回到通過關注帕累托集來做出決定。我沒有篩選數(shù)據(jù)集來刪除高成本的汽車，因為正如我之前提到的，在開始探索層之前不減少替代方案的數(shù)量被認為是MATE的最佳實踐。但實際上，我的購買預算為10,000美元，也許我想要在這個限制內(nèi)最好的汽車——尤其是現(xiàn)在我知道我仍然能夠找到在這個價格范圍內(nèi)里程數(shù)較低的汽車。我將添加我的預算要求并切換回散點圖：
交易空間，以里程表里程數(shù)為顏色，x軸上的預算要求為10,000美元。請注意，由于預算原因，左上角的收益率進一步下降至約36%。
好的，現(xiàn)在我們看到的是一張放大版的經(jīng)濟型汽車圖片。如果我只想購買最符合我預算的汽車，那么它就是最右上方的帕累托設定點。我可以用鼠標懸停來查看該汽車的詳細信息：
將鼠標懸停在某個點上會顯示詳細信息的工具提示。一輛行駛里程為14,000英里、售價為9,000美元的2006款克萊斯勒300。還不錯!但等等……它被漆成了白色。我忘了我討厭白色汽車!MATE的探索層的一部分是完善利益相關者的偏好，這些偏好通常會在接觸到新信息時發(fā)生變化：即我的數(shù)據(jù)驅(qū)動決策的數(shù)據(jù)。使用交互式工具的一個優(yōu)點是，我可以輕松更新價值模型或過濾器以響應這些變化。我只需添加一個刪除白色汽車的過濾器，保存一個新的帕累托集并：
再次過濾交易空間以移除白色汽車，并保存帶有綠色方塊的新帕累托集。
好了!現(xiàn)在我預算范圍內(nèi)最好的車是一輛銀色的2009款大眾途銳。與克萊斯勒相比，我少了一名乘客(6比5)，這并不理想，但由于里程表明顯較低(14,000比158)，這輛車的實用性幾乎一樣高。它幾乎是全新的，而且只需3500美元!
我們找到了：大海撈針。我們可以用數(shù)據(jù)驅(qū)動的證據(jù)來證明我們的決定是正確的!
我對它一見鐘情——但我必須先從20,000輛其他汽車中發(fā)現(xiàn)它!
結(jié)論
本文展示了探索性數(shù)據(jù)分析和權(quán)衡空間探索如何相似/互補，但強調(diào)當最終目標是找到數(shù)據(jù)集中的“最佳”點時，數(shù)據(jù)收集和可視化方式的一些關鍵差異。權(quán)衡空間探索可以成為探索性數(shù)據(jù)分析的“一步之遙”，推動決策從數(shù)據(jù)知情轉(zhuǎn)向真正的數(shù)據(jù)驅(qū)動。
分享到微信 ×
打開微信，點擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。
數(shù)據(jù)分類分級方法、標準及應用實踐
