搜索歷史

熱搜詞

原創(chuàng)

活動(dòng)

創(chuàng)新2.0

I T

產(chǎn)業(yè)

當(dāng)前位置：首頁 >互聯(lián)網(wǎng)?IT > 大數(shù)據(jù) > 大數(shù)據(jù)分析 > 正文

親，大數(shù)據(jù)分析-你真的了解嗎？

來源：企業(yè)網(wǎng)D1Net ：Akshat Thakar 2015-05-26 11:36:36

你真的了解大數(shù)據(jù)分析嗎？咱們一起來探索大數(shù)據(jù)分析吧！

探索大數(shù)據(jù)分析---主要步驟和面臨的挑戰(zhàn)。

大數(shù)據(jù)分析包括以下步驟：

數(shù)據(jù)采集——從各種常規(guī)和非常規(guī)來源收集非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)，包括機(jī)器傳感器。

數(shù)據(jù)存儲(chǔ)——將數(shù)據(jù)存儲(chǔ)到穩(wěn)定、分布式和可擴(kuò)展的存儲(chǔ)中，它們位于有復(fù)制副本的消費(fèi)類硬件中。

描述性分析——匯總數(shù)據(jù)并開發(fā)數(shù)據(jù)可視化。

預(yù)測(cè)分析——使用可用數(shù)據(jù)通過監(jiān)督學(xué)習(xí)算法開發(fā)模型。

規(guī)范性分析——開發(fā)利用預(yù)測(cè)結(jié)果的場(chǎng)景。

我們?nèi)匀粵]有涉及到幫助我們優(yōu)化大數(shù)據(jù)分析步驟的挑戰(zhàn)。探尋大數(shù)據(jù)真實(shí)價(jià)值過程中會(huì)遇到的一些挑戰(zhàn)。

缺少數(shù)據(jù)源或隱藏?cái)?shù)據(jù)源的標(biāo)識(shí)：有可能數(shù)據(jù)采集步驟中沒有隱藏的數(shù)據(jù)源。大數(shù)據(jù)并不限制數(shù)據(jù)源的數(shù)量，并且鼓勵(lì)從所有可用數(shù)據(jù)源采集所有的數(shù)據(jù)。一個(gè)經(jīng)驗(yàn)法則是采集所有用于解決大數(shù)據(jù)問題的數(shù)據(jù)。在這種情況下，我們需要保證采集所有數(shù)據(jù)的方法有足夠的安全性?？梢杂卸鄠€(gè)團(tuán)隊(duì)參與數(shù)據(jù)采集。

數(shù)據(jù)安全性、缺少統(tǒng)一數(shù)據(jù)服務(wù)層和統(tǒng)一數(shù)據(jù)建?？赡軐?dǎo)致數(shù)據(jù)存儲(chǔ)步驟產(chǎn)生數(shù)據(jù)孤島。我們可以使用統(tǒng)一數(shù)據(jù)模型來定義業(yè)務(wù)實(shí)體、統(tǒng)一服務(wù)層和采用身份驗(yàn)證與授權(quán)形式的安全實(shí)現(xiàn)，以此來解決這個(gè)問題。有一個(gè)新概念叫數(shù)據(jù)湖(DataLake)，它需要將數(shù)據(jù)存儲(chǔ)為生產(chǎn)者和消費(fèi)者之間預(yù)先協(xié)定的模式。

傳統(tǒng)上，分析一直與較小規(guī)模數(shù)據(jù)集相關(guān)聯(lián)，并且在OLAP模式中執(zhí)行。除非我們能夠說服干系人接受大數(shù)據(jù)的分析優(yōu)勢(shì)——實(shí)時(shí)分析與較大規(guī)模數(shù)據(jù)集并行處理能力，否則我們很難替代現(xiàn)有的分析/BI工具，也很難改進(jìn)這些工具。一些算法也已經(jīng)移植到大數(shù)據(jù)軟件包，這是一個(gè)令人興奮的消息。大數(shù)據(jù)技術(shù)將能夠利用現(xiàn)有的分析平臺(tái)——R語言、Python、SAS，并且能夠提供統(tǒng)一的分析平臺(tái)。此外，大數(shù)據(jù)人才也具備了分析技能，有能力執(zhí)行描述性、預(yù)言性和規(guī)范性分析。

大數(shù)據(jù)分析現(xiàn)在更多致力于精確定義數(shù)據(jù)、統(tǒng)一處理和開發(fā)數(shù)據(jù)驅(qū)動(dòng)的智能產(chǎn)品。

編輯：趙明飛

關(guān)鍵字：數(shù)據(jù)分析