搜索歷史

熱搜詞

原創(chuàng)

活動(dòng)

創(chuàng)新2.0

I T

產(chǎn)業(yè)

當(dāng)前位置：首頁(yè) >互聯(lián)網(wǎng)?IT > 大數(shù)據(jù) > 大數(shù)據(jù)分析 > 正文

成都中電熊貓仇善海：大數(shù)據(jù)應(yīng)用場(chǎng)景 ——良率分析和故障預(yù)判

來(lái)源：企業(yè)網(wǎng)D1Net ：譚磊 2015-05-18 14:17:28

隨著開(kāi)源Hapdoop、Map Reduce、Spark、HDFS、HBASE等技術(shù)的商用化，大數(shù)據(jù)管理技術(shù)得到了突飛猛進(jìn)的發(fā)展。一般來(lái)說(shuō)，大數(shù)據(jù)具有3V特性，即Volume(海量)、Velocity(高速)和Variety(多樣)[1]。TPC聯(lián)合主席、Cisco高級(jí)工程師Raghunath Nambiar進(jìn)一步認(rèn)為大數(shù)據(jù)還面臨Value(價(jià)值)和Veracity(精確)的挑戰(zhàn)。如何客觀地比較不同數(shù)據(jù)管理系統(tǒng)，即大數(shù)據(jù)測(cè)試基準(zhǔn)的選擇，成為一個(gè)重要的研究課題。

的應(yīng)用，但是到目前為止還沒(méi)有任何廠商得到TPC官方的認(rèn)證。究其原因，本文認(rèn)為：

傳統(tǒng)的數(shù)據(jù)庫(kù)廠商，DBMS系統(tǒng)比較成熟，SQL的支持也相當(dāng)完善，但是其分布式、并行處理能力欠缺，導(dǎo)致其性能很差。所以傳統(tǒng)的廠商不愿意發(fā)布測(cè)試結(jié)果。

新型的計(jì)算模型如Map/Reduce、spark，具有較好的并行處理能力，但是SQL的兼容性比較差，如HiveSQL、SparkSQL只支持40個(gè)SQL，從而也無(wú)法發(fā)布TPC-DS測(cè)試報(bào)告。盡管如此，各廠商還是通過(guò)非TPC官方的途徑發(fā)布TPC-DS的部分測(cè)試結(jié)果，以展現(xiàn)其在性能方面的提升。由此可見(jiàn)大家對(duì)TPC-DS的程接受度。

在TPC-DS大數(shù)據(jù)測(cè)試方面，星環(huán)科技已經(jīng)走在世界的前列，據(jù)所知，星環(huán)科技是國(guó)內(nèi)唯一、全球少數(shù)幾家公開(kāi)發(fā)布TPC-DS大數(shù)據(jù)測(cè)試結(jié)果的科技公司。其TPC-DS 500G的功能、性能及其兼容性測(cè)試已經(jīng)得到第三方機(jī)構(gòu)——上海市計(jì)算機(jī)軟件評(píng)測(cè)實(shí)驗(yàn)室的認(rèn)證。

結(jié)束語(yǔ)

大數(shù)據(jù)評(píng)測(cè)基準(zhǔn)用于公平、客觀地評(píng)測(cè)不同大數(shù)據(jù)庫(kù)產(chǎn)品/平臺(tái)的功能和性能，對(duì)人們選擇合適的大數(shù)據(jù)分析決策系統(tǒng)具有重要的參考價(jià)值。隨著國(guó)內(nèi)外各代表性的Hadoop發(fā)行版廠商以TPC-DS為標(biāo)準(zhǔn)測(cè)評(píng)產(chǎn)品，TPC-DS也就逐漸成為了業(yè)界公認(rèn)的大數(shù)據(jù)系統(tǒng)測(cè)試基準(zhǔn)。但是隨著大數(shù)據(jù)應(yīng)用在各行各業(yè)的發(fā)展，測(cè)試基準(zhǔn)也需不斷與時(shí)俱進(jìn)。大數(shù)據(jù)測(cè)試基準(zhǔn)仍然面臨著諸多挑戰(zhàn)，還需要政府、學(xué)術(shù)界和工業(yè)界的緊密合作。