他說,從數(shù)據(jù)庫到數(shù)據(jù)倉庫再到今天的大數(shù)據(jù),數(shù)據(jù)量的快速增長是一個趨勢,而與之相對應的數(shù)據(jù)處理的方式也在變化、提高,這是一個螺旋上升的發(fā)展過程。
而數(shù)據(jù)量巨大只是大數(shù)據(jù)的一個標簽。除此以外,數(shù)據(jù)的多樣化、管理的復雜度、實時分析等也是用戶在處理大數(shù)據(jù)時必須面對的挑戰(zhàn)。
在大數(shù)據(jù)時代,企業(yè)需要面對的是不斷變化的數(shù)據(jù),因此需要實時對數(shù)據(jù)進行處理和分析,這無疑增加了數(shù)據(jù)分析的難度,但同時也提高了企業(yè)預測未來市場變化的準確度。
對于企業(yè)來說,是否應該采用大數(shù)據(jù)分析工具,不是以企業(yè)擁有的數(shù)據(jù)量大小決定的,只要企業(yè)有商業(yè)預測的需求,就應該盡快使用大數(shù)據(jù)分析工具。
很多人認為,大數(shù)據(jù)就是指非結構化的數(shù)據(jù)。其實,這是一個謊言。事實上,全球產(chǎn)生的數(shù)據(jù)中85%以上的確是非結構化的數(shù)據(jù)。但是在當前的大數(shù)據(jù)應用中,企業(yè)主要處理的還是結構化的數(shù)據(jù)。
如今,許多擁有結構化數(shù)據(jù)處理工具的廠商紛紛轉向Hadoop,目的就是要尋找一個處理非結構化數(shù)據(jù)的好辦法。盡管如此,大多數(shù)廠商的非結構化數(shù)據(jù)分析工具,也是先把非結構化數(shù)據(jù)轉換成結構化數(shù)據(jù)之后再進行處理。
云計算帶來了IT基礎架構的變革,大數(shù)據(jù)則有力地推動了企業(yè)業(yè)務的轉型。從這個角度講,大數(shù)據(jù)對企業(yè)來說是一個挑戰(zhàn),更是一個實現(xiàn)業(yè)務轉型的契機。伴隨著大數(shù)據(jù)應用的興起,企業(yè)對數(shù)據(jù)科學家、數(shù)據(jù)分析師這些新型的專業(yè)人才的需求也會變得更加迫切。