如今，大數(shù)據(jù)正變得越來越廉價(jià)，而不僅僅是廣泛分布商品硬件上廉價(jià)的存儲(chǔ)和計(jì)算。大數(shù)據(jù)分析可能很快成為高性能計(jì)算(HPC)新的“殺手級(jí)應(yīng)用”。
此外，還有比大數(shù)據(jù)更多的大量的信息。它還涉及大量的分布式活動(dòng)，如復(fù)雜的查詢和計(jì)算。換句話說，通過計(jì)算獲得的價(jià)值就像數(shù)據(jù)集本身的大小一樣“大”。事實(shí)上，高性能計(jì)算大數(shù)據(jù)已經(jīng)被分析公司IDC所創(chuàng)造，如“高性能數(shù)據(jù)分析。”
高性能計(jì)算(HPC)能很好地實(shí)現(xiàn)大數(shù)據(jù)典型的工作流程的所有三個(gè)階段，包括數(shù)據(jù)采集和過濾，分析，結(jié)果可視化。除了這三個(gè)階段，計(jì)算的速度和規(guī)模一樣重要。為了發(fā)掘大數(shù)據(jù)的全部潛力，我們要以“大計(jì)算”與HPC進(jìn)行匹配。
對(duì)于大數(shù)據(jù)和高性能計(jì)算的融合，以及企業(yè)如何充分利用這一現(xiàn)象來改善大型處理，以下有三個(gè)方法：
1.Hadoop聯(lián)手Infiniband
許多人認(rèn)為最常用的超級(jí)計(jì)算機(jī)互連技術(shù)InfiniBand，可以盡可能多滿足HPC作為裸機(jī)處理的基本要求。如果不能快速移動(dòng)節(jié)點(diǎn)之間的信息，就 會(huì)限制了你可以實(shí)現(xiàn)的水平的可擴(kuò)展性。遠(yuǎn)程直接內(nèi)存訪問(RDMA)的ApacheHadoop提供了一個(gè)極好的高速、低延遲互連的大數(shù)據(jù)平臺(tái)。甚至可以 在云端利用RDMA在任何時(shí)候提供一個(gè)Hadoop集群。由于其優(yōu)越的帶寬和延遲的優(yōu)勢(shì)，56Gbps的InfinibandFDR可能比10Gbps以 太網(wǎng)速度甚至快100倍以上，短期使用非常昂貴的定制總線，這是跨節(jié)點(diǎn)的計(jì)算分布數(shù)據(jù)和處理的最快方法。最后，用戶可以根據(jù)應(yīng)用的大小可以擴(kuò)展大數(shù)據(jù)平 臺(tái)，而不必?fù)?dān)心幾乎一樣多的瓶頸。不僅會(huì)得到更快的結(jié)果，而其建立時(shí)間將遠(yuǎn)遠(yuǎn)小于所使用的商品網(wǎng)絡(luò)技術(shù)。
2.Hadoop聯(lián)手Accelerators
高性能計(jì)算(HPC)的另一個(gè)重要特點(diǎn)是采用了流行的協(xié)處理器和加速器，如被動(dòng)式散熱NVIDIATesla和開普勒的GPU。正如這些技術(shù)大大有助于技術(shù)計(jì)算解決方案的發(fā)展，他們還可以幫助大數(shù)據(jù)和分析，就像他們已經(jīng)進(jìn)行測序和比對(duì)。
Hadoop利用GPU技術(shù)，如CUDA和OpenCL可以大促進(jìn)大數(shù)據(jù)性能的一個(gè)重要因素。所有其他的事情都是相同的，高性能的大數(shù)據(jù)平臺(tái)和技 術(shù)，如Hadoop，Spark,MapReduce導(dǎo)致復(fù)雜的分析和更快的結(jié)果。事實(shí)上，對(duì)于人們正在收集的數(shù)據(jù)量的不斷增長的唯一方法是提高計(jì)算速 度。大數(shù)據(jù)利用協(xié)處理器和加速器是HPC在這個(gè)空間具有更大的影響力的重要途徑。
3．大數(shù)據(jù)和高性能計(jì)算在云計(jì)算的融合
大數(shù)據(jù)比任何其他應(yīng)用程序推動(dòng)公共云更快的增長，HPC需求成為了一個(gè)新興的力量，并準(zhǔn)備好迎接這一挑戰(zhàn)。我們收集的數(shù)據(jù)越多，我們需要分析數(shù)據(jù)的 計(jì)算能力就越大。簡單地說，大數(shù)據(jù)和云計(jì)算的增長攜手并進(jìn)。只有這樣，才能提供足夠的規(guī)模，而跟上需求部署HPC類資產(chǎn)，以提高處理性能和密度。
得益于大數(shù)據(jù)平臺(tái)的超級(jí)計(jì)算技術(shù)，如高速互連和協(xié)處理器的結(jié)合，組織可以利用和部署上的設(shè)計(jì)，使HPC服務(wù)成為了下一個(gè)主要需求分析的創(chuàng)新浪潮。采 用分布式文件系統(tǒng)，如Hadoop，在相同的計(jì)算能力的情況下，可以加快測序和比對(duì)的過程，可以大大提高在今后的查詢和比較的效率，并且其成本更加低廉。 傳統(tǒng)的HPC并行存儲(chǔ)，經(jīng)濟(jì)學(xué)將變得更具吸引力。最后，采用具有時(shí)間價(jià)值和彈性規(guī)模的公共云，企業(yè)現(xiàn)在可以專注于他們的工作，而不是過于關(guān)注IT平臺(tái)的性 能。
由于大數(shù)據(jù)和高性能計(jì)算需求的銜接，企業(yè)將能夠充分利用公共云計(jì)算的規(guī)模和可用性。
