近年來(lái),網(wǎng)絡(luò)數(shù)據(jù)量呈爆炸式增長(zhǎng),然而這些數(shù)據(jù)很快就會(huì)由“熱”變“冷”。以Facebook為例,經(jīng)測(cè)試分析,其數(shù)據(jù)產(chǎn)生24小時(shí)內(nèi)訪問的頻率非常高,而此后訪問頻率就越來(lái)越低,逐漸變?yōu)槔鋽?shù)據(jù)。Facebook自身的數(shù)據(jù)中心有89%的數(shù)據(jù)都是冷數(shù)據(jù)。華中科技大學(xué)信息存儲(chǔ)系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室主任謝長(zhǎng)生表示,這些冷數(shù)據(jù)同樣重要,許多大數(shù)據(jù)分析都要基于冷數(shù)據(jù)來(lái)進(jìn)行,而且許多數(shù)據(jù)要求保存的時(shí)間非常長(zhǎng),例如銀行、社保等數(shù)據(jù),一般都要保存70~100年的時(shí)間?,F(xiàn)在,我們對(duì)這些數(shù)據(jù)重視不夠,往往用很貴的系統(tǒng)來(lái)存放這些冷數(shù)據(jù),這一局面應(yīng)該得到改變。
一般而言,數(shù)據(jù)中心80%以上的數(shù)據(jù)都是冷數(shù)據(jù),現(xiàn)在人們一般將熱數(shù)據(jù)存在SSD固態(tài)硬盤中,將溫?cái)?shù)據(jù)存在7200轉(zhuǎn)的硬盤中,而將冷數(shù)據(jù)存放在低速硬盤上,浪費(fèi)了大量的能源,成本非常高。那么,什么介質(zhì)才是存儲(chǔ)冷數(shù)據(jù)的最佳選擇呢?謝長(zhǎng)生對(duì)比了幾種常見的存儲(chǔ)介質(zhì)。
硬盤的平均壽命為5年,5年后其損壞率就會(huì)急速提升。在磁盤陣列中,硬盤損壞的概率很高,硬盤5年要轉(zhuǎn)移一次數(shù)據(jù),對(duì)那些需要存放數(shù)十年的數(shù)據(jù)而言,不僅操作繁瑣而且數(shù)據(jù)也容易丟失。
閃存作為長(zhǎng)期保存介質(zhì)也不是很好的方案。第一,其成本高,用于存放海量的冷數(shù)據(jù)太浪費(fèi);第二,閃存是基于電荷來(lái)存儲(chǔ)數(shù)據(jù)的,壽命較短。
磁帶具有容量大、成本低、能耗低等特點(diǎn),適合用來(lái)存儲(chǔ)冷數(shù)據(jù)。然而,磁帶的壽命不長(zhǎng),平均壽命僅為10年,而且放置在潮濕的地方容易發(fā)霉損壞。
光盤用于存儲(chǔ)冷數(shù)據(jù)具有很多優(yōu)勢(shì)。它是非接觸的、很可靠、能耗低、成本低、壽命長(zhǎng),其唯一的缺點(diǎn)就是容量較小。
謝長(zhǎng)生指出,光盤在容量方面最近取得了重大突破,200G容量的藍(lán)光光盤已經(jīng)實(shí)現(xiàn)了商用。光盤的成本非常低,在塑料上鍍一層膜即可存儲(chǔ)數(shù)據(jù),而且能夠很好地防水,平均壽命超過(guò)50年。日本科學(xué)家曾經(jīng)做過(guò)一次實(shí)驗(yàn),將光盤在海水中浸泡后,仍然能夠正常讀取數(shù)據(jù)。綜合而言,光存儲(chǔ)是目前最適合存儲(chǔ)冷數(shù)據(jù)的介質(zhì)。
當(dāng)然,容量小仍是光存儲(chǔ)的一大短板。為了破解這個(gè)難題,一些重量級(jí)的公司開發(fā)了大容量的光盤庫(kù),用于代替磁帶庫(kù)和硬盤來(lái)存儲(chǔ)冷數(shù)據(jù)。Facebook通過(guò)這種方式,比用硬盤存儲(chǔ)冷數(shù)據(jù)能耗和成本降低了一半。
我國(guó)業(yè)界在5年前就已看到了這一趨勢(shì),開展了大量的自主研發(fā)工作。華中科技大學(xué)信息存儲(chǔ)系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室就與國(guó)內(nèi)廠商積極合作進(jìn)行了相關(guān)開發(fā),將大量的光盤虛擬化成一個(gè)大的文件卷,吞吐率通過(guò)24個(gè)光驅(qū)并行讀寫,相關(guān)技術(shù)在日內(nèi)瓦發(fā)明博覽會(huì)上得到金獎(jiǎng)。
謝長(zhǎng)生介紹說(shuō),在理論和功能上,他們推出了一種磁光電融合的技術(shù),大部分由光盤組成,也存在著少量的固態(tài)盤和普通硬盤,將它們異構(gòu)融合后虛擬化成一個(gè)大容量盤;熱溫冷數(shù)據(jù)是自動(dòng)分級(jí)的,熱數(shù)據(jù)存放在固態(tài)盤里,溫?cái)?shù)據(jù)放在普通硬盤里,冷數(shù)據(jù)放在光盤里。該技術(shù)最重要的應(yīng)用場(chǎng)景就是數(shù)據(jù)中心。
目前我國(guó)在該領(lǐng)域的研究處于世界領(lǐng)先水平。謝長(zhǎng)生指出,數(shù)據(jù)中心的冷存儲(chǔ)是一個(gè)日益重要的問題,數(shù)據(jù)中心中80%都是冷數(shù)據(jù),光存儲(chǔ)是冷數(shù)據(jù)存儲(chǔ)未來(lái)的方向,近年來(lái)光存儲(chǔ)取得了重大突破,光存儲(chǔ)將在數(shù)據(jù)中心廣泛替代磁帶庫(kù),超大容量光盤庫(kù)也已經(jīng)成熟,將進(jìn)入規(guī)模部署階段。
分享到微信 ×
打開微信,點(diǎn)擊底部的“發(fā)現(xiàn)”,
使用“掃一掃”即可將網(wǎng)頁(yè)分享至朋友圈。