技術(shù)的創(chuàng)新，社會的進步，都需要有優(yōu)秀人才的出現(xiàn)，而大數(shù)據(jù)培訓(xùn)似乎已經(jīng)成為推動大數(shù)據(jù)行業(yè)發(fā)展的重中之重。小牛學(xué)堂作為大數(shù)據(jù)教育的領(lǐng)導(dǎo)者，經(jīng)常會向企業(yè)、專家了解大數(shù)據(jù)最新發(fā)展動態(tài)，梳理下來發(fā)現(xiàn)，企業(yè)想要在競爭的激流中不被淹沒，獲取技術(shù)人才成為關(guān)鍵。然而一名優(yōu)秀的技術(shù)人才不僅需要擁有豐富的理論知識，還要依賴“硬件”的支撐!
基 于Yarn的一系列Hadoop應(yīng)用如Spark、Storm和Presto等的出現(xiàn)再一次降低了企業(yè)步入大數(shù)據(jù)的門檻，大數(shù)據(jù)應(yīng)用安全性得以提高，企業(yè) 的商業(yè)價值也獲得潛在提升，大批企業(yè)為之欣喜若狂。然而，在瘋狂搭建大數(shù)據(jù)應(yīng)用的背后，作為企業(yè)用戶，如果無法成功而高效的管理大數(shù)據(jù)應(yīng)用，確保大數(shù)據(jù)系 統(tǒng)的性能和穩(wěn)定性，反而會造成用戶流失的苦果，最終將問題歸咎于Hadoop并失去對它的信任。
Hadoop環(huán)境必須要優(yōu)化運行才能滿足最終用戶的期望。我們綜合了無數(shù)Hadoop平臺的企業(yè)實戰(zhàn)經(jīng)驗，匯集成以下三個最佳實踐，幫助提高大數(shù)據(jù)應(yīng)用的表現(xiàn)：
1均衡配置工作量
工 作量管理是Hadoop環(huán)境的重要因素。因為企業(yè)中的大數(shù)據(jù)系統(tǒng)被廣泛的用于生產(chǎn)環(huán)境，業(yè)務(wù)團隊的需求必然會考驗到系統(tǒng)資源的各種組件，新部署的大數(shù)據(jù)應(yīng) 用需要與企業(yè)原有的應(yīng)用相互競爭并且拿出具有說服力的表現(xiàn)。即使Hadoop集群是完全按照供應(yīng)商提供的指導(dǎo)而部署的，企業(yè)也應(yīng)當(dāng)根據(jù)自己的實際工作量重 新配置。系統(tǒng)管理員可以使用Yarn的工作量管理功能來為不同的用戶分配相應(yīng)的系統(tǒng)資源來確保滿足服務(wù)水平。
工作量管理正確設(shè)置和調(diào)整后，管理員可以調(diào)度作業(yè)任務(wù)以獲得群集資源的最大利用率，不僅能夠?qū)adoop集群的足跡維持在適當(dāng)大小，也提高了應(yīng)對不斷變化的業(yè)務(wù)需求的適應(yīng)能力。
2保持業(yè)務(wù)連續(xù)性
企業(yè)中最有價值的數(shù)據(jù)都被分布安放在Hadoop平臺中，此時系統(tǒng)的持續(xù)可用性和數(shù)據(jù)保護變得更加重要，然而Hadoop的數(shù)據(jù)復(fù)制能力并不足以在一場災(zāi)難中保護最重要的數(shù)據(jù)。常規(guī)做法是設(shè)立一個標(biāo)準(zhǔn)的三路復(fù)制方案用來保護各種數(shù)據(jù)對象以免損壞或丟失，但這種備份和災(zāi)難恢復(fù)策略并不足夠。
Hadoop自身的復(fù)制功能可以提供較好的容錯性和數(shù)據(jù)局部性處 理，但在同一個機架保存三個數(shù)據(jù)副本并不能在出現(xiàn)無法避免的天災(zāi)人禍時保護它。要徹底解決這個問題，數(shù)據(jù)必須要每天備份到另一個數(shù)據(jù)中心，需要用到數(shù)據(jù)歸 檔工具或云實例，這樣做有助于保護信息免受自然災(zāi)害、網(wǎng)絡(luò)攻擊或其他不可預(yù)見的事件發(fā)生時遭受損失。
回到業(yè)務(wù)連續(xù)性，別忘了NameNode備份的問題。NameNode在Hadoop分布式文件系統(tǒng)(HDFS)的特定目錄中存儲數(shù)據(jù)在集群的保存位置。如果發(fā)生單點故障，從頭開始重建NameNode是一個費時費力的工作，并且可能會有潛在的數(shù)據(jù)丟失。這就是為什么隨著生產(chǎn)系統(tǒng)越發(fā)龐大，備份數(shù)據(jù)和NameNode的任務(wù)就越來越重要。
搭建在Hadoop中的關(guān)鍵應(yīng)用需要一個高可用性策略，這就需要一個計劃來確保生產(chǎn)流程在遇到未知情況時不受到影響。從原料來源到離線備份，一定要為那些無法負(fù)擔(dān)損失的重要數(shù)據(jù)設(shè)計好一個完善的重建數(shù)據(jù)的過程。
3 豐富的Hadoop實戰(zhàn)經(jīng)驗
熟 悉了解Hadoop架構(gòu)的詳細(xì)文檔、日常監(jiān)測任務(wù)以及各種標(biāo)準(zhǔn)解決方案當(dāng)然是必不可少的，但更加無可替代的是實戰(zhàn)經(jīng)驗。即使應(yīng)用支持文檔準(zhǔn)備的再充分，也 一定會出現(xiàn)無法解決的挑戰(zhàn)，這時就是經(jīng)驗展示身手的時刻。作為大數(shù)據(jù)平臺的管理員，必須掌握管理和開發(fā)大數(shù)據(jù)開源平臺的一整套技能集合，所需要的知識和功 底遠(yuǎn)遠(yuǎn)超出培訓(xùn)機構(gòu)速成而來的DBA。
除了Hadoop管理經(jīng)驗，大數(shù)據(jù)應(yīng)用支持團隊?wèi)?yīng)該擁有堅實的技術(shù)背景，能夠應(yīng)對各種不規(guī)范的問題。團隊中應(yīng)該至少有一位高級技術(shù)人員可以解決特別棘手的挑戰(zhàn)。他應(yīng)該擁有Hadoop自定義應(yīng)用開發(fā)的詳細(xì)知識、強大的Linux技能和解決復(fù)雜問題的能力。
即 使是最有經(jīng)驗的Hadoop管理員也需要合適的工具來完成他們的工作，例如很多支持和開發(fā)團隊正在使用開源管理工具如Ambari 和Nagios，然而他們最終會發(fā)現(xiàn)許多工具并不成熟，因此有必要購買一些收費的監(jiān)控和修復(fù)工具來應(yīng)對一些不常見的問題，維持大數(shù)據(jù)系統(tǒng)的高效運行并將宕 機時間降到最低。
獲得最佳的Hadoop環(huán)境
雖然Hadoop并不是數(shù)據(jù)庫，但許多數(shù)據(jù)管理的理念和技術(shù)是相同的，比如優(yōu)先滿足業(yè)務(wù)需求和確保工作量、保證業(yè)務(wù)連續(xù)性、降低宕機和丟失信息的風(fēng)險。此外，經(jīng)驗在Hadoop管理與分析工作中是非常關(guān)鍵的，畢竟你不可能碰巧就建立起了一個高度優(yōu)化的環(huán)境，實際上這些都是一天接一天巧妙的管理工作的結(jié)果，確保大數(shù)據(jù)應(yīng)用的優(yōu)越性能以及良好的用戶滿意度。
