欧美两性人xxxx高清免费_国产婷婷综合在线视频中文_国产免费久久精品99reswag_在厨房乱子伦在线观看_一边写作业一边c她

云計(jì)算，驚喜于可伸縮與算力集合;大數(shù)據(jù)、人工智能帶給我們無(wú)可比擬的技術(shù)震撼;細(xì)探究竟，這三種技術(shù)都無(wú)法離開(kāi)一個(gè)關(guān)鍵點(diǎn)，那就是經(jīng)常被圈內(nèi)人提及的“分布式”。

這不，就在剛剛結(jié)束不久的UCan下午茶北京站活動(dòng)中，多位技術(shù)大咖針對(duì)云上的分布式實(shí)踐展開(kāi)了深入探討，干貨滿滿。

由于是年底的收官之作，本次UCan下午茶北京站活動(dòng)采用了Keynote與開(kāi)放式演講相結(jié)合的形式，并伴隨別樣精彩的答題活動(dòng)以及抽獎(jiǎng)環(huán)節(jié)，無(wú)論是形式的新穎呈現(xiàn)以及內(nèi)容的精彩程度統(tǒng)統(tǒng)往勝?gòu)那?，現(xiàn)場(chǎng)人頭攢動(dòng)，開(kāi)發(fā)者們關(guān)注無(wú)限!

現(xiàn)場(chǎng)人頭攢動(dòng)

據(jù)了解，現(xiàn)場(chǎng)幾百名開(kāi)發(fā)者熱情參與了交流與互動(dòng)，尤其對(duì)AI平臺(tái)、分布式數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)高可用性容災(zāi)方案以及分布式存儲(chǔ)等十分關(guān)注。此外，這些探討也將為云計(jì)算、大數(shù)據(jù)以及AI領(lǐng)域的從業(yè)者們提供借鑒與新思路，并十分值得廣大開(kāi)發(fā)者們認(rèn)真學(xué)習(xí)與總結(jié)!

《新一代公有云分布式數(shù)據(jù)庫(kù)——UCloud Exodus》

——UCloud關(guān)系型存儲(chǔ)研發(fā)部負(fù)責(zé)人 羅成對(duì)

眾所周知，性能和容量一直是數(shù)據(jù)庫(kù)關(guān)注的核心議題。尤其在公有云環(huán)境下更是挑戰(zhàn)巨大，而UCloud云數(shù)據(jù)庫(kù)團(tuán)隊(duì)一直在嘗試如何優(yōu)雅地解決這個(gè)難題。

在最先“揭面”的Keynote的演講環(huán)節(jié)中， UCloud關(guān)系型存儲(chǔ)研發(fā)部負(fù)責(zé)人羅成對(duì)在“新一代公有云分布式數(shù)據(jù)庫(kù)——UCloud Exodus”的主題分享中表示，在“用戶的需求就是我們下一個(gè)產(chǎn)品”的理念影響下，從2013年UCloud推出第一款云數(shù)據(jù)產(chǎn)品MySQL至今，云數(shù)據(jù)庫(kù)產(chǎn)品上線將近6年且保持穩(wěn)定運(yùn)營(yíng)，有數(shù)據(jù)顯示共覆蓋全球29個(gè)可用區(qū)，服務(wù)上萬(wàn)家企業(yè)用戶，實(shí)例數(shù)幾萬(wàn)個(gè)，數(shù)據(jù)量達(dá)到10PB+，單用戶最多實(shí)例數(shù)超過(guò)6千個(gè)，單用戶數(shù)據(jù)量1.8PB。

除了展現(xiàn)云數(shù)據(jù)庫(kù)產(chǎn)品的成熟迭代之外，他還表明在實(shí)踐過(guò)程中總結(jié)出的，目前云數(shù)據(jù)庫(kù)面臨的運(yùn)營(yíng)痛點(diǎn)，例如容量、性價(jià)比、性能、兼容性等，而解決這些痛點(diǎn)的高效方式，在于對(duì)云數(shù)據(jù)庫(kù)的深刻理解，例如1.0階段出現(xiàn)的云數(shù)據(jù)庫(kù)就是云+數(shù)據(jù)庫(kù)，大家都能意識(shí)到這個(gè)階段的重點(diǎn)在于托管、零維護(hù)。

但2.0階段如何實(shí)現(xiàn)云計(jì)算的共生，怎樣實(shí)現(xiàn)矩陣式進(jìn)化？本質(zhì)上就是如何滿足各種各樣用戶更高級(jí)別的追求，這是需要提升的核心所在，是要達(dá)到數(shù)據(jù)層和基礎(chǔ)設(shè)施層的共生復(fù)用。

在產(chǎn)品層面，UCloud Exodus就是這樣一款應(yīng)時(shí)而生的云數(shù)據(jù)庫(kù)。羅成對(duì)表示，Exodus支持最主流的開(kāi)源數(shù)據(jù)庫(kù)MySQL，協(xié)議完全兼容，通過(guò)融合最新軟硬件技術(shù)，包括RDMA、Skylake、SPDK、用戶態(tài)文件系統(tǒng)等來(lái)解鎖新的能力。

從架構(gòu)層面看，Exodus可以簡(jiǎn)單看分為兩層，分別是上面的計(jì)算層，以及下面的存儲(chǔ)層。 兩層之間通過(guò)超高性能網(wǎng)絡(luò)連接。

存儲(chǔ)層是UCloud自研的新一代高性能分布式存儲(chǔ);而計(jì)算層則采用了原生的MySQL協(xié)議的DBServer，可能未來(lái)會(huì)發(fā)展支持PostgreSQL協(xié)議;二層之間走用戶態(tài)文件系統(tǒng)UXFS。

可以看到，其中的典型架構(gòu)與平時(shí)使用的主從架構(gòu)是一樣的，主從可以在不同的可用區(qū)甚至跨域，實(shí)現(xiàn)多級(jí)容災(zāi)部署。一主帶多從，靈活而且整體性能強(qiáng)。通過(guò)共享存儲(chǔ)來(lái)解決高可用的問(wèn)題，而DB的核心問(wèn)題之一就是高可用，在這種架構(gòu)下，可解決很多1.0階段無(wú)法搞定的難題。

總結(jié)來(lái)看，基于計(jì)算存儲(chǔ)分離新型架構(gòu)，UCloud采用了最新一代高性能分布式存儲(chǔ)系統(tǒng)，計(jì)算層采用深度定制的MySQL InnoDB引擎，架構(gòu)設(shè)計(jì)上支持一主多從。

“前端接入的是UXFS，提供的是用戶態(tài)的IO棧，當(dāng)DB接入到UXFS之后，直接通過(guò)RDMA到存儲(chǔ)節(jié)點(diǎn)。存儲(chǔ)層細(xì)分為兩層，上面一層是Segment Server，下一層是ChunkServer。

通過(guò)增加SegmentServer，將DB需要的隨機(jī)寫(xiě)IO轉(zhuǎn)化為ChunkServer的順序IO。整個(gè)IO路徑并不完全強(qiáng)依賴MetaNode，將IO路徑去除索引，減少一跳IO，從而提高IO性能。”他補(bǔ)充道。

分布式存儲(chǔ)一個(gè)核心點(diǎn)是數(shù)據(jù)分布，很關(guān)鍵一點(diǎn)就是告訴人們應(yīng)該去哪里獲取數(shù)據(jù)。怎么理解?就是內(nèi)部通過(guò)一個(gè)算法實(shí)現(xiàn)，我們采用一個(gè)算法計(jì)算出數(shù)據(jù)到底在哪兒，這樣的好處是可以減少I(mǎi)O的一跳，這對(duì)數(shù)據(jù)庫(kù)提升非常明顯。計(jì)算存儲(chǔ)分離架構(gòu)，帶來(lái)的另外一個(gè)好處是，計(jì)算和存儲(chǔ)單獨(dú)計(jì)費(fèi)、按量付費(fèi)，存儲(chǔ)層自帶異步EC，進(jìn)一步節(jié)省存儲(chǔ)空間，整體體現(xiàn)出來(lái)則是Exodus性價(jià)比超高。通過(guò)這些設(shè)計(jì)，Exodus一舉解決了云數(shù)據(jù)庫(kù)容量、性能、性價(jià)比、兼容性等四大痛點(diǎn)。最后，羅成對(duì)介紹了Exodus(UXDB)的開(kāi)發(fā)計(jì)劃，并透露該產(chǎn)品會(huì)在2019年Q3進(jìn)行公測(cè)。

《Kyligence：釋放大數(shù)據(jù)生產(chǎn)力》

——Kyligence 云與生態(tài)合作部副總裁 劉一鳴

如今大數(shù)據(jù)分析技術(shù)層出不窮，技術(shù)棧日新月異，在帶來(lái)海量數(shù)據(jù)處理能力的同時(shí)，數(shù)據(jù)分析的門(mén)檻依舊很高，在查詢性能、數(shù)據(jù)建模易用性、語(yǔ)義模型表達(dá)能力、高并發(fā)響應(yīng)等場(chǎng)景均存在最后一公里問(wèn)題。而Apache Kylin + cloud，是針對(duì)數(shù)據(jù)分析生產(chǎn)力場(chǎng)景設(shè)計(jì)，將行業(yè)最佳數(shù)據(jù)分析實(shí)踐沉淀為Apache頂級(jí)項(xiàng)目的成熟產(chǎn)品。

在題為《Kyligence：釋放大數(shù)據(jù)生產(chǎn)力》的分享中，劉一鳴針對(duì)數(shù)據(jù)分析生產(chǎn)力場(chǎng)景設(shè)計(jì)，詳細(xì)介紹了Kyligence在云端的業(yè)務(wù)實(shí)踐。

他表示， Kyligence就是要把這套方法論沉淀成一個(gè)項(xiàng)目，從數(shù)據(jù)源出發(fā)，我們可以看到支持HIVE、Kafka，以及其他的數(shù)據(jù)作為數(shù)據(jù)源;其次中間有一個(gè)環(huán)節(jié)叫計(jì)算，麒麟核心思想是通過(guò)預(yù)計(jì)算算出索引，這樣查詢的時(shí)候才能快。

具體來(lái)說(shuō)，麒麟內(nèi)部有兩個(gè)生命周期，第一是構(gòu)建的過(guò)程，這個(gè)過(guò)程就是要把原始的數(shù)據(jù)讀取出來(lái)，然后通過(guò)用戶模型，把用戶關(guān)心的事情通過(guò)一套可擴(kuò)展計(jì)算框架算出一些中間結(jié)果;第二是查詢，查詢時(shí)候會(huì)查出一般的SQL語(yǔ)句，會(huì)直接根據(jù)中間結(jié)果獲得最終結(jié)果，這個(gè)過(guò)程并不需要很大的集群，每個(gè)查詢看起來(lái)都像RPC一樣快，這就是以前查詢HIVE等是以分鐘為單位，現(xiàn)在可以變成以毫秒為單位的原因。

此外，據(jù)了解這兩個(gè)過(guò)程的復(fù)雜程度并不一樣。“第一個(gè)構(gòu)建過(guò)程要處理海量數(shù)據(jù)，這部分麒麟利用了很多大數(shù)據(jù)技術(shù)，包括存儲(chǔ)方面依賴HDFS，計(jì)算方面依賴的YARN來(lái)做調(diào)度，使用Map Reduce框架和Spark完成分布式計(jì)算，所以很有可能構(gòu)建之初需要處理數(shù)據(jù)可能是100G，過(guò)段時(shí)間或者明天可能是100T，這完全是可擴(kuò)展的。”劉一鳴進(jìn)一步補(bǔ)充道。

關(guān)于“數(shù)倉(cāng)是如何建設(shè)的”問(wèn)題，他在演講中也有詳盡提及。過(guò)去，傳統(tǒng)數(shù)倉(cāng)的建設(shè)需要從很多系統(tǒng)中讀取數(shù)據(jù)，例如OLTP、ERP、CRM系統(tǒng)等，其中會(huì)涉及到很長(zhǎng)的流程，還需要保證數(shù)據(jù)的整合、清理、過(guò)濾、語(yǔ)義一致性以及保持模型層的完整，最后的環(huán)節(jié)才是導(dǎo)入一個(gè)數(shù)倉(cāng)中，然后對(duì)接整個(gè)前端的應(yīng)用需求。

相比而言，現(xiàn)在的做法可以簡(jiǎn)單概括為Kyligence=Kylin+Intelligence，就是加入了很多智能的元素在其中，所以麒麟通過(guò)數(shù)據(jù)結(jié)構(gòu)的變化能夠帶來(lái)更好的性能、更好的語(yǔ)義層、更多的梳理并發(fā)，但這些事情還是會(huì)很依賴建模的準(zhǔn)確度，模型設(shè)計(jì)師對(duì)需求場(chǎng)景的掌握、對(duì)業(yè)務(wù)的掌握以及對(duì)表的理解，這一點(diǎn)需要被明確。

據(jù)了解，Kyligence的客戶類型分很多種，早期只是手機(jī)互聯(lián)網(wǎng)應(yīng)用的范疇，后來(lái)技術(shù)發(fā)展更多向金融、證券、保險(xiǎn)、電信以及制造業(yè)轉(zhuǎn)型，共通的一點(diǎn)，這些行業(yè)都有海量數(shù)據(jù)收集的場(chǎng)景，以及很強(qiáng)的互聯(lián)網(wǎng)式精細(xì)化分析的需求。

現(xiàn)場(chǎng)，劉一鳴為開(kāi)發(fā)者們列舉了招商銀行的應(yīng)用案例加以說(shuō)明。他總結(jié)道，招商銀行的數(shù)倉(cāng)建設(shè)大概有二十多年的歷史了，所以不可避免遇到一個(gè)問(wèn)題，那就是數(shù)據(jù)孤島。

“不同的部門(mén)，例如信用卡部門(mén)、數(shù)倉(cāng)部門(mén)、風(fēng)控部門(mén)，數(shù)據(jù)不一致，主要是因?yàn)榇嬖诓煌钠脚_(tái)上。如果通通放在一起就會(huì)發(fā)現(xiàn)，都放入Teradata中有點(diǎn)兒小貴，放在GreenPlum中并發(fā)度又不夠，如果向Hadoop平臺(tái)做遷移，作為全公司統(tǒng)一的數(shù)倉(cāng)平臺(tái)，分析的語(yǔ)義層模型能不能統(tǒng)一也是個(gè)問(wèn)題。所以用麒麟做成一個(gè)統(tǒng)一的數(shù)據(jù)服務(wù)層，上面對(duì)接傳統(tǒng)招行中使用的BI工具，包括Cognos、MSTR、Superset等，如此就形成了整個(gè)招商銀行內(nèi)部，80多個(gè)不同的部門(mén)使用的統(tǒng)一場(chǎng)景架構(gòu)。”

《AI PaaS平臺(tái)實(shí)踐》

——UCloud LabU深度學(xué)習(xí)開(kāi)發(fā)工程師 范融

在UCan 下午茶深圳站曾進(jìn)行精彩分享的UCloud LabU深度學(xué)習(xí)開(kāi)發(fā)工程師范融也準(zhǔn)時(shí)來(lái)到收官現(xiàn)場(chǎng)，作為開(kāi)放式演講環(huán)節(jié)中唯一的女技術(shù)工程師，帶來(lái)主題為“AI PaaS平臺(tái)實(shí)踐”的分享。

首先，范融說(shuō)明了AI場(chǎng)景下做PaaS面臨的挑戰(zhàn)。在研發(fā)AI的整個(gè)周期中，用戶面臨諸如AI選型、AI開(kāi)發(fā)周期、應(yīng)用迭代、訓(xùn)練及推理環(huán)境部署等痛點(diǎn)。無(wú)論是普通開(kāi)發(fā)者還是企業(yè)用戶都希望有一種解決方案，它可以兼容更多深度學(xué)習(xí)算法以及框架，并保證存儲(chǔ)、網(wǎng)絡(luò)性能優(yōu)勢(shì)。最后，她將AI PaaS平臺(tái)的需求總結(jié)為算法兼容性、縱向擴(kuò)展、橫向擴(kuò)展、高可用、環(huán)境遷移。

接著，她詳細(xì)介紹了UCloud關(guān)于基礎(chǔ)平臺(tái)架構(gòu)的很多技術(shù)干貨。在整個(gè)AI 平臺(tái)架構(gòu)中，中間層是訓(xùn)練平臺(tái)和在線服務(wù)平臺(tái)兩個(gè)基礎(chǔ)平臺(tái)，他們都擁有錯(cuò)誤處理、負(fù)載均衡等功能;底層部分通過(guò)計(jì)算節(jié)點(diǎn)接入層兼容了各種異構(gòu)的計(jì)算節(jié)點(diǎn)，如GPU、CPU; 在存儲(chǔ)方面通過(guò)統(tǒng)一的接入層，讓各種類型的存儲(chǔ)介質(zhì)接入平臺(tái)后，面向開(kāi)發(fā)者們?cè)L問(wèn)方式都會(huì)像本地訪問(wèn)一樣簡(jiǎn)單快捷。由于不同的用戶有不同的使用習(xí)慣，例如有的用戶可能習(xí)慣圖形化的接入，因?yàn)橹卑?，所?jiàn)即所得;而有的用戶需要與自己的內(nèi)部系統(tǒng)做連接，所以迫切要求SDK做全自動(dòng)化的腳本介入等。在架構(gòu)上層有一個(gè)API的接入層，做到兼容各類用戶訪問(wèn)需求。圖形化界面方面，支持訓(xùn)練日志、服務(wù)狀態(tài)、TensorBoard圖表，Jupyter Notebook等實(shí)時(shí)交互方式。SDK方面，兼容主流深度學(xué)習(xí)框架，例如TensorFlow、Keras、Caffe、MXNet。

然后，范融針對(duì)這套架構(gòu)如何在滿足之前提出的五項(xiàng)用戶需求，進(jìn)行了詳細(xì)的講解。

通過(guò)Docker技術(shù)實(shí)現(xiàn)運(yùn)行環(huán)境的逐層分離：統(tǒng)一基礎(chǔ)鏡像層，負(fù)責(zé)存儲(chǔ)操作系統(tǒng)、驅(qū)動(dòng)、依賴庫(kù);分類基礎(chǔ)鏡像層，負(fù)責(zé)針對(duì)不同深度學(xué)習(xí)框架進(jìn)行打包存儲(chǔ);用戶定義鏡像層，開(kāi)放給用戶編寫(xiě)自己的AI代碼。通過(guò)這樣的分層管理，鏡像可以做到很好的預(yù)裝、定制、重用、兼容的特性，以此滿足第一個(gè)需求挑戰(zhàn)“算法兼容性”。

通過(guò)中間接入層實(shí)現(xiàn)縱向擴(kuò)展：以存儲(chǔ)類型的縱向擴(kuò)展為例，通過(guò)中間層向下適配各類存儲(chǔ)類型，如對(duì)象存儲(chǔ)，NFS等，對(duì)使用存儲(chǔ)的上層服務(wù)器提供統(tǒng)一的訪問(wèn)接口，并且在這個(gè)層次上實(shí)現(xiàn)帶寬控制、權(quán)限控制、完整性檢查等。這樣就可以對(duì)用戶無(wú)影響的情況下，滿足數(shù)據(jù)類型“縱向擴(kuò)展性”的要求。類似的，計(jì)算節(jié)點(diǎn)接入層完成了算力節(jié)點(diǎn)類型的“縱向擴(kuò)展性”的要求。

此外，為了支持“橫向擴(kuò)展性”和“高可用”的需求，需要將原來(lái)單個(gè)的訓(xùn)練任務(wù)分布式化，使其拆分成若干個(gè)同構(gòu)的小任務(wù)讓不同的服務(wù)器來(lái)運(yùn)行。對(duì)于AI訓(xùn)練服務(wù)，支持對(duì)于標(biāo)準(zhǔn)Tensorflow和MXNet自動(dòng)分布式任務(wù)拆分;對(duì)于AI在線服務(wù)，由于是WebService形式，天然支持分布式部署。隨后，動(dòng)態(tài)監(jiān)控計(jì)算節(jié)點(diǎn)運(yùn)行壓力，憑借UCloud云上海量的計(jì)算資源，動(dòng)態(tài)彈性的擴(kuò)容，以此滿足“橫向擴(kuò)展性”。同時(shí)，UCloud計(jì)算集群分地域部署，隨時(shí)災(zāi)備切換，以此保證“高可用”需求。

在講解完公有云系統(tǒng)架構(gòu)后，范融轉(zhuǎn)而介紹私有云實(shí)施經(jīng)驗(yàn)。憑借公有云上良好的分層模塊的架構(gòu)設(shè)計(jì)，API接入層、計(jì)算節(jié)點(diǎn)接入層、數(shù)據(jù)存儲(chǔ)接入層將UCloud AI PaaS平臺(tái)的核心組件全方位包圍，使其能夠方便的接入各類賬號(hào)、資源、權(quán)限、數(shù)據(jù)管理組件，以此達(dá)到快速將公有云AI PaaS平臺(tái)特性遷移部署到私有云的“環(huán)境遷移”需求。

針對(duì)私有云方案的應(yīng)用，范融列舉了一個(gè)私有云接入層的具體案例，被稱為一體機(jī)方案。如果用戶有一個(gè)完整一體機(jī)，完全可以搭建自己的AI算法庫(kù)，將算法庫(kù)通過(guò)API調(diào)入到私有云中進(jìn)行訓(xùn)練，訓(xùn)練出來(lái)的模型自動(dòng)部署到在線服務(wù)平臺(tái)上，然后與自己業(yè)務(wù)系統(tǒng)的微服務(wù)對(duì)接，這樣一來(lái)用戶生態(tài)私有云的布置就能快速部署完成。

最后，范融分享了幾個(gè)實(shí)際的客戶案例：

案例1：使用UCloud AI平臺(tái)部署多場(chǎng)景的圖片特征標(biāo)簽在線服務(wù)，灰度發(fā)布、各場(chǎng)景資源隔離、彈性擴(kuò)容的特性，為客戶大大節(jié)省了客戶系統(tǒng)的運(yùn)行維護(hù)成本。

案例2：使用UCloud AI平臺(tái)對(duì)大量樣本文件的OCR圖片識(shí)別場(chǎng)景進(jìn)行自動(dòng)化分布式訓(xùn)練。將用戶原本在單機(jī)運(yùn)行訓(xùn)練算法，自動(dòng)分布式到8臺(tái)4卡P40物理機(jī)運(yùn)行，大大提升了用戶的訓(xùn)練時(shí)間，加快了算法迭代開(kāi)發(fā)的周期

案例3：使用UCloud AI平臺(tái)支撐AI Chanllenger全國(guó)挑戰(zhàn)賽。彈性擴(kuò)容的特性，很好的為大賽高峰使用需求提供穩(wěn)定支撐。按需收費(fèi)的特性，極大節(jié)省了大賽組委會(huì)的賽事運(yùn)營(yíng)成本。

《數(shù)據(jù)庫(kù)高可用容災(zāi)方案設(shè)計(jì)和實(shí)現(xiàn)》

——UCloud資深存儲(chǔ)研發(fā)工程師 丁順

開(kāi)放式的精彩分享仍在繼續(xù)，在有關(guān)“數(shù)據(jù)庫(kù)高可用容災(zāi)方案設(shè)計(jì)和實(shí)現(xiàn)”的分享中，UCloud云數(shù)據(jù)庫(kù)的資深研發(fā)工程師丁順，對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)服務(wù)與高可用數(shù)據(jù)庫(kù)進(jìn)行了對(duì)比。

傳統(tǒng)的數(shù)據(jù)庫(kù)服務(wù)是一個(gè)數(shù)據(jù)庫(kù)，一旦發(fā)生宕機(jī)的情況，整個(gè)數(shù)據(jù)的讀寫(xiě)全部不可用，就會(huì)對(duì)服務(wù)造成很大的影響，為了解決這個(gè)問(wèn)題就要想辦法提高整個(gè)數(shù)據(jù)庫(kù)服務(wù)的可能性。所以為解決數(shù)據(jù)庫(kù)宕機(jī)導(dǎo)致數(shù)據(jù)無(wú)法讀寫(xiě)，確保對(duì)運(yùn)維、提供服務(wù)帶來(lái)更多便利要求的前提下，高可用數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。

高可用數(shù)據(jù)庫(kù)既然帶來(lái)那么多好處，如何設(shè)計(jì)一個(gè)高可用數(shù)據(jù)庫(kù)系統(tǒng)？需要著重關(guān)注哪些問(wèn)題呢？

首先，各個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)之間的數(shù)據(jù)是如何做到同步的?丁順表示，這就需要保證數(shù)據(jù)庫(kù)在發(fā)生一個(gè)切換之后，同時(shí)需要最新的數(shù)據(jù)的要求下，數(shù)據(jù)同步是很重要的，否則如果切換之后發(fā)現(xiàn)數(shù)據(jù)不一致，這個(gè)問(wèn)題比較嚴(yán)重，所以要保證各個(gè)節(jié)點(diǎn)的數(shù)據(jù)及時(shí)同步。同步過(guò)程中勢(shì)必會(huì)對(duì)整個(gè)系統(tǒng)帶來(lái)一些影響，也需要關(guān)注。

容災(zāi)是怎么進(jìn)行。不同架構(gòu)的容災(zāi)切換的復(fù)雜度是不一樣的，在設(shè)計(jì)高可用數(shù)據(jù)庫(kù)當(dāng)中要盡可能去簡(jiǎn)化容災(zāi)的步驟，因?yàn)橹挥胁襟E做到簡(jiǎn)化，容災(zāi)時(shí)間才可以縮短，對(duì)用戶的影響會(huì)更小。

“此外，我們需要關(guān)注的是運(yùn)維效率問(wèn)題。有可能一個(gè)數(shù)據(jù)庫(kù)設(shè)計(jì)出來(lái)之后確實(shí)具備高可用能力，但一些容災(zāi)和運(yùn)維操作十分繁瑣，也不利于數(shù)據(jù)庫(kù)的長(zhǎng)期維護(hù)。”他補(bǔ)充道。

面對(duì)高可用數(shù)據(jù)庫(kù)帶來(lái)的好處，丁順還詳細(xì)分析了業(yè)界典型高可用數(shù)據(jù)庫(kù)架構(gòu)，并按照數(shù)據(jù)同步的方式進(jìn)行了劃分，其中包括共享存儲(chǔ)、操作系統(tǒng)實(shí)時(shí)數(shù)據(jù)塊復(fù)制、基于主從的復(fù)制、基于一致性協(xié)議的復(fù)制四種數(shù)據(jù)同步的方式。

除此以外，他還提出了UCloud云數(shù)據(jù)庫(kù)產(chǎn)品UDB。據(jù)了解，UDB采用經(jīng)典的主從模式設(shè)計(jì)，為了提高數(shù)據(jù)一致性，采用了半同步的模式，用來(lái)保證可靠性。

具體來(lái)說(shuō)，首先要考慮原生的MySQL的兼容;另外架構(gòu)可以盡可能涵蓋不同的版本，有一些比較老的版本也可以去兼容高可用架構(gòu)，享受高可用的紅利;整個(gè)架構(gòu)可以涵蓋不同的應(yīng)用場(chǎng)景，也就是說(shuō)，假設(shè)有很多不同的存儲(chǔ)引擎，都可以進(jìn)行涵蓋。

基于這樣的設(shè)計(jì)思路，所以UCloud高可用數(shù)據(jù)庫(kù)產(chǎn)品采用比較經(jīng)典的主從模式來(lái)進(jìn)行設(shè)計(jì)，即Master DB和Standby DB雙主架構(gòu);為了提高數(shù)據(jù)一致性采用了半同步的模式，提高它的可靠性;同時(shí)由于高可用架構(gòu)下可能還會(huì)掛載其他的備庫(kù)，所以使用了GTID，保證做切換的時(shí)候可以讓下面的備庫(kù)進(jìn)行無(wú)縫感知等。

關(guān)于高可用數(shù)據(jù)庫(kù)運(yùn)維經(jīng)驗(yàn)，其中日常要進(jìn)行例行巡檢是非常重要的。在巡檢中發(fā)現(xiàn)有時(shí)候高可用數(shù)據(jù)庫(kù)延時(shí)過(guò)大是導(dǎo)致高可用數(shù)據(jù)庫(kù)無(wú)法切換的重要原因之一，所以在日巡檢當(dāng)中需要把主從延時(shí)這個(gè)指標(biāo)作為一個(gè)非常重要的時(shí)間指標(biāo)加以關(guān)注。

另外，定期容災(zāi)演練很有必要。丁順說(shuō)：“因?yàn)橛袝r(shí)候我們會(huì)改變?nèi)轂?zāi)邏輯，就需要自己進(jìn)行一個(gè)容災(zāi)演練才能發(fā)現(xiàn)一些問(wèn)題，尤其需要去滿足演變之后數(shù)據(jù)切換是不是一致，因?yàn)榉浅：ε聰?shù)據(jù)切換以后不一致的情況。”

最后，在運(yùn)維過(guò)程中對(duì)高可用容災(zāi)記錄要進(jìn)行全方位記錄，并且切換失敗時(shí)要進(jìn)行及時(shí)的告警，這樣才能幫助做以后的一些日志復(fù)盤(pán)分析，同時(shí)發(fā)現(xiàn)不能容災(zāi)情況下能夠第一時(shí)間人工介入，這點(diǎn)也非常重要。

《技術(shù)內(nèi)幕：分布式存儲(chǔ)中的數(shù)據(jù)分布算法》

——奧思數(shù)據(jù) 創(chuàng)始人&CTO 李明宇

不論是云存儲(chǔ)服務(wù)、企業(yè)級(jí)存儲(chǔ)系統(tǒng)，還是區(qū)塊鏈存儲(chǔ)，分布式存儲(chǔ)已經(jīng)成為了數(shù)據(jù)存儲(chǔ)的主流方案，傳統(tǒng)的集中式存儲(chǔ)設(shè)備正在淡出IT舞臺(tái)。數(shù)據(jù)分布算法是分布式存儲(chǔ)最核心的技術(shù)之一，不僅僅要考慮到數(shù)據(jù)分布的均勻性、尋址的效率，還要考慮擴(kuò)充和減少容量時(shí)數(shù)據(jù)遷移的開(kāi)銷，兼顧副本的一致性和可用性。

具體到企業(yè)級(jí)存儲(chǔ)和區(qū)塊鏈存儲(chǔ)的不同場(chǎng)景，對(duì)數(shù)據(jù)分布的需求又有很大不同，一個(gè)算法并不能解決所有的問(wèn)題，奧思數(shù)據(jù)創(chuàng)始人&CTO李明宇在分享中，將比較幾種典型的數(shù)據(jù)分布算法，分析其優(yōu)缺點(diǎn)并討論在具體應(yīng)用中會(huì)遇到的諸多問(wèn)題。

編程的時(shí)候如果有N個(gè)小的空間，我們要把數(shù)據(jù)均勻分布下去怎么做?最簡(jiǎn)單用哈希表來(lái)做，一致性哈希算法首先計(jì)算復(fù)雜度非常低，只要算一次哈希匹配就可以了，均勻性比較好，但擴(kuò)容的時(shí)候呢?

所以真正應(yīng)用的時(shí)候都是改進(jìn)型哈希算法，直接應(yīng)用肯定會(huì)遇到一些挑戰(zhàn)。究其原因，他認(rèn)為，首先數(shù)據(jù)的分布是隨機(jī)的，如果用到企業(yè)級(jí)存儲(chǔ)往往有哪些要求?其中需要提及的多副本可靠存儲(chǔ)，即一個(gè)文件存多個(gè)副本，保證任何一個(gè)文件發(fā)生故障都不會(huì)丟失。有人說(shuō)，怕數(shù)據(jù)丟失可以存十份，一個(gè)硬件存儲(chǔ)的價(jià)格、硬件成本，目前做得好的也在50萬(wàn)左右。存10份，意味著多出來(lái)450萬(wàn)的成本，一個(gè)PB，不可接受。

成本接受的前提下數(shù)據(jù)還不能丟，怎么辦?即便存了三份數(shù)據(jù)，五份數(shù)據(jù)，因?yàn)樗愎Ｊ请S機(jī)的，所以怎么保證五個(gè)副本不放在一個(gè)盤(pán)上，或者這個(gè)區(qū)間或者那個(gè)區(qū)間?其實(shí)這是有一定概率的。

另外很重要的一點(diǎn)，一致性哈希算法是最基礎(chǔ)的，它構(gòu)成了現(xiàn)在分布式存儲(chǔ)數(shù)據(jù)分布的基礎(chǔ)算法，數(shù)據(jù)怎么找到它的存儲(chǔ)位置?算哈希匹配，這樣能夠極大的提高效率。換句話說(shuō)如果采用查表的方式，Objecto的數(shù)量太多了，查表的負(fù)擔(dān)非常大，存儲(chǔ)開(kāi)銷非常大，一致性哈希算法不用查表。

企業(yè)級(jí)存儲(chǔ)與區(qū)塊鏈存儲(chǔ)考慮的問(wèn)題又不一樣，企業(yè)級(jí)存儲(chǔ)主要考慮全局可控，故障域和權(quán)重的因素，實(shí)際上在擴(kuò)容的時(shí)候并不是擴(kuò)哈希到設(shè)備的映射，而是擴(kuò)PG到設(shè)備的映射，會(huì)發(fā)現(xiàn)PG可能并沒(méi)有增多，但是OSD數(shù)量增多了，隨之PG到OSD的映射也就改變了。

除了精彩的主題分享之外，本次2018 UCan下午茶年終收官還準(zhǔn)備了精彩紛呈的展區(qū)互動(dòng)和抽獎(jiǎng)環(huán)節(jié)，不僅增強(qiáng)了現(xiàn)場(chǎng)參會(huì)者的互動(dòng)交流，更為本次沙龍?jiān)鎏砉獠省?/strong>