分布式對象存儲——“超級數(shù)據(jù)圖書館

QQ1355017510
 電話  0371-63322099
數(shù)據(jù)的產(chǎn)生及信息爆炸帶來的挑戰(zhàn)

　　為了更清晰的認識我們所生存的環(huán)境，提高人際溝通效率，人們收集和創(chuàng)造了大量的數(shù)據(jù)，有些是對物理世界的客觀描述，如原子和分子的組成，或是DNA螺旋結(jié)構(gòu);也包括煙波浩渺的宇宙中的星系和星云;亦或是人類對自身歷史的記錄;還有一些數(shù)據(jù)被用于人們相互溝通，如Facebook上每天新增數(shù)十億條內(nèi)容，或每天被發(fā)送的數(shù)千億封郵件。

　　隨著人們對客觀世界的逐步認知，人際溝通的效率越來越高，人們的溝通與生活也越來越豐富，人類收集和創(chuàng)造的數(shù)據(jù)也越來越多，這些數(shù)據(jù)飽含信息與知識，是人類智慧與勤勞的結(jié)晶，是人類寶貴的信息資產(chǎn)。一部《史記》，共52萬6千500字，約1MB數(shù)據(jù);一組用于基因研究的染色體照片數(shù)據(jù)量超過2TB;歐洲核子研究中心(CERN)每年有超過20PB數(shù)據(jù)通過全球最大的大型強子對撞機(LHC)被收集起來用于微觀粒子研究。根據(jù)IDC的分析，2011年全球數(shù)據(jù)產(chǎn)生量達到1.8ZB，到2020年這個數(shù)字將增長50倍(1ZB=1,000EB=1,000,000PB)，如此大規(guī)模的數(shù)據(jù)給存儲系統(tǒng)帶來了巨大的挑戰(zhàn)，人類將如何應(yīng)對咆哮而來的數(shù)據(jù)洪流？

　　存儲方案的演進

　　在人類發(fā)明和使用電子計算機以前，數(shù)據(jù)處理由人類大腦完成，大腦中還同時存儲了大量信息用于支撐數(shù)據(jù)處理，人類大腦存儲的信息依然相對有限，仍有大量數(shù)據(jù)被存儲在圖書館。當(dāng)有需要的時候，人們便會到圖書館獲取更多的數(shù)據(jù)。以此我們可以總結(jié)出如下的一種數(shù)據(jù)存儲與數(shù)據(jù)處理模型：

　　該模型包括三個部分，計算單元、內(nèi)部存儲單元(低延遲，容量偏小)、外部存儲單元(延遲增加，容量超大)。如果按照對圖書的存儲(記憶)能力來估算，通常一個人大腦中能記憶的內(nèi)容不超過1000本書，圖書館中收藏的書籍大約是百萬本為單位。兩種存儲的存儲容量差距大概是1000倍，而且圖書館中的數(shù)據(jù)可以被很多人共享。

　　20世紀電子與信息技術(shù)迅速發(fā)展，機器計算迅速普及，馮·諾依曼在1945年6月30日，提出了存儲程序邏輯架構(gòu)，即現(xiàn)有的計算機都遵循的“馮·諾依曼體系架構(gòu)”，具體如下圖：

　　我們可以看出，馮諾依曼體系結(jié)構(gòu)與人腦(生物)計算模型匹配度相當(dāng)準確。我們通常把運算器和控制器合并成中央處理器(CPU)，內(nèi)部小容量的存儲提供快速的訪問，外部存儲器提供大容量的存儲空間。在不同的計算機時代，我們可以按照不同的角度來理解馮諾依曼體系結(jié)構(gòu)。在單機計算時代(包括大型機、小型機、微機)內(nèi)部存儲器可理解為內(nèi)存(即Memory)，外部存儲器可理解為物理硬盤(包括本地硬盤和通過網(wǎng)絡(luò)映射的邏輯卷)。在本地硬盤空間不足，可靠性無法滿足業(yè)務(wù)需求的情況下，SAN存儲出現(xiàn)了，通過網(wǎng)絡(luò)映射的邏輯卷(即SAN存儲提供的LUN)成為增強版的硬盤。為了解決數(shù)據(jù)共享的問題，NAS存儲隨之誕生。

　　但馮諾依曼體系架構(gòu)沒有考慮并行計算和數(shù)據(jù)共享情形，在如今的網(wǎng)絡(luò)時代，大量計算設(shè)備通過網(wǎng)絡(luò)形成一個龐大、相互獨立但又邏輯統(tǒng)一的計算系統(tǒng)，因此我們可以總結(jié)出一個數(shù)據(jù)存儲的通用模型，這個模型包括兩級存儲，其存儲容量差距約1000倍：

　　如果將上圖中每一個計算模塊理解為一個計算內(nèi)核，那么高速存儲單元則是CPU內(nèi)的緩存(單位為KB~MB)，海量存儲單元則是內(nèi)存(單位為GB);如果把每一個計算模塊理解為一個CPU，那么高速存儲單元則是內(nèi)存(單位為GB~TB)，海量存儲是物理硬盤或通過網(wǎng)絡(luò)映射給服務(wù)器的邏輯卷(或網(wǎng)絡(luò)文件系統(tǒng)，單位為TB~PB);如果把計算模塊理解為針對某一項任務(wù)或某一組任務(wù)提供計算能力的服務(wù)器集群，把SAN或NAS等擁有TB~PB級存儲規(guī)模的網(wǎng)絡(luò)存儲設(shè)備理解為高速存儲單元，那么具備PB~EB級存儲容量的海量存儲單元將基于什么技術(shù)和產(chǎn)品構(gòu)建呢？

　　SAN和NAS技術(shù)已經(jīng)出現(xiàn)了數(shù)十年，目前單臺SAN或NAS設(shè)備最大容量已經(jīng)達到PB級別，但在應(yīng)對EB級數(shù)據(jù)挑戰(zhàn)時，還是顯得有些力不從心。這主要由于其架構(gòu)和服務(wù)接口決定的。

　　SAN使用SCSI協(xié)議作為底層協(xié)議，SCSI協(xié)議管理的粒度非常小，通常以字節(jié)(byte)或千字節(jié)(KB)為單位;同時SCSI協(xié)議沒有提供讀寫鎖機制以確保不同應(yīng)用并發(fā)讀寫時的數(shù)據(jù)一致性，因此難以實現(xiàn)EB級存儲資源管理和多個服務(wù)器/服務(wù)器集群之間數(shù)據(jù)共享。

　　NAS使用文件協(xié)議訪問數(shù)據(jù)，通過文件協(xié)議存儲設(shè)備能夠準確識別數(shù)據(jù)內(nèi)容，并提供了非常豐富的文件訪問接口，包括復(fù)雜的目錄/文件的讀寫鎖。文件和目錄采用樹形結(jié)構(gòu)管理，每個節(jié)點使用一種叫做inode的結(jié)構(gòu)進行管理，每一個目錄和文件都對應(yīng)一個iNode。目錄深度或同一目錄下的子節(jié)點數(shù)隨著整體文件數(shù)量的增加而快速增加，通常文件數(shù)量超過億級時，文件系統(tǒng)復(fù)雜的鎖機制及頻繁的元數(shù)據(jù)訪問將極大降低系統(tǒng)的整體性能。

　　傳統(tǒng)的RAID技術(shù)和Scale-up架構(gòu)也阻止了傳統(tǒng)的SAN和NAS成為EB級高可用，高性能的海量存儲單元。傳統(tǒng)的RAID基于硬盤，通常一個RAID組最多包含20+塊硬盤，即使PB級規(guī)模的SAN或NAS也將被分割成多個存儲孤島，增加了EB級規(guī)模應(yīng)用場景下的管理復(fù)雜度;同時Scale-up架構(gòu)決定了即使SAN和NAS存儲容量達到EB級，性能也將成為木桶的短板。

　　那么如何才能應(yīng)對信息爆炸時代的數(shù)據(jù)洪流呢？我們設(shè)想能否有一種“超級數(shù)據(jù)圖書館”，它提供海量的、可共享的存儲空間給很多用戶(服務(wù)器/服務(wù)器集群)使用，提供超大的存儲容量，其存儲容量規(guī)模千倍于當(dāng)前的高速存儲單元(SAN和NAS)，用戶或應(yīng)用訪問數(shù)據(jù)時無需知道圖書館對這些書如何擺放和管理(布局管理)，只需要提供唯一編號(ID)就可以獲取到這本書的內(nèi)容(數(shù)據(jù))。如果某一本書變得老舊殘破，系統(tǒng)自動地將即將失效或已經(jīng)失效的書頁(存儲介質(zhì))上的數(shù)據(jù)抄寫(恢復(fù)/重構(gòu))到新的紙張(存儲介質(zhì))上，并重新裝訂這本書，數(shù)據(jù)使用者無需關(guān)注這一過程，只是根據(jù)需要去獲取數(shù)據(jù)資源。這種“超級數(shù)據(jù)圖書館”是否真的存在呢？

　　分布式對象存儲的誕生

　　對象存儲技術(shù)的出現(xiàn)和大量自動化管理技術(shù)的產(chǎn)生，使得“超級數(shù)據(jù)圖書館”不再是人類遙不可及的夢想。對象存儲系統(tǒng)(Object-Based Storage System)改進了SAN和NAS存儲的劣勢，保留了NAS的數(shù)據(jù)共享等優(yōu)勢，通過高級的抽象接口替代了SCSI存儲塊和文件訪問接口，屏蔽了存儲底層的實現(xiàn)細節(jié)，將NAS垂直的樹形結(jié)構(gòu)改變成平等的扁平結(jié)構(gòu)，從而提高了擴展性、增強了可靠性、具備了平臺無關(guān)性等重要存儲特性。

　　SNIA(網(wǎng)絡(luò)存儲工業(yè)協(xié)會)定義的對象存儲設(shè)備是這樣的：

　　Ø 對象是自完備的，包含元數(shù)據(jù)、數(shù)據(jù)和屬性

　　n 存儲設(shè)備可以自行決定對象的具體存儲位置和數(shù)據(jù)的分布

　　n 存儲設(shè)備可以對不同的對象提供不同的QoS

　　Ø 對象存儲設(shè)備相對于塊設(shè)備有更高的“智能”，上層通過對象ID來訪問對象，而無需了解對象的具體空間分布情況

　　換句話說對象存儲是智能化、封裝得更好的塊，是“文件”或其他應(yīng)用級邏輯結(jié)構(gòu)的組成部分，文件與對象的對應(yīng)關(guān)系由上層直接控制，對象存儲設(shè)備本身也可能是個分布式的系統(tǒng)——這就是分布式對象存儲系統(tǒng)了。

　　用對象替代傳統(tǒng)的塊的好處在于對象的內(nèi)容本身來自應(yīng)用，其具有內(nèi)在的聯(lián)系，具有“原子性”，因此可以做到：

　　Ø 在存儲層進行更智能的空間管理

　　Ø 內(nèi)容相關(guān)的數(shù)據(jù)預(yù)取和緩存

　　Ø 可靠的多用戶共享訪問

　　Ø 對象級別的安全性

　　同時，對象存儲架構(gòu)還具有更好的可伸縮性。一個對象除了ID和用戶數(shù)據(jù)外，還包含了屬主、時間、大小、位置等源數(shù)據(jù)信息，權(quán)限等預(yù)定義屬性，乃至很多自定義屬性。

　　具備EB級規(guī)模擴展性的分布式對象存儲，通過對應(yīng)用提供統(tǒng)一的命名空間，構(gòu)建EB級統(tǒng)一、可共享數(shù)據(jù)的存儲資源池，有效地填補上述通用計算模型中“網(wǎng)絡(luò)計算”場景海量存儲單元空白，通過高層次的數(shù)據(jù)模型抽象，可以簡化應(yīng)用對數(shù)據(jù)訪問，同時使得海量存儲更加智能。

　　華為公司基于對電信運營商、大型企業(yè)、互聯(lián)網(wǎng)、科學(xué)研究等領(lǐng)域的深刻理解，憑借深厚的ICT技術(shù)積累，秉承存無止境，安全可信理念，通過不斷技術(shù)創(chuàng)新，推出新一代UDS海量存儲系統(tǒng)。

　　對象是數(shù)據(jù)和自描述信息的集合，是在磁盤上存儲的基本單元。對象存儲通過簡化數(shù)據(jù)的組織形式(如將樹形的“目錄”和“文件”替換為扁平化的“ID”與“對象”)、降低協(xié)議與接口的復(fù)雜度(如簡化復(fù)雜的鎖機制，確保最終一致性)，從而提高系統(tǒng)的擴展性以應(yīng)對信息爆炸時代海量數(shù)據(jù)的挑戰(zhàn)。同時對象的智能自管理功能也能有效降低系統(tǒng)維護復(fù)雜度，幫助用戶降低整體擁有成本(TCO)。

　　華為UDS開創(chuàng)性地采用基于ARM芯片的高密度硬件架構(gòu)，降低單位容量功耗、提高單位體積存儲容量，有效降低能源消耗;通過對象、P2P分布式存儲引擎、集群應(yīng)用等技術(shù)構(gòu)建海量對象存儲基礎(chǔ)架構(gòu)平臺;對外提供多種訪問接口，以滿足不同業(yè)務(wù)的適配需求。以UDS為基礎(chǔ)可構(gòu)建多種解決方案，如海量資源池，網(wǎng)盤，云備份，集中備份等方案將幫助用戶構(gòu)建強擴展，易管理，高可靠的“超級數(shù)據(jù)圖書館”，使得人類可以輕松應(yīng)對海量存儲環(huán)境下的各種挑戰(zhàn)。

　　華為UDS(Universal Distributed Storage)海量存儲系統(tǒng)以對象作為基本存儲形式，通過分布式技術(shù)將本地或異地海量存儲節(jié)點的存儲資源進行有機的整合，形成一個跨地域、跨設(shè)備、可橫向擴展的EB級容量的大型分布式對象存儲系統(tǒng);該系統(tǒng)通過多種安全、可靠的存儲技術(shù)確保數(shù)據(jù)私密性及數(shù)據(jù)高可用;通過自動化部署、自動負載均衡、自動數(shù)據(jù)遷移、故障自愈等技術(shù)豐富自動化管理特性，同時結(jié)合豐富的生命周期管理策略及高效節(jié)能技術(shù)，提高運維效率。華為UDS海量存儲系統(tǒng)為客戶構(gòu)建數(shù)字洪流時代的“超級數(shù)據(jù)圖書館”，幫助客戶化挑戰(zhàn)為機遇，并在信息化社會發(fā)展中持續(xù)受益。

原文出自【比特網(wǎng)】，轉(zhuǎn)載請保留原文鏈接：http://storage.chinabyte.com/40/12421040.shtml

服務(wù)器租用/服務(wù)器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]