

新聞中心
最新文章
東莞監(jiān)控安裝闡述云存儲系統(tǒng)難點技術解析 |
發(fā)布時間:2016-11-10 瀏覽:3746 次 |
東莞監(jiān)控安裝闡述云存儲系統(tǒng)難點技術解析 云存儲在系統(tǒng)架構和設計上,充分考慮大規(guī)模集群環(huán)境下軟硬件發(fā)生故障的現(xiàn)實,采用先進的管理思想和軟件系統(tǒng),實現(xiàn)對大量普通存儲服務器存儲空間資源進行虛擬化整合,實現(xiàn)軟硬件故障高度容錯,搭建高度穩(wěn)定可靠的存儲集群。系統(tǒng)整體為應用提供統(tǒng)一命名空間,使得系統(tǒng)具備極好的數(shù)據(jù)共享能力。系統(tǒng)將負載均衡到集群內(nèi)的各節(jié)點上,充分利用集群各節(jié)點性能,以獲得很好的性能聚合能力以及保證了系統(tǒng)的穩(wěn)定。集群采用高度靈活自組網(wǎng)技術,提供簡易部署和維護功能,系統(tǒng)在數(shù)據(jù)可靠方面,采用智能冗余重建技術,保證較高磁盤利用率的前提下,提供最佳冗余策略。另外,系統(tǒng)在節(jié)點軟硬件故障容錯方面,也進行充分考慮,具備屏蔽所有可屏蔽錯誤能力。 快速文件索引技術 云存儲系統(tǒng)可以支持上億級的文件,同時還需要支持上千個用戶同時訪問。這么大規(guī)模的元數(shù)據(jù)和并發(fā)訪問量,采用傳統(tǒng)的內(nèi)存加盟磁盤多級存儲,以及多級索引方式,尋址的開銷將非常大,直接影響到系統(tǒng)的可用性。為了提高系統(tǒng)的響應速度,云存儲一般采用粗粒度的管理方式,以64M作為典型的塊大小進行索引,大幅減少元數(shù)據(jù)的數(shù)量,即使如此,系統(tǒng)的元數(shù)據(jù)規(guī)模還是會達到GB級別?;谶@種情況,系統(tǒng)采用全內(nèi)存態(tài)的元數(shù)據(jù)訪問模式,可以將文件尋址時間降到毫秒級別。 負載自動均衡技術 采用中心服務器模式來管理整個云存儲文件系統(tǒng),所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務器上、文件則被按塊劃分存儲在不同的數(shù)據(jù)節(jié)點上。元數(shù)據(jù)維護了統(tǒng)一的命名空間,同時掌握整個系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點的使用情況,當客戶端向元數(shù)據(jù)服務器發(fā)送數(shù)據(jù)讀寫的請求時,元數(shù)據(jù)服務器根據(jù)數(shù)據(jù)節(jié)點的磁盤使用情況、網(wǎng)絡負擔等情況,選擇負擔最輕的節(jié)點服務器對外提供服務,自動調(diào)解集群的負載狀態(tài)。數(shù)據(jù)節(jié)點內(nèi)同時有提供磁盤級的負載均衡,根據(jù)磁盤的10負載,空間容量情況,自動選擇負載最輕的磁盤存儲新的數(shù)據(jù)文件。另外對故障的數(shù)據(jù)節(jié)點上的數(shù)據(jù)快速恢復,只需將數(shù)據(jù)節(jié)點上的硬盤撥出,插入到其他數(shù)據(jù)節(jié)點,這樣即減少集群對數(shù)據(jù)恢復的壓力,又不對客戶端讀寫產(chǎn)生影響。 高速并發(fā)訪問技術 客戶端在訪問云存儲時,首先訪問元數(shù)據(jù)服務器,獲取將要與之進行交互的數(shù)據(jù)節(jié)點信息,然后直接訪問這些數(shù)據(jù)節(jié)點完成數(shù)據(jù)存取??蛻舳伺c元數(shù)據(jù)服務器之間只有控制流,而無數(shù)據(jù)流,這樣就極大地降低了元數(shù)據(jù)服務器的負載,使之不成為系統(tǒng)性能的一個瓶頸。客戶端與數(shù)據(jù)節(jié)點之間直接傳輸數(shù)據(jù)流,同時由于文件被分成多個節(jié)點之間直接傳輸數(shù)據(jù)流,同時由于文件被分成多個節(jié)點進行分布式存儲,客戶端可以同時訪問多個節(jié)點服務器,從而使得整個系統(tǒng)的I/O高度并行,系統(tǒng)整體性能得到提高。通常情況下,系統(tǒng)的整個吞吐率與節(jié)點服務器的數(shù)據(jù)呈正比。 高可靠性保證技術 對于元數(shù)據(jù),通過操作日志來提供容錯功能。主要服務器本地SSD盤組建高可靠RAIDI,提供高可靠容錯能力。當元數(shù)據(jù)服務器發(fā)生故障時,在磁盤數(shù)據(jù)保存完好的情況下,可以迅速恢復以上元數(shù)據(jù)。且操作日志在主備元數(shù)據(jù)服務器之間實時同步,實現(xiàn)更高程度的可靠性。對于節(jié)點服務器,采用Erasure Code冗余方式實現(xiàn)容錯,數(shù)據(jù)冗余分布存儲在不同的數(shù)據(jù)節(jié)點上。任一數(shù)據(jù)節(jié)點的損壞,不會導致任何數(shù)據(jù)丟失,不會影響任何的數(shù)據(jù)訪問和寫入過程。之后,通過靈活數(shù)據(jù)恢復機制,進行數(shù)據(jù)重建過程。集群規(guī)模越大,恢復速度越快。 以上文章來源由東莞監(jiān)控安裝http://www.csylc82.com創(chuàng)通寶科技整理提供。 |
創(chuàng)通寶科技致力于為客戶提供全方位的弱電智能化工程服務
電話:0769-83736568 13380121669 | 傳真:0769-22305978 | 郵箱:0769@chtonb.com