AnyShareFamily7是怎樣解決海量小文件備份難題

AnyShare Family 7是怎樣解決海量小文件備份難題，針對這個(gè)問題，這篇文章詳細(xì)介紹了相對應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡單易行的方法。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、小程序設(shè)計(jì)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了威縣免費(fèi)建站歡迎大家使用！

這段時(shí)間，我花了很多時(shí)間研究海量小文件的備份，發(fā)現(xiàn)各種方案都有很大的局限性

我以為這是一個(gè)世界級的難題，但看了愛數(shù)7月6日的AnyShare Family 7揭秘會(huì)后，我恍然大悟，原來解決的思路如此簡單，但確實(shí)很實(shí)用，確實(shí)幫助AnyShare Family 7的用戶解決大問題。

AnyShare Family 7是愛數(shù)全新的整合、管理、洞察非結(jié)構(gòu)化數(shù)據(jù)的生產(chǎn)力平臺(tái)，其實(shí)就是一個(gè)智能內(nèi)容云平臺(tái)。

AnyShare Family 7包含5大功能模塊，分別是整合業(yè)務(wù)應(yīng)用、內(nèi)容應(yīng)用開發(fā)、文檔管理、團(tuán)隊(duì)協(xié)作和數(shù)據(jù)洞察。

這次發(fā)布的AnyShare Family 7全新版本，相比AnyShare Family 6，有很多功能和性能的提升，比如智能搜索建立索引的時(shí)長比AnyShare Family 6縮短了5倍。

在整體的架構(gòu)上，AnyShare Family 7也和OpenText一樣，采用了現(xiàn)代化的微服務(wù)體系架構(gòu)，更具有彈性和適應(yīng)性。

但這些都不是我關(guān)注的重點(diǎn)，我還是關(guān)注那個(gè)海量小文件的備份問題，因?yàn)槲依Щ筮@些問題已經(jīng)很多年了。

愛數(shù)總裁賀鴻富在AnyShare Family 7揭秘會(huì)上也講了，海量非結(jié)構(gòu)化數(shù)據(jù)帶來的是海量小文件的管理問題。

比如愛數(shù)自己，有103TB的非結(jié)構(gòu)化數(shù)據(jù)，一共2070萬個(gè)文件，平均文件大小是5.21MB。其實(shí)，5MB已經(jīng)不算小文件了，但這是一個(gè)平均數(shù)，小于1MB的文件估計(jì)最少也有幾百萬。

AnyShare為了保存這些非結(jié)構(gòu)化數(shù)據(jù)，底層采用了基于Ceph的對象存儲(chǔ)（也可以是第三方的對象存儲(chǔ)）。因?yàn)閷ο蟠鎯?chǔ)的扁平架構(gòu)，更加適合保存海量的文件。

但是，如果要采用常規(guī)的方式，對對象存儲(chǔ)進(jìn)行備份和恢復(fù)，在文件小于1MB以后，備份和恢復(fù)速度都急劇下降。愛數(shù)自己的備份軟件如此，市場領(lǐng)導(dǎo)者Commvault的備份軟件也如此。

也就是備份100TB的平均大小為1MB的數(shù)據(jù)，備份和恢復(fù)時(shí)間都需要半個(gè)月左右。這樣的速度，肯定是無法滿足企業(yè)的RPO/RTO要求的。

但AnyShare Family 7采用全新的備份思路，同樣的數(shù)據(jù)，可以把備份和恢復(fù)的速度提高到僅需要5天左右。

而且關(guān)鍵的是，不僅僅只是速度提升3~4倍，更重要是性能穩(wěn)定，不會(huì)出現(xiàn)抖動(dòng)。也就是說，備份和恢復(fù)的速度，到了10MB以后，和文件大小就沒有關(guān)系了。

從測試也可以看出，AnyShare Family 7的備份恢復(fù)，對小文件無感。10MB以下的文件，備份速度都一致，而且速度穩(wěn)定在250MB/s以上。

為什么愛數(shù)可以做得這么快？最主要原因就是另辟蹊徑，就是沒有像其他備份廠商一樣，采用標(biāo)準(zhǔn)的S3協(xié)議來備份對象存儲(chǔ)里的小文件。

大家知道，對象存儲(chǔ)基本都有小文件歸并技術(shù)。也就是說，小文件都是歸并為大對象保存在對象存儲(chǔ)里面的。小文件歸并有兩個(gè)作用，一是提高文件讀寫的處理效率，第二是提高存儲(chǔ)的空間利用率。

小文件和大對象的對應(yīng)關(guān)系，對象存儲(chǔ)一般采用一個(gè)數(shù)據(jù)庫來保存這些元數(shù)據(jù)。當(dāng)你使用標(biāo)準(zhǔn)的S3接口來訪問歸并后的小文件的時(shí)候，通過保存在數(shù)據(jù)庫里的元數(shù)據(jù)，可以輕易找到對應(yīng)的大對象和相應(yīng)的偏移量，把這個(gè)小文件讀取出來。

雖然對象存儲(chǔ)對小文件進(jìn)行了歸并，但是，備份軟件如果通過S3來訪問的話，是感覺不到合并的大對象的。因此，備份軟件備份和恢復(fù)，還是要處理原始的小文件，而不能直接備份歸并后的大對象，因?yàn)閭浞蒈浖⒉恢佬∥募痛髮ο蟮膶?yīng)關(guān)系。

而愛數(shù)是做備份軟件起家的，因此，覺得應(yīng)該采用全新的思路來解決這個(gè)問題。即無需對象存儲(chǔ)來做小文件歸并，而是由AnyShare Family 7在對象存儲(chǔ)的前面增加對象存儲(chǔ)（OSS）網(wǎng)關(guān)，由OSS網(wǎng)關(guān)來進(jìn)行小文件歸并的工作。比如，所有小于10MB的文件，都在OSS網(wǎng)關(guān)進(jìn)行合并，合并成128MB以上的大對象，再保存在對象存儲(chǔ)里。當(dāng)然，OSS網(wǎng)關(guān)需要有一個(gè)數(shù)據(jù)庫來保存這些對應(yīng)關(guān)系。

當(dāng)AnyBackup Family 7去備份AnyShare Family 7的時(shí)候，AnyBackup Family 7能夠感知到OSS網(wǎng)關(guān)的存在，只備份歸并后的大對象，當(dāng)然還有對應(yīng)的元數(shù)據(jù)。當(dāng)恢復(fù)的時(shí)候，除了恢復(fù)歸并后的大對象外，也同時(shí)恢復(fù)其對應(yīng)的元數(shù)據(jù)。這樣，對于AnyBackup備份軟件來說，根本就感知不到小文件的存在，這就是我們上面看到的一樣，10MB以下的小文件，不管文件大小如何，備份恢復(fù)性能都是一樣的。

妙，實(shí)在是妙。愛數(shù)充分利用AnyBackup和AnyShare兩個(gè)研發(fā)團(tuán)隊(duì)的合作優(yōu)勢，完美解決了AnyShare Family 7的海量小文件備份恢復(fù)問題。

大家可能擔(dān)心，如果小文件需要修改，怎么辦？因?yàn)橐薷囊粋€(gè)大對象里面的小文件，還是非常麻煩的。但是，AnyShare作為內(nèi)容管理平臺(tái)，這種情況是非常少的。因?yàn)閮?nèi)容管理基本都是企業(yè)已經(jīng)完成的文檔。當(dāng)然，如果有修改需要也不要緊，因?yàn)閮?nèi)容管理平臺(tái)本身就具有多版本的管理能力，修改后的文件保存為新的版本，這樣就不會(huì)破壞已經(jīng)歸檔的大對象的穩(wěn)定性。

為了打消大家的顧慮，這次AnyShare Family 7揭秘會(huì)，愛數(shù)還宣布了一個(gè)高性能備份恢復(fù)保障計(jì)劃。

也就是說，不管文件的數(shù)量和大小，AnyShare Family 7的備份和恢復(fù)速度都不小于100MB/s，而且，到明年年底之前，如果有第三方備份軟件備份海量小文件的速度比愛數(shù)AnyBackup Family 7快的話，那么客戶將免費(fèi)獲得AnyShare Family 7的軟件永久許可。

看來愛數(shù)還是非常自信的，不僅承諾了備份恢復(fù)的絕對速度，也承諾了相對的PK。愛數(shù)認(rèn)為從現(xiàn)在開始的一年半時(shí)間內(nèi)，其獨(dú)特的專用備份性能，應(yīng)該無人可以超越。

雖說這是一個(gè)AnyShare Family 7專用的備份解決方案，但確實(shí)幫助AnyShare Family 7在相比其他內(nèi)容管理平臺(tái)來說，有這個(gè)巨大的差異化優(yōu)勢。因?yàn)椋皇撬械膬?nèi)容管理廠商都有自己的備份軟件，而且就算有了，可能也沒有想到這個(gè)思路。

普適的海量小文件的備份世界難題，其實(shí)愛數(shù)并沒有解決，因?yàn)檫@個(gè)方案只針對AnyShare Family 7。但是，對于使用AnyShare Family 7的用戶來說，這個(gè)就足夠了。AnyShare不僅僅是一個(gè)智能的內(nèi)容云平臺(tái)，而且自帶備份功能，再也不用擔(dān)心海量小文件愈來愈多帶來的數(shù)據(jù)保護(hù)難題了。

關(guān)于AnyShare Family 7是怎樣解決海量小文件備份難題問題的解答就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識。

文章標(biāo)題：AnyShareFamily7是怎樣解決海量小文件備份難題
網(wǎng)頁網(wǎng)址：http://bm7419.com/article46/jjsceg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、用戶體驗(yàn)、關(guān)鍵詞優(yōu)化、服務(wù)器托管、營銷型網(wǎng)站建設(shè)、面包屑導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)