HDFSNamenode是怎么工作的

這篇文章主要為大家展示了“HDFS Namenode是怎么工作的”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“HDFS Namenode是怎么工作的”這篇文章吧。

站在用戶的角度思考問(wèn)題，與客戶深入溝通，找到墨竹工卡網(wǎng)站設(shè)計(jì)與墨竹工卡網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站、成都外貿(mào)網(wǎng)站建設(shè)公司、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、主機(jī)域名、網(wǎng)絡(luò)空間、企業(yè)郵箱。業(yè)務(wù)覆蓋墨竹工卡地區(qū)。

HDFS（Hadoop Distributed Filesystem）客戶端通過(guò)被稱之為Namenode單服務(wù)器節(jié)點(diǎn)執(zhí)行文件系統(tǒng)原數(shù)據(jù)操作，同時(shí)DataNode會(huì)與其他DataNode進(jìn)行通信并復(fù)制數(shù)據(jù)塊以實(shí)現(xiàn)冗余，這樣單一的DataNode損壞不會(huì)導(dǎo)致集群的數(shù)據(jù)丟失。

但NameNode出現(xiàn)故障的損失確是無(wú)法容忍的，NameNode主要職責(zé)是跟蹤文件如何被分割成文件塊、文件塊又被哪些節(jié)點(diǎn)存儲(chǔ)，以及分布式文件系統(tǒng)的整體運(yùn)行狀態(tài)是否正常等，如果NameNode節(jié)點(diǎn)停止運(yùn)行的話將會(huì)導(dǎo)致數(shù)據(jù)節(jié)點(diǎn)無(wú)法通信，客戶端無(wú)法讀取和寫入數(shù)據(jù)到HDFS，實(shí)際上這也將導(dǎo)致整個(gè)系統(tǒng)停止工作。

The HDFS Namenode is a single point of failure (SPOF)

Facebook也深知“Namenode-as-SPOF”所帶來(lái)問(wèn)題的嚴(yán)重性，所以Facebook希望建立一套系統(tǒng)已破除“Namenode-as-SPOF”帶來(lái)的隱患。但在了解這套系統(tǒng)之前，首先來(lái)看一下Facebook在使用和部署HDFS都遇到了哪些問(wèn)題。

Facebook數(shù)據(jù)倉(cāng)庫(kù)的使用情況

在Facebook的數(shù)據(jù)倉(cāng)庫(kù)中部署著最大的HDFS集群，數(shù)據(jù)倉(cāng)庫(kù)的使用情況是傳統(tǒng)的Hadoop MapReduce工作負(fù)載——在大型集群中一小部分運(yùn)行MapReduce批處理作業(yè)

因?yàn)榧悍浅｝嫶?，客戶端和眾多DataNode節(jié)點(diǎn)與NameNode節(jié)點(diǎn)傳輸海量的原數(shù)據(jù)，這導(dǎo)致NameNode的負(fù)載非常沉重。而來(lái)自CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)帶來(lái)的壓力也使得數(shù)據(jù)倉(cāng)庫(kù)集群中NameNode高負(fù)載狀況屢見(jiàn)不鮮。在使用過(guò)程中Facebook發(fā)現(xiàn)其數(shù)據(jù)倉(cāng)庫(kù)中由于HDFS引發(fā)的故障占總故障率的41%。

HDFS NameNode是HDFS中的重要組成部分，同時(shí)也是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)中的重要組成部分。雖然高可用的NameNode只可以預(yù)防數(shù)據(jù)倉(cāng)庫(kù)10%的計(jì)劃外停機(jī)，不過(guò)消除NameNode對(duì)于SPOF來(lái)說(shuō)可謂是重大的勝利，因?yàn)檫@使得Facebook可執(zhí)行預(yù)訂的硬件和軟件回復(fù)。事實(shí)上，F(xiàn)acebook預(yù)計(jì)如果解決NameNode可消除集群50%的計(jì)劃停機(jī)時(shí)間。

那么高可用性NameNode是什么樣子的？它將如何工作？讓我們來(lái)看一下高度可用性NameNode的圖表。

Avatarnode客戶端

以上是“HDFS Namenode是怎么工作的”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

網(wǎng)站名稱：HDFSNamenode是怎么工作的
網(wǎng)頁(yè)鏈接：http://bm7419.com/article40/jdiieo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、服務(wù)器托管、網(wǎng)頁(yè)設(shè)計(jì)公司、ChatGPT、微信小程序、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)