HDFS架構(gòu)有哪些

這篇文章主要介紹了HDFS架構(gòu)有哪些，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

在平陽等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供網(wǎng)站建設(shè)、做網(wǎng)站 網(wǎng)站設(shè)計(jì)制作按需設(shè)計(jì)網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站建設(shè),成都營銷網(wǎng)站建設(shè),成都外貿(mào)網(wǎng)站制作,平陽網(wǎng)站建設(shè)費(fèi)用合理。

HDFS的架構(gòu)如上圖，總體采用master/slave架構(gòu)，主要有Client、NameNode、DataNode、SecondaryNameNode組成。

1、Client

Client代表用戶，通過與NameNode和DataNode交互從而訪問HDFS中的文件。Client提供了一個(gè)類似POSIX的文件系統(tǒng)接口供用戶調(diào)用。

2、NameNode

整個(gè)Hadoop集群中只有一個(gè)NameNode。負(fù)責(zé)管理HDFS的目錄樹和相關(guān)文件的元數(shù)據(jù)信息。

NameNode還負(fù)責(zé)監(jiān)控各個(gè)DataNode的健康狀態(tài)，一旦發(fā)現(xiàn)某個(gè)DataNode宕機(jī)，則將該DataNode移出HDFS并重新備份其上面的數(shù)據(jù)。

3、Secondary NameNode

Secondary NameNode最重要的任務(wù)不是為NameNode元數(shù)據(jù)進(jìn)行熱備份，而是定期合并fsimage和edits日志，并傳輸給NameNode。這里需要注意的是，為了減小NameNode壓力，NameNode自己并不會(huì)合并fsimage和edits，并將文件存儲(chǔ)到磁盤上，而是交友Secondary Namenode完成。

4、DataNode

每個(gè)Slave節(jié)點(diǎn)上安裝一個(gè)DataNode，它負(fù)責(zé)實(shí)際的數(shù)據(jù)存儲(chǔ)，并將數(shù)據(jù)信息定期的匯報(bào)給NameNode。

當(dāng)用戶上傳一個(gè)文件到HDFS上時(shí)，該文件會(huì)被切分成若干個(gè)block，分別存儲(chǔ)到不同的DataNode.。為了保證數(shù)據(jù)可靠，會(huì)將同一個(gè)block以流水線的方式寫到若干個(gè)不同的DataNode。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“HDFS架構(gòu)有哪些”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!

名稱欄目：HDFS架構(gòu)有哪些
分享路徑：http://bm7419.com/article0/jjciio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、建站公司、用戶體驗(yàn)、外貿(mào)建站、網(wǎng)站策劃、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)