HDFS中DataNode有什么作用-創(chuàng)新互聯(lián)

這篇文章主要介紹了HDFS中DataNode有什么作用，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

專注于為中小企業(yè)提供網(wǎng)站建設(shè)、成都網(wǎng)站建設(shè)服務(wù),電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)合川免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了1000多家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。

      1. 三個進程
        1)NameNode (NN): 名稱節(jié)點  --》client第一個操作的對象

        NameNode的功能: 文件系統(tǒng)的命名空間  
                                      1.文件名稱
                                      2.文件目錄結(jié)構(gòu)
                                      3.文件的屬性(權(quán)限 創(chuàng)建時間 副本數(shù))
                                      4.文件對應(yīng)哪些數(shù)據(jù)塊--》這些數(shù)據(jù)塊對應(yīng)哪些DataNode節(jié)點上,不會持久化存儲這個映射關(guān)系，通過集群的啟動和運行時，datanode定期發(fā)送blockReport給NN,以此NN在【內(nèi)存】中動態(tài)維護這種映射關(guān)系。
         存儲:   維護文件系統(tǒng)樹及整個樹內(nèi)的所有文件和目錄，這些信息以兩種文件形式永久保存在本地磁盤上,命名空間鏡像文件fsimage+編輯日志editlog
        2)DataNode (DN): 數(shù)據(jù)節(jié)點  --》存儲數(shù)據(jù)的

        DataNode的作用:
            1.每隔3秒發(fā)送一次心跳  參數(shù)可配置 （默認(rèn)）
            2.每隔10次心跳發(fā)送一次blockReport  (30s)（默認(rèn)）

        存儲: 數(shù)據(jù)塊+數(shù)據(jù)塊校驗，和與NN通信
        3)Secondary NameNode(SNN): 第二名稱節(jié)點

         Secondary NameNode的作用：

                                   定期合并fsimage+editlog文件為新的fsimage，推送給NN，稱為檢查點，checkpoint

                                  存儲: 命名空間鏡像文件fsimage+編輯日志editlog        

                                      參數(shù):fs.checkpoint.period-->1h    fs.checkpoint.size -->64M

2.block(數(shù)據(jù)塊)
大小: 64M  128M(目前2.x中默認(rèn))

參數(shù): dfs.blocksize   

3.副本數(shù)
dfs.replication    : 3    一個塊會變?yōu)?個塊 

案例
1個文件130M : 128M 2M 兩個塊     默認(rèn)塊大小為128M  實際存儲: 130M*3     多少個塊: 6

4.副本放置策略

第一副本： 放置在上傳文件的DataNode上;HDFS中DataNode有什么作用
如果是集群外提交，則隨機挑選一臺磁盤
不太慢、 CPU不太忙的節(jié)點上;
第二副本： 放置在于第一個副本不同的機
架的節(jié)點上;
第三副本： 與第二個副本相同機架的不同
節(jié)點上;
如果還有更多的副本：隨機放在節(jié)點中;

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“HDFS中DataNode有什么作用”這篇文章對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!

當(dāng)前標(biāo)題：HDFS中DataNode有什么作用-創(chuàng)新互聯(lián)
轉(zhuǎn)載源于：http://bm7419.com/article48/dgochp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、網(wǎng)站營銷、網(wǎng)站內(nèi)鏈、網(wǎng)站制作、網(wǎng)站建設(shè)、App設(shè)計

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

成都網(wǎng)站建設(shè)公司