HDFS的體系結(jié)構(gòu)有哪些-創(chuàng)新互聯(lián)

這篇文章主要介紹HDFS的體系結(jié)構(gòu)有哪些，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

創(chuàng)新互聯(lián)公司秉承實現(xiàn)全網(wǎng)價值營銷的理念，以專業(yè)定制企業(yè)官網(wǎng)，成都網(wǎng)站設(shè)計、做網(wǎng)站、成都外貿(mào)網(wǎng)站建設(shè)公司，微信小程序開發(fā)，網(wǎng)頁設(shè)計制作，成都手機網(wǎng)站制作，營銷型網(wǎng)站幫助傳統(tǒng)企業(yè)實現(xiàn)“互聯(lián)網(wǎng)+”轉(zhuǎn)型升級專業(yè)定制企業(yè)官網(wǎng),公司注重人才、技術(shù)和管理，匯聚了一批優(yōu)秀的互聯(lián)網(wǎng)技術(shù)人才,對客戶都以感恩的心態(tài)奉獻自己的專業(yè)和所長。

分布式文件系統(tǒng)HDFS是一種分布式文件系統(tǒng)，設(shè)計用于在商用硬件上運行，它與現(xiàn)有的分布式文件系統(tǒng)有許多相似之處。但是，與其他的分布式文件系統(tǒng)也有著很大的差異，HDFS旨在具有高容錯、部署在低成本應(yīng)將、提供對應(yīng)用數(shù)據(jù)的高吞吐量訪問。適用于具有大型數(shù)據(jù)集的應(yīng)用程序。

HDFS采用了典型的Master/Slave系統(tǒng)架構(gòu)，一個HDFS集群通常包含一個NameNode節(jié)點和若干的DataNode節(jié)點，一個文件被分成了一個或者多個數(shù)據(jù)塊，并且存儲在一組DataNode上，DataNode節(jié)點可以分布在不同的機架。NameNode執(zhí)行文件系統(tǒng)的名字空間打開、關(guān)閉、重命名文件或者目錄等操作，同時負責(zé)管理數(shù)據(jù)塊到具體的DataNode節(jié)點的映射。在NameNode的統(tǒng)一調(diào)度下，DataNode負責(zé)處理文件系統(tǒng)客戶端的讀/寫請求，完成數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。

  • NameNode和DataNode

HDFS具有主從架構(gòu)，NameNode節(jié)點負責(zé)集群的任務(wù)調(diào)度，DataNode節(jié)點負責(zé)執(zhí)行任務(wù)和存儲數(shù)據(jù)塊，NameNode管理文件系統(tǒng)的命名空間，維護者整個文件系統(tǒng)的文件目錄樹以及這些文件的索引目錄。這些信息以命名空間鏡像和編輯日志靚仔形式存儲在本地文件系統(tǒng)中。從NameNode中可以獲取每個文件的每個塊存儲在DataNode節(jié)點的位置，NameNode會在每次啟動系統(tǒng)時動態(tài)的重建這些信息?？蛻舳送ㄟ^NameNode獲取元數(shù)據(jù)信息，與DataNode會進行交互以訪問整個文件系統(tǒng)。

單個NameNode：一個管理文件系統(tǒng)命名空間的主服務(wù)器和管理客戶端對文件的訪問組成。此外，還有許多DataNode：通常是群集中每個節(jié)點一個，用于管理連接到它們運行的節(jié)點的存儲。

DataNode是文件系統(tǒng)的工作節(jié)點，供客戶端和NameNode調(diào)用并且執(zhí)行具體任務(wù)，存儲文件塊。DataNode通過心跳機制制定時向NameNode發(fā)送所儲存的文件塊信息，報告其工作狀態(tài)

  • 數(shù)據(jù)塊

數(shù)據(jù)塊是磁盤進行數(shù)據(jù)讀/寫操作的最小單元。文件以塊的形式存儲在磁盤中，文件系統(tǒng)每次都能操作磁盤塊大小整數(shù)倍的數(shù)據(jù)。HDFS中的文件也被劃分為多個邏輯塊進行存儲。HDFS中的數(shù)據(jù)庫的大小，影響到尋址開銷，數(shù)據(jù)塊越小，尋址開銷越大，如果數(shù)據(jù)庫設(shè)置的足夠大，從磁盤傳輸數(shù)據(jù)的時間會明顯大于定位這個數(shù)據(jù)塊開始位置所需要的時間。因而，傳輸一個由多個數(shù)據(jù)塊組成的文件的時間取決于磁盤傳輸效率，用戶必須在數(shù)據(jù)塊大小設(shè)置上做出優(yōu)化選擇。

HDFS作為分布式系統(tǒng)，使用抽象的數(shù)據(jù)塊的優(yōu)勢：

  1. 通過集群擴展能力可以存儲大于網(wǎng)絡(luò)中任意一個磁盤容量的任意大小文件

  2. 使用抽象塊而不是整個文件作為存儲單元，可簡化存儲子系統(tǒng)，固定塊大小可方便元數(shù)據(jù)和文件數(shù)據(jù)塊的內(nèi)容分開存儲

  3. 便于備份和數(shù)據(jù)容錯，提供系統(tǒng)可用性。

以上是“HDFS的體系結(jié)構(gòu)有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道！

文章名稱：HDFS的體系結(jié)構(gòu)有哪些-創(chuàng)新互聯(lián)
路徑分享：http://bm7419.com/article46/gojhg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護、定制開發(fā)、品牌網(wǎng)站制作、企業(yè)網(wǎng)站制作、App開發(fā)、商城網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站制作