Hadoop設(shè)計(jì)概念是什么-創(chuàng)新互聯(lián)

本篇內(nèi)容主要講解“Hadoop設(shè)計(jì)概念是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Hadoop設(shè)計(jì)概念是什么”吧!

創(chuàng)新互聯(lián)建站專注于陽泉網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供陽泉營銷型網(wǎng)站建設(shè)，陽泉網(wǎng)站制作、陽泉網(wǎng)頁設(shè)計(jì)、陽泉網(wǎng)站官網(wǎng)定制、小程序制作服務(wù)，打造陽泉網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供陽泉網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

一、Hadoop簡介

Apache Hadoop是目前最流行的軟件框架，可使用簡單的高級(jí)編程模型實(shí)現(xiàn)大型數(shù)據(jù)集的分布式存儲(chǔ)和處理。Hadoop是Apache Software Foundation的一個(gè)開源項(xiàng)目，可以安裝在服務(wù)器集群上，以便這些服務(wù)器可以通信并協(xié)同工作來存儲(chǔ)和處理大型數(shù)據(jù)集。Hadoop近年來因其有效處理大數(shù)據(jù)的能力而變得非常成功。它允許公司將所有數(shù)據(jù)存儲(chǔ)在一個(gè)系統(tǒng)中，并對(duì)這些數(shù)據(jù)進(jìn)行分析，否則傳統(tǒng)解決方案不可能或非常昂貴。

圍繞Hadoop構(gòu)建的許多配套工具提供了各種各樣的處理技術(shù)。與輔助系統(tǒng)和實(shí)用程序的集成非常出色，使Hadoop的實(shí)際工作更輕松，更高效。這些工具共同構(gòu)成了Hadoop生態(tài)系統(tǒng)。

大家可以將Hadoop視為大數(shù)據(jù)操作系統(tǒng)，從而可以在所有龐大的數(shù)據(jù)集上運(yùn)行不同類型的工作負(fù)載。其范圍從離線批處理到機(jī)器學(xué)習(xí)再到實(shí)時(shí)流處理。

二、Hadoop設(shè)計(jì)概念

為了解決處理和存儲(chǔ)大型數(shù)據(jù)集的挑戰(zhàn)，Hadoop是根據(jù)以下核心特征構(gòu)建的：

1、分布 - 存儲(chǔ)和處理不是構(gòu)建一臺(tái)大型超級(jí)計(jì)算機(jī)，而是分布在一組通信和協(xié)同工作的小型機(jī)器上。

2、橫向可擴(kuò)展性 - 只需添加新計(jì)算機(jī)即可輕松擴(kuò)展Hadoop集群。每臺(tái)新機(jī)器都會(huì)按比例增加Hadoop集群的總存儲(chǔ)和處理能力。

3、容錯(cuò) - 即使少數(shù)硬件或軟件組件無法正常工作，Hadoop仍可繼續(xù)運(yùn)行。

4、成本優(yōu)化 - Hadoop不需要昂貴的高端服務(wù)器，無需商業(yè)許可即可正常工作。

5、編程抽象 - Hadoop負(fù)責(zé)處理與分布式計(jì)算相關(guān)的所有混亂細(xì)節(jié)。借助高級(jí)API，用戶可以專注于實(shí)現(xiàn)解決現(xiàn)實(shí)問題的業(yè)務(wù)邏輯。

6、數(shù)據(jù)位置 - Hadoop不會(huì)將大型數(shù)據(jù)集移動(dòng)到運(yùn)行應(yīng)用程序的位置，而是運(yùn)行數(shù)據(jù)已經(jīng)存在的應(yīng)用程序。

三、Hadoop組件

Hadoop分為兩個(gè)核心組件：HDFS分布式文件系統(tǒng);YARN集群資源管理技術(shù)。

1、HDFS：

HDFS是一個(gè)Hadoop分布式文件系統(tǒng)。它可以在您需要的任意數(shù)量的服務(wù)器上運(yùn)行 - HDFS可以輕松擴(kuò)展到數(shù)千個(gè)節(jié)點(diǎn)和數(shù)PB的數(shù)據(jù)。HDFS設(shè)置越大，某些磁盤，服務(wù)器或網(wǎng)絡(luò)交換機(jī)出現(xiàn)故障的概率就越大。HDFS通過在多個(gè)服務(wù)器上復(fù)制數(shù)據(jù)來幸免于這些類型的故障。HDFS自動(dòng)檢測(cè)給定組件是否已發(fā)生故障，并采取對(duì)用戶透明發(fā)生的必要恢復(fù)操作。

HDFS設(shè)計(jì)用于存儲(chǔ)數(shù)百兆字節(jié)或千兆字節(jié)的大型文件，并為它們提供高吞吐量的流數(shù)據(jù)訪問。最后但同樣重要的是，HDFS支持一次寫入多次讀取模型。對(duì)于這個(gè)用例，HDFS就像一個(gè)魅力。但是，如果您需要存儲(chǔ)大量具有隨機(jī)讀寫訪問權(quán)限的小文件，那么其他系統(tǒng)（如RDBMS和Apache HBase）可以做得更好。

2、YARN：
YARN（Yet Another Resource Negotiator）負(fù)責(zé)管理Hadoop集群上的資源，并支持運(yùn)行處理存儲(chǔ)在HDFS上的數(shù)據(jù)的各種分布式應(yīng)用程序。與HDFS類似，YARN遵循主從設(shè)計(jì)，ResourceManager進(jìn)程充當(dāng)主節(jié)點(diǎn)，多個(gè)NodeManager充當(dāng)工作者。他們有以下責(zé)任：

（1）ResourceManager

跟蹤實(shí)時(shí)NodeManagers以及群集中每臺(tái)服務(wù)器上的可用計(jì)算資源量。為應(yīng)用程序分配可用資源。監(jiān)視Hadoop集群上所有應(yīng)用程序的執(zhí)行情況。

（2）節(jié)點(diǎn)管理器

管理Hadoop集群中單個(gè)節(jié)點(diǎn)上的計(jì)算資源（RAM和CPU）。運(yùn)行各種應(yīng)用程序的任務(wù)，并強(qiáng)制它們?cè)谥付ǖ挠?jì)算資源的限制范圍內(nèi)。

YARN以資源容器的形式將集群資源分配給各種應(yīng)用程序，資源容器表示RAM量和CPU核心數(shù)量的組合。

Hadoop = HDFS + YARN

在同一群集上運(yùn)行的HDFS和YARN守護(hù)程序?yàn)槲覀兲峁┝艘粋€(gè)用于存儲(chǔ)和處理大型數(shù)據(jù)集的強(qiáng)大平臺(tái)。

到此，相信大家對(duì)“Hadoop設(shè)計(jì)概念是什么”有了更深的了解，不妨來實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)頁名稱：Hadoop設(shè)計(jì)概念是什么-創(chuàng)新互聯(lián)
本文鏈接：http://bm7419.com/article30/dscspo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、網(wǎng)站設(shè)計(jì)、小程序開發(fā)、移動(dòng)網(wǎng)站建設(shè)、外貿(mào)建站、網(wǎng)站排名

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)