Hadoop安裝備忘

參考劉鵬的《實(shí)戰(zhàn)Hadoop》一書，按照hadoop 0.20.2幾個(gè)注意的地方。

創(chuàng)新互聯(lián)是一家專業(yè)提供革吉企業(yè)網(wǎng)站建設(shè),專注與做網(wǎng)站、成都做網(wǎng)站、HTML5建站、小程序制作等業(yè)務(wù)。10年已為革吉眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站制作公司優(yōu)惠進(jìn)行中。

第一，首先理解Hadoop中的幾個(gè)后臺(tái)進(jìn)程。

NameNode，Secondary NameNode，JobTracker,TaskTracker,DataNode這幾個(gè)角色。

NameNode：負(fù)責(zé)如何切分?jǐn)?shù)據(jù)塊，和切完放哪個(gè)節(jié)點(diǎn)。它對(duì)內(nèi)存和I/O集中管理。

這個(gè)進(jìn)程部署在Master節(jié)點(diǎn)上，是一個(gè)單點(diǎn)，它掛了整個(gè)系統(tǒng)都掛了。

Secondary NameNode：和NameNode一樣，輔助程序。每個(gè)集群都有一個(gè)，它與NameNode進(jìn)行通訊，定期保存HDFS元數(shù)據(jù)快照，當(dāng)NameNode故障可以作為備用NameNode使用。它也是部署在Master節(jié)點(diǎn)上。

JobTracker負(fù)責(zé)調(diào)度作業(yè)，它決定哪些文件由哪些節(jié)點(diǎn)運(yùn)行，并且監(jiān)聽TaskTracker發(fā)送來的心跳。當(dāng)收不到心跳，即認(rèn)為某個(gè)task失敗，就會(huì)決定重啟task。每個(gè)集群只有一個(gè)JobTracker。它是部署在Master節(jié)點(diǎn)上的。

上述三個(gè)進(jìn)程都是部署在Master節(jié)點(diǎn)上的，而TaskTracker和DataNode進(jìn)程進(jìn)程是集群中各個(gè)幾點(diǎn)都需要部署的。

DataNode負(fù)責(zé)將HDFS數(shù)據(jù)塊讀寫到本地文件系統(tǒng)。當(dāng)客戶端讀寫某個(gè)數(shù)據(jù)庫的時(shí)候，由NameNode告訴客戶端去那個(gè)DataNode進(jìn)行，然后客戶端直接與這個(gè)DataNode的服務(wù)器通信，并操作相關(guān)的數(shù)據(jù)塊。

TaskTracker也是位于從節(jié)點(diǎn)的，它負(fù)責(zé)獨(dú)立執(zhí)行具體的Task，每個(gè)從節(jié)點(diǎn)只能有一個(gè)TaskTracker，但是每個(gè)TaskTracker可以產(chǎn)生多個(gè)Java虛擬機(jī)，用于并行處理多個(gè)map和reduce認(rèn)為。TaskTracker還會(huì)和JobTracker交互，JobTasker負(fù)責(zé)分配Task，并且檢測(cè)TaskTracker的心跳，如果沒有心跳，就認(rèn)為已經(jīng)崩潰，并將認(rèn)為分配給其他的TaskTracker。

各個(gè)進(jìn)程的部署圖如下：

具體的安裝環(huán)節(jié)，可以參考書中的步驟，但是有幾個(gè)點(diǎn)需要注意。

主機(jī)和從機(jī)統(tǒng)一創(chuàng)建專門的運(yùn)行hadoop的用戶grid, 設(shè)置SSH的免密碼登陸機(jī)制，可以參考http://chenlb.iteye.com/blog/211809。將所有的機(jī)器上的公鑰文件上里的內(nèi)容，都統(tǒng)一整合到一個(gè)authorized_keys文件，以此實(shí)現(xiàn)互相免密碼登陸ssh。

啟動(dòng)hadoop的時(shí)候，注意要以grid用戶登錄，在grid用戶的主目錄下進(jìn)行操作，有時(shí)權(quán)限的問題，此時(shí)要注意將主機(jī)和從機(jī)的hadoop文件夾的owner設(shè)置為grid用戶和組。執(zhí)行 chown -R grid:grid /home/grid/hadoop-1.2.1   （此處為hadoop的放置目錄，這里要使用root用戶修改）

然后可以到hadoop的文件夾中的bin目錄下啟動(dòng)start-all.sh，可以看到如下的信息，說明啟動(dòng)成功。

此時(shí)還可以通過運(yùn)行命令查看進(jìn)程的啟動(dòng)情況，在主機(jī)上運(yùn)行jdk中的jps文件，可以看到如下：

在從節(jié)點(diǎn)運(yùn)行相同的命令，可以看到

至此，說明安裝Hadoop已經(jīng)成功了。

本文題目：Hadoop安裝備忘
文章轉(zhuǎn)載：http://bm7419.com/article24/pcccce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、、軟件開發(fā)、外貿(mào)建站、網(wǎng)站導(dǎo)航、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)