什么是Hadoop集群動(dòng)態(tài)擴(kuò)容

今天就跟大家聊聊有關(guān)什么是Hadoop集群動(dòng)態(tài)擴(kuò)容，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

成都創(chuàng)新互聯(lián)從2013年創(chuàng)立，是專(zhuān)業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都做網(wǎng)站、網(wǎng)站制作網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元柳南做網(wǎng)站,已為上家服務(wù),為柳南各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18980820575

1、基礎(chǔ)準(zhǔn)備

在基礎(chǔ)準(zhǔn)備部分，主要是設(shè)置 hadoop運(yùn)行的系統(tǒng)環(huán)境

修改新機(jī)器系統(tǒng) hostname（通過(guò)/etc/sysconfig/network進(jìn)行修改）

[root@node-4 ~]# cat /etc/sys conf 1g/network

NE TWORKING=yes

HOS TNAME=node -4

[r oot@node-4 ~ ] #

修改 hosts文件，將集群所有節(jié)點(diǎn) hosts配置進(jìn)去（集群所有節(jié)點(diǎn)保持hosts文件統(tǒng)一）

rootenode-1 -]# cat /etc/hosts

127.0.0.1   localhost localhost. localdomain localhost4 localhost4. local domain4

: :1        localhost localhost. localdomain localhost6 localhost6. local domain6

192.168.227.151 node-1

192.168.227.152 node-2

192.168.227.153 node-3

192.168.227.154 node-4

rootenode-1 ~]#

設(shè)置 NameNode到 DataNode的免密碼登錄（ssh-copy-id命令實(shí)現(xiàn)）

修改主節(jié)點(diǎn) slaves文件，添加新增節(jié)點(diǎn)的 ip信息（集群重啟時(shí)配合一鍵啟動(dòng)腳本使用）

[root@node-1 J]# vim /export/servers/hadoop-2 .6. 0-cdh6.14.0/etc/hadoop/s laves

 

node-1

node-2

node-3

node-4

在新的機(jī)器上上傳解壓一個(gè)新的hadoop安裝包，從主節(jié)點(diǎn)機(jī)器上將hadoop的所有配置文件，scp到新的節(jié)點(diǎn)上。

2、添加datanode

在namenode所在的機(jī)器的/export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop目錄下創(chuàng)建 dfs.hosts文件

cd /export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop

vim dfs.hosts

添加如下主機(jī)名稱(chēng)（包含新服役的節(jié)點(diǎn)）

node-1

node-2

node-3

node-4

在 namenode機(jī)器的 hdfs-site.xml配置文件中增加 dfs.hosts屬性

cd /export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop vim hdfs-site.xml

<property>

    <name>dfs.hosts</name>

    <value>/export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop/dfs.hosts</value>

</property>

dfs.hosts屬性的意義：命名一個(gè)文件，其中包含允許連接到namenode的主機(jī)列表。必須指定文件的完整路徑名。如果該值為空，則允許所有主機(jī)。相當(dāng)于一個(gè)白名單，也可以不配置。

在新的機(jī)器上單獨(dú)啟動(dòng)datanode：hadoop-daemon.sh start datanode

[root@node-4 ~]# hadoop-daemon.sh start datanode

starting datanode: logging to /export /servers/hadoop-2.6.0-cdh614 .0/ lops /hadoop root datanode -node-4 out

[root@node-4 ~]#

刷新頁(yè)面就可以看到新的節(jié)點(diǎn)加入進(jìn)來(lái)了

3、datanode負(fù)載均衡服務(wù)

新加入的節(jié)點(diǎn)，沒(méi)有數(shù)據(jù)塊的存儲(chǔ)，使得集群整體來(lái)看負(fù)載還不均衡。因此最后還需要對(duì)hdfs負(fù)載設(shè)置均衡，因?yàn)槟J(rèn)的數(shù)據(jù)傳輸帶寬比較低，可以設(shè)置為64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可

默認(rèn)balancer的threshold為10%，即各個(gè)節(jié)點(diǎn)與集群總的存儲(chǔ)使用率相差不超過(guò)10%，我們可將其設(shè)置為5%。然后啟動(dòng)Balancer，sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可。

4、添加nodemanager

在新的機(jī)器上單獨(dú)啟動(dòng) nodemanager：

yarn-daemon.sh start nodemanager

在ResourceManager，通過(guò)yarn node -list查看集群情況

看完上述內(nèi)容，你們對(duì)什么是Hadoop集群動(dòng)態(tài)擴(kuò)容有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。

當(dāng)前文章：什么是Hadoop集群動(dòng)態(tài)擴(kuò)容
網(wǎng)站URL：http://bm7419.com/article28/jcgojp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、、網(wǎng)站策劃、Google、標(biāo)簽優(yōu)化、全網(wǎng)營(yíng)銷(xiāo)推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)