Hadoop2.0分布式集群的平臺(tái)搭建-創(chuàng)新互聯(lián)

一、Hadoop集群安裝前的準(zhǔn)備
基礎(chǔ)環(huán)境

10年積累的網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站建設(shè)經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站設(shè)計(jì)后付款的網(wǎng)站建設(shè)流程，更有文成免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

四臺(tái)Centos6.5
IP地址：
192.168.174.128
192.168.174.129
192.168.174.130
192.168.174.131
四臺(tái)主機(jī)新建hadoop用戶并實(shí)現(xiàn)ssh免密登陸
iptables關(guān)閉和selinux為disabled

1.修改主機(jī)名和ip地址映射
為了后面操作方便，修改主機(jī)名分別為hadoop01、hadoop02、hadoop03、hadoop04。修改主機(jī)名只需修改/etc/sysconfig/network文件hostname行即可，這里博主不再復(fù)述。然后修改/etc/hosts文件，將ip地址和主機(jī)名的映射寫入進(jìn)去，這樣，后面其它主機(jī)就可根據(jù)主機(jī)名去對(duì)應(yīng)ip地址。

2.安裝JDK
Hadoop的核心組成之一MapReduce是基于java的，因此需要配置基本的java環(huán)境。JDK安裝十分簡單，前面也多次提到。下載jdk安裝包，解壓jdk到指定目錄。

tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/local/java

修改環(huán)境變量，進(jìn)入/etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin

重新加載環(huán)境變量生效。JDK需在四個(gè)節(jié)點(diǎn)都安裝配置
3.Zookeeper安裝配置
Zookeeper是負(fù)責(zé)協(xié)調(diào)Hadoop一致性，是Hadoop實(shí)現(xiàn)HA的不可或缺的組件。根據(jù)Zookeeper的工作機(jī)制，需要在奇數(shù)個(gè)節(jié)點(diǎn)安裝Zookeeper。本文在hadoop01、hadoop02、hadoop03三個(gè)節(jié)點(diǎn)安裝Zookeeper。
下載zookeeper安裝包，解壓zookeeper安裝包

設(shè)置環(huán)境變量，修改/etc/profile

export ZOOKEEPER_HOME=/usr/local/zookeeper/zookeeper-3.4.6
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin

重新加載環(huán)境變量生效
進(jìn)入zookeeper解壓目錄下的conf目錄下，修改配置文件zoo.cfg，一開始并沒有zoo.cfg文件，拷貝zoo_sample.cfg文件重命名為zoo.cfg即可。

創(chuàng)建相應(yīng)的data目錄及datalog目錄

mkdir  -p /opt/zookeeper/datalog

在每個(gè)data目錄下新建myid文件，hadoop01的myid文件寫入1，hadoop02的myid文件寫入2，即server.后的數(shù)字。另外注意給/opt/zookeeper目錄及其子目錄給hadoop用戶讀寫操作權(quán)限，因?yàn)楹竺媸褂脄ookeeper時(shí)是以hadoop用戶使用的。
到這里zookeeper基本安裝配置完成，以hadoop用戶啟動(dòng)zookeeper服務(wù)

zkServer.sh start

查看zookeeper狀態(tài)

zkServer.sh status

二、Hadoop安裝配置
下載hadoop安裝包，解壓hadoop安裝包

注意解壓后的目錄user和group應(yīng)該為hadoop，道理與前面zookeeper一樣，在Hadoop使用過程中使用者是hadoop用戶。
設(shè)置環(huán)境變量，修改配置文件/etc/profile

export HADOOP_HOME=/usr/local/hadoop-2.6.4
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注意hadoop需要配置bin和sbin，不然后面許多命令無法使用。重新加載環(huán)境變量生效。
然后就是修改hadoop的配置文件，進(jìn)入hadoop安裝目錄下的etc/hadoop目錄下，修改配置文件：hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml，其中配置文件mapred-site.xml在該目錄下有一個(gè)樣本mapred-site.xml.template，復(fù)制該文件重命名為mapred-site.xml即可。
修改配置文件hadoop-env.sh。主要是配置java目錄

修改配置文件core-site.xml

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://jsj/</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hdpdata</value>
</property>
<property>
  <name>ha.zookeeper.quorum</name>
  <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
</configuration>

修改配置文件hdfs-site.xml，從配置文件名也可知這是關(guān)于HDFS的配置。

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
  <name>dfs.nameservices</name>
  <value>jsj</value>
</property>
<property>
  <name>dfs.ha.namenodes.jsj</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.jsj.nn1</name>
  <value>hadoop01:9000</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.jsj.nn2</name>
  <value>hadoop02:9000</value>
</property>
<property>
  <name>dfs.namenode.http-address.jsj.nn1</name>
  <value>hadoop01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.jsj.nn2</name>
  <value>hadoop02:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/jsj</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/usr/local/journaldata</value>
</property>
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.jsj</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>
  sshfence
  shell(/bin/true)
  </value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/hadoop/.ssh/id_rsa</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.connect-timeout</name>
  <value>30000</value>
</property>
</configuration>

修改配置文件mapred-site.xml，即MapReduce相關(guān)配置。

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>
<property>
   <name>mapreduce.jobhistory.address</name>
   <value>hadoop03:10020</value>
</property>
<property>
   <name>mapreduce.jobhistory.webapp.address</name>
   <value>hadoop03:19888</value>
</property>
</configuration>

修改配置文件yarn-site.xml。yarn平臺(tái)的相關(guān)配置

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
   <name>yarn.log-aggregation-enable</name>
   <value>true</value>
</property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
</property>
<property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>abc</value>
</property>
<property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
</property>
<property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>hadoop01</value>
</property>
<property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>hadoop02</value>
</property>
<property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
</configuration>

最后修改slaves文件

hadoop02
hadoop03
hadoop04

至此，Hadoop集群相關(guān)配置文件配置完成，在hadoop01、hadoop02、hadoop03、hadoop04四個(gè)節(jié)點(diǎn)都完成相關(guān)配置。
配置文件修改完成并不代表Hadoop安裝結(jié)束，還需要幾個(gè)操作才能正常使用。
在hadoop01、hadoop02、hadoop03啟動(dòng)zookeeper服務(wù)。

zkServer.sh start

在hadoop01、hadoop02、hadoop03啟動(dòng)journalnode

hadoop-daemon.sh start journalnode

格式化hdfs，hadoop01執(zhí)行

hdfs namenode -format

然后查看hadoop安裝目錄確保hdpdata和journaldata在hadoop01和hadoop02都有。沒有從一個(gè)節(jié)點(diǎn)拷貝到另一個(gè)節(jié)點(diǎn)。
在hadoop01啟動(dòng)namenode

hadoop-daemon.sh start namenode

在Hadoop02執(zhí)行

hdfs namenode -bootstrapStandby

格式化zkfc，Hadoop01執(zhí)行

hdfs zkfc -formatZk

在hadoop01啟動(dòng)HDFS

start-dfs.sh

完成以上操作后，Hadoop應(yīng)該可以正常對(duì)外做出服務(wù)。在瀏覽器輸入hadoop01的ip地址，端口號(hào)為50070，查看HDFS的web界面是否正常對(duì)外做出服務(wù)。

在hadoop01和hadoop02啟動(dòng)yarn平臺(tái)

start-yarn.sh

訪問hadoop01的ip地址的8088端口，查看yarn平臺(tái)是否正常對(duì)外做出服務(wù)。

Hadoop安裝配置完成，關(guān)于配置文件的解釋后期有時(shí)間再加上去。本文使用的安裝包是在學(xué)習(xí)過程老師給的，Hadoop是開源的，相信相關(guān)安裝包不難找到。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享名稱：Hadoop2.0分布式集群的平臺(tái)搭建-創(chuàng)新互聯(lián)
鏈接URL：http://bm7419.com/article26/dgccjg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、做網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)、域名注冊、App設(shè)計(jì)、手機(jī)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)