安裝hadoop-創(chuàng)新互聯(lián)

1:安裝包

創(chuàng)新互聯(lián)堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的曹妃甸網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

http://hadoop.apache.org/releases.html

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

hadoop-2.6.4 （binary）

jdk-8u102-linux-x64.tar.gz

2：節(jié)點(diǎn)信息

centos7 * 3

master 10.10.0.115

slave1 10.10.0.116

slave2 10.10.0.117

3:安裝過(guò)程

3.1 節(jié)下初始化（略）

主機(jī)名防火墻 selinux 等

3.2 節(jié)點(diǎn)互信

[root@master ~]#ssh-keygen

[root@master ~]#cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys

[root@master ~]#scp -r /root/.ssh slave1:/root/

[root@master ~]#scp -r /root/.ssh slave2:/root/

3.3 在所有節(jié)點(diǎn)安裝jdk

[root@master ~]#tar -zxvf jdk-8u102-linux-x64.tar.gz

[root@master ~]#mkdir /usr/soft

[root@master ~]#mv jdk1.8.0_102 /usr/soft/

[root@master ~]#vim /etc/profile

...

  export JAVA_HOME=/usr/soft/jdk1.8.0_102
  export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  export PATH=$PATH:$JAVA_HOME/bin

[root@master ~]#source /etc/profile

[root@master ~]#java -version
java version "1.8.0_102"
Java(TM) SE Runtime Environment (build 1.8.0_102-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)

其它節(jié)點(diǎn)同樣操作

3.4 安裝hadoop

先在master上安裝配置，然后scp到其它節(jié)點(diǎn)即可

[root@master ~]#tar -zxvf hadoop-2.6.4.tar.gz

[root@master ~]#mv hadoop-2.6.4 /usr/soft/

[root@master ~]#cd /usr/soft/hadoop-2.6.4/

[root@master ~]#mkdir hdfs

[root@master ~]#mkdir hdfs/data

[root@master ~]#mkdir hdfs/name

[root@master ~]#mkdir tmp

[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/core-site.xml

<configuration>
  <property>
       <name>fs.defaultFS</name>
       <value>hdfs://10.10.0.115:9000</value>
   </property>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>file:/usr/soft/hadoop-2.6.4/tmp</value>
   </property>
   <property>
       <name>io.file.buffer.size</name>
       <value>131702</value>
   </property>
</configuration>

[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/hdfs-site.xml

<configuration>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>file:/usr/soft/hadoop-2.6.4/hdfs/name</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>file:/usr/soft/hadoop-2.6.4/hdfs/data</value>
   </property>
   <property>
       <name>dfs.replication</name>
       <value>2</value>
   </property>
   <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>10.10.0.115:9001</value>
   </property>
   <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
   </property>
</configuration>

[root@master ~]#cp /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml.template /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml

[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml

<configuration>
  <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
   <property>
       <name>mapreduce.jobhistory.address</name>
       <value>10.10.0.115:10020</value>
   </property>
   <property>
       <name>mapreduce.jobhistory.webapp.address</name>
       <value>10.10.0.115:19888</value>
   </property>
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
   <property>
       <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
   <property>
       <name>yarn.resourcemanager.address</name>
       <value>10.10.0.115:8032</value>
   </property>
   <property>
       <name>yarn.resourcemanager.scheduler.address</name>
       <value>10.10.0.115:8030</value>
   </property>
   <property>
       <name>yarn.resourcemanager.resource-tracker.address</name>
       <value>10.10.0.115:8031</value>
   </property>
   <property>
       <name>yarn.resourcemanager.admin.address</name>
       <value>10.10.0.115:8033</value>
   </property>
   <property>
       <name>yarn.resourcemanager.webapp.address</name>
       <value>10.10.0.115:8088</value>
   </property>
   <property>
       <name>yarn.nodemanager.resource.memory-mb</name>
       <value>768</value>
   </property>
</configuration>

[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/hadoop-env.sh

...

export JAVA_HOME=/usr/soft/jdk1.8.0_102

[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/yarn-env.sh

...

export JAVA_HOME=/usr/soft/jdk1.8.0_102

[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/slaves
10.10.0.116
10.10.0.117

[root@master ~]#scp -r /usr/soft/jdk1.8.0_102 slave1:/usr/soft/

[root@master ~]#scp -r /usr/soft/jdk1.8.0_102 slave2:/usr/soft/

[root@master ~]#/usr/soft/hadoop-2.6.4/bin/hdfs namenode -format

[root@master ~]# /usr/soft/hadoop-2.6.4/sbin/start-all.sh

瀏覽器打開(kāi)http://10.10.0.115:8088/
瀏覽器打開(kāi)http://10.10.0.115:50070/

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

本文名稱：安裝hadoop-創(chuàng)新互聯(lián)
分享鏈接：http://bm7419.com/article14/ddhede.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開(kāi)發(fā)、外貿(mào)建站、關(guān)鍵詞優(yōu)化、品牌網(wǎng)站設(shè)計(jì)、微信公眾號(hào)、網(wǎng)站改版

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容