hadoop3.0.0安裝配置

環(huán)境描述
根據(jù)需求，部署hadoop-3.0.0基礎(chǔ)功能架構(gòu)，以三節(jié)點(diǎn)為安裝環(huán)境，操作系統(tǒng)CentOS 7 x64；
openstack創(chuàng)建三臺虛擬機(jī)，開始部署；
IP地址 主機(jī)名
10.10.204.31 master
10.10.204.32 node1
10.10.204.33 node2

創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比曲阜網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式曲阜網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋曲阜地區(qū)。費(fèi)用合理售后完善，10余年實(shí)體公司更值得信賴。

功能節(jié)點(diǎn)規(guī)劃
master node1 node2
NameNode
DataNode DataNode DataNode
HQuorumPeer NodeManager NodeManager
ResourceManager SecondaryNameNode
HMaster

三節(jié)點(diǎn)執(zhí)行初始化操作；
1.更新系統(tǒng)環(huán)境；
yum clean all && yum makecache fast && yum update -y && yum install -y wget vim net-tools git ftp zip unzip
2.根據(jù)規(guī)劃修改主機(jī)名；
hostnamectl set-hostname master
hostnamectl set-hostname node1
hostnamectl set-hostname node2
3.添加hosts解析；
vim /etc/hosts
10.10.204.31 master
10.10.204.32 node1
10.10.204.33 node2
4.ping測試三臺主機(jī)之間主機(jī)名互相解析正常；
ping master
ping node1
ping node2
5.下載安裝JDK環(huán)境；
#hadoop 3.0版本需要JDK 8.0支持；
cd /opt/
#通常情況下，需要登錄oracle官網(wǎng)，注冊賬戶，同意其協(xié)議后，才能下載，在此根據(jù)鏈接直接wget方式下載；
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "https://download.oracle.com/otn-pub/java/jdk/8u202-b08/1961070e4c9b4e26a04e7f5a083f551e/jdk-8u202-linux-x64.tar.gz"
#創(chuàng)建JDK和hadoop安裝路徑
mkdir /opt/modules
cp /opt/jdk-8u202-linux-x64.tar.gz /opt/modules
cd /opt/modules
tar zxvf jdk-8u202-linux-x64.tar.gz
#配置環(huán)境變量
export JAVA_HOME="/opt/modules/jdk1.8.0_202"
export PATH=$JAVA_HOME/bin/:$PATH
source /etc/profile
#永久生效配置方式
vim /etc/bashrc
#add lines
export JAVA_HOME="/opt/modules/jdk1.8.0_202"
export PATH=$JAVA_HOME/bin/:$PATH
6.下載解壓hadoop-3.0.0安裝包；
cd /opt/
wget http://archive.apache.org/dist/hadoop/core/hadoop-3.0.0/hadoop-3.0.0.tar.gz
cp /opt/hadoop-3.0.0.tar.gz /modules/
cd /opt/modules
tar zxvf hadoop-3.0.0.tar.gz
7.關(guān)閉selinux/firewalld防火墻；
systemctl disable firewalld
vim /etc/sysconfig/selinux
SELINUX=disabled
8.重啟服務(wù)器；
reboot

master節(jié)點(diǎn)操作；
說明：
測試環(huán)境，全部使用root賬戶進(jìn)行安裝運(yùn)行hadoop；
1.添加ssh 免密碼登陸；
cd
ssh-keygen
##三次回車即可
#拷貝密鑰文件到node1/node2
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2
2.測試免密碼登陸正常；
ssh master
ssh node1
ssh node2
3.修改hadoop配置文件；
對于hadoop配置，需修改配置文件：
hadoop-env.sh
yarn-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
workers

cd /opt/modules/hadoop-3.0.0/etc/hadoop
vim hadoop-env.sh
export JAVA_HOME=/opt/modules/jdk1.8.0_202
vim yarn-env.sh
export JAVA_HOME=/opt/modules/jdk1.8.0_202

配置文件解析：
https://blog.csdn.net/m290345792/article/details/79141336

vim core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/tmp</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value></value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value></value>
</property>
</configuration>
#io.file.buffer.size 隊(duì)列文件中的讀/寫緩沖區(qū)大小

vim hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave2:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
<description>副本個(gè)數(shù)，配置默認(rèn)是3,應(yīng)小于datanode機(jī)器數(shù)量</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/tmp</value>
</property>
</configuration>
###namenode配置
#dfs.namenode.name.dir NameNode持久存儲名稱空間和事務(wù)日志的本地文件系統(tǒng)上路徑,如果這是一個(gè)逗號分隔的目錄列表，那么將在所有目錄中復(fù)制名稱的表，以進(jìn)行冗余。
#dfs.hosts / dfs.hosts.exclude 包含/摒棄的數(shù)據(jù)存儲節(jié)點(diǎn)清單,如果有必要，使用這些文件來控制允許的數(shù)據(jù)存儲節(jié)點(diǎn)列表
#dfs.blocksize HDFS 塊大小為128MB(默認(rèn))的大文件系統(tǒng)
#dfs.namenode.handler.count 多個(gè)NameNode服務(wù)器線程處理來自大量數(shù)據(jù)節(jié)點(diǎn)的rpc
###datanode配置
#dfs.datanode.data.dir DataNode的本地文件系統(tǒng)上存儲塊的逗號分隔的路徑列表,如果這是一個(gè)逗號分隔的目錄列表，那么數(shù)據(jù)將存儲在所有命名的目錄中，通常在不同的設(shè)備上。

vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>
/opt/modules/hadoop-3.0.0/etc/hadoop,
/opt/modules/hadoop-3.0.0/share/hadoop/common/,
/opt/modules/hadoop-3.0.0/share/hadoop/common/lib/,
/opt/modules/hadoop-3.0.0/share/hadoop/hdfs/,
/opt/modules/hadoop-3.0.0/share/hadoop/hdfs/lib/,
/opt/modules/hadoop-3.0.0/share/hadoop/mapreduce/,
/opt/modules/hadoop-3.0.0/share/hadoop/mapreduce/lib/,
/opt/modules/hadoop-3.0.0/share/hadoop/yarn/,
/opt/modules/hadoop-3.0.0/share/hadoop/yarn/lib/
</value>
</property>
</configuration>

vim yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandle</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8040</value>
</property>
</configuration>

###resourcemanager和nodemanager配置
#yarn.acl.enable 允許ACLs，默認(rèn)是false
#yarn.admin.acl 在集群上設(shè)置adminis。 ACLs are of for comma-separated-usersspacecomma-separated-groups.默認(rèn)是指定值為表示任何人。特別的是空格表示皆無權(quán)限。
#yarn.log-aggregation-enable Configuration to enable or disable log aggregation 配置是否允許日志聚合。
###resourcemanager配置
#yarn.resourcemanager.address 值：ResourceManager host:port 用于客戶端任務(wù)提交.說明：如果設(shè)置host:port ，將覆蓋yarn.resourcemanager.hostname.host:port主機(jī)名。
#yarn.resourcemanager.scheduler.address 值：ResourceManager host:port 用于應(yīng)用管理者向調(diào)度程序獲取資源。說明：如果設(shè)置host:port ，將覆蓋yarn.resourcemanager.hostname主機(jī)名
#yarn.resourcemanager.resource-tracker.address 值：ResourceManager host:port 用于NodeManagers.說明：如果設(shè)置host:port ，將覆蓋yarn.resourcemanager.hostname的主機(jī)名設(shè)置。
#yarn.resourcemanager.admin.address 值：ResourceManager host:port 用于管理命令。說明：如果設(shè)置host:port ，將覆蓋yarn.resourcemanager.hostname主機(jī)名的設(shè)置
#yarn.resourcemanager.webapp.address 值：ResourceManager web-ui host:port.說明：如果設(shè)置host:port ，將覆蓋yarn.resourcemanager.hostname主機(jī)名的設(shè)置
#yarn.resourcemanager.hostname 值：ResourceManager host. 說明：可設(shè)置為代替所有yarn.resourcemanager address 資源的主機(jī)單一主機(jī)名。其結(jié)果默認(rèn)端口為ResourceManager組件。
#yarn.resourcemanager.scheduler.class 值：ResourceManager 調(diào)度類. 說明：Capacity調(diào)度 (推薦), Fair調(diào)度 (也推薦),或Fifo調(diào)度.使用完全限定類名,如 org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler.
#yarn.scheduler.minimum-allocation-mb 值：在 Resource Manager上為每個(gè)請求的容器分配的最小內(nèi)存.
#yarn.scheduler.maximum-allocation-mb 值：在Resource Manager上為每個(gè)請求的容器分配的最大內(nèi)存
#yarn.resourcemanager.nodes.include-path / yarn.resourcemanager.nodes.exclude-path 值：允許/摒棄的nodeManagers列表 說明：如果必要，可使用這些文件來控制允許的NodeManagers列表

vim workers
master
slave1
slave2
4.修改啟動(dòng)文件
#因?yàn)闇y試環(huán)境以root賬戶啟動(dòng)hadoop服務(wù)，所以需對啟動(dòng)文件添加權(quán)限；
cd /opt/modules/hadoop-3.0.0/sbin
vim start-dfs.sh
#add lines
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_ZKFC_USER=root
HDFS_JOURNALNODE_USER=root

vim stop-dfs.sh
#add lines
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_ZKFC_USER=root
HDFS_JOURNALNODE_USER=root

vim start-yarn.sh
#add lines
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

vim stop-yarn.sh
#add lines
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

5.推送hadoop配置文件；
cd /opt/modules/hadoop-3.0.0/etc/hadoop
scp ./ root@node1:/opt/modules/hadoop-3.0.0/etc/hadoop/
scp ./ root@node2:/opt/modules/hadoop-3.0.0/etc/hadoop/
6.格式化hdfs；
#配置文件中指定hdfs存儲路徑為/data/tmp/
/opt/modules/hadoop-3.0.0/bin/hdfs namenode -format
7.啟動(dòng)hadoop服務(wù)；
#namenode 三節(jié)點(diǎn)
cd /opt/modules/zookeeper-3.4.13
./bin/zkServer.sh start
cd /opt/modules/kafka_2.12-2.1.1
./bin/kafka-server-start.sh ./config/server.properties &

/opt/modules/hadoop-3.0.0/bin/hdfs journalnode &

#master節(jié)點(diǎn)
/opt/modules/hadoop-3.0.0/bin/hdfs namenode -format
/opt/modules/hadoop-3.0.0/bin/hdfs zkfc -formatZK
/opt/modules/hadoop-3.0.0/bin/hdfs namenode &

#slave1節(jié)點(diǎn)
/opt/modules/hadoop-3.0.0/bin/hdfs namenode -bootstrapStandby
/opt/modules/hadoop-3.0.0/bin/hdfs namenode &
/opt/modules/hadoop-3.0.0/bin/yarn resourcemanager &
/opt/modules/hadoop-3.0.0/bin/yarn nodemanager &

#slave2節(jié)點(diǎn)
/opt/modules/hadoop-3.0.0/bin/hdfs namenode -bootstrapStandby
/opt/modules/hadoop-3.0.0/bin/hdfs namenode &
/opt/modules/hadoop-3.0.0/bin/yarn resourcemanager &
/opt/modules/hadoop-3.0.0/bin/yarn nodemanager &

#namenode 三節(jié)點(diǎn)
/opt/modules/hadoop-3.0.0/bin/hdfs zkfc &

#master節(jié)點(diǎn)
cd /opt/modules/hadoop-3.0.0/
./sbin/start-all.sh
cd /opt/modules/hadoop-3.0.0/hbase-2.0.4
./bin/start-hbase.sh

8.查看各個(gè)節(jié)點(diǎn)hadoop服務(wù)正常啟動(dòng)；
jps

9.運(yùn)行測試；
cd /opt/modules/hadoop-3.0.0
#hdfs上創(chuàng)建測試路徑
./bin/hdfs dfs -mkdir /testdir1
#創(chuàng)建測試文件
cd /opt
touch wc.input
vim wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop
#將wc.input上傳到HDFS
bin/hdfs dfs -put /opt/wc.input /testdir1/wc.input
#運(yùn)行hadoop自帶的mapreduce Demo
./bin/yarn jar /opt/modules/hadoop-3.0.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar wordcount /testdir1/wc.input /output
#查看輸出文件
bin/hdfs dfs -ls /output

10.狀態(tài)截圖

所有服務(wù)正常啟動(dòng)后截圖：
zookeeper+kafka+namenode+journalnode+hbase

路過點(diǎn)一贊，技術(shù)升一線，加油↖(^ω^)↗！

網(wǎng)頁名稱：hadoop3.0.0安裝配置
文章網(wǎng)址：http://bm7419.com/article22/pcoccc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、網(wǎng)站內(nèi)鏈、網(wǎng)站策劃、電子商務(wù)、外貿(mào)建站、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)