Hadoop常用命令-創(chuàng)新互聯(lián)

網(wǎng)絡(luò)配置

10年積累的成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問(wèn)題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站設(shè)計(jì)后付款的網(wǎng)站建設(shè)流程，更有永康免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

hostname 查看珠璣名
vim /etc/sysconfig/network 設(shè)置主機(jī)名
ifconfig 查看ip情況
vim /etc/sysconfig/network-scripts/ifcfg-eth0 設(shè)置網(wǎng)絡(luò)

DEVICE="eth0" 接口名（設(shè)備、網(wǎng)卡）
BOOTPROTO=STATIC IP的配置方法（static：固定IP，dhcp：，none：手動(dòng)）
ONBOOT=yes 系統(tǒng)啟動(dòng)的時(shí)候網(wǎng)絡(luò)端口是否有效
IPADDR=192.168.1.2 IP網(wǎng)址
GATEWAY=192.168.1.0 網(wǎng)關(guān)
DNS1=8.8.8.8 DNS服務(wù)器

service network restart 重啟網(wǎng)卡服務(wù)
service network start 開(kāi)始網(wǎng)卡服務(wù)
service network stop 停止網(wǎng)卡服務(wù)
ifconfig eth0 up|down 啟用和關(guān)閉制定的網(wǎng)卡
ifconfig 查看配置的ip信息是否生效
vim /etc/hosts 設(shè)置珠璣和ip映射關(guān)系

192.168.1.2 master
192.168.1.3 slave1
192.168.1.4 slave2

ping master
service iptables stop 關(guān)閉防火墻
chkconfig iptables off 關(guān)閉自啟動(dòng)防火墻服務(wù)

配置SSH

rpm -qa | grep openssh 查看是否安裝了ssh服務(wù)
rpm -qa | grep rsync 查看是否安裝了rsync服務(wù)

yum install ssh 安裝ssh協(xié)議
yum install rsync rsync是一個(gè)遠(yuǎn)程數(shù)據(jù)同步工具

service sshd restart 啟動(dòng)sshd服務(wù)

ssh-keygen -t rsa -p ' ' 生成無(wú)密碼密鑰對(duì)（存放路徑是/home/Haddop/.ssh）

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys 將id_rsa.pub追加到授權(quán)的key中

chmod 600 ~/.ssh/authorized_keys 授予讀寫權(quán)限
vim /etc/ssh/sshd_config 修改sshd服務(wù)的配置文件

RSAAuthentication yes # 啟用 RSA 認(rèn)證

PubkeyAuthentication yes # 啟用公鑰私鑰配對(duì)認(rèn)證方式

AuthorizedKeysFile .ssh/authorized_keys # 公鑰文件路徑（和上面生成的文件同）

service sshd restart 重啟sshd服務(wù)，是修改生效
ssh master 嚴(yán)驗(yàn)證ssh登錄（第一次會(huì)要求輸入密碼）

單點(diǎn)對(duì)多點(diǎn)的SSH無(wú)密碼登錄

ssh-keygen
ssh-copy-id storm@slave1 格式是"ssh-copy-id 用戶名@主機(jī)名"
ssh-copy-id storm@slave2 將本機(jī)名的公鑰復(fù)制到遠(yuǎn)程機(jī)器的authorized_keys文件

安裝JDK

root用戶登錄
mkdir /usr/java 創(chuàng)建/usr/java目錄
cp /root/Downloads/jdk-6u31-linux-i584.bin /usr/java 復(fù)制
chmod +x jdk-6u31-linux-i584.bin 賦予執(zhí)行的權(quán)限
./jdk-6u31-linux-i584.bin 執(zhí)行解壓過(guò)的bin文件
rm -rf jdk-6u31-linux-i584.bin 刪除jdk安裝文件
vim /etc/profile

在尾部添加以下內(nèi)容：

# set java environment

export JAVA_HOME=/usr/java/jdk1.6.0_31/

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

source /etc/profile 使profile的配置文件生效

java -version 驗(yàn)證jdk是否安裝成功

安裝剩余機(jī)器：

scp /usr/java/jdk1.6.0_31/ Hadoop@mster$i:/usr/java;

使用shell腳本安裝：

for i in $(seq 1 100);

do echo slave$i;

scp /usr/javajdk1.6.0_31/ Hadoop@slave$i:/usr/java;

done

profile環(huán)境變量的配置文件要可以配置好后一次發(fā)送到所有集群中

Hadoop集群的安裝

以root用戶登錄
cp /root/Downloads/Hadoop-1.0.0.tar.gz /usr
cd /usr
tar -zxvf Hadoop-1.0.0.tar.gz 解壓tar.gz的安裝包
mv Hadoop-1.0.0.tar.gz hadoop 文件夾重命名
chown -R Hadoop:Hadoop Hadoop hadoop文件的屬主重新分配，-R是遞歸，hadoop文件夾分配給hadoop組下的hadoop用戶
rm -rf Hadoop-1.0.0.tar.gz 刪除安裝文件

配置Hadoop的環(huán)境變量

vim /etc/profile

export HADOOP_HOME=/usr/Hadoop
export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile 使配置生效

配置hadoop

配置hadoop-env.sh(文件位于/usr/Hadoop/bin/conf)

vim /usr/Hadoop/bin/conf/Hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.6.0_31

配置core-site.xml文件

mkdir /usr/Hadoop/tmp 創(chuàng)建文件夾tmp，用來(lái)保存hadoop臨時(shí)數(shù)據(jù)
vim /usr/Hadoop/bin/conf/core-site.xml

<name>hadoop.tmp.dir</name>

<value>/usr/hadoop/tmp</value>

（備注：請(qǐng)先在 /usr/hadoop 目錄下建立 tmp 文件夾，默認(rèn)采用系統(tǒng)的臨時(shí)目錄：/tmp/Hadoop-hadoop。而這個(gè)目錄每次重啟都會(huì)被干掉，必須重新執(zhí)行format才行，否則會(huì)出錯(cuò)。）

<description>A base for other temporary directories.</description>

</property>

<name>fs.default.name</name>

</property>

</configuration>

配置hdfs-site.xml ，默認(rèn)備份方式是3

<name>dfs.replication</name>

(備注：replication 是數(shù)據(jù)副本數(shù)量，默認(rèn)為3，salve少于3臺(tái)就會(huì)報(bào)錯(cuò))

</property>

配置mapred-site.xml

修改hadoop中mapreduce的配置文件，配置的jobTracker的地址和端口

<name>mapred.job.tracker</name>

</property>

</configuration>

配置mster

修改/usr/Hadoop/conf/masters文件，指定master機(jī)器的主機(jī)名

vim /usr/Hadoop/conf/masters

192.168.1.2（或者是master）

配置slave

vim /usr/Hadoop/conf/slaves

slave1

slave2

注意：?jiǎn)螜C(jī)啟動(dòng)的時(shí)候，conf/slaves中一定不能為空。沒(méi)有其他機(jī)器，就指定自己。

集群環(huán)境下，slave機(jī)器上可以不配置slaves

在集群中的其他機(jī)器上重復(fù)此配置

建議普通用戶在hadoop下通過(guò)scp復(fù)制到其他機(jī)器對(duì)應(yīng)的目錄下，其中第6步是master機(jī)器特有的

使用shell腳本：

for i in $(seq1 100);

do echo slave$i;

scp /usr/hadoop Hadoop@slave$i:/usr;

scp /etc/profile Hadoop@slave$i:/etc;

done

復(fù)制文件后可能會(huì)發(fā)現(xiàn)hadoop目錄是root權(quán)限

chown -R hadoop:Hadoop Hadoop 授權(quán)給hadoop用戶

Hadoop啟動(dòng)相關(guān)命令：

Hadoop namenode -format 在master機(jī)器上格式化namenode

只需要執(zhí)行一次，如果要重新執(zhí)行，一定要先刪除配置文件core-site.xml中配置

的hadoop.tmp.dir對(duì)應(yīng)路徑下的文件

service iptables stop 關(guān)閉集群中所有機(jī)器防火墻

for i in (seq 1 100);

Do ssh node $i "hostname;

service iptables stop;

chkconfig iptables off;

service iptables status";

done

start-all.sh 啟動(dòng)hadoop的所有服務(wù)，包含（hdfs和mapreduce的相關(guān)服務(wù)）

可以通過(guò)以下啟動(dòng)日志看出，首先啟動(dòng)namenode，接著啟動(dòng)datanode1，datanode2，......,然后啟動(dòng)secondarynamenode。再啟動(dòng)jobtracker，然后啟動(dòng)tasktracker1，tasktracker2，.........。

啟動(dòng)hadoop成功后，在master中的tmp文件夾中生成dfs文件夾，在slave中的tmp文件夾中均生成了dfs文件加和mapred文件夾

jps 查看進(jìn)程

在master上的結(jié)果是

jobTracker
NameNode
jps
SecondaryNameNode

在slave上的結(jié)果是

TaskTracker
DataNode
jps

Hadoop dfsadmin -report 查看hadoop集群的狀態(tài)
Hadoop dfsadmin -safemode leave 關(guān)閉hdfs的安全模式

http:192.168.1.2:50030 訪問(wèn)mapreduce對(duì)應(yīng)網(wǎng)頁(yè)

http:192.168.1.2:50070 訪問(wèn)hdfs的對(duì)應(yīng)網(wǎng)頁(yè)

服務(wù)器一直啟動(dòng)不了的終極解決辦法：

刪除集群中所有機(jī)器上的/usr/Hadoop/tmp文件
刪除集群中所有機(jī)器上的pid文件。默認(rèn)保存在/tmp目錄下。授權(quán)給hadoop用戶
重新執(zhí)行stop-all.sh,把能關(guān)的服務(wù)先關(guān)掉
執(zhí)行ps -ef|grep java|grep hadoop命令，查詢是否還有hadoop相關(guān)進(jìn)程在運(yùn)行，如有則kill -9 進(jìn)程號(hào) 命令殺掉
重新格式話珠璣master
執(zhí)行start-all.sh啟動(dòng)hadoop
發(fā)現(xiàn)沒(méi)有報(bào)錯(cuò)，執(zhí)行Hadoop dfsadmin -report 命令查看hadoop運(yùn)行狀態(tài)，發(fā)現(xiàn)只啟動(dòng)了一個(gè)節(jié)點(diǎn)?？赡苓€是存在安全模式
執(zhí)行hadoop dfsadmin -safemode leave 關(guān)閉主機(jī)上的安全模式
再一次執(zhí)行hadoop dfsadmin -report

解決“no datanode to stop ”問(wèn)題

原因：

每次namenode format 會(huì)重新創(chuàng)建一個(gè)namenodeId，而/tmp/dfs/data下包含了上次 format下的id，namenode format 清空了namenode下的數(shù)據(jù)，但是沒(méi)有清空datanode下的數(shù)據(jù)，到時(shí)啟動(dòng)是失敗，所有每次format前，清空tmp下的所有目錄

第一種方法：

刪除master上的tmp文件夾 rm -fr /usr/Hadoop/tmp

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享標(biāo)題：Hadoop常用命令-創(chuàng)新互聯(lián)
鏈接地址：http://bm7419.com/article2/dgccic.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營(yíng)銷推廣、網(wǎng)頁(yè)設(shè)計(jì)公司、網(wǎng)站制作、搜索引擎優(yōu)化、企業(yè)建站、ChatGPT

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容