如何使用cloudrea的rpm源安裝Hadoop

這篇文章主要介紹了如何使用cloudrea的rpm源安裝Hadoop，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

公司主營業(yè)務(wù)：網(wǎng)站制作、成都做網(wǎng)站、移動(dòng)網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出禹州免費(fèi)做網(wǎng)站回饋大家。

使用cloudrea的rpm源，安裝Hadoop
環(huán)境為：
192.168.255.132 test01.linuxjcq.com =》master
192.168.255.133 test02.linuxjcq.com =》slave01
192.168.255.134 test03.linuxjcq.com =》slave02
 
每臺主機(jī)中的/etc/hosts文件有以上配置和基本的java環(huán)境設(shè)置，使用的java包為openjdk
1. 安裝cloudrea
wget http://archive.cloudera.com/RedHat/6/x86_64/cdh/cdh4-repository-1.0-1.noarch.rpm -P /usr/local/src
yum localinstall --nogpgcheck /usr/local/src/cdh4-repository-1.0-1.noarch.rpm
rpm --import http://archive.cloudera.com/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
 
2. 安裝hadoop包
yum install -y hadoop-0.20 hadoop-0.20-namenode hadoop-0.20-secondarynamenode hadoop-0.20-datanode hadoop-0.20-jobtracker hadoop-0.20-tasktracker hadoop-0.20-source
將hadoop按照各個(gè)部分的功能分為了
source：hadoop-0.20-source
base：hadoop-0.20
namenode：hadoop-0.20-namenode
secondnamenode：hadoop-0.20-secondarynamenode
jobtracker：hadoop-0.20-jobtracker
tasktracker：hadoop-0.20-tasktracker
 
同時(shí)會默認(rèn)添加兩個(gè)用戶和一個(gè)組
hdfs用戶用于操作hdfs文件系統(tǒng)
mapred用戶用于mapreduce工作
這兩個(gè)用戶都屬于hadoop組，不存在hadoop用戶。
以上1,2在每一個(gè)節(jié)點(diǎn)都需進(jìn)行操作

3. 配置master節(jié)點(diǎn)
a. 創(chuàng)建配置
cloudrea配置可以通過alternatives工具
cp -r /etc/Hadoop-0.20/conf.empty /etc/hadoop-0.20/conf.my_cluster

復(fù)制配置文件
alternatives --display hadoop-0.20-conf
alternatives --install /etc/hadoop-0.20/conf
hadoop-0.20-conf /etc/hadoop-0.20/conf.my_cluster 50

查看配置，并安裝新的配置
alternatives --display hadoop-0.20-conf
hadoop-0.20-conf - status is auto.
link currently points to /etc/hadoop-0.20/conf.my_cluster
/etc/hadoop-0.20/conf.empty - priority 10
/etc/hadoop-0.20/conf.my_cluster - priority 50
Current `best' version is /etc/hadoop-0.20/conf.my_cluster.
確認(rèn)安裝了新配置

b. 設(shè)置java主目錄
    vim hadoop-env.sh
    export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64
JAVA_HOME為JAVA的主目錄，可以使用OPENJDK

c. 設(shè)置core-site.xml
    vim core-site.xml
    <configuration>
    <property>
    <name>fs.default.name</name>
    <value>hdfs://test01.linuxjcq.com:9000/</value>
    </property>
    </configuration>
使用這個(gè)訪問hdfs文件系統(tǒng)

d. 設(shè)置hdfs-site.xml
    vim /etc/hadoop/hdfs-site.xml
    <configuration>
    <property>
    <name>dfs.replication</name>
    <value>2</value>
    </property>
    <property>
    <name>dfs.name.dir</name>
    <value>/data/hadoop/hdfs/name</value>
    </property>
    <property>
    <name>dfs.data.dir</name>
    <value>/data/hadoop/hdfs/data</value>
    </property>
    </configuration>

e. 設(shè)置mapred-site.xml
    <configuration>
    <property>
    <name>mapred.system.dir</name>
    <value>/mapred/system</value>
    </property>
    <property>
    <name>mapred.local.dir</name>
    <value>/data/hadoop/mapred/local</value>
    </property>
    <property>
    <name>mapred.job.tracker</name>
    <value>test01.linuxjcq.com:9001</value>
    </property>
    </configuration>

f. 設(shè)置secondnamenode和datanode
secondnamenode
vim /etc/hadoop/masters
test02.linuxjcq.com

datanode
test02.linuxjcq.com
test03.linuxjcq.com

g. 創(chuàng)建相應(yīng)的目錄
創(chuàng)建dfs.name.dir和dfs.data.dir
mkdir -p /data/hadoop/hdfs/{name,data}

創(chuàng)建mapred.local.dir
mkdir -p /data/hadoop/mapred/local

修改dfs.name.dir和dfs.data.dir擁有者為hdfs，組擁有者為hadoop，目錄權(quán)限為0700
chown -R hdfs:hadoop /data/hadoop/hdfs/{name,data}
chmod -R 0700 /data/hadoop/hdfs/{name,data}

修改mapred.local.dir擁有者為mapred，組擁有者為hadoop，目錄權(quán)限為755
chown -R mapred:hadoop /data/hadoop/mapred/local
chmod -R 0755 /data/hadoop/mapred/local

4. 配置secondnamenode和datanode節(jié)點(diǎn)
重復(fù)3中的步驟a-f

5. 在master節(jié)點(diǎn)上格式化namenode
sudo -u hdfs hadoop namenode -format

6. 啟動(dòng)節(jié)點(diǎn)
master啟動(dòng)namenode
service Hadoop-0.20-namenode start
 
secondnamenode啟動(dòng)
service hadoop-0.20-secondnamenode start
 
啟動(dòng)各個(gè)數(shù)據(jù)節(jié)點(diǎn)
service hadoop-0.20-datanode start
 
7. 創(chuàng)建hdfs的/tmp目錄和mapred.system.dir
sudo -u hdfs hadoop fs -mkdir /mapred/system
sudo -u hdfs hadoop fs -chown mapred:hadoop /mapred/system
sudo -u hdfs hadoop fs -chmod 700 /mapred/system
 
mapred.system.dir需要在jobtracker啟動(dòng)前創(chuàng)建
sudo -u hdfs hadoop dfs -mkdir /tmp
sudo -u hdfs hadoop dfs -chmod -R 1777 /tmp
 
8. 開啟mapreduce
在datanode節(jié)點(diǎn)上執(zhí)行
service hadoop-0.20-tasktracker start
 
在namenode節(jié)點(diǎn)上啟動(dòng)jobtracker
service hadoop-0.20-jobtasker start
 
9. 設(shè)置開機(jī)啟動(dòng)
namenode節(jié)點(diǎn)：需要啟動(dòng)的為namenode何jobtracker，關(guān)閉其他的服務(wù)
chkconfig hadoop-0.20-namenode on
chkconfig hadoop-0.20-jobtracker on
chkconfig hadoop-0.20-secondarynamenode off
chkconfig hadoop-0.20-tasktracker off
chkconfig hadoop-0.20-datanode off
 
datanode節(jié)點(diǎn)：需要啟動(dòng)datanode和tasktracker
chkconfig hadoop-0.20-namenode off
chkconfig hadoop-0.20-jobtracker off
chkconfig hadoop-0.20-secondarynamenode off
chkconfig hadoop-0.20-tasktracker on
chkconfig hadoop-0.20-datanode on
 
secondarynamenode節(jié)點(diǎn)：需要啟動(dòng)secondarynamenode
chkconfig hadoop-0.20-secondarynamenode on
 
說明：
這些hadoop包作為獨(dú)立的服務(wù)啟動(dòng)，不需要通過ssh，也可以配置ssh，通過使用start-all.sh和stop-all.sh來管理服務(wù)。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“如何使用cloudrea的rpm源安裝Hadoop”這篇文章對大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!

分享名稱：如何使用cloudrea的rpm源安裝Hadoop
網(wǎng)頁地址：http://bm7419.com/article40/jcijeo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設(shè)、微信公眾號、ChatGPT、域名注冊、定制開發(fā)、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)