安裝hadoop要點(diǎn)有哪些,很多新手對(duì)此不是很清楚,為了幫助大家解決這個(gè)難題,下面小編將為大家詳細(xì)講解,有這方面需求的人可以來學(xué)習(xí)下,希望你能有所收獲。
創(chuàng)新互聯(lián)公司主營(yíng)北鎮(zhèn)網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,重慶APP開發(fā)公司,北鎮(zhèn)h5微信平臺(tái)小程序開發(fā)搭建,北鎮(zhèn)網(wǎng)站營(yíng)銷推廣歡迎北鎮(zhèn)等地區(qū)企業(yè)咨詢
1、安裝JDK
tar -zxvf jdk-7u75-linux-i586.tar.gz -C /root/training/
vi ~/.bash_profile
JAVA_HOME=/root/training/jdk1.7.0_75
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
source ~/.bash_profile
修改這個(gè)vi /etc/selinux/config SELINUX=disabled
可以查看環(huán)境變量 vi /etc/profile
Hadoop配置環(huán)境
vi ~/.bash_profile
HADOOP_HOME=/root/training/hadoop-2.4.1
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
使環(huán)境變量生效:
source ~/.bash_profile
修改 cd training/hadoop-2.4.1/etc/hadoop/hadoop-env.sh
27 #export JAVA_HOME=${JAVA_HOME}
28 export JAVA_HOME=/root/training/jdk1.7.0_75
可以寫一個(gè)例子進(jìn)行測(cè)試
I love Beijing
I love China
Beijing is the capital of China
運(yùn)行:hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount ~/data/input/data.txt ~/data/output
安裝偽分布模式
<!--數(shù)據(jù)的冗余度-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--NameNode的地址-->
<!--9000:RPC通信的端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.106.2:9000</value>
</property>
<!--配置數(shù)據(jù)在dataNode上保存的位置-->
<!---默認(rèn):linux的tmp目錄-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.4.1/tmp</value>
</property>
<!--ResourceManager運(yùn)行的框架-->
<!---洗牌MR運(yùn)行的方式-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.137.111</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
(*) 對(duì)HDFS格式化
hdfs namenode -format
啟動(dòng)Hadoop
start-all.sh
-------------免登陸配置------------------
1、產(chǎn)生密鑰對(duì)
ssh-keygen -t rsa
2、公鑰給別人
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.137.111
改名:.ssh/authorized_keys
/root/training/hadoop-2.4.1/etc/hadoop/hadoop-env.sh
可以更改緩存
看完上述內(nèi)容是否對(duì)您有幫助呢?如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章,請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝您對(duì)創(chuàng)新互聯(lián)的支持。
本文標(biāo)題:安裝hadoop要點(diǎn)有哪些
標(biāo)題網(wǎng)址:http://bm7419.com/article12/pcijgc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站收錄、網(wǎng)站建設(shè)、網(wǎng)站排名、網(wǎng)站改版、服務(wù)器托管、品牌網(wǎng)站制作
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)