Hadoop2.4.1偽分布式如何配置

這篇文章主要介紹了Hadoop2.4.1偽分布式如何配置，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

站在用戶的角度思考問題，與客戶深入溝通，找到湖里網(wǎng)站設(shè)計(jì)與湖里網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：做網(wǎng)站、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、空間域名、雅安服務(wù)器托管、企業(yè)郵箱。業(yè)務(wù)覆蓋湖里地區(qū)。

實(shí)驗(yàn)環(huán)境：

    VMware Workstation 10.0   

    CentOS 6.5    

    Hadoop 2.4.1 

    Jdk1.7.0

一. Linux系統(tǒng)環(huán)境準(zhǔn)備    

   用WindSCP等軟件，把JDK和Hadoop的安裝包上傳到CentOS虛擬機(jī)中。

   用戶設(shè)置

     如果用普通用戶進(jìn)行以下操作，先把普通用戶添加到/etc/sudoers文件中，以便能執(zhí)行sudo命令。

切換到root
$su -
添加普通用戶到sudoers
#vim /etc/sudoers
在文件的99行添加 hadoop ALL=(ALL) ALL
添加普通用戶hadoop

     配置IP

    虛擬機(jī)使用NAT模式。

用圖形界面或直接修改/etc/sysconfig/network-scripts/ifcfg-eth0文件
IP:192.168.18.101
MASK：255.255.255.0
ROUTE:192.168.18.1

     修改主機(jī)名

    非必須步驟，為了以后的方便，還是配置的好。

修改主機(jī)名為hadoop001，重啟生效
[root@localhost ~]# vim /etc/sysconfig/network
   NETWORKING=yes
   HOSTNAME=hadoop001
查看主機(jī)名
[root@localhost ~]# hostname

      配置主機(jī)名和IP的映射

為了測試方便，也可以再配置宿主機(jī)windows的映射 C:\Windows\System32\drivers\etc\hosts
[root@localhost ~]# vim /etc/hosts
添加： 192.168.18.101 hadoop001

     關(guān)閉防火墻

        不關(guān)閉防火墻，其他主機(jī)不能訪問http等服務(wù)。當(dāng)然，如果你會，自己配置防火墻更好。

關(guān)閉防火墻
[root@localhost ~]# service iptables stop
查看防火墻狀態(tài)
[root@localhost ~]# service iptables status
iptables: Firewall is not running.
設(shè)置開機(jī)不啟動(dòng)防火墻
[root@localhost ~]# chkconfig iptables off

    配置完成，重啟CentOS

#reboot

二. 安裝JDK和Hadoop

解壓JDK和Hadoop的安裝包*.tar.gz.

配置環(huán)境變量

重新編譯環(huán)境變量配置文件
#source /etc/profile
測試命令
$java -version
$hadoop

三.Hadoop配置

1. etc/hadoop/hadoop-env.sh 

修改 HADOOP_HOME/etc/hadoop/hadoop-env.sh 

把27行，${JAVA_HOME}換成jdk的絕對路徑。

可能是hadoop的shell腳本問題，這里經(jīng)常獲取JAVA_HOME失敗，所以替換成jdk的絕對路徑。

2. etc/hadoop/core-site.xml

<configuration>
     <property>
         <name>fs.defaultFS</name>
         <value>hdfs://hadoop001:9000</value>
         <discription> 
            hdfs://hostname|IP：port
             文件系統(tǒng)的名字，默認(rèn)端口號為8020(見NameNode源碼)，
        </discription>
     </property>
    <property>
          <name>hadoop.tmp.dir</name>
          <value>/home/hadoop/apps/hadoop-2.4.1/tmp</value>
          <discription>
               指定name table(fsimage)在本地系統(tǒng)的存放位置,
               如果value是以逗號分隔的多個(gè)目錄，則會在每個(gè)目錄中保存一份，作為冗余備份。
               注意：如果最前面不加/ 就是相對HADOOP_HOME的路徑
          </discription>
     </property>
</configuration>

3. etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        <description>
            block副本的數(shù)量(副本因子)
            在搭建偽分布式時(shí)，值為1就行，覆蓋hdfs-default.xml中配置的默認(rèn)值3。
         </description>
    </property>
<configuration>

4. etc/hadoop/mapred-site.xml

 修改mapred-site.xml.template文件名為mapred-site.xml

<configuration>
     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
     <description>
        指定MapReduce運(yùn)行在Yarn上
     </description>
</configuration>

5. etc/hadoop/yarn-site.xml

</configuration>
    <!-- 指定YARN的老大（ResourceManager）的地址 -->
    <property>
    	<name>yarn.resourcemanager.hostname</name>
    	<value>hadoop001</value>
    </property>
    	<!-- reducer獲取數(shù)據(jù)的方式 -->
    <property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
    </property>
</configuration>

四. 啟動(dòng)Hadoop

SSH免密碼登錄

設(shè)置無密碼登錄NameNode等節(jié)點(diǎn)。因?yàn)槲覀兪莻畏植际綄?shí)驗(yàn)環(huán)境，所以啟動(dòng)或關(guān)閉HDFS和Yarn時(shí)每次輸入密碼不方便。

測試一下，是否可以通過SSH免密碼的登錄

  $ ssh localhost

If you cannot ssh to localhost without a passphrase, execute the following commands:

  $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  #然后再用ssh localhost測試一下，如果不行，就改一下秘鑰的權(quán)限。
  #chmod 600 .ssh/*

格式化HDFS

    為什么需要格式化？

    和使用新買的硬盤時(shí)，也需要格式一下一個(gè)道理，根據(jù)選擇的文件系統(tǒng)類型對磁盤進(jìn)行配置。

    windows下選擇NTFS文件系統(tǒng)，這個(gè)是HDFS文件系統(tǒng)，只不過HDFS的是一個(gè)邏輯磁盤

hfds namenode -format  
或hadoop namenode -form  這是hadoop1.x中的命令，已經(jīng)過時(shí)。

格式化成功后，Hadoop會在core-site.xml文件中配置的hadoop.tmp.dir目錄下自動(dòng)創(chuàng)建dfs/name目錄。

格式化信息：

查看初始狀態(tài)下dfs/name下只有fsimage文件。

    啟動(dòng)Hadoop服務(wù)

hadoop 1.x通過start-all.sh啟動(dòng)hdfs和MapReduce
$ bin/start-all.sh
hadoop2.x
啟動(dòng)hdfs服務(wù)
$start-dfs.sh
啟動(dòng)yarn
$start-yarn.sh

    驗(yàn)證成功啟動(dòng)

  1） 用JPS查看java進(jìn)程

2)Browse the web interface for the NameNode and theMapReduce

    NameNode Web UI- http://localhost:50070/

    MapReduce Web UI - http://localhost:8088/

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Hadoop2.4.1偽分布式如何配置”這篇文章對大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!

分享標(biāo)題：Hadoop2.4.1偽分布式如何配置
鏈接地址：http://bm7419.com/article8/jjdpip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營銷推廣、網(wǎng)站內(nèi)鏈、網(wǎng)站排名、網(wǎng)站制作、商城網(wǎng)站、關(guān)鍵詞優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)