hadoop3.x學(xué)習(xí)（一）--安裝與環(huán)境配置-創(chuàng)新互聯(lián)

一、hadoop的組成

• hadoop1.x：Commons、HDFS（數(shù)據(jù)存儲）、MapReduce（資源調(diào)度+計算）
• hadoop2.x:Commons、HDFS（數(shù)據(jù)存儲）、MapReduce（計算）、Yarn(資源調(diào)度)

1.1 HDFS

成都創(chuàng)新互聯(lián)公司2013年開創(chuàng)至今，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目成都網(wǎng)站建設(shè)、成都網(wǎng)站制作網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元贛榆做網(wǎng)站,已為上家服務(wù),為贛榆各地企業(yè)和個人服務(wù),聯(lián)系電話:18980820575

• 分布式存儲文件系統(tǒng)。分為NameNode和DataNode
• NameNode： 管理元數(shù)據(jù)，負責(zé)監(jiān)控DataNode狀態(tài)，存儲在內(nèi)存。
• DataNode: 負責(zé)存儲具體的數(shù)據(jù)。dataNode和nameNode有一個心跳機制，數(shù)據(jù)存儲在磁盤。

1.2 Yarn（資源調(diào)度）

• Resource Manager：所有資源（內(nèi)存、CPU等）的管理者
• Node Manager: 單一資源的管理者。
• ApplicationMaster: 單個任務(wù)的執(zhí)行者
• Container: 容器，相當(dāng)于一臺獨立的服務(wù)器，有對應(yīng)運行所需要的的資源

1.2 MapReduce（計算）

將任務(wù)分發(fā)給每一臺服務(wù)器，然后結(jié)果匯總到一臺服務(wù)器

二、VM配置多臺服務(wù)器

1.1 修改虛擬機配置ip網(wǎng)段

• VM點擊編輯，設(shè)置虛擬網(wǎng)絡(luò)編輯器，點擊VMnet8修改子網(wǎng)ip為192.168.10.0，修改網(wǎng)關(guān)為192.168.10.2。
• windows打開網(wǎng)絡(luò)配置，點擊vm8修改ipv4
  
• 修改/etc/sysconfig/network-scripts/ifcfg-ens33
  修改BOOTPROTO為static #靜態(tài)ip
  #添加一下內(nèi)容
  IPADDR=192.168.10.100
  GATEWAY=192.168.10.2
  DNS1=192.168.10.2
• 修改hostname為hadoop100
  vi /etc/hostname
• 修改hosts映射
  vi /etc/hosts
  #添加以下內(nèi)容
  192.168.10.100 hadoop100
  192.168.10.101 hadoop101
  192.168.10.102 hadoop102
  192.168.10.103 hadoop103
  192.168.10.104 hadoop104
  192.168.10.105 hadoop105
  192.168.10.106 hadoop106
  192.168.10.107 hadoop107
  192.168.10.108 hadoop108

1.2 虛擬機的基礎(chǔ)配置

• 如果虛擬機為最小系統(tǒng)安裝，需要安裝如下工具
  #軟件庫(官方的rpm會缺少一些包)
  yum install -y epel-release
  #vim
  yum install -y vim
  #net-tool
  yum install -y net-tools
• 關(guān)閉停止防火墻
  systemctl stop firewalld
systemctl disable firewalld.service

1.3 克隆虛擬機(hadoop102 103 104)

• 關(guān)閉虛擬機，進行克隆，創(chuàng)建完整克隆
• 輪流登錄修改ip
  vi /etc/sysconfig/network-scripts/ifcfg-ens33
  修改IPADDR為192.168.10.102 (103 104)
• 修改主機名稱
  vi /etc/hostname hadoop102 (103 104)

三、配置hadoop基本的環(huán)境

1.1 在hadoop102上安裝jdk和hadoop

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module

1.2 配置jdk的環(huán)境變量

cd /etc/profile.d
vim my_env.sh
####
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
####
source /etc/profile

1.3 安裝hadoop

tar -xvzf hadoop-3.1.3.tar.gz -C /opt/module/

1.4 配置hadoop的環(huán)境變量

vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

標(biāo)題名稱：hadoop3.x學(xué)習(xí)（一）--安裝與環(huán)境配置-創(chuàng)新互聯(lián)
URL地址：http://bm7419.com/article6/hsiog.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護、企業(yè)網(wǎng)站制作、網(wǎng)站收錄、微信公眾號、標(biāo)簽優(yōu)化、域名注冊

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)