ambari搭建hadoop大數(shù)據(jù)平臺(tái)系列2-客戶機(jī)配置-創(chuàng)新互聯(lián)

本案例搭建的環(huán)境介紹如下:Ambari 2.4.2 + HDP 2.5 (hadoop 2.7 ;hive 1.2 ;Tez ;Spark 2.0)+jdk1.8.25 +centos7.0,這里首先要關(guān)注些注意事項(xiàng),至于為什么會(huì)一一說明。

成都創(chuàng)新互聯(lián)自2013年起,是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司,擁有項(xiàng)目成都做網(wǎng)站、成都網(wǎng)站制作網(wǎng)站策劃,項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢想脫穎而出為使命,1280元欒城做網(wǎng)站,已為上家服務(wù),為欒城各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18980820575

第一部分:注意事項(xiàng):

版本必須低于7.2
selinux 必須關(guān)閉
firewalld 必須關(guān)閉
127.0.0.1  hosts該條記錄刪除
本地倉庫必須搭建
root 賬戶ssh 啟用
指定hdfs data 目錄
安裝jdk1.8.0
所有機(jī)器時(shí)間必須同步

1:版本必須低于7.2,這里踩了個(gè)大坑,剛開始選用了7.3,最后發(fā)現(xiàn)經(jīng)常莫名其妙的異常,經(jīng)常安裝失敗。后來從官方查到(沒有放在最顯眼的位置說明):

ambari 搭建hadoop大數(shù)據(jù)平臺(tái)系列2-客戶機(jī)配置

2. 127.0.0.1  hosts該條記錄刪除 ,這也是在埋坑過后 發(fā)現(xiàn)的

ambari 搭建hadoop大數(shù)據(jù)平臺(tái)系列2-客戶機(jī)配置

3.本地倉庫必須搭建 ,如果不搭建本地倉庫,太痛苦了。下載過程巨慢,而且每次重新來的時(shí)候,巨費(fèi)時(shí)間。

4.root 賬戶ssh 啟用  這個(gè)我也考慮過使用專門賬戶,雖然ambari 也支持該功能,但是需要做相應(yīng)的很多更改,如果是測試機(jī)版本,還是便捷點(diǎn)比較好,后期可以通過ambari 的相關(guān)安全策略來補(bǔ)上。

5.其他的幾項(xiàng)注意事項(xiàng),大家一看就懂的,不過還是得細(xì)心檢查比較好。否則后面的拍錯(cuò)過程會(huì)費(fèi)掉很多精力

第二部分:開始配置客戶端及ambari-server

1.集群端機(jī)器分配如下:

centos7.010.1.11.1hadoop11-1
centos7.010.1.11.2hadoop11-2
centos7.010.1.11.3hadoop11-3
centos7.010.1.11.4hadoop11-4
centos7.010.1.11.5hadoop11-5
centos7.010.1.11.6hadoop11-6
centos7.010.1.11.7hadoop11-7

2.檢查 centos 版本,關(guān)閉selinux ,firewalld , 添加hosts 記錄,安裝jdk1.8,

檢查時(shí)區(qū)和時(shí)間是否統(tǒng)一

yum install ntp

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

配置root ssh 登陸

ambari 搭建hadoop大數(shù)據(jù)平臺(tái)系列2-客戶機(jī)配置

配置jdk1.8.025 ,將jdk  解壓到/usr/local/java/jdk1.8.0_112目錄:

/etc/profile 文件末尾添加

#add jdk-8u112

##add for jdk

export JAVA_HOME=/usr/local/java/jdk1.8.0_112

export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

配置hosts 文件

cat /etc/hosts

10.1.11.32 localRepository-11-32

10.1.11.10 ambari-11-10

10.1.11.1 hadoop11-1

10.1.11.2 hadoop11-2

10.1.11.3 hadoop11-3

10.1.11.4 hadoop11-4

10.1.11.5 hadoop11-5

10.1.11.6 hadoop11-6

10.1.11.7 hadoop11-7

如上,客戶機(jī)的相關(guān)準(zhǔn)備工作已經(jīng)都檢查完畢。下一步驟,先搭建本地倉庫,以便下載。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

本文標(biāo)題:ambari搭建hadoop大數(shù)據(jù)平臺(tái)系列2-客戶機(jī)配置-創(chuàng)新互聯(lián)
文章位置:http://bm7419.com/article38/cdessp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供定制開發(fā)、做網(wǎng)站、ChatGPT、網(wǎng)站制作手機(jī)網(wǎng)站建設(shè)、用戶體驗(yàn)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

小程序開發(fā)