hadoop集群服務(wù)器詳細(xì)安裝配置教程

這篇文章主要講解了“hadoop集群服務(wù)器詳細(xì)安裝配置教程”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“hadoop集群服務(wù)器詳細(xì)安裝配置教程”吧！

目前創(chuàng)新互聯(lián)建站已為上千余家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)站空間、成都網(wǎng)站托管、企業(yè)網(wǎng)站設(shè)計(jì)、常山網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶(hù)導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶(hù)和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。

 一、安裝包準(zhǔn)備

1、虛擬機(jī)分布式安裝（三臺(tái)及以上虛擬機(jī)）

若是個(gè)人電腦Windows系統(tǒng)或Linux系統(tǒng)，虛擬機(jī)上虛擬的三臺(tái)服務(wù)器，則將安裝包拷貝到服務(wù)器上，進(jìn)行安裝操作即可。

2、物理集群（三臺(tái)及以上實(shí)體服務(wù)器）

1、 外網(wǎng)下載模式

2、 本地文件模式

將安裝包文件直接拷貝到實(shí)體服務(wù)器root目錄下，進(jìn)行安裝操作即可。

3、上傳模式

當(dāng)服務(wù)器在機(jī)房，且無(wú)顯示和輸入設(shè)備的情況下，應(yīng)用該模式。

現(xiàn)將文件，安裝在本地計(jì)算機(jī)上（默認(rèn)為筆記本電腦，在機(jī)房現(xiàn)場(chǎng)），并將計(jì)算機(jī)與服務(wù)器連接，將安裝包install、DKHInstall上傳到服務(wù)器root目錄下。

 

二、服務(wù)器操作系統(tǒng)配置教程

準(zhǔn)備工作完成之后，就要進(jìn)行服務(wù)器配置操作，首先必須三臺(tái)服務(wù)器之間要互相ping通。所謂ping通，就是兩臺(tái)設(shè)備之間網(wǎng)絡(luò)是通的。從一端發(fā)送一個(gè)數(shù)據(jù)包，另一端就能夠收到，就代表兩臺(tái)設(shè)備是能夠ping通了。

1、修改權(quán)限

目的：使install、DKHInstall兩個(gè)安裝包有可執(zhí)行的權(quán)限。權(quán)限不足無(wú)法執(zhí)行一些操作。install里面是腳本和所有組件，DKHInstall里面是安裝界面。

步驟：在準(zhǔn)備工作中拷貝安裝包 install、DKHInstall到主節(jié)點(diǎn)目錄后，修改文件權(quán)限。首先進(jìn)入root目錄，安裝目錄 install、DKHInstall的權(quán)限改為：文件所有者可讀可寫(xiě)可執(zhí)行，與文件所有者屬于一個(gè)用戶(hù)組的其他用戶(hù)可讀可執(zhí)行，其他用戶(hù)組可讀可執(zhí)行。

命令：

cd /root/

unzip DKHPlantform.zip

chmod -R 755 DKHPlantform

2、 搭建Hadoop集群設(shè)置SSH免密登錄

目的：Hadoop運(yùn)行過(guò)程中需要管理遠(yuǎn)端Hadoop守護(hù)進(jìn)程，在Hadoop啟動(dòng)以后，NameNode是通過(guò)SSH（Secure Shell）來(lái)啟動(dòng)和停止各個(gè)DataNode上的各種守護(hù)進(jìn)程的。這就必須在節(jié)點(diǎn)之間執(zhí)行指令的時(shí)候是不需要輸入密碼的形式，所以我們需要配置SSH運(yùn)用無(wú)密碼公鑰認(rèn)證的形式，這樣NameNode使用SSH無(wú)密碼登錄并啟動(dòng)DataName進(jìn)程，同樣原理，DataNode上也能使用SSH無(wú)密碼登錄到NameNode。

步驟：

（1）修改本機(jī)hosts文件，寫(xiě)入對(duì)應(yīng)關(guān)系

為了區(qū)分局域網(wǎng)內(nèi)的每臺(tái)主機(jī)，都會(huì)給主機(jī)配一個(gè)主機(jī)名，每臺(tái)主機(jī)之間又是通過(guò)IP進(jìn)行通信，但I(xiàn)P地址不方便記憶，所以配置主機(jī)名和IP映射能夠?qū)崿F(xiàn)主機(jī)之間的快速方便的訪問(wèn)。

命令：

vi /etc/hosts

通過(guò)按鍵盤(pán)上的insert或是I鍵進(jìn)入編輯模式，編輯完成后按一下Esc鍵然后按一下按Shift+: 鍵，輸入wq，后回車(chē)就可以保存。輸入q！后回車(chē)則是放棄保存并退出.

進(jìn)入編輯模式后，按照規(guī)則寫(xiě)入主機(jī)與ip的對(duì)應(yīng)關(guān)系（主機(jī)名稱(chēng)dk41是自己命名的，如下圖）例：

   192.168.1.41    dk41

192.168.1.42    dk42

192.168.1.43    dk43

編輯完后，保存退出。把對(duì)應(yīng)關(guān)系拷到其他兩臺(tái)或多臺(tái)機(jī)器上。

命令：

scp  -r  /etc/hosts  192.168.1.42:/etc

scp  -r  /etc/hosts  192.168.1.43:/etc

（2）執(zhí)行集群之間免密前的準(zhǔn)備工作   

執(zhí)行sshpass.sh的腳本的時(shí)候會(huì)去讀sshhosts和sshslaves這兩個(gè)文件，替換sshpass.sh中的master和slave文件。                                                    

修改文件sshhosts，輸入全部機(jī)器的主機(jī)名，每行一個(gè)主機(jī)名（如下圖）

命令：

vi /root/DKHPlantform/autossh/sshhosts

通過(guò)按鍵盤(pán)上的insert或是I鍵進(jìn)入編輯模式，編輯完成后按一下Esc鍵然后按一下按Shift+：鍵，輸入wq，后回車(chē)就可以保存。輸入q！后回車(chē)則是放棄保存并退出.

修改文件sshslaves，寫(xiě)入除主機(jī)名之外的所有機(jī)器名（如下圖）

命令：

vi /root/DKHPlantform/autossh/sshslaves

通過(guò)按鍵盤(pán)上的insert或是I鍵進(jìn)入編輯模式，編輯完成后按一下Esc鍵然后按一下按Shift+：鍵，輸入wq，后回車(chē)就可以保存。輸入q！后回車(chē)則是放棄保存并退出.

（3）執(zhí)行集群免密工作

命令：

cd /root/DKHPlantform/autossh

./autossh 主節(jié)點(diǎn)主機(jī)名 集群密碼

例： ./autossh dk41 123456

（4）關(guān)閉防火墻

防止訪問(wèn)服務(wù)器時(shí)某些服務(wù)被攔截,需關(guān)閉防火墻。

命令：

cd /root/DKHPlantform/autossh

./offIptables.sh

3、 安裝雙機(jī)熱備份的MySQL

目的：存放Hive的元數(shù)據(jù)

步驟：

（1）從主節(jié)點(diǎn)分發(fā)mySQL安裝目錄到第二節(jié)點(diǎn)

命令：

scp -r /root/DKHPlantform/mysqlInst/ 192.168.1.42:/root/

（2）主節(jié)點(diǎn)執(zhí)行：

命令：                                                                                                                                 

cd /root/DKHPlantform/mysqlInst/

./mysql.sh 1

從節(jié)點(diǎn)執(zhí)行:

命令：

cd /root/mysqlInst/

./mysql.sh 2

（3）執(zhí)行成功之后執(zhí)行熱備份（兩臺(tái)機(jī)器上都要執(zhí)行，兩個(gè)ip互換,41上寫(xiě)42,42上寫(xiě)41,密碼是MySQL的密碼為：123456。平臺(tái)內(nèi)已經(jīng)設(shè)定好，請(qǐng)勿修改）：

命令：

source /etc/profile

./sync.sh 192.168.1.xxx(另一臺(tái)mysql地址)

4、 創(chuàng)建數(shù)據(jù)庫(kù)

目的：MySQL是一種關(guān)聯(lián)數(shù)據(jù)庫(kù)管理系統(tǒng)，關(guān)聯(lián)數(shù)據(jù)庫(kù)將數(shù)據(jù)保存在不同的表中，增加了速度并提高了靈活性。

步驟：

（1）導(dǎo)入MySQL數(shù)據(jù)表，只在主節(jié)點(diǎn)執(zhí)行：

命令：

mysql -uroot -p123456 < { 此處為sql文件,主目錄下文件： dkh.sql}

如：mysql -uroot -p123456 </root/DKHPlantform/dkh.sql

（2）執(zhí)行完后查看一下兩臺(tái)mysql的數(shù)據(jù)表是否存在,從主節(jié)點(diǎn)中查看執(zhí)行：

命令：

mySQL  -uroot  -p123456
show databases;

use dkh;

show tables;

5、啟動(dòng)安裝

目的：服務(wù)器配置操作完成之后，啟動(dòng)DKH。

步驟：執(zhí)行以下命令。

命令：

cd /root/DKHPlantform/dkh-tomcat*/bin/

./startup.sh

6、本地時(shí)間服務(wù)器搭建步驟

沒(méi)聯(lián)網(wǎng)或者裝系統(tǒng)時(shí)時(shí)間未同步，需要搭建本地時(shí)間服務(wù)器。

（1）搭建內(nèi)網(wǎng)的ntp服務(wù)器

修改/etc/ntp.conf

命令：

Vim /etc/ntp.conf

通過(guò)按鍵盤(pán)上的insert或是I鍵進(jìn)入編輯模式，編輯完成后按一下Esc鍵然后按一下按Shift+：鍵，輸入wq后回車(chē)就可以保存。輸入q！后回車(chē)則是放棄保存并退出.

修改下列三行:

#server 0.centos.pool.ntp.org  

#server 1.centos.pool.ntp.org  

#server 2.centos.pool.ntp.org  

 在文件最后添加下列兩行:

server  127.127.1.0   

fudge   127.127.1.0 stratum 10

（2）啟動(dòng)ntp服務(wù)

service ntpd start

（3）開(kāi)機(jī)自動(dòng)啟動(dòng)

chkconfig ntpd on

（4）客戶(hù)端同步時(shí)間

命令：

Vim /etc/ntp.conf

通過(guò)按鍵盤(pán)上的insert或是I鍵進(jìn)入編輯模式，編輯完成后按一下Esc鍵然后按一下按Shift+：鍵，輸入wq，后回車(chē)就可以保存。輸入q！后回車(chē)則是放棄保存并退出.

在文件最后添加一行：

*/15 * * * * root ntpdate 192.168.27.35;hwclock -w 

感謝各位的閱讀，以上就是“hadoop集群服務(wù)器詳細(xì)安裝配置教程”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)hadoop集群服務(wù)器詳細(xì)安裝配置教程這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

當(dāng)前標(biāo)題：hadoop集群服務(wù)器詳細(xì)安裝配置教程
網(wǎng)站地址：http://bm7419.com/article30/jdisso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供用戶(hù)體驗(yàn)、自適應(yīng)網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站設(shè)計(jì)公司、電子商務(wù)、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)