spark安裝配置-創(chuàng)新互聯(lián)

在裝spark之前先裝Scala  Scala 的安裝在hadoop安裝配置中已經(jīng)介紹了

成都創(chuàng)新互聯(lián)專注于巴林左旗網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供巴林左旗營銷型網(wǎng)站建設(shè)，巴林左旗網(wǎng)站制作、巴林左旗網(wǎng)頁設(shè)計、巴林左旗網(wǎng)站官網(wǎng)定制、重慶小程序開發(fā)公司服務(wù)，打造巴林左旗網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供巴林左旗網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

1、下載spark安裝包 下載地址如下

http://spark.apache.org/downloads.html

我選擇的是

 spark-1.4.1-bin-hadoop2.6.tgz  放在/root/software

解壓

tar zxvf  spark-1.4.1-bin-hadoop2.6.tgz

2、配置系統(tǒng)環(huán)境變量

vim /etc/profile

export SPARK_HOME=/root/sherry/spark-1.4.1

export PATH=$SPARK_HOME/bin:$PATH

source /etc/profile

3、配置spark文件

1）[root@HBMS-DKXD-DEV sherry]# cd spark-1.4.1-bin-hadoop2.6/

  [root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# cd conf

  [root@HBMS-DKXD-DEV conf]# vim spark-env.sh

  添加如下內(nèi)容

export SCALA_HOME=/root/sherry/scala-2.10.4

export JAVA_HOME=/usr/java/jdk1.7.0_45

export SPARK_WORKER_MEMORY=1g

export SPARK_MASTER_IP=10.118.46.22

2）配置slave

我自己沒有配置

4、啟動集群

[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# ./sbin/start-all.sh

關(guān)閉

[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# ./sbin/stop-all.sh

檢查是否安裝成功

jps

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)站標(biāo)題：spark安裝配置-創(chuàng)新互聯(lián)
URL分享：http://bm7419.com/article16/dsdggg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站制作、軟件開發(fā)、云服務(wù)器、服務(wù)器托管、App設(shè)計、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)