centOS7下Spark怎么安裝配置-創(chuàng)新互聯(lián)

本篇內(nèi)容介紹了“centOS7下Spark怎么安裝配置”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

網(wǎng)站建設(shè)哪家好，找成都創(chuàng)新互聯(lián)！專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、微信平臺(tái)小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了武威免費(fèi)建站歡迎大家使用！

環(huán)境說(shuō)明：

        操作系統(tǒng)： centos7 64位 3臺(tái)
        centos7-1 192.168.190.130 master
        centos7-2 192.168.190.129 slave1
        centos7-3 192.168.190.131 slave2

    安裝spark需要同時(shí)安裝如下內(nèi)容：

    jdk  scale

    1.安裝jdk，配置jdk環(huán)境變量

    這里不講如何安裝配置jdk，自行百度。

    2.安裝scala

    下載scala安裝包，選擇符合要求的版本進(jìn)行下載，使用客戶端工具上傳到服務(wù)器上。解壓：

 #tar -zxvf scala-2.13.0-m4.tgz
  再次修改/etc/profile文件，添加如下內(nèi)容：
  export scala_home=$work_space/scala-2.13.0-m4
  export path=$path:$scala_home/bin
  #source /etc/profile   // 讓其立即生效
  #scala -version      //查看scala是否安裝完成

    3.安裝spark

    說(shuō)明：有不同的版本包下載，選則你需要的下載安裝即可

    source code: spark 源碼，需要編譯才能使用，另外 scala 2.11 需要使用源碼編譯才可使用
    pre-build with user-provided hadoop: “hadoop free” 版，可應(yīng)用到任意 hadoop 版本
    pre-build for hadoop 2.7 and later: 基于 hadoop 2.7 的預(yù)先編譯版，需要與本機(jī)安裝的 hadoop 版本對(duì)應(yīng)。可選的還有 hadoop 2.6。我這里因?yàn)檠b的hadoop是3.1.0，所以直接安裝for hadoop 2.7 and later的版本。

            注：hadoop的安裝請(qǐng)查看我的上一篇博客，不在重復(fù)描述。

centos7下spark安裝配置
#mkdir spark 
#cd /usr/spark
#tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz
#vim /etc/profile
#添加spark的環(huán)境變量，加如path下、export出來(lái)
#source /etc/profile
#進(jìn)入conf目錄下，把spark-env.sh.template拷貝一份改名spark-env.sh
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7/conf
#cp spark-env.sh.template spark-env.sh
#vim spark-env.sh
export scala_home=/usr/scala/scala-2.13.0-m4
export java_home=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64
export hadoop_home=/usr/hadoop/hadoop-3.1.0
export hadoop_conf_dir=$hadoop_home/etc/hadoop
export spark_home=/usr/spark/spark-2.3.1-bin-hadoop2.7
export spark_master_ip=master
export spark_executor_memory=1g
#進(jìn)入conf目錄下，把slaves.template拷貝一份改名為slaves
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7/conf
#cp slaves.template slaves
#vim slaves
#添加節(jié)點(diǎn)域名到slaves文件中
#master   //該域名為centos7-1的域名
#slave1   //該域名為centos7-2的域名
#slave2   //該域名為centos7-3的域名

啟動(dòng)spark

#啟動(dòng)spark之前先要把hadoop節(jié)點(diǎn)啟動(dòng)起來(lái)
#cd /usr/hadoop/hadoop-3.1.0/
#sbin/start-all.sh
#jps //檢查啟動(dòng)的線程是否已經(jīng)把hadoop啟動(dòng)起來(lái)了
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7
#sbin/start-all.sh
備注：在slave1\slave2節(jié)點(diǎn)上也必須按照上面的方式安裝spark，或者直接拷貝一份到slave1,slave2節(jié)點(diǎn)上
#scp -r /usr/spark root@slave1ip:/usr/spark

啟動(dòng)信息如下:

starting org.apache.spark.deploy.master.master, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.master.master-1-master.out
slave2: starting org.apache.spark.deploy.worker.worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.worker-1-slave2.com.cn.out
slave1: starting org.apache.spark.deploy.worker.worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.worker-1-slave1.com.cn.out
master: starting org.apache.spark.deploy.worker.worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.worker-1-master.out

測(cè)試spark集群：

用瀏覽器打開master節(jié)點(diǎn)上的spark集群

           

“centOS7下Spark怎么安裝配置”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

本文名稱：centOS7下Spark怎么安裝配置-創(chuàng)新互聯(lián)
鏈接地址：http://bm7419.com/article34/diopse.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機(jī)網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、品牌網(wǎng)站制作、小程序開發(fā)、自適應(yīng)網(wǎng)站、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)