如何進(jìn)行Spark集群部署的探討

本篇文章給大家分享的是有關(guān) 如何進(jìn)行Spark集群部署的探討，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

創(chuàng)新互聯(lián)建站是一家專注于做網(wǎng)站、網(wǎng)站設(shè)計與策劃設(shè)計,梨林網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)建站做網(wǎng)站,專注于網(wǎng)站建設(shè)10多年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:梨林等地區(qū)。梨林做網(wǎng)站價格咨詢:028-86922220

 Spark集群部署

第一步：安裝軟件
        Spark 1.5.4:wget  http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz
        Hadoop 2.6.3:wget  http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.3/hadoop-2.6.3.tar.gz
        scala :apt-get install scala
第二步：配置環(huán)境變量
        執(zhí)行/etc/profile
        export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
        export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/BIN:${SCALA_HOME}/bin:${SPARK_HOME}/bin:/home/supermap/program/hadoop-2.6.3/bin:$PATH
        export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
        export SCALA_HOME=/usr/lib/scala/scala-2.11.7
        export PATH=${SCALA_HOME}/bin:$PATH
        export SPARK_HOME=/program/spark-1.5.2-bin-hadoop2.6
        source /etc/profile
第三步：創(chuàng)建鏡像
        通過OpenStack管理器根據(jù)配置好的虛擬機(jī)創(chuàng)建鏡像，生成的鏡像配置如下：     
        鏡像概況信息

        ________________________________________
        名稱        spark-hadoop
        ID            61055db5-598b-4f1a-98fa-d2cbbf305d0c
        狀態(tài)        Active
        公有        False
        受保護(hù)的        False
        校驗(yàn)和        47acf7993101713aee17764802602941
        ________________________________________
        配置               4.4 GB
        容器格式        BARE
        磁盤格式        QCOW2
        最小磁盤        60.0GB

第四步：創(chuàng)建虛擬機(jī)
        基于創(chuàng)建的鏡像，生成2臺虛擬機(jī)，加上最開始用于創(chuàng)建鏡像的1臺，一共3臺虛擬主機(jī)，名稱分別為：
        spark_hadoop_master
        spark_hadoop_slave1
        spark_hadoop_slave2
        下面就可以開始做與創(chuàng)建Spark集群相關(guān)的操作了。
第五步：設(shè)置主機(jī)名
        1.在/etc/hostname中就改主機(jī)名，分別設(shè)置三臺主機(jī)為master、slave1、slave2，并重啟
          

        
        通過測試root@master :~# ssh slave1，在輸入root用戶密碼后可以登錄。
第六步：修改ssh無密碼訪問
        首先開啟root用戶訪問權(quán)限
        1. 修改/etc/ssh/sshd-config文件，設(shè)置如下：
        2. PermitRootLogin yes
        3. PubkeyAuthentication yes
        4. PasswordAuthentication yes
        重新啟動ssh服務(wù)：service ssh restart
        再進(jìn)行如下測試，可以免輸入密碼登錄了。
         

        把spark-env.sh.template拷貝為spark-env.sh
        把slaves.template拷貝為slaves

        vim打開spark-env.sh修改其中的內(nèi)容，加入以下設(shè)置

        export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
        export SPARK_MASTER_IP=192.168.12.154
        export SPARK_WORKER_MEMORY=4g
        export SCALA_HOME=/usr/lib/scala/scala-2.11.7
        export HADOOP_CONF_DIR=/home/supermap/program/hadoop-2.6.3/conf

        SPARK_WORKER_MEMORY：制定的Worker節(jié)點(diǎn)能夠最大分配給Excutors的內(nèi)存大小，由于配置的虛擬機(jī)是4g內(nèi)存，為了最大限度使用內(nèi)存，這里設(shè)置4G。
        接下來配置slaves文件，把Workers節(jié)點(diǎn)都添加進(jìn)去：
         
        最后通過訪問spark管理頁面查看服務(wù)狀態(tài)

以上就是 如何進(jìn)行Spark集群部署的探討，小編相信有部分知識點(diǎn)可能是我們?nèi)粘９ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

新聞名稱：如何進(jìn)行Spark集群部署的探討
轉(zhuǎn)載來源：http://bm7419.com/article34/psccse.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、微信公眾號、企業(yè)建站、自適應(yīng)網(wǎng)站、軟件開發(fā)、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)