SparkHistoryServer配置部署-創(chuàng)新互聯(lián)

簡介

為了可以通過WebUI控制臺頁面來查看具體的運行細節(jié)，解決應(yīng)用程序運行結(jié)束，無法繼續(xù)查看監(jiān)控集群信息。無法回顧運行的程序細節(jié)，配置開啟spark.history服務(wù).Spark History Server可以很好地解決上面的問題。

創(chuàng)新互聯(lián)服務(wù)項目包括華鎣網(wǎng)站建設(shè)、華鎣網(wǎng)站制作、華鎣網(wǎng)頁制作以及華鎣網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，華鎣網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到華鎣省份的部分城市，未來相信會繼續(xù)擴大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

配置文件位置：

$SPARK_HOME$/conf目錄下的spark-defaults.conf文件。默認spark-defaults.conf是不存在的，我們可以根據(jù)Spark提供的template文件新建。

配置參數(shù)描述

spark.master                     spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070
#spark集群的Master節(jié)點的ip地址

spark.history.updateInterval
#默認值：10，以秒為單位，更新日志相關(guān)信息的時間間隔

spark.history.retainedApplications
#默認值：50，在內(nèi)存中保存Application歷史記錄的個數(shù)，如果超過這個值，舊的應(yīng)用程序信息將被刪除，當再次訪問已被刪除的應(yīng)用信息時需要重新構(gòu)建頁面。

spark.history.ui.port
#默認值：4040，HistoryServer的web端口

spark.history.ui.acls.enable
#默認值：false，授權(quán)用戶查看應(yīng)用程序信息的時候是否檢查acl。如果啟用，只有應(yīng)用程序所有者和spark.ui.view.acls指定的用戶可以查看應(yīng)用程序信息;否則，不做任何檢查

spark.eventLog.enabled 
#默認值：false ，是否記錄Spark事件，用于應(yīng)用程序在完成后重構(gòu)webUI

spark.eventLog.dir
#默認值：file:///tmp/spark-events，保存日志相關(guān)信息的路徑，可以是hdfs://開頭的HDFS路徑，也可以是file://開頭的本地路徑，都需要提前創(chuàng)建

spark.eventLog.compress 
#默認值：false,是否壓縮記錄Spark事件，前提spark.eventLog.enabled為true，默認使用的是snappy

本地文件存儲日志配置案例：

spark-defaults.conf

spark.master                     spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070
spark.history.ui.port            18080
spark.history.retainedApplications  10
spark.eventLog.compress          true
spark.eventLog.enabled           true
spark.eventLog.dir               file:/data/sparkhistory
spark.history.fs.logDirectory    file:/data/sparkhistory

啟動服務(wù)

$SPARK_HOME/sbin/start-history-server.sh

訪問

瀏覽器：http://nodeIP:18080

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

新聞標題：SparkHistoryServer配置部署-創(chuàng)新互聯(lián)
新聞來源：http://www.bm7419.com/article14/cesgge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供建站公司、網(wǎng)站導(dǎo)航、小程序開發(fā)、品牌網(wǎng)站制作、靜態(tài)網(wǎng)站、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)