怎么實現(xiàn)spark的官網(wǎng)原生監(jiān)控整理

這篇文章給大家介紹怎么實現(xiàn)spark的官網(wǎng)原生監(jiān)控整理，內(nèi)容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

我們提供的服務(wù)有：成都網(wǎng)站設(shè)計、成都做網(wǎng)站、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認證、青龍ssl等。為數(shù)千家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學管理、有技術(shù)的青龍網(wǎng)站制作公司

一.官網(wǎng)解析

1.官網(wǎng)位置截圖Monitoring

2.解釋

對于默認的webui 你訪問完就不可以在看到了
這樣你不可能知道之前發(fā)生什么事情
你可以通過配置在界面上顯示

3.spark.eventLog.enabled 打開

你要把spark.eventLog.enabled to true before starting the application.  這個打開
這個配置在spark-default.conf     spark.eventLog.enabled           true

4.官網(wǎng)體現(xiàn)

5.配置文件體現(xiàn)

配置文件體現(xiàn)，配置成hdfs的
這個只用來存取，供頁面使用

二.配置日志位置的讀取

1.讀取配置

讀取這個存儲日志文件的位置要在spark.env.sh配置
"-Dspark.history.fs.logDirectory=hdfs://s201:8020/directory -Dspark.history.ui.port=7777"
這個是頁面可以取這個存儲日志下去讀，還可以設(shè)置端口

2.讀取順序

看最后一項SPARK_HISTORY_OPTS
后面的這些參數(shù)要配置到SPARK_HISTORY_OPTS=（配置下面參數(shù)）  都在psrk-env.sh

3.注意要設(shè)置時間間隔和清理時間參數(shù)

這三項是防止不清楚日志hdfs存滿
一個是把自動清除開關(guān)打開，隔多久清理一次，清理一次要清理多久的數(shù)據(jù)

4.啟動

最后要啟動start-history-server.sh
訪問你的啟動主機的ip:你設(shè)置的端口號

5.結(jié)果展示

6.注意事項

Incomplete 產(chǎn)生原因
一個是正在運行，另一個是沒有sc.stop情況下
所以一定要sc.stop

三.第二種監(jiān)控方式REST風格

1.官網(wǎng)

2.訪問方式類似

你可以自己定制，改變，拿到j(luò)son
結(jié)果  ，訪問路徑 http://s201:7777/api/v1/applications

3.結(jié)果展示

關(guān)于怎么實現(xiàn)spark的官網(wǎng)原生監(jiān)控整理就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

本文題目：怎么實現(xiàn)spark的官網(wǎng)原生監(jiān)控整理
當前路徑：http://bm7419.com/article0/jccpio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站策劃、搜索引擎優(yōu)化、關(guān)鍵詞優(yōu)化、網(wǎng)站導航、網(wǎng)站建設(shè)、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)