Flink監(jiān)控腳本-創(chuàng)新互聯(lián)

Flink監(jiān)控腳本 提前準(zhǔn)備好Flink任務(wù)的啟動(dòng)腳本

vim start01.sh

#!/bin/bash
path=$(hadoop fs -ls -t /flink/checkpoints/* | grep "chk-[0-9]"|sort -r -k 6,7|awk '{print $8}' |head -n 1)
if [ ! $path ]; then
 nohup /home/hadoop/flink-1.13.5/bin/flink run -m yarn-cluster -ys 1 -ynm etl-AE6ss -yjm 4096 -ytm 4096 -yD env.java.opts="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8" -d -c com.talkingdata.feilong.app.impl.ETLApplication etl.jar /home/hadoop/nfs/config/feilong/flink-etl/etl-config.properties >ae6log.out 2>&1 &
else
 nohup  /home/hadoop/flink-1.13.5/bin/flink run --allowNonRestoredState -s hdfs://172.23.4.223:8020$path -m yarn-cluster -ys 1 -ynm etl-AE6ss -yjm 4096 -ytm 4096 -yD env.java.opts="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8" -d -c com.talkingdata.feilong.app.impl.ETLApplication etl.jar /home/hadoop/nfs/config/feilong/flink-etl/etl-config.properties >ae6log.out 2>&1 &
fi

監(jiān)控腳本

#! /bin/bash
source ~/.bash_profile
##flink 啟動(dòng)腳本里的名稱,多余名稱的一定要注釋掉
feilong_name="feilong_flink-streaming-etl"
ae6_name="ae6_flink-streaming-etl"
ae3_name="ae3_flink-streaming-etl"


flink_name="${feilong_name} ${ae6_name} ${ae3_name}" ##列表名稱參照flink啟動(dòng)腳本里的名稱，多個(gè)flink任務(wù)時(shí)，名稱不能重復(fù)
#list=$(yarn application -list | awk 'NR >2{print $1,$2}')
#echo $list
flink_running_name=$(yarn application -list | awk 'NR >2{print $2}')
TIME=`date "+%Y-%m-%d %H:%M:%S"`

##執(zhí)行相應(yīng)的flink名稱重啟任務(wù)，#####判斷名稱要與flink_name的名稱以及個(gè)數(shù)保持一致
restart_flink(){
if [[ ${file} == "${feilong_name}" ]];then
  echo "重啟feilong的flink任務(wù)"
nohup sh /home/hadoop/flink-1.13.5/etl/start01.sh >/home/hadoop/flink-1.13.5/etl/feilong_restart_log.out 2>&1
elif [[ ${file} == "${ae6_name}" ]];then
  echo "重啟AE6的flink任務(wù)"
nohup sh /home/hadoop/flink-1.13.5/etl/start02.sh >/home/hadoop/flink-1.13.5/etl/ae6_restart_log.out 2>&1
else
  echo "${file} 不在列表內(nèi)請(qǐng)調(diào)整腳本，增加判斷"
fi
}

##執(zhí)行全部flink重啟任務(wù)
restart_all_flink(){
for file in ${flink_name}
do
restart_flink
done
}


##執(zhí)行部分flink重啟任務(wù)
restart_part_flink(){
for file in ${flink_name}
do
##判斷是否在任務(wù)列表內(nèi)，未在列表內(nèi)時(shí)進(jìn)行重啟
if [[ ${flink_running_name} =~ ${file} ]];then
echo "${file} 任務(wù)正常"
else
echo "${file}未在列表內(nèi)，需要重啟"
restart_flink
fi
done
}

if [[ ! -n "$flink_running_name" ]];then
   echo "[ -flink任務(wù)列表為空，執(zhí)行全部重啟flink命令 :$TIME]"
   restart_all_flink
else
   echo "[ -flink任務(wù)列表不為空，存在正在運(yùn)行的flink任務(wù) :$TIME]"
   restart_part_flink
fi

瘋

成都創(chuàng)新互聯(lián)公司長期為上1000+客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為安次企業(yè)提供專業(yè)的成都網(wǎng)站制作、成都做網(wǎng)站，安次網(wǎng)站改版等技術(shù)服務(wù)。擁有10多年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

所有打不死你的，都會(huì)使你變得更強(qiáng)大！

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級(jí)服務(wù)器適合批量采購，新人活動(dòng)首月15元起，快前往官網(wǎng)查看詳情吧

網(wǎng)頁名稱：Flink監(jiān)控腳本-創(chuàng)新互聯(lián)
文章鏈接：http://bm7419.com/article4/ceceoe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、外貿(mào)建站、網(wǎng)站收錄、搜索引擎優(yōu)化、網(wǎng)站維護(hù)、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)