基于多進(jìn)程中APScheduler重復(fù)運(yùn)行怎么辦-創(chuàng)新互聯(lián)

這篇文章主要介紹基于多進(jìn)程中APScheduler重復(fù)運(yùn)行怎么辦，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

成都創(chuàng)新互聯(lián)公司主營那曲網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,成都App定制開發(fā),那曲h5重慶小程序開發(fā)搭建,那曲網(wǎng)站營銷推廣歡迎那曲等地區(qū)企業(yè)咨詢

問題

在一個(gè)python web應(yīng)用中需要定時(shí)執(zhí)行一些任務(wù)，所以用了APScheduler這個(gè)庫。又因?yàn)槭怯胒lask這個(gè)web框架，所以用了flask-apscheduler這個(gè)插件（本質(zhì)上與直接用APScheduler一樣，這里不作區(qū)分）。

在開發(fā)中直接測(cè)試運(yùn)行是沒有問題的，但是用gunicorn部署以后發(fā)生了重復(fù)運(yùn)行的問題：

每個(gè)任務(wù)在時(shí)間到的時(shí)刻會(huì)同時(shí)執(zhí)行好幾遍。

注意了一下重復(fù)的數(shù)量，恰恰是gunicorn里配置的worker進(jìn)程數(shù)量，顯然是每個(gè)worker進(jìn)程都啟動(dòng)了一份scheduler造成。

解決

可以想到的方案有幾個(gè)：

用--preload啟動(dòng)gunicorn，確保scheduler只在loader的時(shí)候創(chuàng)建一次

另外創(chuàng)建一個(gè)單獨(dú)的定時(shí)任務(wù)項(xiàng)目，單獨(dú)以一個(gè)進(jìn)程運(yùn)行

用全局鎖確保scheduler只運(yùn)行一次

經(jīng)過實(shí)踐，只有第三個(gè)方案比較好。

preload的問題：

雖然這樣可以使用scheduler創(chuàng)建代碼只執(zhí)行一次，但是問題也在于它只執(zhí)行一次，重新部署以后如果用kill -HUP重啟gunicorn，它并不會(huì)重啟，甚至整個(gè)項(xiàng)目都不會(huì)更新。這是preload的副作用，除非重寫部署腳本，完全重啟應(yīng)用。

單獨(dú)進(jìn)程的問題：

也是因?yàn)椴渴鹇闊?，需要多一套部署方案，雖然用Docker會(huì)比較方便，但仍然不喜歡，而且同時(shí)維護(hù)兩個(gè)項(xiàng)目也多出很多不必要的事情。

全局鎖是一個(gè)較好的方案，但問題在于找一個(gè)合適的鎖。

python自帶的多進(jìn)程多線程鎖方案都需要一個(gè)共享變量來維護(hù)，但是因?yàn)閣orker進(jìn)程是被gunicorn的主進(jìn)程啟動(dòng)的，并不方便自己維護(hù)，所以需要一個(gè)系統(tǒng)級(jí)的鎖。

在Stackoverflow上看到有人是用了一個(gè)socket端口來做鎖實(shí)現(xiàn)這個(gè)方案，但是我也不喜歡這樣浪費(fèi)一個(gè)寶貴的端口資源。不過這倒給了我一個(gè)啟發(fā)：

可以用文件鎖！

于是有了這個(gè)解決方案：

import atexit
import fcntl
from flask_apscheduler import APScheduler

def init(app):
 f = open("scheduler.lock", "wb")
 try:
  fcntl.flock(f, fcntl.LOCK_EX | fcntl.LOCK_NB)
  scheduler = APScheduler()
  scheduler.init_app(app)
  scheduler.start()
 except:
  pass
 def unlock():
  fcntl.flock(f, fcntl.LOCK_UN)
  f.close()
 atexit.register(unlock)

原理

init函數(shù)為flask項(xiàng)目初始化所調(diào)用，這里為scheduler模塊的初始化部分。

首先打開（或創(chuàng)建）一個(gè)scheduler.lock文件，并加上非阻塞互斥鎖。成功后創(chuàng)建scheduler并啟動(dòng)。

如果加文件鎖失敗，說明scheduler已經(jīng)創(chuàng)建，就略過創(chuàng)建scheduler的部分。

最后注冊(cè)一個(gè)退出事件，如果這個(gè)flask項(xiàng)目退出，則解鎖并關(guān)閉scheduler.lock文件的鎖。

以上是“基于多進(jìn)程中APScheduler重復(fù)運(yùn)行怎么辦”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司行業(yè)資訊頻道！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)頁題目：基于多進(jìn)程中APScheduler重復(fù)運(yùn)行怎么辦-創(chuàng)新互聯(lián)
瀏覽路徑：http://bm7419.com/article38/hdcsp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、微信公眾號(hào)、云服務(wù)器、品牌網(wǎng)站制作、網(wǎng)站維護(hù)、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)