python多進(jìn)程共享變量的示例分析-創(chuàng)新互聯(lián)

小編給大家分享一下python多進(jìn)程共享變量的示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

創(chuàng)新互聯(lián)堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：網(wǎng)站制作、網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿(mǎn)足客戶(hù)于互聯(lián)網(wǎng)時(shí)代的東豐網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

多進(jìn)程共享變量和獲得結(jié)果

由于工程需求，要使用多線(xiàn)程來(lái)跑一個(gè)程序。但是因?yàn)槁?tīng)說(shuō)python的多線(xiàn)程是假的，于是使用多進(jìn)程，反正任務(wù)需要共享的參數(shù)少。

查閱資料，發(fā)現(xiàn)實(shí)現(xiàn)多進(jìn)程主要使用Multiprocessing，有兩種方式，一種是Process，另一種是Pool。

p = Process(target=fun,args=(args))

再通過(guò)p.start()來(lái)啟動(dòng)一個(gè)子進(jìn)程，通過(guò)p.join()方法來(lái)使得子進(jìn)程運(yùn)行結(jié)束后再執(zhí)行父進(jìn)程。

但是這樣很煩，還要寫(xiě)個(gè)for 循環(huán)來(lái)開(kāi)n個(gè)線(xiàn)程和join。

于是推薦用Pool。它可以開(kāi)一個(gè)固定大小的進(jìn)程池，然后每個(gè)線(xiàn)程執(zhí)行apply_async()函數(shù)調(diào)用要執(zhí)行的函數(shù)，最后再close和join。

代碼如下：

pathm=Manager().Queue(len(pathlist))
for d in pathlist:
 pathm.put(d)
p=Pool(cp.threads)
results=[]
for i in range(cp.threads):
 temp=p.apply_async(ProcessWorker,args=(i,pathm,cp))
 results.append(temp)
print 'Waiting for all subprocesses done...'
p.close()
p.join()
print 'All subprocesses finish Processing.'
results=[r.get() for r in results]

上面的代碼演示了如何使用pool多進(jìn)程，如何在Pool里的進(jìn)程之間共享變量pathm，以及如何獲得進(jìn)程函數(shù)執(zhí)行的結(jié)果。需要注意的是，ProcessWorker必須是個(gè)無(wú)界的函數(shù)，否則報(bào)錯(cuò)該函數(shù)無(wú)法被pickle從而不能分配到各個(gè)進(jìn)程。

cPickle.PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed

有界函數(shù)和python的多進(jìn)程機(jī)制

從上面引申到了一個(gè)概念，就是有界函數(shù)無(wú)界函數(shù)的概念。

查閱資料之后我總結(jié)如下：

有界函數(shù)是包在一個(gè)類(lèi)中，并且只有當(dāng)類(lèi)被實(shí)例化之后才能使用的函數(shù)，它的界就是這個(gè)實(shí)例。我們常常把這些函數(shù)稱(chēng)為類(lèi)方法。例如以self為參數(shù)的類(lèi)方法。

無(wú)界函數(shù)可以是沒(méi)有被包在類(lèi)中的函數(shù)，也可以是類(lèi)中的靜態(tài)方法，它們跟類(lèi)是獨(dú)立的。如類(lèi)中的靜態(tài)方法，它即使在某個(gè)類(lèi)中被定義，但是不能訪(fǎng)問(wèn)類(lèi)中的參數(shù)和其他方法。

python多進(jìn)程的機(jī)制應(yīng)該是把每個(gè)進(jìn)程要調(diào)用的方法和傳入的參數(shù)（如上面例子中的ProcessWorker）編譯然后打包，然后復(fù)制到每個(gè)進(jìn)程中執(zhí)行。如果輸入的是一個(gè)有界函數(shù)，那么它的參數(shù)應(yīng)該是它所屬的類(lèi)（包括參數(shù)和方法），但是這是無(wú)法獲得的，而且類(lèi)屬性和方法可能會(huì)有坑，導(dǎo)致難以打包。所以python限定了多進(jìn)程要調(diào)用的函數(shù)不能是類(lèi)方法。

我們要把多進(jìn)程調(diào)用的函數(shù)放到類(lèi)外面，或者變成靜態(tài)函數(shù)。但是靜態(tài)函數(shù)的話(huà)不能被所屬的類(lèi)的方法調(diào)用（self.ProcessWorker的形式），需要在外部調(diào)用，如mc=MyClass(),mc.ProcessWorker來(lái)調(diào)用，或者M(jìn)yClass().ProcessWorker來(lái)調(diào)用。

以上是“python多進(jìn)程共享變量的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司行業(yè)資訊頻道！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線(xiàn)，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。

分享文章：python多進(jìn)程共享變量的示例分析-創(chuàng)新互聯(lián)
分享路徑：http://bm7419.com/article6/ddphog.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、App設(shè)計(jì)、網(wǎng)站策劃、企業(yè)網(wǎng)站制作、網(wǎng)站內(nèi)鏈、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)