scrapy在python分布式爬蟲(chóng)的使用范圍-創(chuàng)新互聯(lián)

小編給大家分享一下scrapy在python分布式爬蟲(chóng)的使用范圍，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

長(zhǎng)豐網(wǎng)站建設(shè)公司成都創(chuàng)新互聯(lián)公司,長(zhǎng)豐網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為長(zhǎng)豐數(shù)千家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)網(wǎng)站建設(shè)要多少錢(qián)，請(qǐng)找那個(gè)售后服務(wù)好的長(zhǎng)豐做網(wǎng)站的公司定做！

1.scrapy框架是否可以自己實(shí)現(xiàn)分布式？

不可以。原因有二。

其一：因?yàn)槎嗯_(tái)機(jī)器上部署的scrapy會(huì)各自擁有各自的調(diào)度器，這樣就使得多臺(tái)機(jī)器無(wú)法分配start_urls列表中的url。（多臺(tái)機(jī)器無(wú)法共享同一個(gè)調(diào)度器）

其二：多臺(tái)機(jī)器爬取到的數(shù)據(jù)無(wú)法通過(guò)同一個(gè)管道對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一的數(shù)據(jù)持久出存儲(chǔ)。（多臺(tái)機(jī)器無(wú)法共享同一個(gè)管道）

2.基于scrapy-redis組件的分布式爬蟲(chóng)

scrapy-redis組件中為我們封裝好了可以被多臺(tái)機(jī)器共享的調(diào)度器和管道，我們可以直接使用并實(shí)現(xiàn)分布式數(shù)據(jù)爬取。

實(shí)現(xiàn)方式：

• 基于該組件的RedisSpider類

• 基于該組件的RedisCrawlSpider類

3.分布式實(shí)現(xiàn)流程：上述兩種不同方式的分布式實(shí)現(xiàn)流程是統(tǒng)一的

3.1 下載scrapy-redis組件：

pip install scrapy-redis

3.2 redis配置文件的配置：

注釋該行：bind 127.0.0.1，表示可以讓其他ip訪問(wèn)redis

將yes該為no：protected-mode no，表示可以讓其他ip操作redis

3.3 修改爬蟲(chóng)文件中的相關(guān)代碼：

將爬蟲(chóng)類的父類修改成基于RedisSpider或者RedisCrawlSpider。注意：如果原始爬蟲(chóng)文件是基于 Spider的，則應(yīng)該將父類修改成RedisSpider，如果原始爬蟲(chóng)文件是基于CrawlSpider的，則應(yīng)該將其父類修改成RedisCrawlSpider。

注釋或者刪除start_urls列表，切加入redis_key屬性，屬性值為scrpy-redis組件中調(diào)度器隊(duì)列的名稱

3.4 在配置文件中進(jìn)行相關(guān)配置，開(kāi)啟使用scrapy-redis組件中封裝好的管道

看完本篇文章我們知道，因?yàn)閮牲c(diǎn)的限制，scrapy框架是不能在python分布式爬蟲(chóng)獨(dú)立運(yùn)用的，但是我們可以配合其他的一些函數(shù)來(lái)運(yùn)行，這點(diǎn)小伙伴們可要記住啦~

以上是“scrapy在python分布式爬蟲(chóng)的使用范圍”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

網(wǎng)頁(yè)名稱：scrapy在python分布式爬蟲(chóng)的使用范圍-創(chuàng)新互聯(lián)
文章URL：http://bm7419.com/article0/dsecoo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導(dǎo)航、微信公眾號(hào)、App開(kāi)發(fā)、網(wǎng)站設(shè)計(jì)公司、響應(yīng)式網(wǎng)站、定制開(kāi)發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)