Scrapy入門-創(chuàng)新互聯(lián)

Scrapy主要包括以下組件：

創(chuàng)新互聯(lián)建站堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：網(wǎng)站設(shè)計、成都做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的東鄉(xiāng)網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

引擎：用來處理整個系統(tǒng)的數(shù)據(jù)流處理，觸發(fā)事務(wù)。

調(diào)度器：用來接受引擎發(fā)過來的請求，壓入隊列中，并在引擎再次請求的時候返回

下載器：用來下載網(wǎng)頁內(nèi)容，并將網(wǎng)頁內(nèi)容返回給蜘蛛。

蜘蛛：蜘蛛是主要干活的，用它來制定特定域名或網(wǎng)頁的解析規(guī)則

項目管道：負責處理有蜘蛛從網(wǎng)頁抽取的項目，他的主要任務(wù)是清晰、驗證和儲存數(shù)據(jù)。當頁面被蜘蛛解析后，將被發(fā)送到項目管道，并經(jīng)過及格特定的次序處理數(shù)據(jù)。

下載器中間件：位于Scrapy引擎和下載器之間的鉤子框架，主要是處理Scrapy引擎與下載器之間的請求及相應(yīng)。

蜘蛛中間件：位于Scrapy引擎和蜘蛛之間的鉤子框架，主要工作是處理蜘蛛的響應(yīng)輸入和請求輸入。

調(diào)度中間件：介于Scrapy引擎和調(diào)度之間的中間件，從Scrapy引擎發(fā)送到調(diào)度的請求和響應(yīng)

創(chuàng)建一個Scrapy項目:

在開始爬取之前，你必須創(chuàng)建一個新的Scrapy項目。

再進入你打算存儲代碼的目錄中，運行下列命令：

scrapy startproject tutorial

該命令將會創(chuàng)建下列內(nèi)容的tutorial目錄:

tutorial/

scrapy.cfg

tutorial/

__init__.py

items.py

pipelines.py

settings.py

spiders/

__init__.py

.....

這些文件分別是:

scrapy.cfg:項目的配置文件

tutorial/:該項目的python模塊。之后你將在此加入代碼。

tutorial/items.py:項目中的item文件。

tutorial/pipelines.py:項目中的pipelines文件。

tutorial/settings.py:項目中的配置文件。

tutorial/spiders/:放置spider代碼的目錄。

定義item

·item是保存爬取到的數(shù)據(jù)的容器；其使用方法和python的字典類似，并且提供了額外的保護機制來避免拼寫錯誤導(dǎo)致的未定義字段錯誤。

·類似在ORM中做的一樣，你可以通過創(chuàng)建一個scrapy.Item類，并且定義類型為scrapy.Field的類屬性來定義一個Item。

Scrapy 入門

各部件職能：

Scrapy Engine: 這是引擎，負責Spiders、ItemPipeline、Downloader、Scheduler中間的通訊，信號、數(shù)據(jù)傳遞等

Scheduler(調(diào)度器): 它負責接受引擎發(fā)送過來的requests請求，并按照一定的方式進行整理排列，入隊、并等待Scrapy Engine(引擎)來請求時，交給引擎。簡單的說，就是負責從引擎接受request并入隊，當引擎請求他們時返回request

Downloader（下載器）：負責下載Scrapy Engine(引擎)發(fā)送的所有Requests請求，獲取頁面數(shù)據(jù)并提供給引擎，并將其獲取到的Responses交還給Scrapy Engine(引擎)，而后由引擎交給Spiders來處理，

Spiders：它負責處理所有Responses,從中分析提取數(shù)據(jù)，獲取Item字段需要的數(shù)據(jù)，并將需要跟進的URL提交給引擎，再次進入Scheduler(調(diào)度器)，

Item Pipeline：它負責處理Spiders中獲取到的Item，并進行處理，比如去重，持久化存儲（存數(shù)據(jù)庫，寫入文件，總之就是保存數(shù)據(jù)用的）

Downloader Middlewares（下載中間件）：你可以當作是一個可以自定義擴展下載功能的組件

Spider Middlewares（Spider中間件）：你可以理解為是一個可以自定擴展和操作引擎和Spiders中間‘通信‘的功能組件（比如進入Spiders的Responses;和從Spiders出去的Requests）

數(shù)據(jù)在整個Scrapy的流向：

通俗版：

程序運行的時候，

引擎：Hi！Spider, 你要處理哪一個網(wǎng)站？

Spiders：我要處理23wx.com

引擎：你把第一個需要的處理的URL給我吧。

Spiders：給你第一個URL是XXXXXXX.com

引擎：Hi！調(diào)度器，我這有request你幫我排序入隊一下。

調(diào)度器：好的，正在處理你等一下。

引擎：Hi！調(diào)度器，把你處理好的request給我，

調(diào)度器：給你，這是我處理好的request

引擎：Hi！下載器，你按照下載中間件的設(shè)置幫我下載一下這個request

下載器：好的！給你，這是下載好的東西。（如果失?。翰缓靡馑?，這個request下載失敗，然后引擎告訴調(diào)度器，這個request下載失敗了，你記錄一下，我們待會兒再下載。）

引擎：Hi！Spiders，這是下載好的東西，并且已經(jīng)按照Spider中間件處理過了，你處理一下（注意！這兒responses默認是交給def parse這個函數(shù)處理的）

Spiders：（處理完畢數(shù)據(jù)之后對于需要跟進的URL），Hi！引擎，這是我需要跟進的URL，將它的responses交給函數(shù) def xxxx(self, responses)處理。還有這是我獲取到的Item。

引擎：Hi ！Item Pipeline 我這兒有個item你幫我處理一下！調(diào)度器！這是我需要的URL你幫我處理下。然后從第四步開始循環(huán)，直到獲取到你需要的信息，

注意！只有當調(diào)度器中不存在任何request了，整個程序才會停止，（也就是說，對于下載失敗的ＵＲＬ，Scrapy會重新下載。）

再總結(jié)下，流程是：

核心引擎從爬蟲獲取初始url，并生成一個Request任務(wù)投入Scheduler調(diào)度計劃里

引擎向調(diào)度器請求一個新的Request爬取任務(wù)并轉(zhuǎn)發(fā)給downloader下載器

下載器載入頁面并返回一個Response響應(yīng)給引擎

引擎將Response轉(zhuǎn)發(fā)給Spider爬蟲做數(shù)據(jù)提取和搜索新的跟進地址

處理結(jié)果由引擎做分發(fā)：提取的數(shù)據(jù) -> ItemPipeline管道，新的跟進地址Request -> 調(diào)度器

流程返回第二步循環(huán)執(zhí)行，直至調(diào)度器中的任務(wù)被處理完畢

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享文章：Scrapy入門-創(chuàng)新互聯(lián)
當前鏈接：http://bm7419.com/article8/ddpsop.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、建站公司、網(wǎng)站排名、微信小程序、企業(yè)建站、自適應(yīng)網(wǎng)站

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容