python爬蟲中scrapy怎么處理項目數(shù)據(jù)-創(chuàng)新互聯(lián)

這篇文章將為大家詳細講解有關python爬蟲中scrapy怎么處理項目數(shù)據(jù)，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

成都創(chuàng)新互聯(lián)專注于遼中網(wǎng)站建設服務及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供遼中營銷型網(wǎng)站建設，遼中網(wǎng)站制作、遼中網(wǎng)頁設計、遼中網(wǎng)站官網(wǎng)定制、微信小程序定制開發(fā)服務，打造遼中網(wǎng)絡公司原創(chuàng)品牌,更為您提供遼中網(wǎng)站排名全網(wǎng)營銷落地服務。

1、拉取項目

$ git clone /tupian/20230522/TweetScraper
$ cd TweetScraper/
$ pip install -r requirements.txt  #add '--user' if you are not root
$ scrapy list
$ #If the output is 'TweetScraper', then you are ready to go.

2、數(shù)據(jù)持久化

通過閱讀文檔，我們發(fā)現(xiàn)該項目有三種持久化數(shù)據(jù)的方式，第一種是保存在文件中，第二種是保存在Mongo中，第三種是保存在MySQL數(shù)據(jù)庫中。因為我們抓取的數(shù)據(jù)需要做后期的分析，所以，需要將數(shù)據(jù)保存在MySQL中。

抓取到的數(shù)據(jù)默認是以Json格式保存在磁盤 ./Data/tweet/ 中的，所以，需要修改配置文件 TweetScraper/settings.py 。

ITEM_PIPELINES = {
    # 'TweetScraper.pipelines.SaveToFilePipeline':100,
    #'TweetScraper.pipelines.SaveToMongoPipeline':100, # replace `SaveToFilePipeline` with this to use MongoDB
    'TweetScraper.pipelines.SavetoMySQLPipeline':100, # replace `SaveToFilePipeline` with this to use MySQL
}
 
#settings for mysql
MYSQL_SERVER = "18.126.219.16"
MYSQL_DB     = "scraper"
MYSQL_TABLE  = "tweets" # the table will be created automatically
MYSQL_USER   = "root"        # MySQL user to use (should have INSERT access granted to the Database/Table
MYSQL_PWD    = "admin123456"        # MySQL user's password

關于python爬蟲中scrapy怎么處理項目數(shù)據(jù)就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

當前題目：python爬蟲中scrapy怎么處理項目數(shù)據(jù)-創(chuàng)新互聯(lián)
網(wǎng)站URL：http://bm7419.com/article30/dsdipo.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供營銷型網(wǎng)站建設、商城網(wǎng)站、域名注冊、網(wǎng)站建設、定制網(wǎng)站、響應式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)