爬蟲數(shù)據(jù)保存到mongoDB的方法-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務器提供商,新人活動買多久送多久,劃算不套路!

創(chuàng)新互聯(lián)長期為成百上千家客戶提供的網(wǎng)站建設服務,團隊從業(yè)經(jīng)驗10年,關注不同地域、不同群體,并針對不同對象提供差異化的產(chǎn)品和服務;打造開放共贏平臺,與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為長寧企業(yè)提供專業(yè)的成都網(wǎng)站建設、成都網(wǎng)站制作,長寧網(wǎng)站改版等技術服務。擁有10多年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

小編給大家分享一下爬蟲數(shù)據(jù)保存到mongoDB的方法,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討方法吧!

爬蟲數(shù)據(jù)保存到mongoDB的方法:

import pymongo

# 首先需要注意,mongodb數(shù)據(jù)庫存儲的類型是以鍵值對類型進行存儲,所以在存儲以前一定要進行數(shù)據(jù)篩選

def save_mongo(傳入的數(shù)據(jù)):

  # 創(chuàng)建連接 因為使用的為本機數(shù)據(jù)庫,所以IP寫localhost即可,端口號為27017

  client = pymongo.MongoClient('localhost',27017)

  # 連接數(shù)據(jù)庫(這里注意一點,mongo數(shù)據(jù)庫有一個優(yōu)點,就是當自己連接的數(shù)據(jù)庫和表都沒有的時候,會自動創(chuàng)建,所以不用擔心寫錯或者沒有表)

  db = client['自己創(chuàng)建數(shù)據(jù)庫名']

  # 連接表

  collection = db['自己的表名(mongo中叫做集合)']

  # 插入到數(shù)據(jù)庫中(這里使用dict進行強制轉換,是為了保證數(shù)據(jù)為字典格式)

  collection.insert(dict(傳入的數(shù)據(jù)))

mongoDB介紹:

它的特點是高性能、易部署、易使用,存儲數(shù)據(jù)非常方便。主要功能特性有:

*面向集合存儲,易存儲對象類型的數(shù)據(jù)。

*模式自由。

*支持動態(tài)查詢。

*支持完全索引,包含內部對象。

*支持查詢。

*支持復制和故障恢復。

*使用高效的二進制數(shù)據(jù)存儲,包括大型對象(如視頻等)。

*自動處理碎片,以支持云計算層次的擴展性。

*支持 Golang,RUBY,PYTHON,JAVA,C++,PHP,C#等多種語言。

*文件存儲格式為BSON(一種JSON的擴展)。

*可通過網(wǎng)絡訪問。

看完了這篇文章,相信你對爬蟲數(shù)據(jù)保存到mongoDB的方法有了一定的了解,想了解更多相關知識,歡迎關注創(chuàng)新互聯(lián)-成都網(wǎng)站建設公司行業(yè)資訊頻道,感謝各位的閱讀!

當前文章:爬蟲數(shù)據(jù)保存到mongoDB的方法-創(chuàng)新互聯(lián)
分享網(wǎng)址:http://bm7419.com/article38/dcoipp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供用戶體驗、品牌網(wǎng)站設計ChatGPT、網(wǎng)站建設外貿(mào)建站、云服務器

廣告

聲明:本網(wǎng)站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)

綿陽服務器托管