小編給大家分享一下python爬蟲基礎(chǔ)url管理器去重的方法,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!
創(chuàng)新互聯(lián)公司是一家專業(yè)從事成都網(wǎng)站建設(shè)、做網(wǎng)站的網(wǎng)絡(luò)公司。作為專業(yè)的建站公司,創(chuàng)新互聯(lián)公司依托的技術(shù)實(shí)力、以及多年的網(wǎng)站運(yùn)營經(jīng)驗(yàn),為您提供專業(yè)的成都網(wǎng)站建設(shè)、成都全網(wǎng)營銷推廣及網(wǎng)站設(shè)計(jì)開發(fā)服務(wù)!URL管理器到底應(yīng)該具有哪些功能?
URL下載器應(yīng)該包含兩個倉庫,分別存放沒有爬取過的鏈接和已經(jīng)爬取過的鏈接。
應(yīng)該有一些函數(shù)負(fù)責(zé)往上述兩個倉庫里添加鏈接
應(yīng)該有一個函數(shù)負(fù)責(zé)從新url倉庫中隨機(jī)取出一條鏈接以便下載器爬取
URL下載器應(yīng)該能識別重復(fù)的鏈接,已經(jīng)爬取過的鏈接就不需要放進(jìn)倉庫了
如果一個URL管理器能夠具有以上4點(diǎn)功能,也算是“麻雀雖小,五臟俱全”了。然而,鏈接去重這個功能,應(yīng)該怎么實(shí)現(xiàn)?
鏈接去重是關(guān)系爬蟲效率的一個比較關(guān)鍵的點(diǎn),尤其是爬取的數(shù)據(jù)量極大的時候。在這個簡單的例子里,由于數(shù)據(jù)量較少,我們不需要太過復(fù)雜的算法,直接借助于python的set()函數(shù)即可,該函數(shù)可以生成一個集合對象,其元素不可重復(fù)。
根據(jù)以上分析,URL管理器的w代碼如下:
''' UrlManager ''' class UrlManager(object): def __init__(self): #初始化的時候就生成兩個url倉庫 self.new_urls = set() self.old_urls = set() #判斷新url倉庫中是否還有沒有爬取的url def has_new_url(self): return len(self.new_urls) #從new_url倉庫獲取一個新的url def get_new_url(self): return self.new_urls.pop() def add_new_url(self, url): #這個函數(shù)后來用不到了…… ''' 將一條url添加到new_urls倉庫中 parm url: str return: ''' if url is None: return #只需要判斷old_urls中沒有該鏈接即可,new_urls在添加的時候會自動去重 if url not in self.old_urls: self.new_urls.add(url) def add_new_urls(self, urls): ''' 將多條url添加到new_urls倉庫中 parm url: 可迭代對象 return: ''' print "start add_new_urls" if urls is None or len(urls) == 0: return for url in urls: self.add_new_url(url) def add_old_url(self, url): self.old_urls.add(url) print "add old url succefully" #獲取已經(jīng)爬取過的url的數(shù)目 def old_url_size(self): return len(self.old_urls)
看完了這篇文章,相信你對python爬蟲基礎(chǔ)url管理器去重的方法有了一定的了解,想了解更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!
本文標(biāo)題:python爬蟲基礎(chǔ)url管理器去重的方法-創(chuàng)新互聯(lián)
網(wǎng)站URL:http://bm7419.com/article4/igioe.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站收錄、網(wǎng)站改版、移動網(wǎng)站建設(shè)、微信公眾號、網(wǎng)站維護(hù)、服務(wù)器托管
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容