寫(xiě)簡(jiǎn)單的爬蟲(chóng)都需要什么

寫(xiě)爬蟲(chóng)都需要些什么呢,

A要爬取的網(wǎng)址難度的大小 (選擇谷歌對(duì)要爬取的網(wǎng)址源代碼進(jìn)行分析)

B借用Python中的模塊urllib與requests 對(duì)網(wǎng)址進(jìn)行請(qǐng)求與訪問(wèn)
以requests為例:(requests模塊的導(dǎo)入見(jiàn):https://blog.51cto.com/13747953/2321389)
a 下載圖片

成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),南寧企業(yè)網(wǎng)站建設(shè),南寧品牌網(wǎng)站建設(shè),網(wǎng)站定制,南寧網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷,網(wǎng)絡(luò)優(yōu)化,南寧網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

import requests            

ret=requests.get('http://×××w.xiaohuar.com/d/file/20180724/40d83a6709eca21137dcdd80ee28c31b.jpg')
print(ret,type(ret))
print(ret.status_code)
print(ret.content)
with open(r'E:\text1\爬蟲(chóng)\text_png\p1.png','wb') as f:
    f.write(ret.content)

b 基本文字信息的獲取

import requests
from urllib import request

# ret=requests.get('http://maoyan.com/board')
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'

}
ret=request.Request('http://maoyan.com/board',headers=headers)
resp=request.urlopen(ret)
print(resp,type(resp))
print(resp.read().decode('utf-8'))

這里不用requests 模塊是因?yàn)樵谡?qǐng)求的過(guò)程中返回了403的錯(cuò)誤
猜想可能的原因是:網(wǎng)址的反爬蟲(chóng)機(jī)制發(fā)現(xiàn)了來(lái)自pycharm的請(qǐng)求;
所以可以用urllib(Python自帶的模塊)提供的request模塊

結(jié)果如下:

C如何從B-b中獲取的文字?jǐn)?shù)據(jù)中提取出自己想要的數(shù)據(jù)呢
a 分析數(shù)據(jù)的相同點(diǎn)

b 利用正則表達(dá)式與re模塊

'<div class="item_t">(?:.*?)src="(?P<png>.*?)"(?:.*?)<span class="price">(?P<name>.*?)</span>(?:.*?)'
        '<a  class="img_album_btn">(?P<place>.*?)</a>', re.S)

'<div class="item_t">  # 匹配開(kāi)始的標(biāo)志
(?:.*?)      # 匹配任意的字符,但用?取消了分組優(yōu)先顯示和貪婪匹配
src="(?P<png>.*?)"    # 要獲取的數(shù)據(jù)優(yōu)先顯示,并?P<名字>命名了
(?:.*?)
<span class="price">
(?P<name>.*?)
</span>
(?:.*?)
''<a  class="img_album_btn">
(?P<place>.*?)
</a>'
,re.S      # 聲明 . 可以匹配任意的字符
)

倆個(gè)實(shí)例:
1爬取簡(jiǎn)單的文字信息:https://blog.51cto.com/13747953/2321800
2爬取圖片: https://blog.51cto.com/13747953/2321803
(程序猿很無(wú)聊多多指教交流)

網(wǎng)站題目：寫(xiě)簡(jiǎn)單的爬蟲(chóng)都需要什么
網(wǎng)站URL：http://bm7419.com/article8/jjedop.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、做網(wǎng)站、網(wǎng)站內(nèi)鏈、網(wǎng)站策劃、搜索引擎優(yōu)化、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)