使用正則表達(dá)式怎么實(shí)現(xiàn)一個Python爬蟲-創(chuàng)新互聯(lián)

今天就跟大家聊聊有關(guān)使用正則表達(dá)式怎么實(shí)現(xiàn)一個Python爬蟲，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

創(chuàng)新互聯(lián)成立于2013年，先為睢陽等服務(wù)建站，睢陽等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為睢陽企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

正則表達(dá)式的使用

re.match(pattern,string,flags=0)

re.match嘗試從字符串的起始位置匹配一個模式，如果不是起始位置匹配成功的話，match()就返回none

參數(shù)介紹：

pattern:正則表達(dá)式

string：匹配的目標(biāo)字符串

flags：匹配模式

正則表達(dá)式的匹配模式：

最常規(guī)的匹配

import re
content ='hello 123456 World_This is a Regex Demo'
print(len(content))
result = re.match('^hello\s\d{6}\s\w{10}.*Demo$$',content)
print(result)
print(result.group()) #返回匹配結(jié)果
print(result.span()) #返回匹配結(jié)果的范圍

結(jié)果運(yùn)行如下：

39
<_sre.SRE_Match object; span=(0, 39), match='hello 123456 World_This is a Regex Demo'>
hello 123456 World_This is a Regex Demo
(0, 39)

泛匹配

使用（.*）匹配更多內(nèi)容

import re
content ='hello 123456 World_This is a Regex Demo'
result = re.match('^hello.*Demo$',content)
print(result)
print(result.group())

結(jié)果運(yùn)行如下：

<_sre.SRE_Match object; span=(0, 39), match='hello 123456 World_This is a Regex Demo'>
hello 123456 World_This is a Regex Demo

匹配目標(biāo)

在正則表達(dá)式中使用（）將要獲取的內(nèi)容括起來

使用group(1)獲取第一處，group(2)獲取第二處，如此可以提取我們想要獲取的內(nèi)容

import re
content ='hello 123456 World_This is a Regex Demo'
result = re.match('^hello\s(\d{6})\s.*Demo$',content)
print(result)
print(result.group(1))#獲取匹配目標(biāo)

結(jié)果運(yùn)行如下：

<_sre.SRE_Match object; span=(0, 39), match='hello 123456 World_This is a Regex Demo'>
123456

貪婪匹配

import re
content ='hello 123456 World_This is a Regex Demo'
result = re.match('^he.*(\d+).*Demo$',content)
print(result)
print(result.group(1))

注意：.*會盡可能的多匹配字符

非貪婪匹配

import re
content ='hello 123456 World_This is a Regex Demo'
result = re.match('^he.*?(\d+).*Demo$',content)
print(result)
print(result.group(1))　

注意：.*?會盡可能匹配少的字符

使用匹配模式

在解析HTML代碼時會有換行，這時我們就要使用re.S

import re
content ='hello 123456 World_This ' \
'is a Regex Demo'
result = re.match('^he.*?(\d+).*?Demo$',content,re.S)
print(result)
print(result.group(1))

運(yùn)行結(jié)果如下：

<_sre.SRE_Match object; span=(0, 39), match='hello 123456 World_This is a Regex Demo'>
123456

轉(zhuǎn)義

在解析過程中遇到特殊字符，就需要做轉(zhuǎn)義，比如下面的$符號。

import re
content = 'price is $5.00'
result = re.match('^price.*\$5\.00',content)
print(result.group())

總結(jié)：盡量使用泛匹配，使用括號得到匹配目標(biāo)，盡量使用非貪婪模式，有換行就用re.S

re.search(pattern,string,flags=0)

re.search掃描整個字符串并返回第一個成功的匹配。

比如我想要提取字符串中的123456，使用match方法無法提取，只能使用search方法。

import re
content ='hello 123456 World_This is a Regex Demo'
result = re.match('\d{6}',content)
print(result)
import re
content ='hello 123456 World_This is a Regex Demo'
result = re.search('\d{6}',content)
print(result)
print(result.group())

運(yùn)行結(jié)果如下：

<_sre.SRE_Match object; span=(6, 12), match='123456'>

匹配演練

可以匹配代碼里結(jié)構(gòu)相同的部分，這樣可以返回你需要的內(nèi)容

import re
content = '<a title="2009年中信出版社出版圖書" href="/doc/2703035-2853985.html" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" target="_blank" data-log="old:2703035-2853885,new:2703035-2853985" data-cid="sense-list">2009年中信出版社出版圖書</a>'
result = re.search('<a.*?new:\d{7}-\d{7}.*?>(.*?)</a>',content)
print(result.group(1))
2009年中信出版社出版圖書
re.findall(pattern,string,flags=0)

搜索字符串，以列表形式返回全部能匹配的字串

import re
html ='''
<li>
<a title="網(wǎng)絡(luò)歌曲" href="/doc/2703035-2853927.html" rel="external nofollow" rel="external nofollow" rel="external nofollow" target="_blank" data-log="old:2703035-2853885,new:2703035-2853927" data-cid="sense-list">網(wǎng)絡(luò)歌曲</a>
</li>
<li>
<a title="2009年中信出版社出版圖書" href="/doc/2703035-2853985.html" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" target="_blank" data-log="old:2703035-2853885,new:2703035-2853985" data-cid="sense-list">2009年中信出版社出版圖書</a>
</li>
'''
result = re.findall('<a.*?new:\d{7}-\d{7}.*?>(.*?)</a>',html,re.S)
count = 0
for list in result:
  print(result[count])
  count+=1
網(wǎng)絡(luò)歌曲
2009年中信出版社出版圖書
re.sub( pattern，repl，string，count，flags)

re.sub共有五個參數(shù)

三個必選參數(shù) pattern，repl，string

兩個可選參數(shù)count，flags

替換字符串中每一個匹配的字符串后替換后的字符串

import re
content = 'hello 123456 World_This is a Regex Demo'
content = re.sub('\d+','',content)
print(content)

運(yùn)行結(jié)果如下：

hello  World_This is a Regex Demo
import re
content = 'hello 123456 World_This is a Regex Demo'
content = re.sub('\d+','what',content)
print(content)

運(yùn)行結(jié)果如下：

hello what World_This is a Regex Demo
import re
content = 'hello 123456 World_This is a Regex Demo'
content = re.sub('(\d+)',r'\1 789',content)
print(content)

運(yùn)行結(jié)果如下：

hello 123456 789 World_This is a Regex Demo

注意：這里\1代表前面匹配的123456

演練

在這里我們替換li標(biāo)簽

import re
html ='''
<li>
<a title="網(wǎng)絡(luò)歌曲" href="/doc/2703035-2853927.html" rel="external nofollow" rel="external nofollow" rel="external nofollow" target="_blank" data-log="old:2703035-2853885,new:2703035-2853927" data-cid="sense-list">網(wǎng)絡(luò)歌曲</a>
</li>
<li>
<a title="2009年中信出版社出版圖書" href="/doc/2703035-2853985.html" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" target="_blank" data-log="old:2703035-2853885,new:2703035-2853985" data-cid="sense-list">2009年中信出版社出版圖書</a>
</li>
'''
html = re.sub('<li>|</li>','',html)
print(html)

運(yùn)行結(jié)果如下，里面就沒有l(wèi)i標(biāo)簽

<a title="網(wǎng)絡(luò)歌曲" href="/doc/2703035-2853927.html" rel="external nofollow" rel="external nofollow" rel="external nofollow" target="_blank" data-log="old:2703035-2853885,new:2703035-2853927" data-cid="sense-list">網(wǎng)絡(luò)歌曲</a>
<a title="2009年中信出版社出版圖書" href="/doc/2703035-2853985.html" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" target="_blank" data-log="old:2703035-2853885,new:2703035-2853985" data-cid="sense-list">2009年中信出版社出版圖書</a>
compile(pattern [, flags])

該函數(shù)根據(jù)包含的正則表達(dá)式的字符串創(chuàng)建模式對象?？梢詫?shí)現(xiàn)更有效率的匹配

將正則表達(dá)式編譯成正則表達(dá)式對象，以便于復(fù)用該匹配模式

import re
content = 'hello 123456 ' \
'World_This is a Regex Demo'
pattern = re.compile('hello.*?Demo',re.S)
result = re.match(pattern,content)
print(result.group())　

運(yùn)行結(jié)果如下：

hello 123456 World_This is a Regex Demo

綜合使用

import re
html = '''
<div class="slide-page"  data-index="1">
    <a class="item" target="_blank" href="https://movie.douban.com/subject/26725678/?tag=熱門&from=gaia">
      <div class="cover-wp" data-isnew="false" data-id="26725678">
        <img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2525020357.jpg" alt="解除好友2：暗網(wǎng)" data-x="694" data-y="1000">
      </div>
      <p>
        解除好友2：暗網(wǎng)
          <strong>7.9</strong>
      </p>
    </a>
    <a class="item" target="_blank" href="https://movie.douban.com/subject/26916229/?tag=熱門&from=gaia_video">
      <div class="cover-wp" data-isnew="false" data-id="26916229">
        <img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2532008868.jpg" alt="鐮倉物語" data-x="2143" data-y="2993">
      </div>
      <p>
        鐮倉物語
          <strong>6.9</strong>
      </p>
    </a>
    <a class="item" target="_blank" href="https://movie.douban.com/subject/26683421/?tag=熱門&from=gaia">
      <div class="cover-wp" data-isnew="false" data-id="26683421">
        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2528281606.jpg" alt="特工" data-x="690" data-y="986">
      </div>
      <p>
        特工
          <strong>8.3</strong>
      </p>
    </a>
    <a class="item" target="_blank" href="https://movie.douban.com/subject/27072795/?tag=熱門&from=gaia">
      <div class="cover-wp" data-isnew="false" data-id="27072795">
        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2521583093.jpg" alt="幸福的拉扎羅" data-x="640" data-y="914">
      </div>
      <p>
        幸福的拉扎羅
          <strong>8.6</strong>
      </p>
    </a>
    <a class="item" target="_blank" href="https://movie.douban.com/subject/27201353/?tag=熱門&from=gaia_video">
      <div class="cover-wp" data-isnew="false" data-id="27201353">
        <img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2528842218.jpg" alt="大師兄" data-x="679" data-y="950">
      </div>
      <p>
        大師兄
          <strong>5.2</strong>
      </p>
    </a>
    <a class="item" target="_blank" href="https://movie.douban.com/subject/30146756/?tag=熱門&from=gaia_video">
      <div class="cover-wp" data-isnew="false" data-id="30146756">
        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2530872223.jpg" alt="風(fēng)語咒" data-x="1079" data-y="1685">
      </div>
      <p>
        風(fēng)語咒
          <strong>6.9</strong>
      </p>
    </a>
    <a class="item" target="_blank" href="https://movie.douban.com/subject/26630714/?tag=熱門&from=gaia">
      <div class="cover-wp" data-isnew="false" data-id="26630714">
        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2530591543.jpg" alt="精靈旅社3：瘋狂假期" data-x="1063" data-y="1488">
      </div>
      <p>
        精靈旅社3：瘋狂假期
          <strong>6.8</strong>
      </p>
    </a>
    <a class="item" target="_blank" href="https://movie.douban.com/subject/25882296/?tag=熱門&from=gaia_video">
      <div class="cover-wp" data-isnew="false" data-id="25882296">
        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2526405034.jpg" alt="狄仁杰之四大天王" data-x="2500" data-y="3500">
      </div>
      <p>
        狄仁杰之四大天王
          <strong>6.2</strong>
      </p>
    </a>
    <a class="item" target="_blank" href="https://movie.douban.com/subject/26804147/?tag=熱門&from=gaia_video">
      <div class="cover-wp" data-isnew="false" data-id="26804147">
        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2527484082.jpg" alt="摩天營救" data-x="1371" data-y="1920">
      </div>
      <p>
        摩天營救
          <strong>6.4</strong>
      </p>
    </a>
    <a class="item" target="_blank" href="https://movie.douban.com/subject/24773958/?tag=熱門&from=gaia_video">
      <div class="cover-wp" data-isnew="false" data-id="24773958">
        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2517753454.jpg" alt="復(fù)仇者聯(lián)盟3：無限戰(zhàn)爭" data-x="1968" data-y="2756">
      </div>
      <p>
        復(fù)仇者聯(lián)盟3：無限戰(zhàn)爭
          <strong>8.1</strong>
      </p>
    </a>
  </div>
'''
count = 0
for list in result:
  print(result[count])
  count+=1

運(yùn)行結(jié)果如下：

('解除好友2：暗網(wǎng)', '7.9')
('鐮倉物語', '6.9')
('特工', '8.3')
('幸福的拉扎羅', '8.6')
('大師兄', '5.2')
('風(fēng)語咒', '6.9')
('精靈旅社3：瘋狂假期', '6.8')
('狄仁杰之四大天王', '6.2')
('摩天營救', '6.4')
('復(fù)仇者聯(lián)盟3：無限戰(zhàn)爭', '8.1')

看完上述內(nèi)容，你們對使用正則表達(dá)式怎么實(shí)現(xiàn)一個Python爬蟲有進(jìn)一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司行業(yè)資訊頻道，感謝大家的支持。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

本文名稱：使用正則表達(dá)式怎么實(shí)現(xiàn)一個Python爬蟲-創(chuàng)新互聯(lián)
分享網(wǎng)址：http://bm7419.com/article38/cdgopp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、做網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、服務(wù)器托管、網(wǎng)站設(shè)計(jì)公司、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)