python用代理ip抓取網(wǎng)頁的方法是什么

小編給大家分享一下python用代理ip抓取網(wǎng)頁的方法是什么，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！

網(wǎng)站建設(shè)哪家好，找成都創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序定制開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了宿遷免費(fèi)建站歡迎大家使用！

在抓取一個(gè)網(wǎng)站的信息時(shí)，如果我們進(jìn)行頻繁的訪問，就很有可能被網(wǎng)站檢測到而被屏蔽，解決這個(gè)問題的方法就是使用ip代理 。在我們接入因特網(wǎng)進(jìn)行上網(wǎng)時(shí)，我們的電腦都會(huì)被分配一個(gè)全球唯一地ip地址供我們使用，而當(dāng)我們頻繁訪問一個(gè)網(wǎng)站時(shí)，網(wǎng)站也正是因?yàn)榘l(fā)現(xiàn)同一個(gè)ip地址訪問多次而進(jìn)行屏蔽的，所以這時(shí)候如果我們使用多個(gè)ip地址進(jìn)行隨機(jī)地輪流訪問，這樣被網(wǎng)站檢測的概率就很小了，這時(shí)候如果我們再使用多個(gè)不同的headers，這時(shí)候就有多個(gè)ip+主機(jī)的組合，訪問時(shí)被發(fā)現(xiàn)的概率又進(jìn)一步減小了。

關(guān)于代碼中ip代理的使用，下面介紹一下：

步驟：

1、urllib2庫中的ProxyHandler類，通過此類可以使用ip代理訪問網(wǎng)頁

proxy_support=urllib2.ProxyHandler({})，其中參數(shù)是一個(gè)字典{‘類型':'代理ip:端口號'}

2、定制、創(chuàng)建一個(gè)opener

opener=urllib2.build_opener(proxy_support)

3、安裝opener

urlib2.install_opener(opener)

調(diào)用默認(rèn)的opener

opener.open(url)

對于沒有設(shè)置反爬蟲機(jī)制的網(wǎng)站，我們只需要直接像上面引入ProxyHandler類進(jìn)行處理，下面以訪問csdn主頁為例：

import urllib  
  
url="http://www.csdn.net/"  
for i in range(0,10000):  
    html=urllib.urlopen(url)  
    print html.info()  
    print i

當(dāng)使用上述代碼時(shí)，當(dāng)循環(huán)到20時(shí)，就會(huì)出現(xiàn)下面的錯(cuò)誤。

Traceback (most recent call last):
  File "C:/Users/lenovo/PycharmProjects/untitled1/jt2/__init__.py", line 19, in <module>
    html=urllib.urlopen(url)
  File "C:\Python27\lib\urllib.py", line 87, in urlopen
    return opener.open(url)
  File "C:\Python27\lib\urllib.py", line 213, in open
    return getattr(self, name)(url)
  File "C:\Python27\lib\urllib.py", line 350, in open_http
    h.endheaders(data)
  File "C:\Python27\lib\httplib.py", line 997, in endheaders
    self._send_output(message_body)
  File "C:\Python27\lib\httplib.py", line 850, in _send_output
    self.send(msg)
  File "C:\Python27\lib\httplib.py", line 812, in send
    self.connect()
  File "C:\Python27\lib\httplib.py", line 793, in connect
    self.timeout, self.source_address)
  File "C:\Python27\lib\socket.py", line 571, in create_connection
    raise err
IOError: [Errno socket error] [Errno 10060]

這就是因?yàn)槲覀兪褂昧擞?jì)算機(jī)的單一ip進(jìn)行頻繁訪問而被檢測出來的。

下面是使用了ip代理的代碼：

import urllib2  
import random  
  
def getHtml(url,proxies):  
    random_proxy = random.choice(proxies)  
    proxy_support = urllib2.ProxyHandler({"http":random_proxy})  
    opener = urllib2.build_opener(proxy_support)  
    urllib2.install_opener(opener)  
    html=urllib2.urlopen(url)  
    return html  
  
url="http://www.csdn.net/"  
proxies=["101.53.101.172:9999","171.117.93.229:8118","119.251.60.37:21387","58.246.194.70:8080"  
        "115.173.218.224:9797","110.77.0.70:80"]  
for i in range(0,10000):  
    try:  
        html=getHtml(url,proxies)  
        print html.info()     #打印網(wǎng)頁的頭部信息，只是為了展示訪問到了網(wǎng)頁，可以自己修改成想顯示的內(nèi)容  
        print i  
    except:  
        print "出現(xiàn)故障"

 這個(gè)代碼我測試是在1096次時(shí)被檢測到了，要知道我的列表中只有6個(gè)ip，如果我們增加ip的個(gè)數(shù)，那么被發(fā)現(xiàn)的概率是不是又會(huì)更低了。對于上面的例子中的ip代理，有可能在過了一段時(shí)間后便不能用了，這個(gè)需要自己到網(wǎng)上搜索最新的ip代理，進(jìn)行替換。還有程序中的異常處理是為了使程序能夠處理ip代碼訪問時(shí)出現(xiàn)問題的情況，因?yàn)橛行﹊p代理在訪問的時(shí)候會(huì)出現(xiàn)故障的，這樣做了可以使程序更加健壯。

對于有反爬蟲機(jī)制的網(wǎng)頁，下面還是以訪問csdn中的博客為例：

#coding:utf-8  
import urllib2  
import random  
  
def get_html(url,headers,proxies):  
  
    random_userAget = random.choice(headers)  
    random_proxy = random.choice(proxies)  
  
    #下面是模擬瀏覽器進(jìn)行訪問  
    req = urllib2.Request(url)  
    req.add_header("User-Agent", random_userAget)  
    req.add_header("GET", url)  
    req.add_header("Host", "blog.csdn.net")  
    req.add_header("Referer", "http://blog.csdn.net/?&page=6")  
  
    #下面是使用ip代理進(jìn)行訪問  
    proxy_support = urllib2.ProxyHandler({"http":random_proxy})  
    opener = urllib2.build_opener(proxy_support)  
    urllib2.install_opener(opener)    
  
    html = urllib2.urlopen(req)  
    return html  
  
url = "http://blog.csdn.net/?&page=3"  
user_agents = [  
    "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWe。。。hrome/45.0.2454.101 Safari/537.36",  
    "Mozilla / 5.0(Windows NT 6.1) AppleWebKit / 537.。。。。likeGecko) Chrome / 45.0.2454.101Safari/ 537.36",  
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit。。。。。Gecko) Chrome/50.0.2661.102 Safari/537.36",  
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.3。。。。ML, like Gecko) Chrome/49.0.2623.112 Safari
    /537.36",  
    "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) 。。。WebKit/537.36 (KHTML, like Gecko) Chrome/
    46.0.2486.0 Safari/537.36 Edge/13.10586",  
    "User-Agent: Mozilla/5.0 (Windows NT 10.0) AppleWebKi。。。。。36 (KHTML, like Gecko) Chrome/46.0.2486.0 
    Safari/537.36 Edge/13.10586",  
    "Mozilla/5.0 (Windows NT 10.0; WOW64) Apple。。。。。KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36"  
    ]  
#網(wǎng)上的ip有可能是不能用的，需要多做嘗試  
myproxies=["220.189.249.80:80","124.248.32.43:80"]  
html = get_html(url,user_agents,myproxies)  
print html.read()

看完了這篇文章，相信你對python用代理ip抓取網(wǎng)頁的方法是什么有了一定的了解，想了解更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

分享題目：python用代理ip抓取網(wǎng)頁的方法是什么
本文地址：http://bm7419.com/article46/igeehg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、網(wǎng)站排名、網(wǎng)站營銷、網(wǎng)站建設(shè)、App設(shè)計(jì)、商城網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)