IP代理中間件和user-agent中間件的編寫

在制作爬蟲的時(shí)候需要對我們的爬蟲進(jìn)行偽裝，有兩種偽裝的方式：第一種是通過代理IP，第二種是通過修改user-agent。

成都創(chuàng)新互聯(lián)專注于尼金平企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè)公司,電子商務(wù)商城網(wǎng)站建設(shè)。尼金平網(wǎng)站建設(shè)公司,為尼金平等地區(qū)提供建站服務(wù)。全流程按需搭建網(wǎng)站，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，成都創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

一、代理IP

    

    

    

二、user-agent

    import random
    # user agent 列表
    USER_AGENT_LIST = [
        'MSIE (MSIE 6.0; X11; Linux; i686) Opera 7.23',
        'Opera/9.20 (Macintosh; Intel Mac OS X; U; en)',
        'Opera/9.0 (Macintosh; PPC Mac OS X; U; en)',
        'iTunes/9.0.3 (Macintosh; U; Intel Mac OS X 10_6_2; en-ca)',
        'Mozilla/4.76 [en_jp] (X11; U; SunOS 5.8 sun4u)',
        'iTunes/4.2 (Macintosh; U; PPC Mac OS X 10.2)',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0) Gecko/20100101 Firefox/5.0',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:9.0) Gecko/20100101 Firefox/9.0',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20120813 Firefox/16.0',
        'Mozilla/4.77 [en] (X11; I; IRIX;64 6.5 IP30)',
        'Mozilla/4.8 [en] (X11; U; SunOS; 5.7 sun4u)'
       ]
    # 隨機(jī)生成user agent
    USER_AGENT = random.choice(USER_AGENT_LIST)

--------------------- 

    

    

    

    注意事項(xiàng)：

        1、中間件定義完要在settings文件內(nèi)啟用

        2、爬蟲文件名和爬蟲名稱不能相同，spider目錄內(nèi)不能存在相同爬蟲名稱的項(xiàng)目文件

        3、做一個(gè)文明守法的好網(wǎng)民，不要爬取公民的隱私數(shù)據(jù)，不要給對方系統(tǒng)帶來不必要的麻煩。

網(wǎng)站欄目：IP代理中間件和user-agent中間件的編寫
文章路徑：http://bm7419.com/article0/jddiio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開發(fā)、全網(wǎng)營銷推廣、小程序開發(fā)、企業(yè)網(wǎng)站制作、品牌網(wǎng)站制作、域名注冊

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)