怎么建立代理Ip池

這篇文章主要介紹了怎么建立代理Ip池，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、微信小程序定制開(kāi)發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了會(huì)同免費(fèi)建站歡迎大家使用！

說(shuō)明

1、首先獲取代理的json信息。

2、使用requests獲取整個(gè)頁(yè)面的text(字符串)，然后使用split('\n') 將每行分割后形成的列表，方便該列表采用json.loads()方法，將每行的字符串轉(zhuǎn)換成json對(duì)象，最終取值。

實(shí)例

　　#!/usr/bin/env python3
 
 
 
　　# coding:utf-8
 
 
 
　　#lanxing
 
 
 
　　import json
 
 
 
　　import telnetlib
 
 
 
　　import requests
 
 
 
　　import random
 
 
 
　　proxy_url = 'https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list'
 
 
 
　　# proxyList = []
 
 
 
　　#定義函數(shù),驗(yàn)證代理ip是否有效
 
 
 
　　def verify(ip,port,type):
 
 
 
　　proxies = {}
 
 
 
　　try:
 
 
 
　　telnet = telnetlib.Telnet(ip,port=port,timeout=3) #用這個(gè)ip請(qǐng)?jiān)L問(wèn)，3s自動(dòng)斷開(kāi)，返回tiemout
 
 
 
　　except:
 
 
 
　　print('unconnected')
 
 
 
　　else:
 
 
 
　　#print('connected successfully')
 
 
 
　　# proxyList.append((ip + ':' + str(port),type))
 
 
 
　　proxies['type'] = type
 
 
 
　　proxies['host'] = ip
 
 
 
　　proxies['port'] = port
 
 
 
　　proxiesJson = json.dumps(proxies)
 
 
 
　　#保存到本地的proxies_ip.json文件
 
 
 
　　with open('proxies_ip.json','a+') as f:
 
 
 
　　f.write(proxiesJson + '\n')
 
 
 
　　print("已寫入：%s" % proxies)
 
 
 
　　#定義函數(shù)，帶著url地址去獲取數(shù)據(jù)
 
 
 
　　def getProxy(proxy_url):
 
 
 
　　response = requests.get(proxy_url)
 
 
 
　　#print(type(response))
 
 
 
　　# 用split('\n') 將每一行分割之后組成的列表，消除換行影響
 
 
 
　　proxies_list = response.text.split('\n')
 
 
 
　　for proxy_str in proxies_list:
 
 
 
　　# 用json.loads()方法，將每一行的字符串轉(zhuǎn)換為json對(duì)象，最后取值
 
 
 
　　proxy_json = json.loads(proxy_str)
 
 
 
　　host = proxy_json['host']
 
 
 
　　port = proxy_json['port']
 
 
 
　　type = proxy_json['type']
 
 
 
　　verify(host,port,type)
 
 
 
　　#主函數(shù)，入口
 
 
 
　　if __name__ == '__main__':
 
 
 
　　getProxy(proxy_url)

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“怎么建立代理Ip池”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!

網(wǎng)站欄目：怎么建立代理Ip池
URL鏈接：http://bm7419.com/article42/pcdcec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、微信小程序、軟件開(kāi)發(fā)、網(wǎng)站改版、App設(shè)計(jì)、

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容