Python爬蟲(chóng)之Get和Post請(qǐng)求是什么意思

這篇文章將為大家詳細(xì)講解有關(guān)Python爬蟲(chóng)之Get和Post請(qǐng)求是什么意思，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)成立與2013年，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站建設(shè)、做網(wǎng)站網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元荔城做網(wǎng)站,已為上家服務(wù),為荔城各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18982081108

在說(shuō) Get 和 Post 請(qǐng)求之前，我們先來(lái)看一下 url 的編碼和解碼，我們?cè)跒g覽器的鏈接里如果輸入有中文的話，如：https://www.baidu.com/s?wd=貼吧，那么瀏覽器會(huì)自動(dòng)為我們編碼成：https://www.baidu.com/s?wd=%E8%B4%B4%E5%90%A7，在 Python2.x 中我們需要使用 urllib 模塊的 urlencode 方法，但我們?cè)谥暗奈恼乱呀?jīng)說(shuō)過(guò)之后的內(nèi)容以 Python3.x 為主，所以我們就說(shuō)一下 Python3.x 中的編碼和解碼。

在 Python3.x 中，我們需要引入 urllib.parse 模塊，如下：

import urllib.parse
data= {"kw":"貼吧"}
# 通過(guò) urlencode() 方法，將字典鍵值對(duì)按URL編碼轉(zhuǎn)換，從而能被web服務(wù)器接受。
data = urllib.parse.urlencode(data)
print(data)  # kw=%E8%B4%B4%E5%90%A7
# 通過(guò) unquote() 方法，把 URL編碼字符串，轉(zhuǎn)換回原先字符串。
data = urllib.parse.unquote(data)
print(data)  # kw=貼吧

下面我們來(lái)看一下 Get 請(qǐng)求

GET請(qǐng)求一般用于我們向服務(wù)器獲取數(shù)據(jù)，比如說(shuō)，我們用百度搜索 貼吧，結(jié)果如下：

在其中我們可以看到在請(qǐng)求部分里，http://www.baidu.com/s? 之后出現(xiàn)一個(gè)長(zhǎng)長(zhǎng)的字符串，其中就包含我們要查詢的關(guān)鍵詞貼吧，于是我們可以嘗試用默認(rèn)的 Get 方式來(lái)發(fā)送請(qǐng)求。

import urllib.request
import urllib.parse
import ssl

# 取消代理驗(yàn)證
ssl._create_default_https_context = ssl._create_unverified_context

# url 地址
url = "http://www.baidu.com/s"
word = {"wd": "貼吧"}
word = urllib.parse.urlencode(word)  # 轉(zhuǎn)換成url編碼格式（字符串）
url = url + "?" + word  # url首個(gè)分隔符就是 ?

# User-Agent
headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) 
Chrome/73.0.3683.103 Safari/537.36"}

# url 作為Request()方法的參數(shù)，構(gòu)造并返回一個(gè)Request對(duì)象
request = urllib.request.Request(url, headers=headers)

# Request對(duì)象作為urlopen()方法的參數(shù)，發(fā)送給服務(wù)器并接收響應(yīng)
response = urllib.request.urlopen(request)
 
# 類文件對(duì)象支持 文件對(duì)象的操作方法，如read()方法讀取文件全部?jī)?nèi)容，返回字符串
html = response.read().decode("utf-8")

# 打印字符串
print(html)

我們?cè)谡?qǐng)求頁(yè)面的時(shí)候?qū)⑽覀円獋鞯闹抵苯油ㄟ^(guò)轉(zhuǎn)碼拼接在 url 地址后面，然后就可以獲取到我們想要的內(nèi)容了，最終結(jié)果如下：

通過(guò)開(kāi)發(fā)者工具看頁(yè)面的 HTML 和我們得到的結(jié)果是完全一致的。

接下來(lái)我們看一下 post 請(qǐng)求，先來(lái)看一個(gè) post 請(qǐng)求接口：https://movie.douban.com/j/chart/top_list?type=11&interval_id=100:90&start=0&limit=10，該接口為豆瓣的一個(gè)電影列表接口，為 post 請(qǐng)求，url 問(wèn)號(hào)后面的為請(qǐng)求參數(shù)，結(jié)果如下：

如果我們要使用 urllib 的 post 請(qǐng)求，則要在 Request 第二個(gè)參數(shù)加入我們想要的參數(shù)，如下：

import urllib.request
import urllib.parse
import ssl

# 取消代理驗(yàn)證
ssl._create_default_https_context = ssl._create_unverified_context

# User-Agent
headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) 
Chrome/73.0.3683.103 Safari/537.36"}
# post 請(qǐng)求參數(shù)
data = {
    "type": "11",
    "interval_id": "100:90",
    "start": "0",
    "limit": "10"
}
data = urllib.parse.urlencode(data).encode("utf-8")

# url 作為Request()方法的參數(shù)，構(gòu)造并返回一個(gè)Request對(duì)象
request = urllib.request.Request("https://movie.douban.com/j/chart/top_list?", data=data, headers=headers)

# Request對(duì)象作為urlopen()方法的參數(shù)，發(fā)送給服務(wù)器并接收響應(yīng)
response = urllib.request.urlopen(request)
 
# 類文件對(duì)象支持 文件對(duì)象的操作方法，如read()方法讀取文件全部?jī)?nèi)容，返回字符串
html = response.read().decode("utf-8")
 
# 打印字符串
print(html)

urllib 默認(rèn)的是 get 請(qǐng)求，urllib.request.Request() 里第一個(gè)參數(shù)為 url 地址，第二個(gè)參數(shù)為請(qǐng)求報(bào)頭 headers，請(qǐng)求包頭可以不寫(xiě)。

urllib 默認(rèn)的是 get 請(qǐng)求，urllib.request.Request() 里第一個(gè)參數(shù)為 url 地址，第二個(gè)參數(shù)為請(qǐng)求數(shù)據(jù) data，第三個(gè)參數(shù)為請(qǐng)求報(bào)頭 headers，請(qǐng)求包頭可以不寫(xiě)。

最終結(jié)果如下：

和我們?cè)陧?yè)面請(qǐng)求的結(jié)果是一樣的。

為什么有時(shí)候POST也能在URL內(nèi)看到數(shù)據(jù)？

GET方式是直接以鏈接形式訪問(wèn)，鏈接中包含了所有的參數(shù)，服務(wù)器端用Request.QueryString獲取變量的值。如果包含了密碼的話是一種不安全的選擇，不過(guò)你可以直觀地看到自己提交了什么內(nèi)容。

POST則不會(huì)在網(wǎng)址上顯示所有的參數(shù)，服務(wù)器端用Request.Form獲取提交的數(shù)據(jù)，在Form提交的時(shí)候。但是HTML代碼里如果不指定 method 屬性，則默認(rèn)為GET請(qǐng)求，F(xiàn)orm中提交的數(shù)據(jù)將會(huì)附加在url之后，以?分開(kāi)與url分開(kāi)。

表單數(shù)據(jù)可以作為 URL 字段（method="get"）或者 HTTP POST （method="post"）的方式來(lái)發(fā)送。

關(guān)于Python爬蟲(chóng)之Get和Post請(qǐng)求是什么意思就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

分享標(biāo)題：Python爬蟲(chóng)之Get和Post請(qǐng)求是什么意思
鏈接URL：http://bm7419.com/article2/geieoc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、域名注冊(cè)、網(wǎng)站內(nèi)鏈、品牌網(wǎng)站設(shè)計(jì)、Google、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)