小編給大家分享一下python獲取網(wǎng)頁(yè)亂碼的解決方法,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!
創(chuàng)新互聯(lián)公司是一家專業(yè)提供封丘企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站設(shè)計(jì)制作、成都做網(wǎng)站、H5響應(yīng)式網(wǎng)站、小程序制作等業(yè)務(wù)。10年已為封丘眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站建設(shè)公司優(yōu)惠進(jìn)行中。
在使用python爬取網(wǎng)頁(yè)時(shí),經(jīng)常會(huì)遇到亂碼問題,一旦遇到亂碼問題,就很難得到有用的信息。本人遇到亂碼問題,一般有以下幾個(gè)方式:
1、查看網(wǎng)頁(yè)源碼中的head標(biāo)簽,找到編碼方式,例如:
在上圖中,可以看到charset='utf-8',說(shuō)明這個(gè)網(wǎng)頁(yè)很大可能是采用‘UTF-8’編碼(是很大可能,但不是百分之百),因此可以試試這個(gè)編碼方式:
result = response.content.decode('utf-8')
這種方式得到的內(nèi)容基本上就不會(huì)亂碼了。
2、如果上述的方式?jīng)]有任何作用,頁(yè)面依然亂碼;或者在head標(biāo)簽下并沒有找到charset屬性;或者我們要采集很多網(wǎng)頁(yè)的信息,而且這些網(wǎng)頁(yè)的編碼方式不盡相同,我們不可能做到一個(gè)一個(gè)網(wǎng)頁(yè)的去查看head標(biāo)簽,那么可以采用下面的方式解決亂碼。
(1)python的chardet庫(kù)
可以使用下面的方式解決亂碼問題
result = chardet.detect(response.content) print(result) data = response.content.decode(chardet.detect(response.content)['encoding']) {'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}
從輸出結(jié)果可以看出這是“猜測(cè)”編碼,猜測(cè)的方式是先收集各種編碼的特征字符,根據(jù)特征字符判斷,就能有很大概率“猜對(duì)”。
這種方法的效率很低,如果采集的網(wǎng)頁(yè)很大,可以只猜測(cè)其中一段的源碼,即
result = chardet.detect(response.content[:1000])
(2)response的編碼
也可以使用另一種方法,即response自有的encoding,apparent_encoding這兩個(gè)變量。
response.encoding一般是從response.headers中content-type字段中的charset的值,其它情況我也不是很了解。
response.apparent_encoding一般是采用上述的python的chardet庫(kù)這種方法。
因此可以用下面的方式解決亂碼問題
data = response.content.decode(response.apparent_encoding)
3、一般情況下,上述兩個(gè)方法可以解決亂碼問題。但是如果上述兩個(gè)方式不能解決,那有可能是網(wǎng)頁(yè)的壓縮導(dǎo)致的。這種問題用下面的方法解決。
檢查一下你寫的頭信息是不是包含了Accept-Encoding這個(gè)字段,如果有,請(qǐng)刪除這個(gè)字段,亂碼問題就會(huì)得到解決。
headers = { 'Accept-Encoding': 'gzip, deflate, sdch', 'Accept-Language': 'zh-CN,zh;q=0.8', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Connection': 'keep-alive', }
看完了這篇文章,相信你對(duì)python獲取網(wǎng)頁(yè)亂碼的解決方法有了一定的了解,想了解更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!
網(wǎng)站題目:python獲取網(wǎng)頁(yè)亂碼的解決方法
本文路徑:http://bm7419.com/article42/pcsiec.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供面包屑導(dǎo)航、企業(yè)建站、用戶體驗(yàn)、關(guān)鍵詞優(yōu)化、定制網(wǎng)站、網(wǎng)站設(shè)計(jì)公司
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)