小編給大家分享一下解決python寫爬蟲出現(xiàn)亂碼的方法,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!
施甸網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),施甸網(wǎng)站設(shè)計制作,有大型網(wǎng)站制作公司豐富經(jīng)驗。已為施甸上千提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站建設(shè)公司要多少錢,請找那個售后服務(wù)好的施甸做網(wǎng)站的公司定做!
關(guān)于爬蟲亂碼有很多各式各樣的問題,這里不僅是中文亂碼,編碼轉(zhuǎn)換、還包括一些如日文、韓文 、俄文、藏文之類的亂碼處理,因為解決方式是一致的,故在此統(tǒng)一說明。
網(wǎng)絡(luò)爬蟲出現(xiàn)亂碼的原因
源網(wǎng)頁編碼和爬取下來后的編碼格式不一致。
如源網(wǎng)頁為gbk編碼的字節(jié)流,而我們抓取下后程序直接使用utf-8進行編碼并輸出到存儲文件中,這必然會引起亂碼 即當(dāng)源網(wǎng)頁編碼和抓取下來后程序直接使用處理編碼一致時,則不會出現(xiàn)亂碼; 此時再進行統(tǒng)一的字符編碼也就不會出現(xiàn)亂碼了。
注意區(qū)分
源網(wǎng)編碼A、程序直接使用的編碼B、統(tǒng)一轉(zhuǎn)換字符的編碼C。
亂碼的解決方法
確定源網(wǎng)頁的編碼A,編碼A往往在網(wǎng)頁中的三個位置
1.http header的Content-Type
獲取服務(wù)器 header 的站點可以通過它來告知瀏覽器一些頁面內(nèi)容的相關(guān)信息。 Content-Type 這一條目的寫法就是 "text/html; charset=utf-8"。
2.meta charset
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
3.網(wǎng)頁頭中Document定義
<script type="text/javascript"> if(document.charset){ alert(document.charset+"!!!!"); document.charset = 'GBK'; alert(document.charset); } else if(document.characterSet){ alert(document.characterSet+"????"); document.characterSet = 'GBK'; alert(document.characterSet); }
在獲取源網(wǎng)頁編碼時,依次判斷下這三部分?jǐn)?shù)據(jù)即可,從前往后,優(yōu)先級亦是如此。
以上三者中均沒有編碼信息 一般采用chardet等第三方網(wǎng)頁編碼智能識別工具來做
安裝: pip install chardet
官方網(wǎng)站: http://chardet.readthedocs.io/en/latest/usage.html
Python chardet 字符編碼判斷
使用 chardet 可以很方便的實現(xiàn)字符串/文件的編碼檢測 雖然HTML頁面有charset標(biāo)簽,但是有些時候是不對的。那么chardet就能幫我們大忙了。
chardet實例
import urllib rawdata = urllib.urlopen('//www.jb51.net/').read() import chardet chardet.detect(rawdata) {'confidence': 0.99, 'encoding': 'GB2312'}
chardet可以直接用detect函數(shù)來檢測所給字符的編碼。函數(shù)返回值為字典,有2個元素,一個是檢測的可信度,另外一個就是檢測到的編碼。
在開發(fā)自用爬蟲過程中如何處理漢字編碼?
下面所說的都是針對python2.7,如果不加處理,采集到的都是亂碼,解決的方法是將html處理成統(tǒng)一的utf-8編碼 遇到windows-1252編碼,屬于chardet編碼識別訓(xùn)練未完成
import chardet a='abc' type(a) str chardet.detect(a) {'confidence': 1.0, 'encoding': 'ascii'} a ="我" chardet.detect(a) {'confidence': 0.73, 'encoding': 'windows-1252'} a.decode('windows-1252') u'\xe6\u02c6\u2018' chardet.detect(a.decode('windows-1252').encode('utf-8')) type(a.decode('windows-1252')) unicode type(a.decode('windows-1252').encode('utf-8')) str chardet.detect(a.decode('windows-1252').encode('utf-8')) {'confidence': 0.87625, 'encoding': 'utf-8'} a ="我是中國人" type(a) str {'confidence': 0.9690625, 'encoding': 'utf-8'} chardet.detect(a) # -*- coding:utf-8 -*- import chardet import urllib2 #抓取網(wǎng)頁html html = urllib2.urlopen('//www.jb51.net/').read() print html mychar=chardet.detect(html) print mychar bianma=mychar['encoding'] if bianma == 'utf-8' or bianma == 'UTF-8': html=html.decode('utf-8','ignore').encode('utf-8') else: html =html.decode('gb2312','ignore').encode('utf-8') print html print chardet.detect(html)
python代碼文件的編碼
py文件默認是ASCII編碼,中文在顯示時會做一個ASCII到系統(tǒng)默認編碼的轉(zhuǎn)換,這時就會出錯:SyntaxError: Non-ASCII character。需要在代碼文件的第一行添加編碼指示:
# -*- coding:utf-8 -*- print '中文'
像上面那樣直接輸入的字符串是按照代碼文件的編碼'utf-8'來處理的
如果用unicode編碼,以下方式:
s1 = u'中文' #u表示用unicode編碼方式儲存信息
decode是任何字符串具有的方法,將字符串轉(zhuǎn)換成unicode格式,參數(shù)指示源字符串的編碼格式。
encode也是任何字符串具有的方法,將字符串轉(zhuǎn)換成參數(shù)指定的格式。
看完了這篇文章,相信你對解決python寫爬蟲出現(xiàn)亂碼的方法有了一定的了解,想了解更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!
新聞名稱:解決python寫爬蟲出現(xiàn)亂碼的方法
文章網(wǎng)址:http://bm7419.com/article40/jdsgeo.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供App開發(fā)、定制開發(fā)、網(wǎng)站排名、網(wǎng)站設(shè)計、網(wǎng)站設(shè)計公司、網(wǎng)站營銷
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)