python如何爬取豆瓣各分類書(shū)單

這篇文章主要介紹“python如何爬取豆瓣各分類書(shū)單”，在日常操作中，相信很多人在python如何爬取豆瓣各分類書(shū)單問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”python如何爬取豆瓣各分類書(shū)單”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

創(chuàng)新互聯(lián)公司長(zhǎng)期為近千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開(kāi)放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為鄞州企業(yè)提供專業(yè)的網(wǎng)站制作、網(wǎng)站建設(shè)，鄞州網(wǎng)站改版等技術(shù)服務(wù)。擁有十年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。

python如何爬取豆瓣各分類書(shū)單

代碼展示：

pachon2.5.py      # -- coding: utf-8 --import urllibimport urllib2import reimport sys
reload(sys)
sys.setdefaultencoding('utf-8')
class book:     #豆瓣書(shū)籍的類    def init(self, types, page):        self.baseUrl = 'http://www.douban.com/tag/'        self.types = types        self.filename = 'doubanbook.txt'        self.page = page
def getContents(self): #爬取源代碼    try:        #if self.page == 0:        url = self.baseUrl + self.types + '/book'        #else:        #   url = self.baseUrl + self.types + '/book?start=' + str(self.page)        user_agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.65 Safari/537.36'        headers = { 'User-Agent' : user_agent}        request = urllib2.Request(url,headers = headers)        response = urllib2.urlopen(request)        content = response.read()  #.decode('utf-8')        pattern = re.compile('<a href=.*?class="title".*?target="_blank">(.*?)</a>.*?>(.*?)</div>',re.S)        items = re.findall(pattern,content)        return items    except urllib2.URLError, e:        if hasattr(e, "reason"):            print u"豆瓣鏈接錯(cuò)誤，錯(cuò)誤原因", e.reason            return None
def writetext(self, items): #寫(xiě)入txt    for item in items:        print item[0],item[1]        files = open(self.filename,'a')        files.write(item[0])        files.write(item[1])        files.write('\n')        files.close()
def strat(self): #啟動(dòng)函數(shù)    self.writetext(self.getContents())    print u"""出現(xiàn)亂碼為正?，F(xiàn)象，在與本腳本相同的文件夾下會(huì)多出一個(gè),        doubanbook.txt的文件里面有所爬書(shū)籍，如你把本腳本放在桌面,文件便會(huì)出現(xiàn)在桌面"""        print u"結(jié)束輸入 'O' , 聯(lián)系作者輸入 'A'"        end = raw_input('>')        if end == 'A':            print u"QQ郵箱:1021644861@qq.com"            raw_input('>')        else:            print "over"

到此，關(guān)于“python如何爬取豆瓣各分類書(shū)單”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！

網(wǎng)站名稱：python如何爬取豆瓣各分類書(shū)單
URL鏈接：http://bm7419.com/article24/gighje.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供搜索引擎優(yōu)化、自適應(yīng)網(wǎng)站、標(biāo)簽優(yōu)化、微信小程序、、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

搜索引擎優(yōu)化