小白的python爬蟲，40代碼教你爬取豆瓣小說(shuō)-創(chuàng)新互聯(lián)

這篇文章寫了很久了，一直沒有發(fā)布；
爬蟲學(xué)的差不多了，覺得這篇文章對(duì)新手實(shí)踐還是有些作用的。畢竟這也是我剛學(xué)爬蟲的時(shí)候練習(xí)的，爬取了比較好爬的網(wǎng)站，也比較經(jīng)典；多余的解釋不說(shuō)了，代碼里每一行都有注釋，解釋的很清楚；
后續(xù)有時(shí)間的話還會(huì)發(fā)布一些爬蟲文章的；

創(chuàng)新互聯(lián)專注于成都網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站制作、網(wǎng)站開發(fā)。公司秉持“客戶至上,用心服務(wù)”的宗旨,從客戶的利益和觀點(diǎn)出發(fā),讓客戶在網(wǎng)絡(luò)營(yíng)銷中找到自己的駐足之地。尊重和關(guān)懷每一位客戶，用嚴(yán)謹(jǐn)?shù)膽B(tài)度對(duì)待客戶，用專業(yè)的服務(wù)創(chuàng)造價(jià)值，成為客戶值得信賴的朋友，為客戶解除后顧之憂。

=============================================

直接上代碼：

import requests
from bs4 import BeautifulSoup
from lxml import etree
#抓取豆瓣小說(shuō)的 書名、評(píng)分；

page = 0            #定義頁(yè)數(shù)初始值；
lists_book = []     #定義書名列表；
lists_grade = []    #定義評(píng)分的列表；
for u in range(0,20):   #循環(huán)20次，每一次循環(huán)爬取一頁(yè)，即：抓取20頁(yè)；
    basic_url = 'https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=' + str(page) + '&type=T'
    page += 20      #每循環(huán)一次 +20，適應(yīng)鏈接變化；

    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
    }
    #發(fā)送請(qǐng)求
    response = requests.get(basic_url, headers=headers, timeout=10)     #requests請(qǐng)求；
    response.encoding = 'utf-8'     #設(shè)置編碼
    htm = response.text     #返回text文本；

    #解析請(qǐng)求
    selector = etree.HTML(htm)      #利用 etree.HTML 初始化
    book_name = selector.xpath('//*[@id="subject_list"]/ul/li/div[2]/h3/a/text()')  #獲取書名
    grade = selector.xpath('//*[@id="subject_list"]/ul/li/div[2]/div[2]/span[2]/text()')    #獲取評(píng)分；

    #將書名存入到lists_book列表；
    for i in book_name:
        lists_book.append(i.strip())     #去除字符串空格，存入列表；
        while '' in lists_book:      #如果列表中有空元素，則刪除空元素；
            lists_book.remove('')
    #將評(píng)分存入到lists_grade列表；
    for i in grade:
        lists_grade.append(i.strip())     #去除字符串空格，存入列表；
        while '' in lists_grade:      #如果列表中有空元素，則刪除空元素；
            lists_grade.remove('')

print(lists_book)           #輸出爬取的書名列表；
print(len(lists_book))      #輸出列表的長(zhǎng)度，即：爬取了多少本書
print(lists_grade)          #輸出評(píng)分的列表；
print(len(lists_grade))     #輸出評(píng)分列表的長(zhǎng)度；為了和書的數(shù)目核對(duì)，防止偏差；
print("評(píng)分高: "+ str(max(lists_grade)) + "\n" + "書名: " + lists_book[lists_grade.index(max(lists_grade))])

---

運(yùn)行后結(jié)果輸出到了屏幕上，并沒有存入數(shù)據(jù)庫(kù)，后續(xù)需要也可以繼續(xù)添加代碼將爬取結(jié)果存入數(shù)據(jù)庫(kù)；

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前名稱：小白的python爬蟲，40代碼教你爬取豆瓣小說(shuō)-創(chuàng)新互聯(lián)
網(wǎng)站地址：http://www.bm7419.com/article12/ihsgc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、自適應(yīng)網(wǎng)站、搜索引擎優(yōu)化、網(wǎng)站設(shè)計(jì)、品牌網(wǎng)站建設(shè)、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)