古詩文網(wǎng)站的網(wǎng)絡(luò)爬蟲編寫方式，通過網(wǎng)絡(luò)爬蟲抓去內(nèi)容

1. 以下就是古詩文網(wǎng)站的爬蟲代碼，請看：

為陽明等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及陽明網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、陽明網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

# encoding:utf-8
import requests
import re
import json
 
 
def parse_page(url):
    # 1.請求網(wǎng)站
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36"
    }
    response = requests.get(url, headers=headers)
    text = response.text
    # 2.解析網(wǎng)站
    titles = re.findall(r'<div\sclass="cont">.*?<b>(.*?)</b>', text, re.DOTALL)
    # print json.dumps(titles, encoding="utf-8", ensure_ascii=False)
    times = re.findall(r'<p\sclass="source">.*?<a\s.*?>(.*?)</a>', text, re.DOTALL)
    # print json.dumps(times, encoding="utf-8", ensure_ascii=False)
    authors = re.findall(r'<p class="source">.*?<a.*?<a.*?>(.*?)</a>', text, re.DOTALL)
    poems_ret = re.findall(r'<div class="contson" id=.*?>(.*?)</div>', text, re.DOTALL)
    poems = []
    for poem in poems_ret:
        temp = re.sub("<.*?>", "", poem)
        poems.append(temp.strip())
    # for index, value in enumerate(titles):
    #     print titles[index]
    #     print times[index]
    #     print authors[index]
    #     print poems[index]
    #     print "*"*50
    # zip函數(shù)自動實現(xiàn)上述組合
    results = []
    for value in zip(titles, times, authors, poems):
        title, time, author, poem = value
        result = {
            "標(biāo)題": title,
            "朝代": time,
            "作者": author,
            "原文": poem
        }
        print result["標(biāo)題"]
        results.append(result)
    # print results
 
 
def main():
    url_base = "https://www.xzslx.net/gushi/"
    for i in range(1, 11):
        url = url_base.format(i)
        print " "*20+"優(yōu)美古詩文"+" "*20
        print "*"*50
        parse_page(url)
        print "*"*50
 
 
if __name__ == '__main__':
    main()

2. 輸出來的結(jié)果是：

C:\DDD\python22\python.exe C:/PyCharm/dytt_spider/poems.py
                    古詩文                    
**************************************************
關(guān)山月
明月出天山，蒼茫云海間。
長風(fēng)幾×××，吹度玉門關(guān)。 
漢下白登道，胡窺青海灣。
[2] 由來征戰(zhàn)地，不見有人還。
戍客望邊邑，思?xì)w多苦顏。 
高樓當(dāng)此夜，嘆息未應(yīng)閑。
**************************************************
                    古詩文                    
**************************************************
隴西行四首·其二
誓掃匈奴不顧身，五千貂錦喪胡塵。
可憐無定河邊骨，猶是春閨夢里人！
**************************************************
                    古詩文                    
**************************************************
嫦娥（嫦娥應(yīng)悔偷靈藥)
云母屏風(fēng)燭影深， 長河漸落曉星沉。 嫦娥應(yīng)悔偷靈藥， 碧海青天夜夜心。
**************************************************

 

Process finished with exit code 0

網(wǎng)站題目：古詩文網(wǎng)站的網(wǎng)絡(luò)爬蟲編寫方式，通過網(wǎng)絡(luò)爬蟲抓去內(nèi)容
本文來源：http://bm7419.com/article10/igidgo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站策劃、關(guān)鍵詞優(yōu)化、ChatGPT、虛擬主機、網(wǎng)站排名、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)