python如何實(shí)現(xiàn)爬取中國(guó)前20大學(xué)排名案例-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

成都地區(qū)優(yōu)秀IDC服務(wù)器托管提供商(成都創(chuàng)新互聯(lián)公司).為客戶提供專業(yè)的雅安電信機(jī)房,四川各地服務(wù)器托管,雅安電信機(jī)房、多線服務(wù)器托管.托管咨詢專線：18982081108

這篇文章將為大家詳細(xì)講解有關(guān)python如何實(shí)現(xiàn)爬取中國(guó)前20大學(xué)排名案例，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

一、中國(guó)大學(xué)排名爬蟲案例的步驟如下：

步驟1：從網(wǎng)絡(luò)上獲取大學(xué)排名網(wǎng)頁(yè)內(nèi)容 getHTMLText()

步驟2：提取網(wǎng)頁(yè)內(nèi)容中信息到合適的數(shù)據(jù)結(jié)構(gòu) fillUnivList()

步驟3：利用數(shù)據(jù)結(jié)構(gòu)展示并輸出結(jié)果 printUnivList()

實(shí)例代碼

import requests
import bs4
from bs4 import BeautifulSoup
 
def getHTMLText(url):
    '''從網(wǎng)絡(luò)上獲取大學(xué)排名網(wǎng)頁(yè)內(nèi)容'''
    try:
        r = requests.get(url, timeout=30)
        # #如果狀態(tài)不是200，就會(huì)引發(fā)HTTPError異常
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
 
def fillUnivList(ulist, html):
    '''提取網(wǎng)頁(yè)內(nèi)容中信息到合適的數(shù)據(jù)結(jié)構(gòu)'''
    soup = BeautifulSoup(html, "html.parser")
    # 查找html中tbody標(biāo)簽的所有<tr>子標(biāo)簽
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):            
            tds = tr('td')
            # tds[0].string 是排名，tds[1].string 是學(xué)校名稱，tds[3].string 是學(xué)校的總分
            ulist.append([tds[0].string, tds[1].string, tds[3].string])
 
def printUnivList(ulist, num):
    ''' 打印前 num 名的大學(xué)'''
     # {1:{3}^10} 中的 {3} 代表取第三個(gè)參數(shù)
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名","學(xué)校名稱","總分",chr(12288))) # chr(12288) 代表中文空格
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288))) # chr(12288) 代表中文空格
 
def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
    html = getHTMLText(url)# 獲取大學(xué)排名網(wǎng)頁(yè)內(nèi)容
    fillUnivList(uinfo, html)#提取網(wǎng)頁(yè)內(nèi)容中信息   
    printUnivList(uinfo, 20) #輸出結(jié)果
 
main()

結(jié)果如下

關(guān)于python如何實(shí)現(xiàn)爬取中國(guó)前20大學(xué)排名案例就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

文章名稱：python如何實(shí)現(xiàn)爬取中國(guó)前20大學(xué)排名案例-創(chuàng)新互聯(lián)
本文網(wǎng)址：http://bm7419.com/article22/giijc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、手機(jī)網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、全網(wǎng)營(yíng)銷推廣、標(biāo)簽優(yōu)化、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)