Python爬蟲中如何實現(xiàn)bilibili視頻彈幕提取功能-創(chuàng)新互聯(lián)

這篇文章將為大家詳細講解有關(guān)Python爬蟲中如何實現(xiàn)bilibili視頻彈幕提取功能，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

成都創(chuàng)新互聯(lián)服務(wù)項目包括武鳴網(wǎng)站建設(shè)、武鳴網(wǎng)站制作、武鳴網(wǎng)頁制作以及武鳴網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，武鳴網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到武鳴省份的部分城市，未來相信會繼續(xù)擴大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

兩個重要點

1.獲取彈幕的url是以 .xml 結(jié)尾

2.彈幕url的所需參數(shù)在視頻url響應(yīng)的 javascript 中

先看代碼

import requests
from lxml import etree
import re
# 使用手機UA
headers = {
  "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
}
# 視頻url
video_url = "https://m.bilibili.com/video/av37834086.html"
html = requests.get(url=video_url, headers=headers).content.decode('utf-8')
# 獲取彈幕url的參數(shù)
cid = re.findall(r"comment: '//comment.bilibili.com/' \+ (.*?) \+ '.xml',", html)
url = "https://comment.bilibili.com/" + cid[0] + ".xml"
print(url)
response = requests.get(url, headers=headers)
html = response.content
xml = etree.HTML(html)
# 提取數(shù)據(jù)
str_list = xml.xpath("//d/text()")
# 寫入文件
with open('bibi_xuxubaobao.txt', 'w', encoding='utf-8') as f:
  for line in str_list:
    f.write(line)
    f.write('\n')

先找到彈幕的url，以.xml結(jié)尾，所以先找到這串?dāng)?shù)字所在的位置，并獲取這串?dāng)?shù)字發(fā)起第二次請求

而這串?dāng)?shù)字就在 第一次請求的響應(yīng)的JavaScript中，可以通過 re 正則表達式進行提取

接下來的工作就是獲取彈幕url返回的所有彈幕數(shù)據(jù)，然后對響應(yīng)進行數(shù)據(jù)處理。

代碼示例中使用的是 lxml 進行獲取。接著就是保存到個人本地文件中了

關(guān)于“Python爬蟲中如何實現(xiàn)bilibili視頻彈幕提取功能”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。

分享標題：Python爬蟲中如何實現(xiàn)bilibili視頻彈幕提取功能-創(chuàng)新互聯(lián)
URL鏈接：http://www.bm7419.com/article48/cesphp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、搜索引擎優(yōu)化、靜態(tài)網(wǎng)站、服務(wù)器托管、標簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)