Python爬蟲(chóng)常用庫(kù)如何安裝及其環(huán)境配置-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買(mǎi)多久送多久，劃算不套路！

成都創(chuàng)新互聯(lián)長(zhǎng)期為1000多家客戶(hù)提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開(kāi)放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為項(xiàng)城企業(yè)提供專(zhuān)業(yè)的成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、外貿(mào)營(yíng)銷(xiāo)網(wǎng)站建設(shè)，項(xiàng)城網(wǎng)站改版等技術(shù)服務(wù)。擁有10年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。

小編給大家分享一下Python爬蟲(chóng)常用庫(kù)如何安裝及其環(huán)境配置，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

Python常用庫(kù)的安裝

urllib、re 這兩個(gè)庫(kù)是Python的內(nèi)置庫(kù)，直接使用方法import導(dǎo)入即可。

requests 這個(gè)庫(kù)是請(qǐng)求的庫(kù)。我們需要使用執(zhí)行文件pip3來(lái)進(jìn)行安裝。文件處于C:\Python36\Scripts下，我們可以先將此路徑設(shè)為環(huán)境變量。在命令行中輸入pip3 install requests進(jìn)行安裝。安裝完成后進(jìn)行驗(yàn)證。

>>> import requests
>>> requests.get('http://www.baidu.com')
<Response [200]>

selenium  實(shí)際上是用來(lái)瀏覽器的一個(gè)庫(kù)，做爬蟲(chóng)時(shí)可能會(huì)碰到使用JS渲染的網(wǎng)頁(yè)，使用requests來(lái)請(qǐng)求時(shí)，可能無(wú)法正常獲取內(nèi)容，我們使用selenium可以驅(qū)動(dòng)瀏覽器獲得渲染后的頁(yè)面。也是使用pip3  install selenium安裝。進(jìn)行驗(yàn)證。

>>> import selenium
>>> from selenium import webdriver
>>> driver = webdriver.Chrome()

DevTools listening on ws://127.0.0.1:60980/devtools/browser/7c2cf211-1a8e-41ea-8e4a-c97356c98910
>>> driver.get('http://www.baidu.com')

上述命令可以直接打開(kāi)chrome瀏覽器，并且打開(kāi)百度。但是，在這之前我們必須安裝一個(gè)chromedriver，并且安裝googlchrome瀏覽器，可自行去官網(wǎng)下載。當(dāng)我們安裝完畢后再運(yùn)行這些測(cè)試代碼可能依舊會(huì)出現(xiàn)一閃而退的情況，那么問(wèn)題出在，chrome和chromdriver的版本不兼容，可以在官網(wǎng)下載chrome更高的版本，或者chromedriver更低的版本，但是只要都是最高版本就沒(méi)問(wèn)題。

phantomjs 是一個(gè)無(wú)界面瀏覽器，在后臺(tái)運(yùn)行?？稍诠倬W(wǎng)自行下載。并且需要將phantomjs.exe  的所在目錄設(shè)為環(huán)境變量。測(cè)試代碼。

>>> from selenium import webdriver
>>> driver = webdriver.PhantomJS()
>>> driver.get('http://www.baidu.com')
>>> driver.page_source
'<!DOCTYPE html><!--STATUS OK--><html><head>\n

lxml  使用pip3 install lxml安裝。

beautifulsoup 是一個(gè)網(wǎng)絡(luò)解析庫(kù)，依賴(lài)于lxml庫(kù)。使用pip3安裝。必須安裝pip3 install beautifulsoup4，因?yàn)閎eautifulsoup已經(jīng)停止維護(hù)了。安裝驗(yàn)證。

>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup('<html></html>','lxml')
>>>

pyquery  也是網(wǎng)頁(yè)解析庫(kù)，較bs4更加方便，語(yǔ)法和Jquery無(wú)異。也是使用pip3 安裝。

>>> from pyquery import PyQuery as pq   #將其重命名
>>> doc = pq('<html></html>')
>>> doc = pq('<html>hello world</html>')
>>> result = doc('html').text()
>>> result
'hello world'

pymysql  是一個(gè)操作mysql數(shù)據(jù)庫(kù)的庫(kù)。使用pip3 安裝。

>>> import pymysql
>>> conn = pymysql.connect(host='localhost',user='root',password = '123456',port=3306,db='mysql')
>>> cursor = conn.cursor()
>>> cursor.execute('select * from db')
0

pymongo  操作數(shù)據(jù)庫(kù)MongoDB的庫(kù)。需要開(kāi)啟MongoDB服務(wù)，在計(jì)算機(jī)管理當(dāng)中的服務(wù)尋找。也是使用pip3安裝。

>>> import pymongo
>>> client = pymongo.MongoClient('localhost')
>>> db = client['newtestdb']
>>> db['table'].insert({'name':'tom'})
ObjectId('5b868ee4c4d17a0b2466f748')
>>> db['table'].find_one({'name':'tom'})
{'_id': ObjectId('5b868ee4c4d17a0b2466f748'), 'name': 'tom'}
>>> #完成了單條數(shù)據(jù)的查詢(xún)

redis 一個(gè)非關(guān)系型數(shù)據(jù)庫(kù)，運(yùn)行效率高。使用pip3 install redis安裝。

>>> import redis
>>> r = redis.Redis ('localhost',6379)
>>> r.set('name','tom')
True
>>> r.get('name')
b'tom'
>>> #是一個(gè)byte型數(shù)據(jù)類(lèi)型

flask 做代理時(shí)可能會(huì)用到。使用pip3 安裝。詳細(xì)內(nèi)容可以在flask官網(wǎng)查看flask文檔。

django 是一個(gè)web服務(wù)器框架，提供了一個(gè)完整的后臺(tái)管理，引擎、接口等，可以使用它做一個(gè)完整的網(wǎng)站?？稍赿jango的官網(wǎng)查看文檔。使用pip3 install django安裝。

jupyter 可以理解為一個(gè)記事本，運(yùn)行哎網(wǎng)頁(yè)端，可以進(jìn)行寫(xiě)代碼，調(diào)試，運(yùn)行。在官網(wǎng)可以下載jupyter，也可以用pip3 安裝，相關(guān)庫(kù)非常多，安裝比較久。安裝后可以在命令行直接運(yùn)行jupyter notebook，因?yàn)榇宋募趕crips目錄下。

C:\Users\dell>jupyter notebook
[I 20:32:37.552 NotebookApp] The port 8888 is already in use, trying another port.
[I 20:32:37.703 NotebookApp] Serving notebooks from local directory: C:\Users\dell

Python爬蟲(chóng)常用庫(kù)如何安裝及其環(huán)境配置

可以在選項(xiàng)  new   中建立新python3文件，并且可以編寫(xiě)代碼。

默認(rèn)的文件名為unite，此處將其改為testDemo，使用快捷鍵ctrl+回車(chē) 運(yùn)行，按鍵B跳轉(zhuǎn)至新的編輯行。

Python爬蟲(chóng)常用庫(kù)如何安裝及其環(huán)境配置

以上是Python爬蟲(chóng)常用庫(kù)如何安裝及其環(huán)境配置的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道！

本文標(biāo)題：Python爬蟲(chóng)常用庫(kù)如何安裝及其環(huán)境配置-創(chuàng)新互聯(lián)
本文URL：http://bm7419.com/article0/ceddio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、動(dòng)態(tài)網(wǎng)站、企業(yè)建站、響應(yīng)式網(wǎng)站、關(guān)鍵詞優(yōu)化、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

成都網(wǎng)站建設(shè)公司