這篇文章給大家分享的是有關(guān)Python爬蟲(chóng)中獲取圖片的方法的內(nèi)容。小編覺(jué)得挺實(shí)用的,因此分享給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧。
創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括東寶網(wǎng)站建設(shè)、東寶網(wǎng)站制作、東寶網(wǎng)頁(yè)制作以及東寶網(wǎng)絡(luò)營(yíng)銷(xiāo)策劃等。多年來(lái),我們專(zhuān)注于互聯(lián)網(wǎng)行業(yè),利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等,向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案,東寶網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前,我們服務(wù)的客戶(hù)以成都為中心已經(jīng)輻射到東寶省份的部分城市,未來(lái)相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶(hù)的支持與信任!
直接上代碼:
spider.py
__author__ = 'CQC' # -*- coding:utf-8 -*- import urllib import urllib2 import re import tool import os #抓取MM class Spider: #頁(yè)面初始化 def __init__(self): self.siteURL = 'http://mm.taobao.com/json/request_top_list.htm' self.tool = tool.Tool() #獲取索引頁(yè)面的內(nèi)容 def getPage(self,pageIndex): url = self.siteURL + "?page=" + str(pageIndex) request = urllib2.Request(url) response = urllib2.urlopen(request) return response.read().decode('gbk') #獲取索引界面所有MM的信息,list格式 def getContents(self,pageIndex): page = self.getPage(pageIndex) pattern = re.compile('<div.*?pic-word.*?<a href="(.*?)".*?<img src="(.*?)".*?<a class="lady-name.*?>(.*?)</a>.*?<strong>(.*?)</strong>.*?<span>(.*?)</span>',re.S) items = re.findall(pattern,page) contents = [] for item in items: contents.append([item[0],item[1],item[2],item[3],item[4]]) return contents #獲取MM個(gè)人詳情頁(yè)面 def getDetailPage(self,infoURL): response = urllib2.urlopen(infoURL) return response.read().decode('gbk') #獲取個(gè)人文字簡(jiǎn)介 def getBrief(self,page): pattern = re.compile('<div.*?>(.*?)<!--',re.S) result = re.search(pattern,page) return self.tool.replace(result.group(1)) #獲取頁(yè)面所有圖片 def getAllImg(self,page): pattern = re.compile('<div.*?>(.*?)<!--',re.S) #個(gè)人信息頁(yè)面所有代碼 content = re.search(pattern,page) #從代碼中提取圖片 patternImg = re.compile('<img.*?src="(.*?)"',re.S) images = re.findall(patternImg,content.group(1)) return images #保存多張寫(xiě)真圖片 def saveImgs(self,images,name): number = 1 print u"發(fā)現(xiàn)",name,u"共有",len(images),u"張照片" for imageURL in images: splitPath = imageURL.split('.') fTail = splitPath.pop() if len(fTail) > 3: fTail = "jpg" fileName = name + "/" + str(number) + "." + fTail self.saveImg(imageURL,fileName) number += 1 # 保存頭像 def saveIcon(self,iconURL,name): splitPath = iconURL.split('.') fTail = splitPath.pop() fileName = name + "/icon." + fTail self.saveImg(iconURL,fileName) #保存?zhèn)€人簡(jiǎn)介 def saveBrief(self,content,name): fileName = name + "/" + name + ".txt" f = open(fileName,"w+") print u"正在偷偷保存她的個(gè)人信息為",fileName f.write(content.encode('utf-8')) #傳入圖片地址,文件名,保存單張圖片 def saveImg(self,imageURL,fileName): u = urllib.urlopen(imageURL) data = u.read() f = open(fileName, 'wb') f.write(data) print u"正在悄悄保存她的一張圖片為",fileName f.close() #創(chuàng)建新目錄 def mkdir(self,path): path = path.strip() # 判斷路徑是否存在 # 存在 True # 不存在 False isExists=os.path.exists(path) # 判斷結(jié)果 if not isExists: # 如果不存在則創(chuàng)建目錄 print u"偷偷新建了名字叫做",path,u'的文件夾' # 創(chuàng)建目錄操作函數(shù) os.makedirs(path) return True else: # 如果目錄存在則不創(chuàng)建,并提示目錄已存在 print u"名為",path,'的文件夾已經(jīng)創(chuàng)建成功' return False #將一頁(yè)淘寶MM的信息保存起來(lái) def savePageInfo(self,pageIndex): #獲取第一頁(yè)淘寶MM列表 contents = self.getContents(pageIndex) for item in contents: #item[0]個(gè)人詳情URL,item[1]頭像URL,item[2]姓名,item[3]年齡,item[4]居住地 print u"發(fā)現(xiàn)一位模特,名字叫",item[2],u"芳齡",item[3],u",她在",item[4] print u"正在偷偷地保存",item[2],"的信息" print u"又意外地發(fā)現(xiàn)她的個(gè)人地址是",item[0] #個(gè)人詳情頁(yè)面的URL detailURL = item[0] #得到個(gè)人詳情頁(yè)面代碼 detailPage = self.getDetailPage(detailURL) #獲取個(gè)人簡(jiǎn)介 brief = self.getBrief(detailPage) #獲取所有圖片列表 images = self.getAllImg(detailPage) self.mkdir(item[2]) #保存?zhèn)€人簡(jiǎn)介 self.saveBrief(brief,item[2]) #保存頭像 self.saveIcon(item[1],item[2]) #保存圖片 self.saveImgs(images,item[2]) #傳入起止頁(yè)碼,獲取MM圖片 def savePagesInfo(self,start,end): for i in range(start,end+1): print u"正在偷偷尋找第",i,u"個(gè)地方,看看MM們?cè)诓辉?quot; self.savePageInfo(i) #傳入起止頁(yè)碼即可,在此傳入了2,10,表示抓取第2到10頁(yè)的MM spider = Spider() spider.savePagesInfo(2,10)
tool.py
__author__ = 'CQC' #-*- coding:utf-8 -*- import re #處理頁(yè)面標(biāo)簽類(lèi) class Tool: #去除img標(biāo)簽,1-7位空格, removeImg = re.compile('<img.*?>| {1,7}| ') #刪除超鏈接標(biāo)簽 removeAddr = re.compile('<a.*?>|</a>') #把換行的標(biāo)簽換為\n replaceLine = re.compile('<tr>|<div>|</div>|</p>') #將表格制表<td>替換為\t replaceTD= re.compile('<td>') #將換行符或雙換行符替換為\n replaceBR = re.compile('<br><br>|<br>') #將其余標(biāo)簽剔除 removeExtraTag = re.compile('<.*?>') #將多行空行刪除 removeNoneLine = re.compile('\n+') def replace(self,x): x = re.sub(self.removeImg,"",x) x = re.sub(self.removeAddr,"",x) x = re.sub(self.replaceLine,"\n",x) x = re.sub(self.replaceTD,"\t",x) x = re.sub(self.replaceBR,"\n",x) x = re.sub(self.removeExtraTag,"",x) x = re.sub(self.removeNoneLine,"\n",x) #strip()將前后多余內(nèi)容刪除 return x.strip()
以上兩個(gè)文件就是所有的代碼內(nèi)容,運(yùn)行一下試試看,那叫一個(gè)酸爽啊
看看文件夾里面有什么變化
感謝各位的閱讀!關(guān)于Python爬蟲(chóng)中獲取圖片的方法就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,讓大家可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò),可以把它分享出去讓更多的人看到吧!
網(wǎng)站名稱(chēng):Python爬蟲(chóng)中獲取圖片的方法
文章地址:http://bm7419.com/article24/jdejce.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供移動(dòng)網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站導(dǎo)航、自適應(yīng)網(wǎng)站、外貿(mào)建站、網(wǎng)站制作
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話(huà):028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)