怎么用Python抓包工具查看周邊拼車情況

本篇內(nèi)容主要講解“怎么用Python抓包工具查看周邊拼車情況”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“怎么用Python抓包工具查看周邊拼車情況”吧!

專業(yè)領域包括網(wǎng)站建設、成都網(wǎng)站建設、購物商城網(wǎng)站建設、微信營銷、系統(tǒng)平臺開發(fā), 與其他網(wǎng)站設計及系統(tǒng)開發(fā)公司不同,創(chuàng)新互聯(lián)建站的整合解決方案結合了幫做網(wǎng)絡品牌建設經(jīng)驗和互聯(lián)網(wǎng)整合營銷的理念,并將策略和執(zhí)行緊密結合,為客戶提供全網(wǎng)互聯(lián)網(wǎng)整合方案。

知己知彼,百戰(zhàn)不殆

對于APP類的爬蟲,首先想到的就是抓包,macOS下常用的就是Charles和mitmproxy這兩款工具了,而mitmproxy由于支持攔截和腳本又深得我愛,用法的話這里就不具體展開介紹了。

啟動mitmweb(mitmproxy家那個有頁面的兄弟)抓包工具,手機上打開某拼車APP客戶端,查看附近訂單(已提前認證車主,并切換到車主身份)

怎么用Python抓包工具查看周邊拼車情況

對應一下就可以發(fā)現(xiàn),查詢附近訂單的接口URL就是這個getNearbyBookingRideList,于是我很天真地就拿著這個接口,和抓包數(shù)據(jù),就去請求了

怎么用Python抓包工具查看周邊拼車情況

結果人家告訴我

{“code”:205,”message”:”簽名錯誤!”}

因為客戶端APP有個簽名算法,根據(jù)POST給服務器的參數(shù)計算的,除非我破了人家APP,然后把算法給找出來,想想還是算了,費神費力(主要是我壓根不會)!

這個法子行不通,只能換個法子了

神器在手,天下我有

前面提到mitmproxy有個帶web界面的兄弟叫mitmweb,其實還有一個支持腳本的兄弟叫mitmdump,寫好腳本

import json
def response(flow):
# 這個別問為啥了,必須這么寫
   url = 'http://jiaruwoshiurl.com'
   if url in flow.request.url:
       text = json.loads(flow.response.content)
       print(text)

把腳本存為 111.py,然后終端執(zhí)行命令:

mitmdump -s 111.py -p 8080 剩下要做的就是不斷去某拼車APP上劃幾下,至于數(shù)據(jù)那塊,就交給Dump兄弟就好了

嗯,看到了嘛~想看哪,手指就滑哪,越滑越有!

怎么用Python抓包工具查看周邊拼車情況

再接下來就是需要把我們抓到的數(shù)據(jù)存起來,以備后期使用,這里我用的是MongoDB,雖然也是第一次用,為了方便點,另外寫了個插入數(shù)據(jù)的方法,再在爬蟲文件里面調(diào)用。

import pymongo
def insert_nearbyroute(info):
   client = pymongo.MongoClient('127.0.0.1', 27017)
   # 連接數(shù)據(jù)庫
   db = client.dida
   # 選擇dida這個數(shù)據(jù)庫
   nearbyroute_collection = db.nearby
   # 選擇集合,不存在的話自動創(chuàng)建(對應MySQL的表概念)
   nearbyroute_collection.update({:info['id']}, info, True)
   # 插入數(shù)據(jù),我這里用的是更新語句,意思是如果id已經(jīng)存在的話,就不執(zhí)行該條數(shù)據(jù)的插入動作,可以有效去重

再到我們數(shù)據(jù)庫看看,已經(jīng)碩果累累了,不夠的話就再多滑幾下。

怎么用Python抓包工具查看周邊拼車情況

數(shù)據(jù)抓取的思路大概就是這樣,因為沒時間搗鼓所以就沒上APP自動化,其實可以搞個 模擬器+按鍵精靈,或者appium,就是太懶了怕麻煩,上班的時候劃一劃就當運動了

數(shù)據(jù)展示

時間問題,暫時沒做數(shù)據(jù)分析,不過數(shù)據(jù)挺干凈的,也不需要處理啥 關鍵字Mongodb、Pandas、Pyecharts 拿了周六杭州跨城順風車數(shù)據(jù)結合阿里云的DataV做了個簡單的飛線圖,會動的那種,點擊閱讀原文可以查看動圖。

怎么用Python抓包工具查看周邊拼車情況

到此,相信大家對“怎么用Python抓包工具查看周邊拼車情況”有了更深的了解,不妨來實際操作一番吧!這里是創(chuàng)新互聯(lián)網(wǎng)站,更多相關內(nèi)容可以進入相關頻道進行查詢,關注我們,繼續(xù)學習!

文章標題:怎么用Python抓包工具查看周邊拼車情況
網(wǎng)站網(wǎng)址:http://bm7419.com/article12/jdisdc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供建站公司、標簽優(yōu)化、微信公眾號企業(yè)網(wǎng)站制作、面包屑導航、商城網(wǎng)站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)

手機網(wǎng)站建設