Python怎么解析nginx日志-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

超過十年行業(yè)經(jīng)驗(yàn)，技術(shù)領(lǐng)先，服務(wù)至上的經(jīng)營模式，全靠網(wǎng)絡(luò)和口碑獲得客戶，為自己降低成本，也就是為客戶降低成本。到目前業(yè)務(wù)范圍包括了：成都做網(wǎng)站、網(wǎng)站建設(shè)，成都網(wǎng)站推廣，成都網(wǎng)站優(yōu)化，整體網(wǎng)絡(luò)托管，成都小程序開發(fā)，微信開發(fā)，App定制開發(fā)，同時(shí)也可以讓客戶的網(wǎng)站和網(wǎng)絡(luò)營銷和我們一樣獲得訂單和生意！

這篇文章運(yùn)用簡(jiǎn)單易懂的例子給大家介紹Python怎么解析nginx日志，代碼非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對(duì)大家能有所幫助。

Python項(xiàng)目的一個(gè)需求是解析nginx的日志文件，這里給出詳細(xì)過程解析。

日志規(guī)則描述

首先要明確自己的Nginx的日志格式，這里采用默認(rèn)Nginx日志格式：

log_format main '$remote_addr - $remote_user [$time_local] "$request" '
         '$status $body_bytes_sent "$http_referer" '
         '"$http_user_agent" "$http_x_forwarded_for"';

其中一條真實(shí)記錄樣例如下：

代碼如下:

172.22.8.207 - - [16/Dec/2014:17:57:35 +0800] "GET /report?DOmjjuS6keWJp+WculSQAgdUkAIPODExMzAwMDJDN0FC HTTP/1.1" 200 0 "-" "XXXXXXX/1.0.16; iPhone/iOS 8.1.2; ; 8DA77E2F91D0"

其中，客戶端型號(hào)信息用XXXXXXX代替。

項(xiàng)目中已經(jīng)按照業(yè)務(wù)規(guī)則對(duì)Nginx日志文件進(jìn)行了處理命名規(guī)則如下：

ID-ID-YYMMDD-hhmmss

并且所有的日志文件存放在統(tǒng)一路徑下。

解決思路

獲取所有日志文件path

這里使用Python的glob模塊來獲取日志文件path

import glob
def readfile(path):
  return glob.glob(path + '*-*-*-*')

獲取日志文件中每一行的內(nèi)容

使用Python的linecache模塊來獲取文件行的內(nèi)容

import linecache
 
 
def readline(path):
  return linecache.getlines(path)

注意：linecache模塊使用了緩存，所以存在以下問題：

在使用linecache模塊讀取文件內(nèi)容以后，如果文件發(fā)生了變化，那么需要使用linecache.updatecache(filename)來更新緩存，以獲取最新變化。

linecache模塊使用緩存，所以會(huì)耗費(fèi)內(nèi)存，耗費(fèi)量與要解析的文件相關(guān)。最好在使用完畢后執(zhí)行l(wèi)inecache.clearcache()清空一下緩存。

當(dāng)然，作為優(yōu)化，這里可以利用生成器來進(jìn)行優(yōu)化。暫且按下不表。

處理日志條目

一條日志信息就是一個(gè)特定格式的字符串，因此使用正則表達(dá)式來解析，這里使用Python的re模塊。

下面，一條一條建立規(guī)則：

規(guī)則

  ip = r"?P<ip>[\d.]*"
  date = r"?P<date>\d+"
  month = r"?P<month>\w+"
  year = r"?P<year>\d+"
  log_time = r"?P<time>\S+"
  method = r"?P<method>\S+"
  request = r"?P<request>\S+"
  status = r"?P<status>\d+"
  bodyBytesSent = r"?P<bodybytessent>\d+"
  refer = r"""?P<refer>
       [^\"]*
       """
  userAgent=r"""?P<useragent>
        .*
        """
</useragent></refer></bodybytessent></status></request></method></time></year></month></date></ip>

解析

代碼如下:

p = re.compile(r"(%s)\ -\ -\ \[(%s)/(%s)/(%s)\:(%s)\ [\S]+\]\ \"(%s)?[\s]?(%s)?.*?\"\ (%s)\ (%s)\
 \"(%s)\"\ \"(%s).*?\"" 
 %( ip, date, month, year, log_time, method, request, status, bodyBytesSent, refer, userAgent ),\
  re.VERBOSE)
m = re.findall(p, logline)

這樣，就可以得到日志條目中各個(gè)要素的原始數(shù)據(jù)。

格式及內(nèi)容轉(zhuǎn)化

得到日志原始數(shù)據(jù)之后，需要根據(jù)業(yè)務(wù)要求，對(duì)原始數(shù)據(jù)進(jìn)行格式及內(nèi)容轉(zhuǎn)化。

這里需要處理的內(nèi)容包括：時(shí)間，request，userAgent

時(shí)間格式轉(zhuǎn)化

在日志信息原始數(shù)據(jù)中存在Dec這樣的信息，利用Python的time模塊可以方便的進(jìn)行解析

import time
def parsetime(date, month, year, log_time):
  time_str = '%s%s%s %s' %(year, month, date, log_time)
  return time.strptime(time_str, '%Y%b%d %H:%M:%S')

解析request

在日志信息原始數(shù)據(jù)中得到的request的內(nèi)容格式為：

/report?XXXXXX

這里只需要根據(jù)協(xié)議取出XXXXXX即可。

這里仍然采用Python的re模塊

import re
def parserequest(rqst):
  param = r"?P<param>.*"
  p = re.compile(r"/report\?(%s)" %param, re.VERBOSE)
  return re.findall(p, rqst)

接下來需要根據(jù)業(yè)務(wù)協(xié)議解析參數(shù)內(nèi)容。這里需要先利用base64模塊解碼，然后再利用struct模塊解構(gòu)內(nèi)容：

import struct
import base64
def parseparam(param):
  decodeinfo = base64.b64decode(param)
  s = struct.Struct('!x' + bytes(len(decodeinfo) - (1 + 4 + 4 + 12)) + 'xii12x')
  return s.unpack(decodeinfo)

解析userAgent

在日志信息原始數(shù)據(jù)中userAgent數(shù)據(jù)的格式為：

XXX; XXX; XXX; XXX

根據(jù)業(yè)務(wù)要求，只需要取出最后一項(xiàng)即可。

這里采用re模塊來解析。

import re
def parseuseragent(useragent):
  agent = r"?P<agent>.*"
  p = re.compile(r".*;.*;.*;(%s)" %agent, re.VERBOSE)
  return re.findall(p, useragent)

至此，nginx日志文件解析基本完成。

剩下的工作就是根據(jù)業(yè)務(wù)需要，對(duì)獲得的基本信息進(jìn)行處理。

關(guān)于Python怎么解析nginx日志就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

分享標(biāo)題：Python怎么解析nginx日志-創(chuàng)新互聯(lián)
本文網(wǎng)址：http://bm7419.com/article18/ijcdp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、動(dòng)態(tài)網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、全網(wǎng)營銷推廣、Google、面包屑導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)