ELK(ElasticSearch+Logstash+Kibana)+redis日志收集分析系統(tǒng)

日志主要包括系統(tǒng)日志、應(yīng)用程序日志和安全日志。系統(tǒng)運維和開發(fā)人員可以通過日志了解服務(wù)器軟硬件信息、檢查配置過程中的錯誤及錯誤發(fā)生的原因。經(jīng)常分析日志可以了解服務(wù)器的負(fù)荷,性能安全性,從而及時采取措施糾正錯誤。

創(chuàng)新互聯(lián)憑借在網(wǎng)站建設(shè)、網(wǎng)站推廣領(lǐng)域領(lǐng)先的技術(shù)能力和多年的行業(yè)經(jīng)驗,為客戶提供超值的營銷型網(wǎng)站建設(shè)服務(wù),我們始終認(rèn)為:好的營銷型網(wǎng)站就是好的業(yè)務(wù)員。我們已成功為企業(yè)單位、個人等客戶提供了成都網(wǎng)站制作、成都網(wǎng)站建設(shè)服務(wù),以良好的商業(yè)信譽,完善的服務(wù)及深厚的技術(shù)力量處于同行領(lǐng)先地位。

通常,日志被分散的儲存不同的設(shè)備上。如果你管理數(shù)十上百臺服務(wù)器,你還在使用依次登錄每臺機器的傳統(tǒng)方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當(dāng)務(wù)之急我們使用集中化的日志管理,例如:開源的syslog,將所有服務(wù)器上的日志收集匯總。

集中化管理日志后,日志的統(tǒng)計和檢索又成為一件比較麻煩的事情,一般我們使用grep、awk和wc等Linux命令能實現(xiàn)檢索和統(tǒng)計,但是對于要求更高的查詢、排序和統(tǒng)計等要求和龐大的機器數(shù)量依然使用這樣的方法難免有點力不從心。

開源實時日志分析ELK平臺能夠完美的解決我們上述的問題,ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成。官方網(wǎng)站:https://www.elastic.co

Elasticsearch 是個開源分布式搜索引擎,它的特點有:分布式,零配置,自動發(fā)現(xiàn),索引自動分片,索引副本機制,restful風(fēng)格接口,多數(shù)據(jù)源,自動搜索負(fù)載等。

Logstash 是一個完全開源的工具,他可以對你的日志進行收集、分析,并將其存儲供以后使用(如,搜索)

kibana 也是一個開源和免費的工具,他Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以幫助您匯總、分析和搜索重要數(shù)據(jù)日志。

開源實時日志分析ELK平臺部署流程:

1、安裝Logstash依賴包JDK

 Logstash的運行依賴于Java運行環(huán)境, Logstash 1.5以上版本不低于java 7推薦使用最新版本的Java。由于我們只是運行Java程序,而不是開發(fā),下載JRE即可。首先,在Oracle官方下載新版jre,下 載地址:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

# tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/
設(shè)置環(huán)境變量 /etc/profile,添加一下代碼
  export JAVA_HOME=/usr/local/jdk1.8.0_45
  export PATH=$PATH:$JAVA_HOME/bin
  exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
 # source /etc/profile
測試是否安裝成功
 # java -version

2、安裝Logstash (日志收集、分析,并將其存儲供以后使用)

下載并安裝Logstash,安裝logstash只需將它解壓的對應(yīng)目錄即可,例如:/usr/local下:

下載地址https://www.elastic.co/downloads/logstash

  # https://download.elastic.co/logstash/logstash/logstash-2.4.0.tar.gz
  # tar –zxf logstash-2.4.0.tar.gz -C /usr/local/

安裝完成后運行如下命令啟動logstash:

  • 普通方式啟動

# logstash -e 'input { stdin { } } output { stdout {} }'
 Settings: Default pipeline workers: 2
 Pipeline main started
 等待輸入: hello world
 2016-09-06T06:22:50.326Z localhost.localdomain hello world 
 我們可以看到,我們輸入什么內(nèi)容logstash按照某種格式輸出,其中-e參數(shù)參數(shù)允許Logstash直接通過命令行接受設(shè)置。這點尤其快速的幫助我們反復(fù)的測試配置是否正確而不用寫配置文件。使用CTRL-C命令可以退出之前運行的Logstash。

 使用-e參數(shù)在命令行中指定配置是很常用的方式,不過如果需要配置更多設(shè)置則需要很長的內(nèi)容。

 這種情況,我們首先創(chuàng)建一個簡單的配置文件,并且指定logstash使用這個配置文件。

 例如:在logstash安裝目錄下創(chuàng)建一個“基本配置”測試文件logstash-test.conf,文件內(nèi)容如下:

 # cat logstash-test.conf
     input { stdin { }}
     output { stdout { codec=> rubydebug }}

  Logstash使用input和output定義收集日志時的輸入和輸出的相關(guān)配置,本例中input定義了一個叫"stdin"的input,output定義一個叫"stdout"的output。

 無論我們輸入什么字符,Logstash都會按照某種格式來返回我們輸入的字符,其中output被定義為"stdout"并使用了codec參數(shù)來指定logstash輸出格式。 

  • 開啟debug模式啟動

   使用logstash的-f參數(shù)來讀取配置文件然后啟動,執(zhí)行如下開始進行測試:(debug方式啟動)

# /usr/local/logstash-2.3.4/bin/logstash agent -f /usr/local/logstash-2.3.4/conf/logstash-test.conf
   Logstash startup completed
   Tue Jul 14 18:07:07 EDT 2015 hello World   #該行是執(zhí)行echo “`date`hello World” 后輸出的結(jié)果,直接粘貼到該位置,然后會輸出下面結(jié)果
    {
         "message" => "Tue Sep  6 14:25:52 CST 2016 hello world",
         "@version" => "1",
         "@timestamp" => "2016-09-06T06:26:31.270Z",
         "host" => "localhost.localdomain"
     }

2.1、logstash輸出信息到redis數(shù)據(jù)庫中

 剛才我們是將信息直接顯示在屏幕上了,現(xiàn)在我們將logstash的輸出信息保存到redis數(shù)據(jù)庫中,

  logstash輸出信息存儲到redis數(shù)據(jù)庫中,redis其實就充當(dāng)一個消息隊列,并不作為存儲,等待elasticsearch的消費

  前提是本地安裝有redis數(shù)據(jù)庫,那么下一步我們就是安裝redis數(shù)據(jù)庫.

# cat /usr/local/logstash-2.3.4/conf/logstash_index_redis.conf  將信息存儲到redis
      input { stdin { } }
      output {
          stdout { codec => rubydebug }
          redis {
              host => '10.2.8.45'
              port => 6379
              data_type => 'list'
              key => 'logstash'
          }
      }

  logstash的默認(rèn)端口號9301

   # netstat -tnlp |grep 9301

    服務(wù)端的redis收集日志配置文件

# cat logstash_index_redis.conf 從redis讀取信息,并且發(fā)送到elasticsearch
  input {                       
      redis {
          host => "10.2.8.45"
          port => 6379
          data_type => "list"
          key => "logstash"
          codec => "json"
      }
  }
  output {
      stdout { codec => rubydebug }
      elasticsearch { hosts => "10.2.8.45" }
  }

 客戶端將收集的信息存儲到redis的配置文件

# cat logstash_agent.conf
  input {
      file {
          path => [ "/var/log/messages", "/var/log/*.log" ]
          type => "system"
          start_position => beginning
      }
  }
  output {
      stdout { codec => rubydebug }
      redis {
          host => "10.2.8.45"
          port => 6379
          data_type => "list"
          key => "logstash"
      }
  #    elasticsearch { hosts => "10.2.8.45" }
  }

3、安裝Elasticsearch   

 下載地址 https://www.elastic.co/downloads/elasticsearch

 建立啟動elasticsearch的普通用戶(默認(rèn)情況下不能使root用戶啟動elasticsearch)

# groupadd elk
# useradd elasticsearch -g elk

 安裝

 # tar zxvf https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.4.0/elasticsearch-2.4.0.tar.gz -C /usr/local/
 # 修改配置文件 /usr/local/elasticsearch-2.3.5/config/elasticsearch.yml
   network.host: 10.2.8.45   # 端口綁定ip地址
   http.port: 9200

 啟動(注意! 默認(rèn)是不能使用root用戶啟動,要使用普通用戶)

# su - elasticsearch
# nohup /usr/local/elasticsearch-2.3.5/bin/elasticsearch > nohup &
# netstat -anp |grep :9200
# curl http://localhost:9200  #查看當(dāng)前elastcisearch狀態(tài)

 接下來我們在logstash安裝目錄下創(chuàng)建一個用于測試logstash使用elasticsearch作為logstash的后端的測試文件logstash_elasticsearch.conf,

 該文件中定義了stdout和elasticsearch作為output,這樣的“多重輸出”即保證輸出結(jié)果顯示到屏幕上,同時也輸出到elastisearch中。

 # cat /user/local/logstash-2.3.4/conf.d/logstash_elasticsearch.conf
   input { stdin { } }   # 手動輸入內(nèi)容
   output {
      elasticsearch {hosts => "localhost" } # 輸出到elasticsearch
      stdout { codec=> rubydebug }         # 輸出到屏幕上
   }

執(zhí)行如下命令

# logstash agent -f /user/local/logstash-2.3.4/conf.d/logstash_elasticsearch.conf
 hello logstash  # 輸入
 輸出如下結(jié)果
   {
      "message" => "hello logstash",
      "@version" => "1",
      "@timestamp" => "2016-09-06T06:49:39.654Z",
      "host" => "localhost.localdomain"
   }

我們可以使用curl命令發(fā)送請求來查看ES是否接收到了數(shù)據(jù):

# curl http://localhost:9200/_search?pretty

ELK(ElasticSearch+Logstash+Kibana)+redis日志收集分析系統(tǒng)

ELK(ElasticSearch+Logstash+Kibana)+redis日志收集分析系統(tǒng)

至此,已經(jīng)成功利用Elasticsearch和Logstash來收集日志數(shù)據(jù)了

3.1、安裝elasticsearch插件

  Elasticsearch-kopf插件可以查詢Elasticsearch中的數(shù)據(jù),安裝elasticsearch-kopf,只要在你安裝Elasticsearch的目錄中執(zhí)行以下命令即可:

# cd /usr/local/elasticsearch-2.3.5/bin
# ./plugin install lmenezes/elasticsearch-kopf
執(zhí)行插件安裝后會提示失敗,很有可能是網(wǎng)絡(luò)等情況..
若下載失敗可以手動下載該軟件,不通過插件安裝命令...
 # cd /usr/local/elasticsearch-2.3.5/plugins
 # wget https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip
 # unzip master.zip
 # mv elasticsearch-kopf-master kopf
安裝完成后在plugins目錄下可以看到 kopf 目錄
瀏覽器訪問kopf頁面訪問elasticsearch保存的數(shù)據(jù) http://10.2.8.45:9200/_plugin/kopf/

4、安裝Kibana

# wget https://download.elastic.co/kibana/kibana/kibana-4.6.0-linux-x86_64.tar.gz
修改配置文件 /usr/local/kibana-4.6.0-linux-x86_64/config/kibana.yml
    elasticsearch.url: "
 啟動(后臺啟動)
   # nohup /usr/local/kibana-4.6.0-linux-x86_64/bin/kibana > nohup.out &
 默認(rèn)端口 5601 
   # netstat -tnlp |grep 5601
ELK默認(rèn)端口
logstash  9301
elasticsearch  9200 9300
kibana   5601

瀏覽器訪問 http://10.2.8.45:5601

 頁面錯誤提示: 

1、This version of Kibana requires Elasticsearch ^2.4.0 on all nodes. I found the following incompatible nodes in your cluster: Elasticsearch v2.3.5 @ 10.2.8.45:9200 (10.2.8.45)
   說明是Kibana版本和elasticsearch的版本不匹配,查看官網(wǎng),安裝匹配版本
2、unable to fetch mapping. 這就說明logstash沒有把日志寫入到elasticsearch。
   檢查logstash與elasticsearch之間的通訊是否有問題,一般問題就在這。修改完成后重啟應(yīng)用

使用 http://kibanaServerIP:5601訪問Kibana,登錄后,首先,配置一個索引,默認(rèn),Kibana的數(shù)據(jù)被指向Elasticsearch,使用默認(rèn)的logstash-*的索引名稱,并且是基于時間的,點擊“Create”即可

然后點擊“Discover”,可以搜索和瀏覽Elasticsearch中的數(shù)據(jù),默認(rèn)搜索的是最近15分鐘的數(shù)據(jù)。可以自定義選擇時間。

到此,說明你的ELK平臺安裝部署完成。

ELK(ElasticSearch+Logstash+Kibana)+redis日志收集分析系統(tǒng)

ELK(ElasticSearch+Logstash+Kibana)+redis日志收集分析系統(tǒng)

客戶端安裝

客戶端只需要安裝logstash即可,安裝方法如上12(必須要安裝jdk)

然后在/usr/local/logstash-2.3.4/conf/添加logstash_agent.conf配置文件(可按需修改)

# cat logstash_agent.conf
  input {
      file {
          path => [ "/var/log/messages", "/var/log/*.log" ]  # 要收集的日志文件
          type => "system"                 # 自定義類型,會在kibana中顯示
          start_position => beginning
      }
  }
  output {
      stdout { codec => rubydebug }
      redis {
          host => "10.2.8.45"
          port => 6379
          data_type => "list"
          key => "logstash"
      }
  #    elasticsearch { hosts => "10.2.8.45" }
  }
后臺運行
 # nohup /usr/local/logstash-2.3.4/bin/logstash agent -f /usr/local/logstash-2.3.4/conf/logstash_agent.conf > /usr/local/logstash-2.3.4/logstash.log 2>&1 &
查看進程
 # ps -ef|grep java

網(wǎng)頁名稱:ELK(ElasticSearch+Logstash+Kibana)+redis日志收集分析系統(tǒng)
文章路徑:http://bm7419.com/article12/ijhedc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供定制網(wǎng)站、搜索引擎優(yōu)化、自適應(yīng)網(wǎng)站、手機網(wǎng)站建設(shè)網(wǎng)站內(nèi)鏈、網(wǎng)站策劃

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都網(wǎng)站建設(shè)公司