Centos7.3搭建EFK日志分析的步驟-創(chuàng)新互聯(lián)

EFK 不是一個(gè)軟件，而是一套解決方案。EFK 是三個(gè)開(kāi)源軟件的縮寫，Elasticsearch，F(xiàn)ileBeat，Kibana。其中 ELasticsearch 負(fù)責(zé)日志分析和存儲(chǔ)，F(xiàn)ileBeat 負(fù)責(zé)日志收集，Kibana 負(fù)責(zé)界面展示。它們之間互相配合使用，完美銜接，高效的滿足了很多場(chǎng)合的應(yīng)用，是目前主流的一種日志分析系統(tǒng)解決方案。
EFK 和 ELK 只有一個(gè)區(qū)別， 收集日志的組件由 Logstash 替換成了 FileBeat，因?yàn)?Filebeat 相對(duì)于 Logstash 來(lái)說(shuō)有2個(gè)好處：

創(chuàng)新互聯(lián)建站"三網(wǎng)合一"的企業(yè)建站思路。企業(yè)可建設(shè)擁有電腦版、微信版、手機(jī)版的企業(yè)網(wǎng)站。實(shí)現(xiàn)跨屏營(yíng)銷，產(chǎn)品發(fā)布一步更新，電腦網(wǎng)絡(luò)+移動(dòng)網(wǎng)絡(luò)一網(wǎng)打盡，滿足企業(yè)的營(yíng)銷需求！創(chuàng)新互聯(lián)建站具備承接各種類型的成都網(wǎng)站制作、網(wǎng)站建設(shè)項(xiàng)目的能力。經(jīng)過(guò)10余年的努力的開(kāi)拓，為不同行業(yè)的企事業(yè)單位提供了優(yōu)質(zhì)的服務(wù)，并獲得了客戶的一致好評(píng)。

1、侵入低，無(wú)需修改 elasticsearch 和 kibana 的配置；
2、性能高，IO 占用率比 logstash 小太多；

ELK可參考：https://blog.51cto.com/14227204/2442249
當(dāng)然 Logstash 相比于 FileBeat 也有一定的優(yōu)勢(shì)，比如 Logstash 對(duì)于日志的格式化處理能力，F(xiàn)ileBeat 只是將日志從日志文件中讀取出來(lái)，當(dāng)然如果收集的日志本身是有一定格式的，F(xiàn)ileBeat 也可以格式化，但是相對(duì)于Logstash 來(lái)說(shuō)，效果差很多。

Filebeat 隸屬于 Beats。目前 Beats 包含六種工具：

• Packetbeat（搜集網(wǎng)絡(luò)流量數(shù)據(jù)）
• Metricbeat（搜集系統(tǒng)、進(jìn)程和文件系統(tǒng)級(jí)別的 CPU 和內(nèi)存使用情況等數(shù)據(jù)）
• Filebeat（搜集文件數(shù)據(jù)）
• Winlogbeat（搜集 Windows 事件日志數(shù)據(jù)）
• Auditbeat（ 輕量型審計(jì)日志采集器）
• Heartbeat（輕量級(jí)服務(wù)器健康采集器）

另外，EFK 系統(tǒng)下的各個(gè)組件都非常吃內(nèi)存，后期根據(jù)業(yè)務(wù)需要，EFK 的架構(gòu)可進(jìn)行擴(kuò)展，當(dāng) FileBeat 收集的日志越來(lái)越多時(shí)，為防止數(shù)據(jù)丟失，可引入 Redis，而 ElasticSearch 也可擴(kuò)展為集群，并使用 Head 插件進(jìn)行管理， 所以要保證服務(wù)器有充足的運(yùn)行內(nèi)存和磁盤空間。
一、開(kāi)始部署
1、安裝elasticsearch：

[root@localhost /]# mkdir efk       # 個(gè)人習(xí)慣
[root@localhost /]# cd efk/
[root@localhost efk]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz
[root@localhost efk]# tar zxf elasticsearch-6.2.4.tar.gz -C /usr/local/
[root@localhost efk]# cd /usr/local/
[root@localhost /]# useradd es
[root@localhost local]# mv elasticsearch-6.2.4/ es/
[root@localhost local]# sed -i 's/#network.host: 192.168.0.1/network.host: 0.0.0.0/g' /usr/local/es/config/elasticsearch.yml 
[root@localhost local]# sed -i 's/#http.port: 9200/http.port: 9200/g' /usr/local/es/config/elasticsearch.yml 
[root@localhost local]# su es     # 切換用戶啟動(dòng)服務(wù)
[es@localhost local]$ /usr/local/es/bin/elasticsearch -d   # 服務(wù)后臺(tái)運(yùn)行 

如果遇到錯(cuò)誤：max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]

[root@localhost local]# echo '* soft nofile 819200' >> /etc/security/limits.conf
[root@localhost local]# echo '* hard nofile 819200' >> /etc/security/limits.conf 
[root@localhost local]# echo '* soft nproc 2048' >> /etc/security/limits.conf 
[root@localhost local]# echo '* hard nproc 4096' >> /etc/security/limits.conf 
[root@localhost local]# echo 'vm.max_map_count=655360' >> /etc/sysctl.conf 
[root@localhost local]# sysctl -p
vm.max_map_count = 655360

2、安裝kibana：

[root@localhost local]# cd /efk/
[root@localhost efk]# wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-linux-x86_64.tar.gz
[root@localhost local]# mv kibana-6.2.4-linux-x86_64/ kibana/
[root@localhost local]# sed -i 's/#kibana.index: ".kibana"/kibana.index: ".kibana"/g' /usr/local/kibana/config/kibana.yml 
[root@localhost local]# sed -i 's/#server.port: 5601/server.port 5601/g' /usr/local/kibana/config/kibana.yml 
[root@localhost local]# sed -i 's/#server.host: "localhost"/server.host "0.0.0.0"/g' /usr/local/kibana/config/kibana.yml 
[root@localhost local]# sed -i 's/#elasticsearch.url: "http://localhost:9200"/elasticsearch.url: "http://localhost:9200"/g' /usr/local/kibana/config/kibana.yml 
[root@localhost /]# /usr/local/kibana/bin/kibana &

3、安裝filebeat：

[root@localhost /]# cd /efk/
[root@localhost efk]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.4-linux-x86_64.tar.gz
[root@localhost efk]# tar zxf filebeat-6.2.4-linux-x86_64.tar.gz -C /usr/local/
[root@localhost local]# mv filebeat-6.2.4-linux-x86_64/ filebeat/
[root@localhost local]# vim /usr/local/filebeat/filebeat.yml
#找到如下類似內(nèi)容進(jìn)行修改
filebeat.prospectors:
- type: log
enabled: true
 paths:
   - /etc/httpd/logs/*_log            # 指定日志文件存放位置
multiline.pattern: ^\[
multiline.negate: true
multiline.match: after
setup.kibana:
     host: 192.168.171.134
output.elasticsearch:
  hosts: ["192.168.171.134:9200"]
#配置一定要注意格式，是以2個(gè)空格為子級(jí)，里面的配置都在配置文件中，列出來(lái)的只是
要修改的部分，enabled默認(rèn)為false，需要改成true才會(huì)收集日志。其中/var/xxx/*.log修改
為自己的日志路徑，注意-后面有一個(gè)空格，
如果多個(gè)路徑則添加一行，一定要注意新行前面的4個(gè)空格，multiline開(kāi)頭的幾個(gè)配置取消
注釋就行了，是為了兼容多行日志的情況，setup.kibana中的host取消注釋，根據(jù)實(shí)際情
況配置地址，output.elasticsearch中的host也一樣，根據(jù)實(shí)際情況配置
[root@localhost local]# ./filebeat/filebeat -c /usr/local/filebeat/filebeat.yml       # 啟動(dòng)服務(wù)

二、配置Kibana
瀏覽器訪問(wèn)：



至此EFK就搭建完畢了，可以點(diǎn)擊descover來(lái)查看信息

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前文章：Centos7.3搭建EFK日志分析的步驟-創(chuàng)新互聯(lián)
當(dāng)前地址：http://bm7419.com/article28/ihijp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、虛擬主機(jī)、網(wǎng)站排名、微信小程序、建站公司、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)