ELK集群部署---Zookeeper，Kafka集群的部署-創(chuàng)新互聯(lián)

1.? 環(huán)境規(guī)劃：

創(chuàng)新互聯(lián)從2013年創(chuàng)立，是專(zhuān)業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站建設(shè)、網(wǎng)站建設(shè)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元二道做網(wǎng)站,已為上家服務(wù),為二道各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:13518219792

主機(jī)名	IP地址	角色
node1	192.168.56.111	ElasticSearch(master) Zookeeper Kafka
node2	192.168.56.112	ElasticSearch(slave) Kibana Zookeeper Kafka
node3	192.168.56.113	ElasticSearch(slave) Zookeeper Kafka
node4	192.168.56.114	Logstash Filebeat

2.? 配置Zookeeper集群：

? 1>.? 安裝zookeeper：三個(gè)節(jié)點(diǎn)操作一致。

[root@node1 ~]# mkdir /data/

[root@node1 ~]# tar xf zookeeper-3.4.10.tar.gz -C /data/

[root@node1 ~]# cd /data

[root@node1 data]# ln -sv zookeeper-3.4.10/ zookeeper
'zookeeper' ->'zookeeper-3.4.10/'

2>.? 配置zookeeper，三個(gè)節(jié)點(diǎn)都要配置：

[root@node1 data]# cd zookeeper/conf

[root@node1 conf]# cp zoo_sample.cfg zoo.cfg

[root@node1 conf]# vim zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/data
clientPort=2181  ##zookeeper連接端口
server.1=192.168.56.111:2888:3888
server.2=192.168.56.112:2888:3888 
server.3=192.168.56.113:2888:3888

[root@node1 ~]# mkdir /data/zookeeper/data 

[root@node1 ~]# echo 1 >/data/zookeeper/data/myid

[root@node2 ~]# echo 2 >/data/zookeeper/data/myid

[root@node3 ~]# echo 3 >/data/zookeeper/data/myid

注意：server.id=host:port:port，其中id為1-255，2888是集群間通訊的端口，3888為L(zhǎng)eader

選舉的端口。

? 3>.? 啟動(dòng)zookeeper：三個(gè)節(jié)點(diǎn)同時(shí)操作。

[root@node1 ~]# cd /data/zookeeper/bin/

[root@node1 bin]# ./zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

? 4>.? 查看各個(gè)節(jié)點(diǎn)zookeeper狀態(tài)：

[root@node1 bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Mode: follower

[root@node2 bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Mode: leader

[root@node3 bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Mode: follower

3.? 配置Kafka集群：

? 1>. 安裝kafka：三個(gè)節(jié)點(diǎn)操作一致。

[root@node1 ~]# tar xf kafka_2.12-2.6.0.tgz -C /data/ 

[root@node1 ~]# cd /data/ 

[root@node1 data]# ln -sv kafka_2.12-2.6.0/ kafka 
'kafka' ->'kafka_2.12-2.6.0/'

? 2>.? 配置kafka：三個(gè)節(jié)點(diǎn)都要操作。

[root@node1 data]# cd kafka/config/

[root@node1 config]# cp server.properties{,.bak}

[root@node1 config]# vim server.properties

broker.id=1  ##zookeeper myid
delete.topic.enable=true
listeners=PLAINTEXT://192.168.56.111:9092  ##修改成本機(jī)地址
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kafka-logs
num.partitions=3
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.56.111:2181,192.168.56.112:2181,192.168.56.113:2181  ##配置zookeeper集群
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

? 3>.? 啟動(dòng)Kafka：三個(gè)節(jié)點(diǎn)都要操作。

[root@node1 ~]# cd /data/kafka/bin/

[root@node1 bin]# ./kafka-server-start.sh -daemon /data/kafka/config/server.properties

##停止kafka
[root@node1 bin]# ./kafka-server-stop.sh

? 4>.? 測(cè)試kafka：

## 創(chuàng)建一個(gè)名為"test"的topic，它有一個(gè)分區(qū)和一個(gè)副本： 
[root@node1 kafka]# bin/kafka-topics.sh --create --zookeeper 192.168.56.111:2181,192.168.56.112:2181,192.168.56.113:2181 --replication-factor 1 --partitions 1 --topic test 
Created topic test.

## 查看topic是否創(chuàng)建成功：
[root@node1 kafka]# bin/kafka-topics.sh --list --zookeeper 192.168.56.111:2181,192.168.56.112:2181,192.168.56.113:2181
test

## 運(yùn)行一個(gè)producer，發(fā)布消息：ctrl+d結(jié)束消息發(fā)布
[root@node1 kafka]# bin/kafka-console-producer.sh --broker-list 192.168.56.111:9092 --topic test
>hello world1
hello world2>## 運(yùn)行一個(gè)consumer，訂閱主題看看是否可以收到消息：另一個(gè)節(jié)點(diǎn)測(cè)試
[root@node2 kafka]# bin/kafka-console-consumer.sh --bootstrap-server 192.168.56.112:9092 --topic test --from-beginning
hello world1
hello world2

##刪除主題：
[root@node1 kafka]# bin/kafka-topics.sh --delete --zookeeper 192.168.56.111:2181,192.168.56.112:2181,192.168.56.113:2181 --topic test

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級(jí)服務(wù)器適合批量采購(gòu)，新人活動(dòng)首月15元起，快前往官網(wǎng)查看詳情吧

新聞標(biāo)題：ELK集群部署---Zookeeper，Kafka集群的部署-創(chuàng)新互聯(lián)
本文來(lái)源：http://bm7419.com/article28/hspjp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、Google、網(wǎng)頁(yè)設(shè)計(jì)公司、自適應(yīng)網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)