tar xvf jdk1.8.0_231.tar.gz -C /usr/local && cd /usr/local
ln -sv jdk1.8.0_231 jdk
vim /etc/profile.d/java.sh
JAVA_HOME=/usr/local/jdk
PATH=$JAVA_HOME/bin:$PATH
vim /usr/local/kafka/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
clientPort=2181
maxClientCnxns=0
# 集群版的zookeeper添加如下配置
# server.1=ip1:2888:3888
# server.2=ip2:2888:3888
# server.3=ip3:28888:3888
wget https://archive.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz
tar xvf kafka_2.11-0.10.2.1.tgz -C /usr/local && cd /usr/local
ln -sv kafka_2.11-0.10.2.1.tgz kafka
vim /usr/local/kafka/bin/kafka-server-start.sh
export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G"
/usr/local/kafka/bin/zookeeper-server-start.sh -deamon /usr/local/kafka/conf/zookeeper.properties
/usr/local/kafka/bin/kafka-server-start.sh -deamon /usr/local/kafka/conf/server.properties
/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/conf/server.properties
/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/conf/zookeeper.properties
/usr/local/zookeeper/bin/zkServer.sh stop|stop
需要一個(gè)解析到內(nèi)網(wǎng)ip地址的域名,內(nèi)網(wǎng)環(huán)境也可以設(shè)置/etc/hosts
成都創(chuàng)新互聯(lián)堅(jiān)持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:成都做網(wǎng)站、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時(shí)代的欽南網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!
host.name=kafka.test.com(對(duì)應(yīng)的域名解析需要解到內(nèi)網(wǎng)ip)
高版本已棄用。低版本0.10.2.1可以用, 僅當(dāng)listeners屬性未配置時(shí)被使用,已用listeners屬性代替。表示broker的hostname
advertised.listeners=PLAINTEXT://kafka.test.com:9092(高版本用,替代host.name,設(shè)置了advertised.listeners不用設(shè)置host.name)
注冊(cè)到zookeeper上并提供給客戶端的監(jiān)聽(tīng)器,如果沒(méi)有配置則使用listeners。
advertised.host.name(不需要設(shè)置,僅作參考)
已棄用。僅當(dāng)advertised.listeners或者listeners屬性未配置時(shí)被使用。官網(wǎng)建議使用advertised.listeners
listeners(不需要設(shè)置,僅作參考)
需要監(jiān)聽(tīng)的URL和協(xié)議,如:PLAINTEXT://myhost:9092,SSL://:9091 CLIENT://0.0.0.0:9092,REPLICATION://localhost:9093。如果未指定該配置,則使用java.net.InetAddress.getCanonicalHostName()函數(shù)的的返回值
[內(nèi)網(wǎng)ip] kafka.test.com
[外網(wǎng)ip] kafka.test.com
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list IP:9092 --topic TOPIC
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server IP:9092 --topic TOPIC--from-beginning --max-messages 1
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 外網(wǎng)IP:9092 --topic TOPIC --from-beginning --max-messages 1
output {
stdout { codec => rubydebug { metadata => true } }
}
a、topics_pattern 通配問(wèn)題".* ","."一定不能少
topics_pattern=>"prefix-.*"
b、filter中匹配規(guī)則,注意要能匹配到kafka中topic,不同的filebeat和不同的logstash版本對(duì)應(yīng)的topic元數(shù)據(jù)可能不太一樣,這點(diǎn)需要注意
if [type] =~ "prefix-*" {
grok { match =>["[type]","^prefix-(?<index_name>)"] }
}
if [kafka][topic] =~ "prefix-*" {
grok { match => [ "[kafka][topic]", "^prefix-(?<index_name>.*$)" ]}
}
if [@metadata][topic] =~ "prefix-*" {
grok { match =>["[@metadata][topic]","^prefix-(?<index_name>)"] }
}
if [@metadata][kafka][topic] =~ "prefix-*" {
grok { match => [ "[@metadata][kafka][topic]", "^prefix-(?<index_name>.*$)" ]}
}
外網(wǎng)kakfa消費(fèi)參考:https://www.maiyewang.com/archives/17993
新聞標(biāo)題:安裝kafka并設(shè)置通過(guò)外網(wǎng)ip訪問(wèn)
路徑分享:http://bm7419.com/article12/gijedc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供小程序開(kāi)發(fā)、、網(wǎng)站內(nèi)鏈、企業(yè)網(wǎng)站制作、外貿(mào)網(wǎng)站建設(shè)、建站公司
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
移動(dòng)網(wǎng)站建設(shè)知識(shí)