Kafka的安裝教程

這篇文章主要介紹“Kafka的安裝教程”，在日常操作中，相信很多人在Kafka的安裝教程問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對(duì)大家解答”Kafka的安裝教程”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

創(chuàng)新互聯(lián)專注于惠民網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供惠民營銷型網(wǎng)站建設(shè)，惠民網(wǎng)站制作、惠民網(wǎng)頁設(shè)計(jì)、惠民網(wǎng)站官網(wǎng)定制、小程序設(shè)計(jì)服務(wù)，打造惠民網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供惠民網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

1.Kafka基本術(shù)語
Producer ：消息生產(chǎn)者，就是向kafka broker發(fā)消息的客戶端
Consumer ：消息消費(fèi)者，向kafka broker取消息的客戶端
Topic ：話題，可以理解為一個(gè)隊(duì)列
Consumer Group （CG）：這是kafka用來實(shí)現(xiàn)一個(gè)topic消息的廣播（發(fā)給所有的consumer）和單播（發(fā)給任意一個(gè)consumer）的手段。一個(gè)topic可以有多個(gè)CG。topic的消息會(huì)復(fù)制（不是真的復(fù)制，是概念上的）到所有的CG，但每個(gè)CG只會(huì)把消息發(fā)給該CG中的一個(gè)consumer。如果需要實(shí)現(xiàn)廣播，只要每個(gè)consumer有一個(gè)獨(dú)立的CG就可以了。要實(shí)現(xiàn)單播只要所有的consumer在同一個(gè)CG。用CG還可以將consumer進(jìn)行自由的分組而不需要多次發(fā)送消息到不同的topic。
Broker ：一臺(tái)kafka服務(wù)器就是一個(gè)broker。一個(gè)集群由多個(gè)broker組成。一個(gè)broker可以容納多個(gè)topic。
Partition：為了實(shí)現(xiàn)擴(kuò)展性，一個(gè)非常大的topic可以分布到多個(gè)broker（即服務(wù)器）上，一個(gè)topic可以分為多個(gè)partition，每個(gè)partition是一個(gè)有序的隊(duì)列。 partition中的每條消息都會(huì)被分配一個(gè)有序的id（offset）。 kafka只保證按一個(gè)partition中的順序?qū)⑾l(fā)給consumer，不保證一個(gè)topic的整體（多個(gè)partition間）的順序。
Offset：kafka的存儲(chǔ)文件都是按照offset.kafka來命名，用offset做名字的好處是方便查找。例如你想找位于2049的位置，只要找到2048.kafka的文件即可。當(dāng)然the first offset就是00000000000.kafka

2.安裝Kafka
## 下載
[grid@hadoop4 ~]$ wget http://mirrors.cnnic.cn/apache/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz
[grid@hadoop4 ~]$ tar -zxf kafka_2.11-0.8.2.1.tgz

## 修改$KAFKA_HOME/config/server.properties
[grid@hadoop4 ~]$ cd kafka_2.11-0.8.2.1
[grid@hadoop4 kafka_2.11-0.8.2.1]$ vim config/server.properties
## 主要是修改以下幾項(xiàng)配置：broker.id、port、host.name、log.dirs、zookeeper.connect
## zookeeper集群的安裝請(qǐng)參考http://my.oschina.net/zc741520/blog/399233

3.Kafka基本命令
啟動(dòng)kafka bin/kafka-server-start.sh ./config/server.properties
創(chuàng)建topic bin/kafka-topics.sh --topic kafkaToptic --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partition 1
查看consumer bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic kafkaToptic --from-beginning
查看topic bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181
生產(chǎn)消息 bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic kafkaToptic

4.啟動(dòng)Kafka（需要先啟動(dòng)Zookeeper）
[grid@hadoop4 kafka_2.11-0.8.2.1]$ bin/kafka-server-start.sh ./config/server.properties &

5.創(chuàng)建名為apache_log的topic
[grid@hadoop4 kafka_2.11-0.8.2.1]$ bin/kafka-topics.sh --topic apache_log --create --zookeeper hadoop4:2181 --replication-factor 1 --partition 1 &
[grid@hadoop4 kafka_2.11-0.8.2.1]$ bin/kafka-topics.sh --list --zookeeper hadoop4:2181
apache_log

到此，關(guān)于“Kafka的安裝教程”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！

分享文章：Kafka的安裝教程
瀏覽地址：http://bm7419.com/article36/gegspg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、企業(yè)建站、標(biāo)簽優(yōu)化、網(wǎng)站改版、營銷型網(wǎng)站建設(shè)、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)