大數(shù)據(jù)中如何實(shí)現(xiàn)Kafka和activemq對(duì)比-創(chuàng)新互聯(lián)

大數(shù)據(jù)中如何實(shí)現(xiàn)Kafka和activemq對(duì)比，相信很多沒有經(jīng)驗(yàn)的人對(duì)此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個(gè)問題。

成都創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的沁陽網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

Kafka和activemq對(duì)比，背景分析消息隊(duì)列這個(gè)類型的組件一直是非常重要的組件，當(dāng)經(jīng)過兩家企業(yè)后我就很堅(jiān)信這個(gè)結(jié)論了。隊(duì)列這種東西，最廣泛的作用還是在于解耦，寬泛一點(diǎn)的說，它可以將不同部門的工作內(nèi)容進(jìn)行有效的整合，基于一個(gè)約定好的格式，就可以兩頭互相不干擾的進(jìn)行開發(fā)。可以說這個(gè)生產(chǎn)消費(fèi)的思想不僅僅適用于程序也適用于非常多的地方。目前對(duì)于我看到的來說，kafka更多的還是做為一個(gè)數(shù)據(jù)源，數(shù)據(jù)橋梁的作用，不同業(yè)務(wù)之間的溝通。比如需要實(shí)時(shí)接入A部門的業(yè)務(wù)數(shù)據(jù)的話，就會(huì)有這樣的手段：

　　落地到HDFS的數(shù)據(jù)會(huì)用來進(jìn)行一些算法上的離線處理，而kafka端則是給需要實(shí)時(shí)性的消費(fèi)方。其實(shí)數(shù)據(jù)的消費(fèi)方式無非也就實(shí)時(shí)和離線兩種方式。

Kafka和activemq對(duì)比

相比過去經(jīng)常使用的activemq，kafka確實(shí)非常的不同，做一個(gè)對(duì)比來深化印象

對(duì)比	Activemq	Kafka
接口協(xié)議	遵守JMS規(guī)范,各語言支持較好	沒有遵循標(biāo)準(zhǔn)MQ接口協(xié)議,使用較為復(fù)雜
吞吐量	較低，磁盤隨機(jī)讀寫	較高，磁盤順序讀寫
游標(biāo)位置	AMQ來管理，無法讀取歷史數(shù)據(jù)	客戶端自己管理，不樂意甚至重新讀一遍也行
HA機(jī)制	主從復(fù)制,競(jìng)爭(zhēng)鎖的方式來選舉新的主節(jié)點(diǎn)	和hadoop系列產(chǎn)品一樣,由zk管理所有節(jié)點(diǎn)

說到底，主要還是做為kafka的消費(fèi)方，能感受到大的不同還是在于幾個(gè)：

1. 吞吐量確實(shí)非常高2.可以重讀歷史數(shù)據(jù)但是也有一些缺點(diǎn)：1.概念上比較復(fù)雜，相對(duì)于AMQ只需要知道ip和隊(duì)列名你就能獲得數(shù)據(jù)，Kafka使用起來非常繁瑣

Kafka的基本概念（摘錄）

1.Broker：消息中間件處理結(jié)點(diǎn)，一個(gè)Kafka節(jié)點(diǎn)就是一個(gè)broker，多個(gè)broker可以組成一個(gè)Kafka集群。2.Topic：一類消息，例如page view日志、click日志等都可以以topic的形式存在，Kafka集群能夠同時(shí)負(fù)責(zé)多個(gè)topic的分發(fā)。3.Partition：topic物理上的分組，一個(gè)topic可以分為多個(gè)partition，每個(gè)partition是一個(gè)有序的隊(duì)列。4.Segment：partition物理上由多個(gè)segment組成。5.offset：每個(gè)partition都由一系列有序的、不可變的消息組成，這些消息被連續(xù)的追加到partition中。partition中的每個(gè)消息都有一個(gè)連續(xù)的序列號(hào)叫做offset,用于partition唯一標(biāo)識(shí)一條消息.

Kafka消費(fèi)端的常用參數(shù)

        Properties props = new Properties();

                //zk服務(wù)器的地址  xxxx:2181

        props.put("zookeeper.connect", zookeeper);

                //組的名稱，區(qū)別于其他group否則會(huì)接收不到數(shù)據(jù)

        props.put("group.id", groupId);

        props.put("zookeeper.session.timeout.ms", "8000");

        props.put("zookeeper.connection.timeout.ms", "20000");

        props.put("zookeeper.sync.time.ms", "2000");

        props.put("auto.commit.interval.ms", "5000");

        props.put("rebalance.max.retries", "5");

        props.put("rebalance.backoff.ms", "60000");

        props.put("auto.commit.enable", "true");

                //重點(diǎn)參數(shù)，是否每次都從offset最前面開始讀起

        props.put("auto.offset.reset", "smallest");

看完上述內(nèi)容，你們掌握大數(shù)據(jù)中如何實(shí)現(xiàn)Kafka和activemq對(duì)比的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，感謝各位的閱讀！

分享文章：大數(shù)據(jù)中如何實(shí)現(xiàn)Kafka和activemq對(duì)比-創(chuàng)新互聯(lián)
鏈接地址：http://bm7419.com/article30/ddpopo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、商城網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、關(guān)鍵詞優(yōu)化、小程序開發(fā)、網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)