怎么分析消息系統(tǒng)Kafka

怎么分析消息系統(tǒng)Kafka，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

創(chuàng)新互聯(lián)公司主要從事做網站、成都做網站、網頁設計、企業(yè)做網站、公司建網站等業(yè)務。立足成都服務雙塔,十余年網站建設經驗,價格優(yōu)惠、服務專業(yè),歡迎來電咨詢建站服務:13518219792

Kafka是Linkedin于2010年12月份開源的消息系統(tǒng)，它主要用于處理活躍的流式數(shù)據(jù)?；钴S的流式數(shù)據(jù)在web網站應用中非常常見，這些數(shù)據(jù)包括網站的pv、用戶訪問了什么內容，搜索了什么內容等。 這些數(shù)據(jù)通常以日志的形式記錄下來，然后每隔一段時間進行一次統(tǒng)計處理。

傳統(tǒng)的日志分析系統(tǒng)提供了一種離線處理日志信息的可擴展方案，但若要進行實時處理，通常會有較大延遲。而現(xiàn)有的消（隊列）系統(tǒng)能夠很好的處理實時或者近似實時的應用，但未處理的數(shù)據(jù)通常不會寫到磁盤上，這對于Hadoop之類（一小時或者一天只處理一部分數(shù)據(jù)）的離線應用而言，可能存在問題。Kafka正是為了解決以上問題而設計的，它能夠很好地離線和在線應用。

2、  設計目標

（1）數(shù)據(jù)在磁盤上存取代價為O(1)。一般數(shù)據(jù)在磁盤上是使用BTree存儲的，存取代價為O（lgn）。

（2）高吞吐率。即使在普通的節(jié)點上每秒鐘也能處理成百上千的message。

（3）顯式分布式，即所有的producer、broker和consumer都會有多個，均為分布式的。

（4）支持數(shù)據(jù)并行加載到Hadoop中。

3、  KafKa部署結構

kafka是顯式分布式架構，producer、broker（Kafka）和consumer都可以有多個。Kafka的作用類似于緩存，即活躍的數(shù)據(jù)和離線處理系統(tǒng)之間的緩存。幾個基本概念：

（1）message（消息）是通信的基本單位，每個producer可以向一個topic（主題）發(fā)布一些消息。如果consumer訂閱了這個主題，那么新發(fā)布的消息就會廣播給這些consumer。

（2）Kafka是顯式分布式的，多個producer、consumer和broker可以運行在一個大的集群上，作為一個邏輯整體對外提供服務。對于consumer，多個consumer可以組成一個group，這個message只能傳輸給某個group中的某一個consumer.

4、  KafKa關鍵技術點

（1）  zero-copy

在Kafka上，有兩個原因可能導致低效：1）太多的網絡請求 2）過多的字節(jié)拷貝。為了提高效率，Kafka把message分成一組一組的，每次請求會把一組message發(fā)給相應的consumer。 此外， 為了減少字節(jié)拷貝，采用了sendfile系統(tǒng)調用。為了理解sendfile原理，先說一下傳統(tǒng)的利用socket發(fā)送文件要進行拷貝：

Sendfile系統(tǒng)調用：

（2） Exactly once message transfer

怎樣記錄每個consumer處理的信息的狀態(tài)？在Kafka中僅保存了每個consumer已經處理數(shù)據(jù)的offset。這樣有兩個好處：1）保存的數(shù)據(jù)量少 2）當consumer出錯時，重新啟動consumer處理數(shù)據(jù)時，只需從最近的offset開始處理數(shù)據(jù)即可。

（3）Push/pull

Producer 向Kafka（push）推數(shù)據(jù)，consumer 從kafka 拉（pull）數(shù)據(jù)。

（4）負載均衡和容錯

Producer和broker之間沒有負載均衡機制。
broker和consumer之間利用zookeeper進行負載均衡。所有broker和consumer都會在zookeeper中進行注冊，且zookeeper會保存他們的一些元數(shù)據(jù)信息。如果某個broker和consumer發(fā)生了變化，所有其他的broker和consumer都會得到通知。

看完上述內容，你們掌握怎么分析消息系統(tǒng)Kafka的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

分享標題：怎么分析消息系統(tǒng)Kafka
新聞來源：http://bm7419.com/article28/gihojp.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供標簽優(yōu)化、動態(tài)網站、全網營銷推廣、網站策劃、網站改版、企業(yè)網站制作

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)