Kafka集群在馬蜂窩大數(shù)據(jù)平臺的優(yōu)化是怎樣的-創(chuàng)新互聯(lián)

本篇文章給大家分享的是有關(guān)Kafka集群在馬蜂窩大數(shù)據(jù)平臺的優(yōu)化是怎樣的，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

成都一家集口碑和實(shí)力的網(wǎng)站建設(shè)服務(wù)商，擁有專業(yè)的企業(yè)建站團(tuán)隊(duì)和靠譜的建站技術(shù)，十余年企業(yè)及個(gè)人網(wǎng)站建設(shè)經(jīng)驗(yàn) ,為成都近千家客戶提供網(wǎng)頁設(shè)計(jì)制作,網(wǎng)站開發(fā),企業(yè)網(wǎng)站制作建設(shè)等服務(wù),包括成都營銷型網(wǎng)站建設(shè)，品牌網(wǎng)站建設(shè)，同時(shí)也為不同行業(yè)的客戶提供成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)的服務(wù),包括成都電商型網(wǎng)站制作建設(shè),裝修行業(yè)網(wǎng)站制作建設(shè)，傳統(tǒng)機(jī)械行業(yè)網(wǎng)站建設(shè),傳統(tǒng)農(nóng)業(yè)行業(yè)網(wǎng)站制作建設(shè)。在成都做網(wǎng)站,選網(wǎng)站制作建設(shè)服務(wù)商就選成都創(chuàng)新互聯(lián)公司。

Kafka是當(dāng)下熱門的消息隊(duì)列中間件，它可以實(shí)時(shí)地處理海量數(shù)據(jù)，具備高吞吐、低延時(shí)等特性及可靠的消息異步傳遞機(jī)制，可以很好地解決不同系統(tǒng)間數(shù)據(jù)的交流和傳遞問題。

Kafka在馬蜂窩也有非常廣泛的應(yīng)用，為很多核心的業(yè)務(wù)提供支撐。下面將圍繞Kafka在馬蜂窩大數(shù)據(jù)平臺的應(yīng)用實(shí)踐，介紹相關(guān)業(yè)務(wù)場景、在Kafka應(yīng)用的不同階段我們遇到了哪些問題以及如何解決、之后還有哪些計(jì)劃等。

應(yīng)用場景

從Kafka在大數(shù)據(jù)平臺的應(yīng)用場景來看，主要分為以下三類：

第一類是將Kafka作為數(shù)據(jù)庫，提供大數(shù)據(jù)平臺對實(shí)時(shí)數(shù)據(jù)的存儲服務(wù)。從來源和用途兩個(gè)維度來說，可以將實(shí)時(shí)數(shù)據(jù)分為業(yè)務(wù)端DB數(shù)據(jù)、監(jiān)控類型日志、基于埋點(diǎn)的客戶端日志(H5、WEB、APP、小程序)和服務(wù)端日志。

第二類是為數(shù)據(jù)分析提供數(shù)據(jù)源，各埋點(diǎn)日志會作為數(shù)據(jù)源，支持并對接公司離線數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)倉庫及分析系統(tǒng)，包括多維查詢、實(shí)時(shí)DruidOLAP、日志明細(xì)等。

第三類是為業(yè)務(wù)方提供數(shù)據(jù)訂閱。除了在大數(shù)據(jù)平臺內(nèi)部的應(yīng)用之外，我們還使用Kafka為推薦搜索、大交通、酒店、內(nèi)容中心等核心業(yè)務(wù)提供數(shù)據(jù)訂閱服務(wù)，如用戶實(shí)時(shí)特征計(jì)算、用戶實(shí)時(shí)畫像訓(xùn)練及實(shí)時(shí)推薦、反作弊、業(yè)務(wù)監(jiān)控報(bào)警等。

四個(gè)階段

早期大數(shù)據(jù)平臺之所以引入Kafka作為業(yè)務(wù)日志的收集處理系統(tǒng)，主要是考慮到它高吞吐低延遲、多重訂閱、數(shù)據(jù)回溯等特點(diǎn)，可以更好地滿足大數(shù)據(jù)場景的需求。但隨著業(yè)務(wù)量的迅速增加，以及在業(yè)務(wù)使用和系統(tǒng)維護(hù)中遇到的問題，例如注冊機(jī)制、監(jiān)控機(jī)制等的不完善，導(dǎo)致出現(xiàn)問題無法快速定位，以及一些線上實(shí)時(shí)任務(wù)發(fā)生故障后沒有快速恢復(fù)導(dǎo)致消息積壓等,使Kafka集群的穩(wěn)定性和可用性得受到挑戰(zhàn)，經(jīng)歷了幾次嚴(yán)重的故障。

解決以上問題對我們來說迫切而棘手。針對大數(shù)據(jù)平臺在使用Kafka上存在的一些痛點(diǎn)，我們從集群使用到應(yīng)用層擴(kuò)展做了一系列的實(shí)踐，整體來說包括四個(gè)階段：

第一階段：版本升級。圍繞平臺數(shù)據(jù)生產(chǎn)和消費(fèi)方面存在的一些瓶頸和問題，我們針對目前的Kafka版本進(jìn)行技術(shù)選型，最終確定使用1.1.1版本。

第二階段：資源隔離。為了支持業(yè)務(wù)的快速發(fā)展，我們完善了多集群建設(shè)以及集群內(nèi)Topic間的資源隔離。

第三階段：權(quán)限控制和監(jiān)控告警。

首先在安全方面，早期的Kafka集群處于裸跑狀態(tài)。由于多產(chǎn)品線共用Kafka，很容易由于誤讀其他業(yè)務(wù)的Topic導(dǎo)致數(shù)據(jù)安全問題。因此我們基于SASL/SCRAM+ACL增加了鑒權(quán)的功能。

在監(jiān)控告警方面，Kafka目前已然成為實(shí)時(shí)計(jì)算中輸入數(shù)據(jù)源的標(biāo)配，那么其中Lag積壓情況、吞吐情況就成為實(shí)時(shí)任務(wù)是否健康的重要指標(biāo)。因此，大數(shù)據(jù)平臺構(gòu)建了統(tǒng)一的Kafka監(jiān)控告警平臺并命名「雷達(dá)」，多維度監(jiān)控Kafka集群及使用方情況。

第四階段：應(yīng)用擴(kuò)展。早期Kafka在對公司各業(yè)務(wù)線開放的過程中，由于缺乏統(tǒng)一的使用規(guī)范，導(dǎo)致了一些業(yè)務(wù)方的不正確使用。為解決該痛點(diǎn)，我們構(gòu)建了實(shí)時(shí)訂閱平臺，通過應(yīng)用服務(wù)的形式賦能給業(yè)務(wù)方，實(shí)現(xiàn)數(shù)據(jù)生產(chǎn)和消費(fèi)申請、平臺的用戶授權(quán)、使用方監(jiān)控告警等眾多環(huán)節(jié)流程化自動化，打造從需求方使用到資源全方位管控的整體閉環(huán)。

以上就是Kafka集群在馬蜂窩大數(shù)據(jù)平臺的優(yōu)化是怎樣的，小編相信有部分知識點(diǎn)可能是我們?nèi)粘９ぷ鲿姷交蛴玫降摹ＯＭ隳芡ㄟ^這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

分享標(biāo)題：Kafka集群在馬蜂窩大數(shù)據(jù)平臺的優(yōu)化是怎樣的-創(chuàng)新互聯(lián)
本文路徑：http://bm7419.com/article34/dpogpe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動網(wǎng)站建設(shè)、面包屑導(dǎo)航、ChatGPT、自適應(yīng)網(wǎng)站、軟件開發(fā)、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)