如何離線分析Kafka海量業(yè)務(wù)消息？1分鐘快速為您支招-創(chuàng)新互聯(lián)

場(chǎng)景介紹

創(chuàng)新互聯(lián)公司成立于2013年，先為天水等服務(wù)建站，天水等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為天水企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

說起Kafka，許多使用者對(duì)它是又愛又恨。Kafka是一種分布式的、基于發(fā)布/訂閱的消息系統(tǒng)，其極致體驗(yàn)讓人欲罷不能，但操心的運(yùn)維、復(fù)雜的安全策略、可靠性易用性的缺失等，仍需要使用者付出諸多的背后工作。即使你是Kafka老手，也難免會(huì)有上述同樣的煩惱。

與其整日操心Kafka的部署，不如試試云上Kafka帶給你的驚喜？目前國(guó)內(nèi)主流的云服務(wù)廠商均提供了云上的Kafka服務(wù)，為應(yīng)用系統(tǒng)提供異步的消息隊(duì)列服務(wù)。通過高可用的消息緩沖隊(duì)列，實(shí)現(xiàn)應(yīng)用解耦、突發(fā)流量處理及與第三方的互通和集成，具有大規(guī)模、高可靠、高并發(fā)訪問、可擴(kuò)展且完全托管的特點(diǎn)。比如華為云分布式消息服務(wù)DMS，幫助云端的應(yīng)用程序組件去耦合，具有很高的成本效益。DMS擁抱開源，提供支持兼容開源Kafka接口，用戶可無縫遷移，按需使用。

分布式消息服務(wù)（Data Message Service，簡(jiǎn)稱DMS）Kafka專享版支持采集增量的交易消息數(shù)據(jù)并上傳到華為云對(duì)象存儲(chǔ)服務(wù)（Object Storage Service，簡(jiǎn)稱OBS），通過實(shí)時(shí)流計(jì)算框架（例如Flick）或者華為云實(shí)時(shí)流計(jì)算服務(wù)（Cloud Stream Service, 簡(jiǎn)稱CS）分析上傳的交易數(shù)據(jù)，能夠分析出最近交易指標(biāo)等信息，以支持用戶交易做決策。

申請(qǐng)環(huán)境與資源

1.開啟轉(zhuǎn)儲(chǔ)

▲在更多列中點(diǎn)擊開啟轉(zhuǎn)儲(chǔ)即可開啟消息轉(zhuǎn)儲(chǔ)功能

2.創(chuàng)建轉(zhuǎn)儲(chǔ)任務(wù)

等待開啟轉(zhuǎn)儲(chǔ)任務(wù)完成后，即可以添加轉(zhuǎn)儲(chǔ)任務(wù)進(jìn)行轉(zhuǎn)儲(chǔ)，點(diǎn)擊實(shí)例鏈接進(jìn)入實(shí)例管理里有轉(zhuǎn)儲(chǔ)管理頁簽，通過點(diǎn)擊創(chuàng)建轉(zhuǎn)儲(chǔ)任務(wù)即可創(chuàng)建消息轉(zhuǎn)儲(chǔ)任務(wù)進(jìn)行消息的轉(zhuǎn)儲(chǔ)，如下：

點(diǎn)擊后，會(huì)彈出創(chuàng)建轉(zhuǎn)儲(chǔ)任務(wù)的詳情：

需要填入打星號(hào)的必填參數(shù)。這里主要關(guān)注要填入的參數(shù)Topics，即需要轉(zhuǎn)儲(chǔ)的Topic名稱，支持多個(gè)Topic的輸入或者正則表示的方式去訂閱Topic消息，并把消息內(nèi)容上傳到OBS桶中。點(diǎn)擊轉(zhuǎn)儲(chǔ)地址行中的選擇按鈕，彈出選擇數(shù)據(jù)轉(zhuǎn)儲(chǔ)地址，會(huì)列出那些OBS桶可以被轉(zhuǎn)儲(chǔ)。

需要一提的是，如果沒有OBS桶，則需要?jiǎng)?chuàng)建一個(gè)OBS桶用來存放DIS轉(zhuǎn)儲(chǔ)的數(shù)據(jù)。

3.查看轉(zhuǎn)儲(chǔ)任務(wù)

創(chuàng)建轉(zhuǎn)儲(chǔ)任務(wù)后，可以在轉(zhuǎn)儲(chǔ)管理頁中看到這個(gè)任務(wù)信息，點(diǎn)擊查看轉(zhuǎn)儲(chǔ)信息，可以實(shí)時(shí)查看轉(zhuǎn)儲(chǔ)Topic的消息轉(zhuǎn)儲(chǔ)進(jìn)度。

查看OBS信息與分析數(shù)據(jù)

登錄華為云OBS可以查看到轉(zhuǎn)儲(chǔ)地址桶的中存在分區(qū)的文件，已經(jīng)按照轉(zhuǎn)儲(chǔ)時(shí)設(shè)定的時(shí)間格式上傳到dms-obs桶中。

可以使用Flink等實(shí)時(shí)數(shù)據(jù)對(duì)上傳目錄的文件內(nèi)容進(jìn)行分析，得到分析后匯總結(jié)果展示即可。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前名稱：如何離線分析Kafka海量業(yè)務(wù)消息？1分鐘快速為您支招-創(chuàng)新互聯(lián)
文章源于：http://www.bm7419.com/article32/cdjisc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計(jì)、企業(yè)建站、自適應(yīng)網(wǎng)站、網(wǎng)頁設(shè)計(jì)公司、網(wǎng)站收錄、移動(dòng)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)