SRM常見用例和架構(gòu)有哪些

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)SRM常見用例和架構(gòu)有哪些，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

銅川網(wǎng)站建設(shè)公司成都創(chuàng)新互聯(lián)公司,銅川網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為銅川上1000家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站制作要多少錢，請(qǐng)找那個(gè)售后服務(wù)好的銅川做網(wǎng)站的公司定做！

Streams Replication Manager（SRM）是一種企業(yè)級(jí)復(fù)制解決方案，可實(shí)現(xiàn)容錯(cuò)、可擴(kuò)展且健壯的跨集群Kafka主題復(fù)制。SRM提供了動(dòng)態(tài)更改配置的功能，并使Topic屬性在高性能的集群之間保持同步。SRM還提供了自定義擴(kuò)展，可促進(jìn)安裝、管理和監(jiān)視，從而使SRM成為針對(duì)任務(wù)關(guān)鍵型工作負(fù)載而構(gòu)建的完整復(fù)制解決方案。本文主要討論SRM的主要用例和用例的實(shí)現(xiàn)架構(gòu)。

主要用例

了解SRM的主要用例。

Apache Kafka已成為企業(yè)數(shù)據(jù)管道的重要組成部分，并用于跟蹤點(diǎn)擊流事件數(shù)據(jù)、收集日志、收集指標(biāo)并成為基于微服務(wù)的體系結(jié)構(gòu)中的企業(yè)數(shù)據(jù)總線。Kafka支持內(nèi)部復(fù)制以支持集群中的數(shù)據(jù)可用性。但是，隨著基于Kafka的應(yīng)用程序變得至關(guān)重要，企業(yè)要求數(shù)據(jù)可用性和持久性保證跨越整個(gè)集群和站點(diǎn)故障。

對(duì)于以下用例，跨集群和站點(diǎn)的數(shù)據(jù)復(fù)制是關(guān)鍵：

災(zāi)難恢復(fù)

 跨集群復(fù)制的常見企業(yè)用例是在存在集群或數(shù)據(jù)中心范圍的中斷的情況下保證業(yè)務(wù)連續(xù)性。

匯總分析

聚合可能來自多個(gè)數(shù)據(jù)中心的多個(gè)流傳輸管道中的數(shù)據(jù)，以運(yùn)行批處理分析作業(yè)，從而提供整個(gè)企業(yè)的整體視圖。

分析后的數(shù)據(jù)部署

這與聚合用例相反，在聚合用例中，一個(gè)集群（例如聚合集群）中由分析應(yīng)用程序生成的數(shù)據(jù)可能會(huì)廣播到多個(gè)集群中，可能跨數(shù)據(jù)中心傳播，以供最終用戶使用。

隔離

由于性能或安全性原因，需要在不同環(huán)境之間復(fù)制數(shù)據(jù)以隔離訪問。在許多部署中，攝取集群與消耗集群是隔離的。

地理位置接近

在要求低延遲的地理分布的訪問模式中，復(fù)制用于將數(shù)據(jù)移近訪問位置。

云遷移

隨著越來越多的企業(yè)擁有內(nèi)部部署和云服務(wù)，可以使用Kafka復(fù)制將數(shù)據(jù)遷移到公共云或私有云，再遷移回來。

法律與合規(guī)

與隔離用例非常相似，策略驅(qū)動(dòng)的復(fù)制用于限制集群中可訪問的數(shù)據(jù)以滿足法律和法規(guī)遵從性要求。

高可用的Kafka架構(gòu)架構(gòu)

Kafka的高可用性部署必須能夠在單個(gè)集群完全中斷的情況下幸免于難，同時(shí)繼續(xù)處理事件而不會(huì)丟失數(shù)據(jù)。使用SRM，您可以實(shí)施高可用性的Apache Kafka部署，該部署遵循活動(dòng)/備用或活動(dòng)/活動(dòng)模型。

主備架構(gòu)

在活動(dòng)/備用方案中，您將設(shè)置兩個(gè)Kafka集群并配置SRM以在兩個(gè)集群之間雙向復(fù)制主題。VIP或負(fù)載平衡器指導(dǎo)您的生產(chǎn)者將消息提取到正在從中讀取消費(fèi)者組的活動(dòng)集群中。

圖1.主用 /備用架構(gòu)標(biāo)準(zhǔn)操作

如果發(fā)生災(zāi)難，VIP或負(fù)載平衡器會(huì)將生產(chǎn)者引導(dǎo)到備用集群。您可以輕松地遷移您的消費(fèi)者組，以開始從備用集群中讀取數(shù)據(jù)，或者如果最終的消費(fèi)者延遲對(duì)于您的用例而言是可接受的，則只需等到還原主集群即可。

當(dāng)主集群關(guān)閉時(shí)，您的生產(chǎn)者仍然可以提取。恢復(fù)主集群后，SRM會(huì)自動(dòng)處理兩個(gè)集群的同步，從而使故障回復(fù)變得無縫。

圖2.主用 /備用架構(gòu)集群故障

當(dāng)現(xiàn)有的具有已建立策略的災(zāi)難恢復(fù)站點(diǎn)已經(jīng)可用時(shí)，實(shí)施主動(dòng)/備用架構(gòu)是合理的選擇，并且您的目標(biāo)包括在災(zāi)難期間不丟失接收功能，并在災(zāi)難恢復(fù)站點(diǎn)中進(jìn)行備份。

主動(dòng)/主動(dòng)架構(gòu)

在主動(dòng)/主動(dòng)方案中，可以將生產(chǎn)者負(fù)載平衡到主集群或輔助集群。SRM配置為在兩個(gè)集群之間雙向復(fù)制主題。之所以使該架構(gòu)成為主動(dòng)/主動(dòng)架構(gòu)，是因?yàn)槟F(xiàn)在擁有讓消費(fèi)者同時(shí)從兩個(gè)集群中讀取的事實(shí)，基本上就像跨集群的消費(fèi)者群體一樣。萬一發(fā)生災(zāi)難，VIP或負(fù)載均衡器會(huì)將生產(chǎn)者定向到輔助集群，并且輔助集群消費(fèi)者組仍然可以處理消息。當(dāng)主集群關(guān)閉時(shí)，您的生產(chǎn)者仍然可以接收并且您的消費(fèi)者仍然可以處理消息。這將導(dǎo)致停機(jī)時(shí)間為零，并在發(fā)生災(zāi)難時(shí)一旦主集群恢復(fù)聯(lián)機(jī)，自動(dòng)進(jìn)行故障轉(zhuǎn)移。

圖1.主動(dòng)/主動(dòng)架構(gòu)

跨數(shù)據(jù)中心復(fù)制

SRM的跨數(shù)據(jù)中心復(fù)制體系結(jié)構(gòu)示例。

某些應(yīng)用程序不僅需要在一個(gè)數(shù)據(jù)中心或一個(gè)可用性區(qū)域內(nèi)具有本地高可用性，而且還必須在整個(gè)數(shù)據(jù)中心內(nèi)都具有高可用性。您可以使用SRM在不同數(shù)據(jù)中心的Kafka集群之間設(shè)置復(fù)制，從而使消息可用于每個(gè)數(shù)據(jù)中心的消費(fèi)者。

如果主數(shù)據(jù)中心發(fā)生故障，負(fù)載均衡器會(huì)將您的生產(chǎn)者引導(dǎo)到本地?cái)?shù)據(jù)中心或最近的數(shù)據(jù)中心。SRM配置為在所有數(shù)據(jù)中心之間復(fù)制主題。如果您使用兩個(gè)以上的數(shù)據(jù)中心，則將SRM配置為創(chuàng)建“復(fù)制圈”，以確保單個(gè)數(shù)據(jù)中心故障（例如，下例中的us-north）不會(huì)停止其余集群之間的復(fù)制。

圖1.跨數(shù)據(jù)中心復(fù)制架構(gòu)

集群遷移架構(gòu)

本地到云遷移和Kafka版本升級(jí)

用于SRM的本地到云和Kafka版本升級(jí)示例架構(gòu)。

如果您有要遷移到云的本地Apache Kafka集群，則不僅必須遷移消費(fèi)者和生產(chǎn)者，還必須將主題及其消息遷移到新的基于云的集群。

通過SRM設(shè)置復(fù)制后，只需要將消費(fèi)者指向新的代理，即可開始處理來自云集群的消息。這種方法可確保將本地Kafka集群中保留的歷史數(shù)據(jù)遷移到云集群，從而使您可以直接從云中重放消息，而不必返回到本地集群。

圖1.本地集群遷移。SRM復(fù)制消息時(shí)，生產(chǎn)者和消費(fèi)者正在使用本地集群。

將集群，生產(chǎn)者和消費(fèi)者遷移到云后，就可以使用SRM改變復(fù)制方向，并將本地集群用作DR集群。

生產(chǎn)者和消費(fèi)者已遷移到云集群，并且本地集群用于災(zāi)難恢復(fù)。

圖2.集群遷移到云

如果必須將Kafka集群升級(jí)到較新版本，并且無法就地升級(jí)，則可以使用相同的遷移方法來配置新集群，在遷移生產(chǎn)者和消費(fèi)者之前，可以使用SRM復(fù)制所有現(xiàn)有的主題和消息。與新集群進(jìn)行交互。

匯總分析

SRM的聚合分析架構(gòu)示例。

SRM可用于聚合可能來自多個(gè)數(shù)據(jù)中心的多個(gè)流傳輸管道中的數(shù)據(jù)，以運(yùn)行批處理分析作業(yè)，從而提供整個(gè)企業(yè)的整體視圖。

圖1.分析匯總

上述就是小編為大家分享的SRM常見用例和架構(gòu)有哪些了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當(dāng)前文章：SRM常見用例和架構(gòu)有哪些
轉(zhuǎn)載來于：http://bm7419.com/article48/igophp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、Google、網(wǎng)站排名、軟件開發(fā)、定制開發(fā)、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)