消息隊列、消息代理和消息中間件的區(qū)別和聯(lián)系

2021-02-02    分類: 網(wǎng)站建設

如果你經(jīng)??醇夹g文章應該聽過「消息隊列」、「消息代理」和「消息中間件」這三個詞,它們有什么區(qū)別和聯(lián)系呢?希望這篇文章能告訴你答案。

現(xiàn)在主流的開源數(shù)據(jù)庫中間件有Mycat、MySQL-proxy、Atlas等等,不過現(xiàn)在都不怎么維護了,另外還有Cetus ,作者是tcpcopy的作者,這個項目還在不斷維護,有同學有興趣的可以試試。當然其實各大公司內(nèi)部都有自己的數(shù)據(jù)庫中間件產(chǎn)品,更多的貼近公司的業(yè)務產(chǎn)品和基礎設施。

2. Web框架中間件

一般Web框架都支持中間件,Web框架中間件的本質(zhì)是插件系統(tǒng),是一系列的框架鉤子,在收到請求和返回響應這個過程里面去做一些額外的事情。中間件種類很多,舉例一些:

  • 響應壓縮
  • 記錄日志
  • 支持會話Session
  • CSRF保護
  • 驗證/身份鑒別
  • 訪問控制
  • 資源使用檢查(如內(nèi)存占用)
  • 請求指標
  • 健康檢查
  • 靜態(tài)資源管理 …

這些中間件將業(yè)務和非業(yè)務代碼功能進行解耦:

框架里面可能內(nèi)置了一些常用的中間件,也可能只是內(nèi)置中間件支持。你可以配置使用某個(些),也能方便的自定義中間件

Web視圖中不需要手寫中間件邏輯,按約定好的用法框架會在對應的生命周期中按照約定的順序去執(zhí)行這些中間件邏輯

PS:Golang語言中最知名的Web框架Gin支持中間件,而且還官網(wǎng)搞了個叫gin-gonic/contrib的項目搜集社區(qū)里面的中間件。

消息隊列(Message Queue)

消息隊列就是Message+Queue。其實消息可以說是一個數(shù)據(jù)傳輸單位,它包含了創(chuàng)建時間、通道/主題信息、輸入?yún)?shù)等全部數(shù)據(jù);隊列(Queue)是一種FIFO(先進先出)的數(shù)據(jù)結構,編程語言一般都內(nèi)置(內(nèi)存中的)隊列實現(xiàn),可以作為進程間通訊(IPC)的方法。使用隊列最常見的場景就是生產(chǎn)者/消費者模式:生產(chǎn)者生產(chǎn)消息放到隊列中,消費者從隊列里面獲取消息消費。

準確的說,消息隊列(以下簡稱MQ**是一種能實現(xiàn)生產(chǎn)者到消費者單向通信的通信模型,而一般大家說MQ是指實現(xiàn)了這個模型的中間件,比如RabbitMQ、RocketMQ、Kafka等。

設想一個訂單場景,當你付款成功之后要做什么:

  • 通知/提醒系統(tǒng)。通知商家有人買了Ta的商品,通知買家你購買成功(相當于確認訂單)。通知/提醒的方式很多,如郵件、短信、App內(nèi)消息等等
  • 會員系統(tǒng)。更新用戶的積分、等級等
  • 日志系統(tǒng)。訂單這么重要的服務需要有日志可以用于未來回溯問題
  • 推薦系統(tǒng)。更新用戶畫像,重新給用戶推薦他可能感興趣的商品 ..

這就出現(xiàn)了一些問題:

  • 響應耗時。事實上做的比這要多得多,每一項都需要有開銷,增加響應時間。如果這些邏輯是同步執(zhí)行的,用戶要等多久?這種體驗是完全不可以接受的!所以呢,需要一種異步消費的機制
  • 過度耦合。本來僅僅是一個訂單系統(tǒng),結果上述的那些東西都要堆進來,這就成了一個巨無霸應用,未來開發(fā)、維護都是問題
  • 錯誤丟失。假如這些后續(xù)的行為中某個(些)服務正好出現(xiàn)了故障執(zhí)行失敗或者驗證超時,但是付款成功的確認是必須完成的,那么需要有個地方存這些還沒有被正確消費的部分
  • 需要組(廣)播。就像上面的訂單場景,付款成功這個消息被發(fā)送給多個子系統(tǒng),相當于組播。未來如果要新增刪減訂閱源,怎么便捷的實現(xiàn)呢?

當然還有其他的問題:

  • 秒殺場景下并發(fā)可能會很高的,非常有可能出現(xiàn)出現(xiàn)遠超現(xiàn)有服務器處理能力的情況,這就容易把系統(tǒng)搞崩了,如果出現(xiàn)這種問題時把未處理的放進消息隊列,這就達到了「削峰」和「限流」的作用。
  • 某些場景下需要有消息的優(yōu)先級 …

而消息中間件就是解決上述問題的,雖然不同的中間件的實現(xiàn)方案不同,但都具備以下特點:

  • 分布式。其實消息中間件解決的就是分布式系統(tǒng)之間消息傳遞的問題,消費者可以分布在多臺服務器上,一方面降低了由于單點故障引起的消息隊列阻塞的風險,另外一方面也非常容易橫向擴展。
  • 持久可靠。消息隊列一般會把接收到的消息存儲到本地硬盤上,保證消息不會在未消息前莫名丟失。
  • 高性能和高吞吐量。例如RocketMQ有億級消息堆積能力,廣泛應用在阿里系的各種高并發(fā)場景下;而Kafka在實時計算、日志采集等場景下算是業(yè)界的標準。

可以說,消息中間件是現(xiàn)在企業(yè)架構中不可或缺的組合部分,用了都說好。

消息代理(Message Broker)

消息代理是一種架構模式,用于消息驗證、變換、路由。雖然不同的消息中間件架構和實現(xiàn)各不相同,但是大部分都實現(xiàn)了Broker:其實就是消息中間件服務器,它是中間件的核心。

注意:RabbitMQ、Kafka、RocketMQ等都有消息代理,但是注意,不是所有中間件都這么選,例如ZeroMQ,它用了套接字風格的API。

在一些地方其實說消息代理就是指消息中間件,如Python語言知名的分布式任務隊列框架Celery中就這么稱呼的(所謂的「任務」其實就是一個包含了任務全部數(shù)據(jù)的消息)。

網(wǎng)站題目:消息隊列、消息代理和消息中間件的區(qū)別和聯(lián)系
網(wǎng)站地址:http://www.bm7419.com/news/98791.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供電子商務、App設計ChatGPT、商城網(wǎng)站建站公司、手機網(wǎng)站建設

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都seo排名網(wǎng)站優(yōu)化