JMS之ActiveMQ消息存儲

一、消息的存儲方式

ActiveMQ支持JMS規(guī)范中的持久化消息與非持久化消息

創(chuàng)新互聯(lián)建站專注于浠水網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供浠水營銷型網(wǎng)站建設(shè)，浠水網(wǎng)站制作、浠水網(wǎng)頁設(shè)計、浠水網(wǎng)站官網(wǎng)定制、小程序開發(fā)服務(wù)，打造浠水網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供浠水網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

• 持久化消息通常用于不管是否消費者在線，它們都會保證消息會被消費者消費。當消息被確認消費后，會從存儲中刪除

• 非持久化消息通常用于發(fā)送通知以及實時數(shù)據(jù)，通常要求性能優(yōu)先，消息可靠性并不是必須的情況

• MQ支持可插拔式的消息存儲，如：內(nèi)存、文件和關(guān)系數(shù)據(jù)庫等方式

Queue消息模型在ActiveMQ的存儲

采用存儲采用先進先出（FIFO），一個消息只能被一個消費者消費，當消息被確認消費之后才會被刪除。

Topic消息模型（針對持久訂閱）
　　每個訂閱者獲取的消息實際是消息的一個副本，只有一個消息副本會被存儲，MQ提供了一個指針來指向消息存儲并且分發(fā)消息副本到訂閱者，消息直到所有的持久化訂閱者都被接收才能被刪除。

持久化存儲方式：

1. KahaDB消息存儲

2. AMQ消息存儲

3. JDBC消息存儲

4. 內(nèi)存消息存儲

二、KahaDB存儲方式

KahaDB是從ActiveMQ 5.4開始默認的持久化插件。KahaDb恢復(fù)時間遠遠小于其前身AMQ并且使用更少的數(shù)據(jù)文件，所以可以完全代替AMQ，kahaDB的持久化機制同樣是基于日志文件，索引和緩存。

（一）、KahaDB主要特性：

1. 日志形式存儲消息；

2. 消息索引以B-Tree結(jié)構(gòu)存儲，可以快速更新；

3. 完全支持JMS事務(wù)；

4. 支持多種恢復(fù)機制；

（二）、適用場景：

1. 高吞吐量的應(yīng)用程序

2. 存儲大數(shù)據(jù)量的消息

（三）、配置方式 conf/activemq.xml：

       <persistenceAdapter>
            <kahaDB directory="${activemq.data}/kahadb"/>
        </persistenceAdapter>

（四）、KahaDB存儲原理：

    當有活動消費者時，用于臨時存儲，消息會被發(fā)送給消費著，同時被安排將被存儲，如果消息及時被確認，就不需要寫入到磁盤。寫入到磁盤中的數(shù)據(jù)消息，在后續(xù)的消息活動中，如果消息發(fā)送成功，變標記為可刪除的。系統(tǒng)會周期性的清除或者歸檔日志文件。

1、KahaDB內(nèi)部結(jié)構(gòu)

Data logs：消息日志包含了消息日志和一些命令
Cache：當有活動消費者時，用于臨時存儲，消息會被發(fā)送給消費著，同時被安排將被存儲，如果消息及時被確認，這不需要寫入到磁盤
Btree indexes（消息索引）：用于引用消息日志（message id），它存儲在內(nèi)存中，這樣能快速定位到。MQ會定期將內(nèi)存中的消息索引保存到metadata store中，避免大量消息未發(fā)送時，消息索引占用過多內(nèi)存空間。
Redo log用于在非正常關(guān)機情況下維護索引完整性。

2、目錄結(jié)構(gòu)：

 

Db log files：用于存儲消息（默認大小32M），當log日志滿了，會創(chuàng)建一個新的，當log日志中的消息都被刪除，該日志文件會被刪除或者歸檔。
Archive directory：當datalog不在被kahadb需要會被歸檔（通過archiveDataLogs屬性控制）。
Db.data：存放Btree indexs。
Db.redo：存放redo file，用于恢復(fù)Btree indexs。

三、AMQ消息存儲

寫入消息時，會將消息寫入日志文件，由于是順序追加寫，性能很高。為了提升性能，創(chuàng)建消息主鍵索引，并且提供緩存機制，進一步提升性能。每個日志文件的大小都是有限制的（默認32m，可自行配置）。當超過這個大小，系統(tǒng)會重新建立一個文件。當所有的消息都消費完成，系統(tǒng)會刪除這個文件或者歸檔（取決于配置）。主要的缺點是AMQ Message會為每一個Destination創(chuàng)建一個索引，如果使用了大量的Queue，索引文件的大小會占用很多磁盤空間。而且由于索引巨大，一旦Broker崩潰，重建索引的速度會非常慢。

特點：類似KahaDB，也包含了事務(wù)日志，每個destination都包含一個index文件，AMQ適用于高吞吐量的應(yīng)用場景，但是不適合多個隊列的場景。

 配置方式conf/activemq.xml：

       <!--AMQ    directory:數(shù)據(jù)存儲路徑 syncOnWrite：是否同步寫入  maxFileLength：日志文件大小 -->
        <persistenceAdapter>
            <amqPersistenceAdapter                directory="${activemq.data}/AMQdb"
                syncOnWrite="true"
                maxFileLength="10mb" />
        </persistenceAdapter>

1、AMQ內(nèi)部結(jié)構(gòu)：

 

Data logs：消息日志包含了消息日志
Cache：用于消息的快速檢索
Reference store indexes：用于引用datalogs中的消息，通過message ID 關(guān)聯(lián)

2、目錄結(jié)構(gòu)：

Lock：保證同一時間只有一個borker訪問文件目錄
temp-storag：用于存儲非持久化消息（當不在被存儲在內(nèi)存中），如等待慢消費者處理消息
Kr-store：用于存儲引用消息日志數(shù)據(jù)
journal directory：包含了消息文件、消息日志和消息控制信息
Archive：歸檔的數(shù)據(jù)日志

四、JDBC存儲

支持通過JDBC將消息存儲到關(guān)系數(shù)據(jù)庫，性能上不如文件存儲，能通過關(guān)系型數(shù)據(jù)庫查詢到消息的信息。

MQ支持的數(shù)據(jù)庫：Apache Derby、MySQL、PostgreSQL、Oracle、SQLServer、Sybase、Informix、MaxDB。

存儲表結(jié)構(gòu)：

A、ACTIVEMQ_MSGS：用于存儲消息，Queue和Topic都存儲在這個表中：

• ID：自增的數(shù)據(jù)庫主鍵

• CONTAINER：消息的Destination

• MSGID_PROD：消息發(fā)送者客戶端的主鍵

• MSG_SEQ：是發(fā)送消息的順序，MSGID_PROD+MSG_SEQ可以組成JMS的MessageID

• EXPIRATION：消息的過期時間，存儲的是從1970-01-01到現(xiàn)在的毫秒數(shù)

• MSG：消息本體的Java序列化對象的二進制數(shù)據(jù)

• PRIORITY：優(yōu)先級，從0-9，數(shù)值越大優(yōu)先級越高

B、ACTIVEMQ_ACKS：用于存儲訂閱關(guān)系。如果是持久化Topic，訂閱者和服務(wù)器的訂閱關(guān)系在這個表保存：

• 主要的數(shù)據(jù)庫字段如下：

• CONTAINER：消息的Destination

• SUB_DEST：如果是使用Static集群，這個字段會有集群其他系統(tǒng)的信息

• CLIENT_ID：每個訂閱者都必須有一個唯一的客戶端ID用以區(qū)分

• SUB_NAME：訂閱者名稱

• SELECTOR：選擇器，可以選擇只消費滿足條件的消息。條件可以用自定義屬性實現(xiàn)，可支持多屬性AND和OR操作

• LAST_ACKED_ID：記錄消費過的消息的ID。

C、ACTIVEMQ_LOCK（消息鎖，保證同一時間只能有一個broker訪問這些表結(jié)構(gòu)）：
        表activemq_lock在集群環(huán)境中才有用，只有一個Broker可以獲得消息，稱為Master Broker，其他的只能作為備份等待Master Broker不可用，才可能成為下一個Master Broker。這個表用于記錄哪個Broker是當前的Master Broker。

 

配置方式：

1、配置數(shù)據(jù)源 conf/acticvemq.xml文件：

 <!-- 配置數(shù)據(jù)源-->
      <bean id="mysql-ds" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
        <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
        <property name="url" value="jdbc:mysql://localhost:3306/activemq?relaxAutoCommit=true"/>
        <property name="username" value="root"/>
        <property name="password" value="111111"/>
        <property name="maxActive" value="200"/>
        <property name="poolPreparedStatements" value="true"/>
      </bean>

2、配置broke中的persistenceAdapter ：

dataSource指定持久化數(shù)據(jù)庫的bean，createTablesOnStartup是否在啟動的時候創(chuàng)建數(shù)據(jù)表，默認值是true，這樣每次啟動都會去創(chuàng)建數(shù)據(jù)表了，一般是第一次啟動的時候設(shè)置為true，之后改成false。

 <!-- JDBC配置 -->
        <persistenceAdapter>
            <jdbcPersistenceAdapter dataSource="#mysql-ds"  createTablesOnStartup="false"/>
        </persistenceAdapter>

ps：數(shù)據(jù)庫activemq 需要手動創(chuàng)建。

五、內(nèi)存消息存儲

內(nèi)存消息存儲，會將所有的持久化消息存儲在內(nèi)存中，必須注意JVM使用情況以及內(nèi)存限制，適用于一些能快速消費的數(shù)據(jù)量不大的小消息，當MQ關(guān)閉或者宕機，未被消費的內(nèi)存消息會被清空。

配置方式 設(shè)置 broker屬性值  persistent="false"：

    <broker xmlns="http://activemq.apache.org/schema/core" brokerName="localhost" dataDirectory="${activemq.data}" persistent="false">

當前題目：JMS之ActiveMQ消息存儲
URL地址：http://bm7419.com/article38/pceipp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、定制開發(fā)、響應(yīng)式網(wǎng)站、標簽優(yōu)化、全網(wǎng)營銷推廣、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)