storm處理數(shù)據(jù)的兩種模式是什么

這篇文章主要介紹“storm處理數(shù)據(jù)的兩種模式是什么”，在日常操作中，相信很多人在storm處理數(shù)據(jù)的兩種模式是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”storm處理數(shù)據(jù)的兩種模式是什么”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

創(chuàng)新互聯(lián)建站專業(yè)為企業(yè)提供班戈網(wǎng)站建設(shè)、班戈做網(wǎng)站、班戈網(wǎng)站設(shè)計、班戈網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計與制作、班戈企業(yè)網(wǎng)站模板建站服務(wù)，十多年班戈做網(wǎng)站經(jīng)驗，不只是建網(wǎng)站，更提供有價值的思路和整體網(wǎng)絡(luò)服務(wù)。

1、Storm簡介

storm是一個分布式、容錯的實時計算系統(tǒng)，起先被托管在GitHub上，遵循Eclipse Public License 1.0 。Storm是由BackType開發(fā)的實時處理系統(tǒng)，由Twitter開源

2013年，Storm進入Apache社區(qū)進行孵化；

2014年9月，晉級為Apache頂級項目

官網(wǎng) http://storm.apache.org/

hadoop和storm的區(qū)別：hadoop反復啟動停止，數(shù)據(jù)反復落地耗費時間，storm采用流式處理，數(shù)據(jù)不落地

數(shù)據(jù)來源：hadoop的數(shù)據(jù)是hdfs上的TB級別數(shù)據(jù)，storm是實時新增的數(shù)據(jù)；

處理過程：hadoop是分為split 、map、shuffler 、reduce等階段、storm是由用戶定義流程，流程中可以包含多個步驟，每個步驟可以是數(shù)據(jù)源（spout）或處理邏輯（bolt）

是否結(jié)束：hadoop最后是要結(jié)束的；storm是沒有結(jié)束的，數(shù)據(jù)處理完是要等待新數(shù)據(jù)的進入的。

處理速度：hadoop處理堆積的數(shù)據(jù)，速度慢，storm只是處理新增的數(shù)據(jù)，時效性較高；

2、Storm架構(gòu)：

Nimbus：管事，但是可以不存在，如果Nimbus掛掉，之前提價的job可以繼續(xù)進行處理，后續(xù)不能繼續(xù)提交，因此Nimbus的主要作用是提交任務(wù)和通過zk與Supervisor進行溝通；相當于Leader

Supervisor：

Worker

編程模型

DAG：有向無環(huán)圖

Spout：源頭

Bolt：bolt處理完數(shù)據(jù)會使用消息框架將信息返回給上一個Bolt或Spout；

數(shù)據(jù)傳輸：storm底層傳輸數(shù)據(jù)使用zmq或者netty

zmq

zmq是開源的消息傳遞框架；（0.9版本以上已經(jīng)不用了）

Netty

netty是NIO的網(wǎng)絡(luò)框架，效率比較高。之所以有netty事storm在apache之后，zmq遵循linux的協(xié)議，netty遵循的協(xié)議比較寬松。

高可用：

異常處理，就是異常崩潰，也不影響，例如supervisor掛了，nimbus會重新調(diào)度

消息可靠性機制保證，ack機制

可維護：

storm UI

3、Storm處理數(shù)據(jù)的兩種模式：

實時請求應(yīng)答模式（同步）

Client ----》DRPC Server ----》Spout---》Bolt-----》Return---》（返回給前面的drpc server 然后再返回給Client）

對應(yīng)DRPC Server 有不同的Spout --》DRPC Spout ，Topology（拓撲結(jié)構(gòu)）、ReturnResult

流式處理（異步）

Client---》MQ--->Sport------>Bolt1----->bolt2--------->Storage(redis、hbase、MySQL、mq等)

<----

Storm的wordCount

1、隨機生成數(shù)據(jù)

2、切割單詞

3、hash不同單詞到不同的任務(wù)上去

到此，關(guān)于“storm處理數(shù)據(jù)的兩種模式是什么”的學習就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>

文章標題：storm處理數(shù)據(jù)的兩種模式是什么
網(wǎng)址分享：http://bm7419.com/article0/geipoo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站制作、網(wǎng)頁設(shè)計公司、微信公眾號、響應(yīng)式網(wǎng)站、服務(wù)器托管、網(wǎng)站營銷

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容