海量數(shù)據(jù)下的輿情分析，該如何搭建？

互聯(lián)網(wǎng)的飛速發(fā)展促進(jìn)了很多新媒體的發(fā)展，不論是知名的大V，明星還是圍觀群眾都可以通過手機(jī)在微博、朋友圈或者點(diǎn)評(píng)網(wǎng)站上發(fā)表動(dòng)態(tài)，分享自己的所見所想，使得“人人都有了麥克風(fēng)”。不論是熱點(diǎn)新聞還是娛樂八卦，傳播速度遠(yuǎn)超我們的想象，一則信息可以在短短數(shù)分鐘內(nèi)，有數(shù)萬計(jì)轉(zhuǎn)發(fā)，數(shù)百萬的閱讀。海量信息可以得到爆炸式的傳播，那么如何實(shí)時(shí)把握信息并作出對(duì)應(yīng)的處理呢?是不是真的難以應(yīng)對(duì)?今天，阿里云智能事業(yè)群的宇珩來跟我們聊聊大數(shù)據(jù)輿情系統(tǒng)對(duì)數(shù)據(jù)存儲(chǔ)和計(jì)算系統(tǒng)會(huì)有哪些需求，如何根據(jù)需求來進(jìn)行系統(tǒng)設(shè)計(jì)。

大數(shù)據(jù)時(shí)代下，除了媒體信息以外，商品在各類

整個(gè)計(jì)算流程會(huì)產(chǎn)生實(shí)時(shí)的輿情計(jì)算結(jié)果。重大輿情事件的預(yù)警，通過Tablestore和函數(shù)計(jì)算觸發(fā)器對(duì)接來實(shí)現(xiàn)。Tablestore和函數(shù)計(jì)算做了增量數(shù)據(jù)的無縫對(duì)接，通過結(jié)果表寫入事件，可以輕松的通過函數(shù)計(jì)算觸發(fā)短信或者郵件通知。完整的輿情分析結(jié)果和展示搜索利用了Tablestore的新功能多元索引，徹底解決了開源Hbase+Solr 多引擎的痛點(diǎn)：

運(yùn)維復(fù)雜，需要有運(yùn)維hbase和solr兩套系統(tǒng)的能力，同時(shí)還需要維護(hù)數(shù)據(jù)同步的鏈路。

Solr數(shù)據(jù)一致性不如Hbase，在Hbase和Solr數(shù)據(jù)語意并不是完全一致，加上Solr/Elasticsearch在數(shù)據(jù)一致性很難做到像數(shù)據(jù)庫那么嚴(yán)格。在一些極端情況下會(huì)出現(xiàn)數(shù)據(jù)不一致的問題，開源方案也很難做到跨系統(tǒng)的一致性比對(duì)。

查詢接口需要維護(hù)兩套API，需要同時(shí)使用Hbase client和Solr client，索引中沒有的字段需要主動(dòng)反查Hbase，易用性較差。

文章標(biāo)題：海量數(shù)據(jù)下的輿情分析，該如何搭建？
URL鏈接：http://www.bm7419.com/news4/104054.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、微信公眾號(hào)、品牌網(wǎng)站制作、網(wǎng)站排名、網(wǎng)站營(yíng)銷、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)