海量數據下的輿情分析，該如何搭建？

互聯網的飛速發(fā)展促進了很多新媒體的發(fā)展，不論是知名的大V，明星還是圍觀群眾都可以通過手機在微博、朋友圈或者點評網站上發(fā)表動態(tài)，分享自己的所見所想，使得“人人都有了麥克風”。不論是熱點新聞還是娛樂八卦，傳播速度遠超我們的想象，一則信息可以在短短數分鐘內，有數萬計轉發(fā)，數百萬的閱讀。海量信息可以得到爆炸式的傳播，那么如何實時把握信息并作出對應的處理呢?是不是真的難以應對?今天，阿里云智能事業(yè)群的宇珩來跟我們聊聊大數據輿情系統(tǒng)對數據存儲和計算系統(tǒng)會有哪些需求，如何根據需求來進行系統(tǒng)設計。

大數據時代下，除了媒體信息以外，商品在各類

整個計算流程會產生實時的輿情計算結果。重大輿情事件的預警，通過Tablestore和函數計算觸發(fā)器對接來實現。Tablestore和函數計算做了增量數據的無縫對接，通過結果表寫入事件，可以輕松的通過函數計算觸發(fā)短信或者郵件通知。完整的輿情分析結果和展示搜索利用了Tablestore的新功能多元索引，徹底解決了開源Hbase+Solr 多引擎的痛點：

運維復雜，需要有運維hbase和solr兩套系統(tǒng)的能力，同時還需要維護數據同步的鏈路。

Solr數據一致性不如Hbase，在Hbase和Solr數據語意并不是完全一致，加上Solr/Elasticsearch在數據一致性很難做到像數據庫那么嚴格。在一些極端情況下會出現數據不一致的問題，開源方案也很難做到跨系統(tǒng)的一致性比對。

查詢接口需要維護兩套API，需要同時使用Hbase client和Solr client，索引中沒有的字段需要主動反查Hbase，易用性較差。

新聞標題：海量數據下的輿情分析，該如何搭建？
地址分享：http://bm7419.com/news/104054.html

成都網站建設公司_創(chuàng)新互聯，為您提供關鍵詞優(yōu)化、搜索引擎優(yōu)化、網站營銷、網頁設計公司、網站收錄、定制網站

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯