基于akka和data-sketch技術(shù)的實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)服務(wù)是怎么樣的

本篇文章給大家分享的是有關(guān)基于akka和data-sketch技術(shù)的實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)服務(wù)是怎么樣的，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說(shuō)，跟著小編一起來(lái)看看吧。

我們是自2013年創(chuàng)立以來(lái)的成都網(wǎng)站建設(shè)公司,提供網(wǎng)站建設(shè),電商網(wǎng)站設(shè)計(jì)開發(fā),外貿(mào)網(wǎng)站制作,響應(yīng)式網(wǎng)頁(yè)設(shè)計(jì),重慶小程序開發(fā)、等服務(wù)。為客戶創(chuàng)造有價(jià)值的品牌營(yíng)銷體驗(yàn)，讓互聯(lián)網(wǎng)提升企業(yè)的競(jìng)爭(zhēng)力！

實(shí)時(shí)流數(shù)據(jù)分析服務(wù)： 實(shí)時(shí)提交分析數(shù)據(jù),實(shí)時(shí)獲取分析結(jié)果

    之前一直在一家公司做埋點(diǎn)的后臺(tái)數(shù)據(jù)處理分析程序，在碰到很多問(wèn)題后就產(chǎn)生一個(gè)想法，能不能直接弄一個(gè)數(shù)據(jù)分析服務(wù),

用戶可以隨時(shí)調(diào)用分析服務(wù)的接口提交分析數(shù)據(jù)和獲取分析結(jié)果

技術(shù)背景：

• data-sketch對(duì)常見的統(tǒng)計(jì)需求，如count(distinct), quantiles, topN等 在精確程度，存儲(chǔ)成本，計(jì)算成本之間進(jìn)行了折衷，對(duì)每一個(gè)計(jì)算元素只touch一次的情況下，得到精度相當(dāng)高的統(tǒng)計(jì)結(jié)果。

• akka是一個(gè)實(shí)現(xiàn)了actor pattern的異步編程 library。業(yè)務(wù)功能都被封閉成actor， 相互之間的調(diào)用或狀態(tài)改變，通過(guò)message傳遞完成，無(wú)狀態(tài)共享.

目前封裝了三種計(jì)算模型:

• theta sketch:基數(shù)計(jì)算，即計(jì)算count(distinct)

• quantile sketch:分位數(shù)計(jì)算，即計(jì)算一系列數(shù)值的分布情況

• frequency sketch:頻率計(jì)算，即topn計(jì)算

數(shù)據(jù)安全性:

• 提交數(shù)據(jù)使用wss,獲取數(shù)據(jù)使用https,數(shù)據(jù)不會(huì)被中途截取

• 后臺(tái)服務(wù)不存儲(chǔ)任何原始數(shù)據(jù),算后即扔,服務(wù)端只有分析后的數(shù)據(jù)

• 相關(guān)計(jì)算參數(shù),比如userid,business,可以hash或混淆后再傳值

• 由于目前只做authenticate,開發(fā)者應(yīng)注意appid的保密性,建議后臺(tái)調(diào)用

目前整個(gè)服務(wù)后臺(tái)算是完成了0.5左右吧，由于是試驗(yàn)性質(zhì)，目前只用了一臺(tái)阿里云的ES,下一步要做的工作有兩方面，

  1. 增加統(tǒng)計(jì)模型

  2. 增加對(duì)akka cluster 的支持，使整個(gè)后臺(tái)服務(wù)能力可擴(kuò)展

以上就是基于akka和data-sketch技術(shù)的實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)服務(wù)是怎么樣的，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當(dāng)前標(biāo)題：基于akka和data-sketch技術(shù)的實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)服務(wù)是怎么樣的
網(wǎng)站URL：http://bm7419.com/article8/jdeiop.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動(dòng)網(wǎng)站建設(shè)、ChatGPT、建站公司、標(biāo)簽優(yōu)化、網(wǎng)頁(yè)設(shè)計(jì)公司、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)