OpentTsdb官方文檔中文版----查詢性能

緩存

  此時(shí)OpenTSDB沒(méi)有內(nèi)置緩存(除了將緩存PNG圖像文件60秒的內(nèi)置GUI)。因此只能依靠底層數(shù)據(jù)庫(kù)的緩存。在HBase(最常見的OpenTSDB后端)中,有一個(gè)塊緩存的概念,它可以在寫入 和/或 讀取時(shí)在內(nèi)存中存儲(chǔ)行和列的塊。Nick Dimiduck的Block Cache 101是一個(gè)很好的入門書。設(shè)置緩存的一個(gè)好方法是使用BucketCache緩存并將L1緩存大小設(shè)置得相當(dāng)大,這樣它就可以充當(dāng)寫緩存并將大部分最新數(shù)據(jù)保存在內(nèi)存中。然后,當(dāng)用戶運(yùn)行查詢時(shí),L2緩存可以將經(jīng)常查詢的數(shù)據(jù)保存在內(nèi)存中。
  仔細(xì)觀察region server的GC暫停。用戶通常在堆外模式下運(yùn)行bucket cache,但在堆外緩存命中和寫入操作中,Java和JNI之間的序列化操作仍有一定的代價(jià)。
  另外,請(qǐng)確保HBase表已啟用壓縮。塊使用表中指定的壓縮算法存儲(chǔ)在內(nèi)存中,因此與未壓縮的塊相比可以將更多壓縮塊放入緩存中。

創(chuàng)新互聯(lián)公司是一家集網(wǎng)站建設(shè),吳忠企業(yè)網(wǎng)站建設(shè),吳忠品牌網(wǎng)站建設(shè),網(wǎng)站定制,吳忠網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷,網(wǎng)絡(luò)優(yōu)化,吳忠網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè),幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力??沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿,時(shí)刻以成就客戶成長(zhǎng)自我,堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己,讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

One Out of Many Queries

  如果通常在某個(gè)指標(biāo)中查找一個(gè)或兩個(gè)時(shí)間序列的查詢(即多個(gè)標(biāo)簽值不同),請(qǐng)確保使用了2.3或更高版本且在查詢中啟用了explicitTags。查詢必須列出與正在查找的數(shù)據(jù)相關(guān)聯(lián)的所有標(biāo)簽key,但它會(huì)啟用HBase上的特殊過(guò)濾器,這將有助于減少掃描的行數(shù)。詳情請(qǐng)參閱查詢過(guò)濾器。
  或者,如果在指標(biāo)名稱中放置高基數(shù)的標(biāo)簽,這將大大減少查詢時(shí)掃描的數(shù)據(jù)量并提高性能。請(qǐng)參閱編寫數(shù)據(jù)以獲取更多信息

高基數(shù)查詢

  對(duì)于將許多時(shí)間序列聚合在一起的查詢,提高性能的最佳方法是在啟用salting的情況下運(yùn)行OpenTSDB 2.2或更高版本,并在HBase集群中運(yùn)行多個(gè)regionserver。這將并行執(zhí)行查詢,從每個(gè)regionserver獲取數(shù)據(jù)子集并合并結(jié)果。例如,對(duì)于單個(gè)regionserver,查詢可能需要10秒才能完成。使用salting將相同的數(shù)據(jù)寫入5個(gè)regionserver時(shí),相同的查詢大約花費(fèi)2秒,它是由最慢的regionserver響應(yīng)所需的時(shí)間決定的。合并集合通常是微不足道的。

寬時(shí)間范圍查詢

  如果在TSD和消費(fèi)應(yīng)用程序(例如UI或API客戶端)之間觀察到瓶頸,那么查看寬時(shí)間范圍(例如幾個(gè)月或幾年)的查詢可以使用降采樣,并從中受益。使用降采樣器將減少由TSD序列化并發(fā)送給用戶的數(shù)據(jù)量。
但是,如果存儲(chǔ)(HBase)和TSD之間存在瓶頸,那么最好的解決方案是使用OpenTSDB 2.4或更高版本開始寫入上卷數(shù)據(jù)。這需要外部系統(tǒng)計(jì)算基于時(shí)間的上卷并將其寫入存儲(chǔ)?;蛘?,UI或API客戶端可針對(duì)較小時(shí)間范圍跨度的多個(gè)TSD執(zhí)行多個(gè)查詢并將結(jié)果合并在一起。未來(lái)我們計(jì)劃直接向TSD添加這些功能。

通用優(yōu)化

  需要考慮的其他事項(xiàng):

多個(gè)可讀TSD

  運(yùn)行多個(gè)專用于讀取數(shù)據(jù)的TSD,并在它們的前面放置負(fù)載均衡器。這是運(yùn)行OpenTSDB時(shí)觀察到的最常見的設(shè)置,允許在不關(guān)閉整個(gè)系統(tǒng)的情況下輪換升級(jí)TSD。

調(diào)優(yōu)存儲(chǔ)

  HBase有許多可以調(diào)整的參數(shù),一般而言,大多數(shù)OpenTSDB的瓶頸都來(lái)自HBase。確保監(jiān)視服務(wù)器,特別是隊(duì)列,緩存,響應(yīng)時(shí)間,CPU和GC。

教育用戶

  沒(méi)有數(shù)據(jù)庫(kù)系統(tǒng)可以避免長(zhǎng)時(shí)間運(yùn)行或資源浪費(fèi)查詢。要求用戶從較小的時(shí)間范圍開始,如1小時(shí),并逐漸增加時(shí)間范圍。還有幫助用戶了解基數(shù),以及如何請(qǐng)求high_cardinality_tag_key=*可能是一個(gè)壞主意。

網(wǎng)頁(yè)題目:OpentTsdb官方文檔中文版----查詢性能
網(wǎng)站地址:http://bm7419.com/article42/jcighc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供定制網(wǎng)站企業(yè)建站、關(guān)鍵詞優(yōu)化響應(yīng)式網(wǎng)站、網(wǎng)頁(yè)設(shè)計(jì)公司、網(wǎng)站營(yíng)銷

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

手機(jī)網(wǎng)站建設(shè)