ES學(xué)習(xí)筆記之-Translog實現(xiàn)機制的理解

ES作為一個NOSQL，典型的應(yīng)用場景就是存儲數(shù)據(jù)。即用戶可以通過api添加數(shù)據(jù)到es中。由于Lucene內(nèi)部的實現(xiàn)， 每次添加的數(shù)據(jù)并不是實時落盤的。而是在內(nèi)存中維護著索引信息，直到緩沖區(qū)滿了或者顯式的commit, 數(shù)據(jù)才會落盤，形成一個segement，保存在文件中。

創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比彭州網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式彭州網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋彭州地區(qū)。費用合理售后完善，10余年實體公司更值得信賴。

那么假如由于某種原因，ES的進程突然掛了，那些在內(nèi)存中的數(shù)據(jù)就會丟失。而實際上，用戶調(diào)用api, 返回結(jié)果確認用戶數(shù)據(jù)已經(jīng)添加到索引中。這種數(shù)據(jù)丟失是無法被接受的。怎么解決這個問題呢？

ES實現(xiàn)了Translog， 即數(shù)據(jù)索引前，會先寫入到日志文件中。假如節(jié)點掛了，重啟節(jié)點時就會重放日志，這樣相當于把用戶的操作模擬了一遍。保證了數(shù)據(jù)的不丟失。

通過ES的源碼，了解一下實現(xiàn)的細節(jié)。 首先關(guān)注Translog類。

Translog類是一個索引分片層級的組件，即每個index shard一個Translog類。它的作用是: 將沒有提交的索引操作以持久化的方式記錄起來(其實就是寫到文件中)。

InternalEngine 在commit metadata中記錄了當前最新的translog generation。 通過這個 generation，可以關(guān)聯(lián)到所有沒有commit的操作記錄。

每個Translog實例在任何時候都只會有一個處于open狀態(tài)的translog file. 這個translog file跟translog generation ID是一一映射的關(guān)系。

出于性能的考慮，災(zāi)后重建并不是回放所有的translog, 而是最新沒有提交索引的那一部分。所以必須有一個checkpoint, 即translog.ckp文件。

綜上，從文件的視角看待translog機制其實是兩個文件:

$ tree translog
translog
├── translog-11.tlog
└── translog.ckp

translog記錄日志的格式如下:|記錄size|操作的唯一id|操作的內(nèi)容|checksum| 每次add操作返回的location會記錄到versionMap中，這樣就能實現(xiàn)realtime get的功能了。

了解了這一點，在配置es的時候，有兩種途徑可以提升ES索引的性能。

a. 將translog日子和索引配置到不同的盤片。
b. 將translog的flush間隔設(shè)置長一些。比如如下的參數(shù):
index.translog.sync_interval : 30s 
index.translog.durability : “async” 
index.translog.flush_threshold_size: 4g 
index.translog.flush_threshold_ops: 50000

了解了translog的機制，會發(fā)現(xiàn)，即使是translog機制，也并不能完全能避免數(shù)據(jù)的丟失。在性能和數(shù)據(jù)丟失容忍度上，還是需要做一些平衡。

分享名稱：ES學(xué)習(xí)筆記之-Translog實現(xiàn)機制的理解
URL網(wǎng)址：http://bm7419.com/article30/iiddso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、、網(wǎng)站維護、網(wǎng)站策劃、全網(wǎng)營銷推廣、動態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)