Postgresql與Elasticsearch數(shù)據(jù)同步提高

一般來說，影響數(shù)據(jù)庫最大的性能問題有兩個，一個是對數(shù)據(jù)庫的讀寫操作，一個是數(shù)據(jù)庫中的數(shù)據(jù)太大導(dǎo)致操作慢，對于前者我們可以適當(dāng)借助緩存來減少一部分讀操作，而針對一些復(fù)雜的報表分析和搜索可以交給hadoop和elasticsearch,對于寫并發(fā)大，讀也并發(fā)大，我們可以考慮分庫分表，主從讀寫分離或者兩者結(jié)合等方式來提高并發(fā)性和時效性，例如PG大并發(fā)寫，大數(shù)據(jù)查看可以用elasticsearch與PG數(shù)據(jù)同步來讀，可以啟到很好的效果。
ElasticSearch做為搜索服務(wù)器，在性能上確實優(yōu)勢突出，是當(dāng)前流行的企業(yè)級搜索引擎。它提供了一個分布式多用戶能力的全文搜索引擎，基于RESTful web接口。主要用于實時搜索和分析引擎,，支持對結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)處理檢索。
例如，我們使用的數(shù)據(jù)庫時Postgres數(shù)據(jù)庫，主從配置，從庫主要用于數(shù)據(jù)分析檢索為主，如果使用postgres進行多表多維度全量方式檢索分析用戶行為等挖掘有價值的數(shù)據(jù)，這樣性能上無法及時滿足客戶時時性要求，因此我們可以使用Elasticsearch數(shù)據(jù)庫代替PG從庫做為挖掘分析數(shù)據(jù)庫，使用過程中發(fā)現(xiàn)兩者表與數(shù)據(jù)的兼容性都還不錯，而且展現(xiàn)數(shù)據(jù)的性能確實快，
如下圖是同一張表數(shù)據(jù)在postgres數(shù)據(jù)庫中對應(yīng)的表，在Elasticsearch數(shù)據(jù)庫中對應(yīng)，說明數(shù)據(jù)是兼容的。

十年的蜀山網(wǎng)站建設(shè)經(jīng)驗，針對設(shè)計、前端、開發(fā)、售后、文案、推廣等六對一服務(wù)，響應(yīng)快，48小時及時工作處理。全網(wǎng)營銷推廣的優(yōu)勢是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動調(diào)整蜀山建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計，從而大程度地提升瀏覽體驗。創(chuàng)新互聯(lián)從事“蜀山網(wǎng)站設(shè)計”,“蜀山網(wǎng)站推廣”以來，每個客戶項目都認真落實執(zhí)行。

而在postgres數(shù)據(jù)庫中針對visit_plan_qz 表3073920筆數(shù)據(jù)進行全量查詢，耗時大于5分鐘都無法正常展現(xiàn)出來，

如果使用Elasticsearch進程全量查詢僅使用0.0005秒就可以展現(xiàn)出數(shù)據(jù)，當(dāng)然Elasticsearch會自動對該表劃分為5個分片來展現(xiàn)數(shù)據(jù)。

工作原理:
PG關(guān)系數(shù)據(jù)庫 ? 數(shù)據(jù)庫 ? 表 ? 行 ? 列(Columns)
Elasticsearch ? 索引(Index) ? 類型(type) ? 文檔(Docments) ? 字段(Fields)
可以看出Elasticsearch性能上的優(yōu)勢在索引，它提供強大的索引能力，Elasticsearch 是通過 Lucene 的倒排索引技術(shù)實現(xiàn)比關(guān)系型數(shù)據(jù)庫更快的過濾
Elasticsearch的索引思路:將磁盤里的東西盡量搬進內(nèi)存，減少磁盤隨機讀取次數(shù)(同時也利用磁盤順序讀特性)，結(jié)合各種算法，用及其苛刻的態(tài)度使用內(nèi)存。

本文題目：Postgresql與Elasticsearch數(shù)據(jù)同步提高
文章分享：http://bm7419.com/article24/gejoce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計、用戶體驗、網(wǎng)站收錄、品牌網(wǎng)站建設(shè)、做網(wǎng)站、網(wǎng)站設(shè)計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)