大數(shù)據(jù)交叉報表性能優(yōu)化實例分析-創(chuàng)新互聯(lián)

這篇文章主要為大家分析了大數(shù)據(jù)交叉報表性能優(yōu)化實例分析的相關(guān)知識點，內(nèi)容詳細易懂，操作細節(jié)合理，具有一定參考價值。如果感興趣的話，不妨跟著跟隨小編一起來看看，下面跟著小編一起深入學(xué)習(xí)“大數(shù)據(jù)交叉報表性能優(yōu)化實例分析”的知識吧。

創(chuàng)新互聯(lián)公司長期為千余家客戶提供的網(wǎng)站建設(shè)服務(wù)，團隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為桂東企業(yè)提供專業(yè)的成都網(wǎng)站制作、成都做網(wǎng)站，桂東網(wǎng)站改版等技術(shù)服務(wù)。擁有10多年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

軟硬件環(huán)境

OS：win7

Cpu：8 核

集算報表：1120 安裝版

Jvm：1G

數(shù)據(jù)庫：oracle11g

客戶無法解決的問題：

有一個交叉匯總報表，其實格式很簡單，行列各一個統(tǒng)計維度。但后臺業(yè)務(wù)表的數(shù)據(jù)有 175 萬條，且還要與其他表（大概在 7w 條左右）做 join，如果由 sql 來處理，可以想象到會慢到什么程度，關(guān)鍵受各種條件影響，能否查出數(shù)據(jù)都是問題。

注：ACCORECEIVE 表 175w 條數(shù)據(jù)

目前，測試 birt 需 5 分鐘，借助各種中間表與視圖。報表友商無法出表。

要求：能做出該報表在 web 展現(xiàn)，且重要的是速度要快，另外，數(shù)據(jù)（目前大概是 5 年數(shù)據(jù)）是實時增加的。

客戶報表格式及目前所用 sql：

報表格式：

Sql：

select LOCATIONS.loupan loupan,
       LOCATIONS.LPORDERNUM,
       nvl(ACCORECEIVE.RECEIVABLEAMOUNT, 0) yingshou,
       chargeproct.Description CHARPNAME,
       chargeproct.ordernum chordernum
  from ACCORECEIVE,V\_LOCATION\_LP\_LG\_DY LOCATIONS,chargeproct
   where ACCORECEIVE.Org\_Id = LOCATIONS.Org\_Id
   and ACCORECEIVE.Sub\_Org\_Id = LOCATIONS.Sub\_Org\_Id
   and ACCORECEIVE.Fk_Locationid = LOCATIONS.Locationid
   and ACCORECEIVE.Fk_Chargeproctid = chargeproct.chargeproctid(+)
   and ACCORECEIVE.Wf_Status not in('作廢')

問題分析及解決方案

常規(guī)模式下，大數(shù)據(jù)要出交叉報表幾乎很難，這里受 sql 效率慢、jvm 等的影響，一次如果把所有數(shù)據(jù)全部取出則必然極大可能內(nèi)存溢出。另外，大數(shù)據(jù)表再有 join，即便能取，那取數(shù)速度上肯定也無法保證（sql join 的效率低），上面 sql 中能體現(xiàn)出所有問題。

解決方案：

1、為避免一次性取數(shù)內(nèi)存溢出，可采用集算器游標(biāo) cursor 取數(shù)；  –cursor

2、去除不需要字段及 join 字段。分析后發(fā)現(xiàn)，客戶實際不需要 org_id、sub_org_id 的關(guān)聯(lián)；

3、取數(shù)后可根據(jù)客戶所出報表對應(yīng)做數(shù)據(jù)處理，這里可 groups 處理一次分組匯總；–替代報表表達式 group

4、為擺脫 sql join 效率低問題，可將 join 放在集算器內(nèi)處理，這里 ACCORECEIVE 與 V_LOCATION_LP_LG_DY 表（query 即可，數(shù)據(jù)不大）分開取數(shù)；  –switch 連接

注：集算器中測試了兩表 sql 中 join，時間大概需 5 分鐘。

5、結(jié)合客戶報表格式及所用的數(shù)據(jù)庫表，可將上面 sql 中 chargeproct 表放到報表 sql 取數(shù)，因其僅體現(xiàn)顯示值作用，且僅幾十條數(shù)據(jù)。

集算腳本：

注：代碼有每一步的作用說明

關(guān)于“大數(shù)據(jù)交叉報表性能優(yōu)化實例分析”就介紹到這了,更多相關(guān)內(nèi)容可以搜索創(chuàng)新互聯(lián)以前的文章，希望能夠幫助大家答疑解惑，請多多支持創(chuàng)新互聯(lián)網(wǎng)站！

分享文章：大數(shù)據(jù)交叉報表性能優(yōu)化實例分析-創(chuàng)新互聯(lián)
文章鏈接：http://www.bm7419.com/article36/dcohsg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、微信小程序、面包屑導(dǎo)航、微信公眾號、營銷型網(wǎng)站建設(shè)、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)