hive中merge小文件的示例分析

這篇文章主要介紹了hive中merge小文件的示例分析，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯(lián)公司公司2013年成立，我們提供高端網(wǎng)站建設、微信小程序定制開發(fā)、電商視覺設計、成都APP應用開發(fā)及網(wǎng)絡營銷搜索優(yōu)化服務，在傳統(tǒng)互聯(lián)網(wǎng)與移動互聯(lián)網(wǎng)發(fā)展的背景下，我們堅守著用標準的設計方案與技術開發(fā)實力作基礎，以企業(yè)及品牌的互聯(lián)網(wǎng)商業(yè)目標為核心，為客戶打造具商業(yè)價值與用戶體驗的互聯(lián)網(wǎng)+產品。

當Hive輸入由很多個小文件組成，由于每個小文件都會啟動一個map任務，如果文件過小，以至于map任務啟動和初始化的時間大于邏輯處理的時間，會造成資源浪費，甚至OOM。
為此，當我們啟動一個任務，發(fā)現(xiàn)輸入數(shù)據(jù)量小但任務數(shù)量多時，需要注意在Map前端進行輸入合并
當然，在我們向一個表寫數(shù)據(jù)時，也需要注意輸出文件大小

1. Map輸入合并小文件
對應參數(shù)：
set mapred.max.split.size=256000000;  #每個Map最大輸入大小
set mapred.min.split.size.per.node=100000000; #一個節(jié)點上split的至少的大小 
set mapred.min.split.size.per.rack=100000000; #一個交換機下split的至少的大小
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;  #執(zhí)行Map前進行小文件合并

在開啟了org.apache.hadoop.hive.ql.io.CombineHiveInputFormat后，一個data node節(jié)點上多個小文件會進行合并，合并文件數(shù)由mapred.max.split.size限制的大小決定。
mapred.min.split.size.per.node決定了多個data node上的文件是否需要合并~
mapred.min.split.size.per.rack決定了多個交換機上的文件是否需要合并~

2.輸出合并
set hive.merge.mapfiles = true #在Map-only的任務結束時合并小文件
set hive.merge.mapredfiles = true #在Map-Reduce的任務結束時合并小文件
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #當輸出文件的平均大小小于該值時，啟動一個獨立的map-reduce任務進行文件merge

感謝你能夠認真閱讀完這篇文章，希望小編分享的“hive中merge小文件的示例分析”這篇文章對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)，關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關知識等著你來學習!

分享名稱：hive中merge小文件的示例分析
分享URL：http://bm7419.com/article36/goeopg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供Google、動態(tài)網(wǎng)站、網(wǎng)站建設、定制開發(fā)、微信公眾號、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)