HadoopCombiner使用方法詳解

Hadoop Combiner使用方法詳解

創(chuàng)新互聯(lián)建站是一家專注于成都網(wǎng)站設(shè)計、網(wǎng)站制作與策劃設(shè)計,鐵西網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)建站做網(wǎng)站,專注于網(wǎng)站建設(shè)十多年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:鐵西等地區(qū)。鐵西做網(wǎng)站價格咨詢:18982081108

Combiner函數(shù)是一個可選的中間函數(shù)，發(fā)生在Map階段，Mapper執(zhí)行完成后立即執(zhí)行。使用Combiner有如下兩個優(yōu)勢：

1. Combiner可以用來減少發(fā)送到Reducer的數(shù)據(jù)量，從而提高網(wǎng)絡(luò)效率。
2. Combiner可以用于減少發(fā)送到Reducer的數(shù)據(jù)量，這將提高Reduce端的效率，因?yàn)槊總€reduce函數(shù)將處理相對較少記錄，相比于未使用Combiner之前。

Combiner與Reducer結(jié)構(gòu)相同，因?yàn)镃ombiner和Reducer都對Mapper的輸出進(jìn)行處理。這給了我們一個復(fù)用Reducer作為Combiner的好機(jī)會。但問題是，復(fù)用Reducer作為Combiner總是是一個好主意嗎？

特點(diǎn)：

Combiners是MapReduce中的一個優(yōu)化，允許在shuffle和排序階段之前在本地進(jìn)行聚合。Combiners的首要目標(biāo)是通過最小化鍵值對的數(shù)量來節(jié)省盡可能多的帶寬

Reducer作為Combiner的適用場景

假設(shè)我們正在編寫一個MapReduce程序來計算股票數(shù)據(jù)集中每個股票代碼的最大收盤價。Mapper將數(shù)據(jù)集中每個股票記錄的股票代碼作為key和收盤價作為value。Reducer然后將循環(huán)遍歷股票代碼對應(yīng)的所有收盤價，并從收盤價列表中計算最高收盤價。假設(shè)Mapper 1 處理 股票代碼為ABC 的3個記錄，收盤價分別為50，60和111。讓我們假設(shè)Mapper 2 處理股票代碼為ABC的2個記錄，收盤價分別為100和31。那么Reducer將收到股票代碼ABC五個收盤價---50，60，111，100和31。Reducer的工作非常簡單，它將簡單地循環(huán)遍歷所有收盤價，并將計算最高收盤價為111。

我們可以在每個Mapper之后使用相同的Reducer作為Combiner。Mapper 1 上的Combiner將處理3個收盤價格--50，60和111，并且僅輸出111，因?yàn)樗?個收盤價的最大值。Mapper 2 上的Combiner將處理2個收盤價格--100和31，并且僅輸出100，因?yàn)樗?個收盤價的最大值?，F(xiàn)在使用Combiner之后，Reducer僅處理股票代碼ABC的2個收盤價（原先需要處理5個收盤價），即來自Mapper 1 的111和來自Mapper 2 的100，并且將從這兩個值中計算出最大收盤價格為111。

正如我們看到的，使用Combiner情況下Reducer輸出與沒有使用Combiner的輸出結(jié)果是相同的，因此在這種情況下復(fù)用Reducer作為

Combiner是沒有問題。

Reducer作為Combiner的不適用場景

假設(shè)我們正在編寫一個MapReduce程序來計算股票數(shù)據(jù)集中每個股票代碼的平均交易量（average volume for each symbol）。Mapper將數(shù)據(jù)集中每個股票記錄的股票代碼作為key和交易量（volume）作為value。Reducer然后將循環(huán)遍歷股票代碼對應(yīng)的所有交易量，并從交易量列表中計算出平均交易量（average volume from the list of volumes for that symbol）。假設(shè)Mapper 1 處理 股票代碼為ABC 的3個記錄，收盤價分別為50，60和111。讓我們假設(shè)Mapper 2 處理股票代碼為ABC的2個記錄，收盤價分別為100和31。那么Reducer將收到股票代碼ABC五個收盤價---50，60，111，100和31。Reducer的工作非常簡單，它將簡單地循環(huán)遍歷所有交易量，并將計算出平均交易量為70.4。

50 + 60 + 111 + 100 + 31 / 5 = 352 / 5 = 70.4

讓我們看看如果我們在每個Mapper之后復(fù)用Reducer作為Combiner會發(fā)生什么。Mapper 1 上的Combiner將處理3個交易量--50，60和111，并計算出三個交易量的平均交易量為73.66。

Mapper 2 上的Combiner將處理2個交易量--100和31，并計算出兩個交易量的平均交易量為65.5。那么在復(fù)用Reducer作為Combiner的情況下，Reducer僅處理股票代碼ABC的2個平均交易量，來自Mapper1的73.66 和 來自Mapper2的65.5，并計算股票代碼ABC最終的平均交易量為69.58。

73.66 + 65.5 /2 = 69.58

這與我們不復(fù)用Reducer作為Combiner得出的結(jié)果不一樣，因此復(fù)用Reducer作為Combiner得出平均交易量是不正確的。

所以我們可以看到Reducer不能總是被用于Combiner。所以，當(dāng)你決定復(fù)用Reducer作為Combiner的時候，你需要問自己這樣一個問題 - 使用Combiner與不使用Combiner的輸出結(jié)果是否一樣？

如有疑問請留言或者到本站社區(qū)交流討論，感謝閱讀，希望能幫助到大家，謝謝大家對本站的支持！

新聞標(biāo)題：HadoopCombiner使用方法詳解
本文URL：http://bm7419.com/article16/gihhdg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、營銷型網(wǎng)站建設(shè)、品牌網(wǎng)站制作、定制網(wǎng)站、小程序開發(fā)、網(wǎng)頁設(shè)計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)