HadoopBalancer平衡速度怎么實(shí)現(xiàn)

本篇內(nèi)容介紹了“Hadoop Balancer平衡速度怎么實(shí)現(xiàn)”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

在張家口等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供做網(wǎng)站、成都做網(wǎng)站 網(wǎng)站設(shè)計(jì)制作按需定制制作,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站建設(shè),營銷型網(wǎng)站建設(shè),成都外貿(mào)網(wǎng)站建設(shè),張家口網(wǎng)站建設(shè)費(fèi)用合理。

1. dfs.datanode.max.transfer.threads

修改dfs.datanode.max.transfer.threads=4096 (如果運(yùn)行HBase的話建議為16384)，
指定用于在DataNode間傳輸block數(shù)據(jù)的最大線程數(shù)，老版本的對(duì)應(yīng)參數(shù)為dfs.datanode.max.xcievers。

2. dfs.datanode.balance.bandwidthPerSec

修改dfs.datanode.balance.bandwidthPerSec=52428800，指定DataNode用于balancer的帶寬為50MB，
這個(gè)根據(jù)情況而定，如果交換機(jī)性能好點(diǎn)的，完全可以設(shè)定100MB，單位是Byte，
如果機(jī)器的網(wǎng)卡和交換機(jī)的帶寬有限，可以適當(dāng)降低該速度，比如10MB，默認(rèn)是1048576(1MB)。
hdfs dfsadmin-setBalancerBandwidth 52428800

3. dfs.balancer.block-move.timeout

以毫秒為單位移動(dòng)的最大時(shí)間。如果這個(gè)設(shè)置大于0，平衡器將停止等待一個(gè)塊移動(dòng)完成。在典型的集群中，3到5分鐘的超時(shí)是合理的。
如果超時(shí)發(fā)生在很大比例的塊移動(dòng)中，則需要增加。它也可能是太多的工作被分派，并且許多節(jié)點(diǎn)的帶寬總是超過帶寬限制。
在這種情況下，可能需要調(diào)整其他平衡器參數(shù)。默認(rèn)情況下，它是禁用的。

4. dfs.balancer.max-no-move-interval

如果這個(gè)指定的時(shí)間量已經(jīng)過去，并且沒有一個(gè)塊被移出源DataNode，那么將會(huì)有更多的努力在當(dāng)前的平衡迭代中移出這個(gè)DataNode的塊。

“Hadoop Balancer平衡速度怎么實(shí)現(xiàn)”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

當(dāng)前題目：HadoopBalancer平衡速度怎么實(shí)現(xiàn)
網(wǎng)頁路徑：http://bm7419.com/article6/pcejig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護(hù)、營銷型網(wǎng)站建設(shè)、網(wǎng)站制作、網(wǎng)站收錄、微信小程序、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)