hadoop2.6.0-cdh5.7.0編譯方法是什么

這篇文章主要講解了“hadoop2.6.0-cdh5.7.0編譯方法是什么”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“hadoop2.6.0-cdh5.7.0編譯方法是什么”吧！

作為一家“創(chuàng)意+整合+營(yíng)銷”的成都網(wǎng)站建設(shè)機(jī)構(gòu)，我們?cè)跇I(yè)內(nèi)良好的客戶口碑。成都創(chuàng)新互聯(lián)公司提供從前期的網(wǎng)站品牌分析策劃、網(wǎng)站設(shè)計(jì)、網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站建設(shè)、創(chuàng)意表現(xiàn)、網(wǎng)頁(yè)制作、系統(tǒng)開(kāi)發(fā)以及后續(xù)網(wǎng)站營(yíng)銷運(yùn)營(yíng)等一系列服務(wù)，幫助企業(yè)打造創(chuàng)新的互聯(lián)網(wǎng)品牌經(jīng)營(yíng)模式與有效的網(wǎng)絡(luò)營(yíng)銷方法,創(chuàng)造更大的價(jià)值。

一、軟件包：snappy-1.1.3.tar.gz

二、安裝依賴包：
yum -y install snappy libsnappy-dev
yum -y install bzip2 libbz2-dev
yum -y install libjansson-dev

三、bzip2壓縮支持：
yum install -y  bzip2-devel
rpm -qa bzip2-devel
注：bizip2的的本地壓縮支持無(wú)效，整個(gè)編譯過(guò)程，并沒(méi)有出現(xiàn)任何錯(cuò)誤，或異常，而且去cenots下的lib64位目錄下，查看libbz2的so文件，發(fā)現(xiàn)也正常。安裝bzip2-devel庫(kù)支持，然后重新編譯我們的hadoop即可。

四、安裝snappy：
# tar xf snappy-1.1.3.tar.gz
# cd snappy-1.1.3
# ./configure
# make && make install
查看snappy是否安裝完成：
# ll /usr/local/lib/ | grep snappy
五、編譯hadoop：mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy
或
mvn clean package -DskipTests -Pdist,native -Dtar
注：必須在編譯時(shí)加入native

六、配置hadoop的core-site.xml、mapred-site.xmlvi core-site.xml

    io.compression.codecs
   
      org.apache.hadoop.io.compress.GzipCodec,
      org.apache.hadoop.io.compress.DefaultCodec,
      org.apache.hadoop.io.compress.BZip2Codec,
      org.apache.hadoop.io.compress.SnappyCodec
   
vi mapred-site.xml
 
    mapreduce.map.output.compress.codec 
    org.apache.hadoop.io.compress.SnappyCodec 
 

編譯完成后，將生成hadoop中的native目錄下文件拷貝到對(duì)應(yīng)hadoop安裝目錄下的native目錄中，并重啟hadoop。執(zhí)行hadoop checknative驗(yàn)證

感謝各位的閱讀，以上就是“hadoop2.6.0-cdh5.7.0編譯方法是什么”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)hadoop2.6.0-cdh5.7.0編譯方法是什么這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

當(dāng)前文章：hadoop2.6.0-cdh5.7.0編譯方法是什么
標(biāo)題鏈接：http://bm7419.com/article18/jdcjdp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開(kāi)發(fā)、微信小程序、網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站建設(shè)、品牌網(wǎng)站制作、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)