eclipse如何在Windows或Linux下啟動(dòng)Debug調(diào)式

本篇內(nèi)容介紹了“eclipse如何在Windows或Linux下啟動(dòng)Debug調(diào)式”的有關(guān)知識(shí),在實(shí)際案例的操作過(guò)程中,不少人都會(huì)遇到這樣的困境,接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!

成都創(chuàng)新互聯(lián)2013年至今,是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司,擁有項(xiàng)目成都網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)網(wǎng)站策劃,項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命,1280元江夏做網(wǎng)站,已為上家服務(wù),為江夏各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:028-86922220

    MR程序的Debug調(diào)式換言之就是MR程序的運(yùn)行模式,MR程序有三種運(yùn)行模式:本地模式(local)、集群模式(cluster)

    Linux環(huán)境下:

    1、本地模式:直接通過(guò)eclipse右鍵進(jìn)行Debug即可

    2、集群模式:

        2.1、將hadoop的配置文件:core-site.xml/hdfs-site.xml/mapreduce-site.xml/yarn.xml拷貝到工程的src目錄下,這樣eclipse就會(huì)通過(guò)集群進(jìn)行提交

        2.2、提交時(shí)需要將本工程的jar包打到給本工程的目錄下

        2.3、同時(shí)需要設(shè)置環(huán)境變量:conf.set("mapreduce.job.jar","wordcount.jar")


    Windows環(huán)境下:

    首先Windows真的不適合對(duì)MR程序進(jìn)行調(diào)式,不僅出現(xiàn)版本不兼容問(wèn)題,調(diào)式起來(lái)的出現(xiàn)的各種環(huán)境錯(cuò)誤也令人費(fèi)解

    1、本地模式:   

        1.1、首先需要下載windows版本的hadoop程序,并且需要在PATH路徑下指定HADOOP_HOME

        1.2、現(xiàn)在可以直接通過(guò)eclipse右鍵DEBUG直接調(diào)式(由于本人沒(méi)有成功在WINDOWS運(yùn)行本地調(diào)式并且出現(xiàn)了如下異常:)

2015-06-03 00:52:10,649 WARN  [main] util.NativeCodeLoader (NativeCodeLoader.java:<clinit>(62)) - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2015-06-03 00:52:15,730 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(1009)) - session.id is deprecated. Instead, use dfs.metrics.session-id
2015-06-03 00:52:15,730 INFO  [main] jvm.JvmMetrics (JvmMetrics.java:init(76)) - Initializing JVM Metrics with processName=JobTracker, sessionId=
Exception in thread "main" org.apache.hadoop.util.Shell$ExitCodeException: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:505)
    at org.apache.hadoop.util.Shell.run(Shell.java:418)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:739)
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:722)
    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:633)
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:421)
    at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:281)
    at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:125)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:348)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1282)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1282)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1303)
    at com.itheima.hadoop.runner.WordCountRunner.main(WordCountRunner.java:38)

    2、集群模式

        2.1、將hadoop的配置文件:core-site.xml/hdfs-site.xml/mapreduce-site.xml/yarn.xml拷貝到工程的src目錄下

        2.2、修改Hadoop源代碼:YARNRunner.java文件,YARNRunner里面包含大量與Linux環(huán)境相關(guān)的配置,需要將器替換成Windows的環(huán)境配置,重新編譯即可,這也是不建議在WINDOWS下調(diào)式的原因,因?yàn)樾薷钠饋?lái)非常麻煩

“eclipse如何在Windows或Linux下啟動(dòng)Debug調(diào)式”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!

文章名稱:eclipse如何在Windows或Linux下啟動(dòng)Debug調(diào)式
文章網(wǎng)址:http://bm7419.com/article38/igessp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供App設(shè)計(jì)、標(biāo)簽優(yōu)化、外貿(mào)建站、營(yíng)銷型網(wǎng)站建設(shè)、定制網(wǎng)站網(wǎng)站維護(hù)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

手機(jī)網(wǎng)站建設(shè)