hadoop的指標(biāo)類型和日志-創(chuàng)新互聯(lián)

成都創(chuàng)新互聯(lián)公司自2013年起，先為桓仁等服務(wù)建站，桓仁等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為桓仁企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

Hadoop概念

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。 Hadoop 以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理 。

Hadoop 是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲會失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點(diǎn)重新分布處理 。

Hadoop 是高效的，因?yàn)樗圆⑿械姆绞焦ぷ鳎ㄟ^并行處理加快處理速度 。

Hadoop 還是可伸縮的，能夠處理 PB 級數(shù)據(jù) 。

此外，Hadoop 依賴于社區(qū)服務(wù)，因此它的成本比較低，任何人都可以使用 。

Hadoop是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺。用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個(gè)優(yōu)點(diǎn) ：

1.高可靠性。Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴 。

2.高擴(kuò)展性。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中 。

3.高效性。Hadoop能夠在節(jié)點(diǎn)之間動態(tài)地移動數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動態(tài)平衡，因此處理速度非?？?。

4.高容錯(cuò)性。Hadoop能夠自動保存數(shù)據(jù)的多個(gè)副本，并且能夠自動將失敗的任務(wù)重新分配 。

5.低成本。與一體機(jī)、商用數(shù)據(jù)倉庫以及QlikView、Yonghong Z-Suite等數(shù)據(jù)集市相比，hadoop是開源的，項(xiàng)目的軟件成本因此會大大降低 。

Hadoop 指標(biāo)類型

Hadoopde 守護(hù)進(jìn)程的指標(biāo)根據(jù)它們所屬的上下文可以分為不同的組，如下所述：

JVM指標(biāo):這些指標(biāo)由集群中運(yùn)行的JVM產(chǎn)生包括JVM堆大小和垃圾回收相關(guān)指標(biāo)，例如當(dāng)前的堆內(nèi)存（MemHeapUsed）的使用情況和總GC計(jì)數(shù)（GcCount）。

RPC指標(biāo)：rpc上下文中的指標(biāo)包括主機(jī)名和端口等，還包括諸如發(fā)生字節(jié)數(shù)（SentBytes）、當(dāng)前打卡連接數(shù)（NumOpenConnections）和認(rèn)證失敗次數(shù)等指標(biāo)。

DFS指標(biāo)：dfs上下文中包括與NameNode、HDFS文件系統(tǒng)、DataNodes和JournalNodes相關(guān)指標(biāo)，DFS指標(biāo)可以告訴集群中是否存在大量的文件創(chuàng)建和刪除操作。

Hadoop的日志消息

可以通過瀏覽各個(gè)日志文件或通過Hadoop內(nèi)置的web界面訪問Spark和其他作業(yè)的hadoop日志消息。大多數(shù)時(shí)候，通過web界面訪問日志更好，因?yàn)榭梢怨?jié)省時(shí)間，并快速找到發(fā)生性能問題或者作業(yè)失敗的原因：

Hadoop生成兩種主要類型的日志：

它為守護(hù)程序（如NameNode和DataNode）生成日志。守護(hù)進(jìn)程日志主要由管理員使用，因?yàn)樗鼈冇兄c排除DataNode和NameNode等關(guān)鍵Hadoop服務(wù)的意外故障。

Hadoop還為集群中的運(yùn)行的每個(gè)應(yīng)用程序生成日志，hadoop應(yīng)用程序日志可以用于開發(fā)人員了解作業(yè)失敗和性能下降的原因。

可以通過多種方式查看hadoop的日志

Hadoop web UI 特別是ResourceManager webUi可以免除訪問日志存儲位置和查看日志文件的麻煩，還可以通過JobHistory web UI查看日志

直接從日志文件檢查日志信息

對于某些應(yīng)用程序日志，如果開啟了日志聚合功能則將他們聚合到HDFS存儲。

通過yarn命令檢查：

yarn application命令可以管理一下任務(wù)：

列出集群中運(yùn)行的應(yīng)用程序

殺死正在運(yùn)行的的應(yīng)用程序

獲取正在運(yùn)行的應(yīng)用程序的狀態(tài)。

查看Yarn應(yīng)用程序

 yarn application -list 可以檢索所有作業(yè)的列表，不考慮它們的狀態(tài)。作業(yè)可以具有以下狀態(tài)：All、NEW、NEW_SAVING、SUMBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED和KILLED。指定-appStates選項(xiàng)即可

yarn application -list -appStates running

檢查應(yīng)用程序的狀態(tài)

yarn application -status <application_id>

kill正在執(zhí)行的的作業(yè)

yarn application -kill <application_id>

檢查節(jié)點(diǎn)狀態(tài)

yarn node -all -list 列出集群的所有節(jié)點(diǎn)及其狀態(tài)

獲取作業(yè)日志

yarn logs 名利的語法：

yarn logs -applicationId <application_id>

只能獲取已經(jīng)結(jié)束的運(yùn)行的作業(yè)的日志。

Hadoop存儲日志的位置

1、hdfs：這是hadoop創(chuàng)建用于存儲作業(yè)執(zhí)行文件（如包含運(yùn)行作業(yè)hadoop參數(shù)的job.xml）的暫存目錄的位置。

2、NodeManager本地目錄：這是在本地文件系統(tǒng)上創(chuàng)建的目錄，hadoop在其中存儲由NodeManager服務(wù)生產(chǎn)的Shell腳本，以便執(zhí)行ApplicationMaster容器?？梢允褂脃arn-site.xml文件中的yarn.nodemanager.local.dir參數(shù)指定NodeManger本地目錄位置。

此參數(shù)可以提供NodeManager存儲其本地文件的目錄列表。在這些目錄下實(shí)際應(yīng)用程序的本地文件目錄${yarn.nodemanager.local-dir}/usercache/user/....。每個(gè)NodeManager在NodeManager本地目錄下的本地應(yīng)用程序緩存中

3、NodeManger日志目錄：這是linux上本地目錄，NodeManager在此存儲用戶運(yùn)行的應(yīng)用程序的實(shí)際日志文件。在此節(jié)點(diǎn)的NodeManager上執(zhí)行作業(yè)的所有容器及其應(yīng)用程序日志存儲在此目錄中。使用yarn.nodemanager.log-dirs參數(shù)指定NodeManager日志目錄的位置。

     不需要擔(dān)心nm-local-dirs目錄會填滿appcache子目錄下的作業(yè)文件，這些文件在作業(yè)完成時(shí)會被自動刪除。但是某些作業(yè)確實(shí)包含大文件，配置屬性yarn.nodemanager.delete.debug-delay-sec指定在應(yīng)用程序后就保留本地日志目錄的時(shí)間，一點(diǎn)配置時(shí)間到期，NodeManager的deletionservicehi刪除應(yīng)用程序本地文件目錄結(jié)構(gòu)。

Hadoop存儲日志聚合

      啟用日志聚合之后，nodemanager會將所有容器日志連接到一個(gè)文件中并將它保存在HDFS中，可以使用yarn.nodemanager.remote-app-log-dir參數(shù)配置hadoop在hdfs的哪里存儲聚合日志。一般配置在/tmp/hadoop/logs/

三種方式獲取應(yīng)用程序日志

1、從hdfs中獲取

2、通過hadoop 從web UI看，在未結(jié)束的應(yīng)用的中點(diǎn)擊applicationmaster，點(diǎn)擊頁簽下面的logs

3、作業(yè)完成之后從JobHistoryServer UI查看

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

文章名稱：hadoop的指標(biāo)類型和日志-創(chuàng)新互聯(lián)
當(dāng)前網(wǎng)址：http://bm7419.com/article48/cdjoep.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開發(fā)、面包屑導(dǎo)航、用戶體驗(yàn)、ChatGPT、網(wǎng)站改版、網(wǎng)站排名

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)