Cloudera大數(shù)據(jù)平臺(tái)有什么用

本篇文章為大家展示了Cloudera大數(shù)據(jù)平臺(tái)有什么用，內(nèi)容簡明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

創(chuàng)新互聯(lián)建站是一家專注于網(wǎng)站制作、成都網(wǎng)站建設(shè)與策劃設(shè)計(jì),封丘網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)建站做網(wǎng)站,專注于網(wǎng)站建設(shè)10多年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:封丘等地區(qū)。封丘做網(wǎng)站價(jià)格咨詢:028-86922220

CDH：是Cloudera發(fā)布的一個(gè)自己封裝的Hadoop商業(yè)版軟件發(fā)行包，里面不僅包含了Cloudera的商業(yè)版Hadoop，同時(shí)CDH中也包含了各類常用的開源數(shù)據(jù)處理與存儲(chǔ)框架，如Spark、Hive、Hbase等。

Cloudera Manager：簡稱CM 是為了便于在集群中進(jìn)行Hadoop等大數(shù)據(jù)處理相關(guān)的服務(wù)安裝和監(jiān)控管理的組件，對(duì)集群中主機(jī)、Hadoop、Hive、Spark等服務(wù)的安裝配置管理做了極大的簡化。它是Hadoop集群的軟件分發(fā)及管理監(jiān)控平臺(tái)，通過它可以快速地部署好一個(gè)Hadoop集群，并對(duì)集群的節(jié)點(diǎn)及服務(wù)進(jìn)行實(shí)時(shí)監(jiān)控。

CM核心功能分為四大模塊

一、管理功能

1、批量自動(dòng)化部署節(jié)點(diǎn)：CM提供強(qiáng)大的Hadoop集群部署能力，能夠批量地自動(dòng)化部署節(jié)點(diǎn)，安裝一個(gè)Hadoop集群只需添加需要安裝的節(jié)點(diǎn)、安裝需要的組件和分配角色這三步，大大縮短了Hadoop的安裝時(shí)間，也簡化了Hadoop的安裝過程。

2、可視化的參數(shù)配置功能：Hadoop包含許多組件，不同組件都包含各種各樣的XML配置文件，CM提供界面GUI可視化參數(shù)配置功能。

3、智能參數(shù)驗(yàn)證以及優(yōu)化：當(dāng)用戶配置部分參數(shù)值有問題時(shí)，CM會(huì)給出智能錯(cuò)誤提示，幫助用戶更合理地修改配置參數(shù)。

4、高可用配置：CM對(duì)關(guān)鍵的組件使用HA部署，如NameNode高可用可以通過CMweb管理界面，根據(jù)向?qū)?dòng)HDFS HA。

5、權(quán)限管理：提供不同級(jí)別的管理權(quán)限，比如只讀用戶訪問CM的界面時(shí)，所有服務(wù)對(duì)應(yīng)的啟停等操作選項(xiàng)都不可用。

二、監(jiān)控功能

1、服務(wù)監(jiān)控：查看服務(wù)和實(shí)例級(jí)別健康檢查的結(jié)果，對(duì)設(shè)置各種指標(biāo)和系統(tǒng)運(yùn)行情況進(jìn)行全面監(jiān)控，而且系統(tǒng)會(huì)對(duì)管理員應(yīng)該采取的行動(dòng)提出建議。

2、主機(jī)監(jiān)控：監(jiān)控集群內(nèi)所有主機(jī)的有關(guān)信息，包括主機(jī)上目前消耗的內(nèi)存、主機(jī)上運(yùn)行的角色分配等，不但可以顯示所有集群主機(jī)的匯總視圖，而且能進(jìn)一步顯示單個(gè)主機(jī)的關(guān)鍵指標(biāo)詳細(xì)視圖。

3、行為監(jiān)控：CM提供了列表和圖表來查看集群上進(jìn)行的活動(dòng)，不僅可以顯示當(dāng)前正在進(jìn)行的活動(dòng)還可以通過儀表盤查看歷史活動(dòng)。

4、事件活動(dòng)：監(jiān)控界面可以查看事件，系統(tǒng)管理員可以通過時(shí)間范圍、服務(wù)、主機(jī)、關(guān)鍵字等字段信息過濾事件。

5、報(bào)警：通過CM界面可以對(duì)指定事件產(chǎn)生報(bào)警，并通過郵件或者SNMP通知。

6、日志和報(bào)告：可以輕松點(diǎn)擊一個(gè)鏈接查看相關(guān)特定服務(wù)的日志條目，并且CM可以對(duì)收集的歷史監(jiān)控?cái)?shù)據(jù)統(tǒng)計(jì)生成報(bào)表。

三、診斷功能

1、周期性服務(wù)診斷：CM會(huì)對(duì)集群中運(yùn)行的服務(wù)進(jìn)行周期性的診斷，已檢測這些服務(wù)的狀態(tài)是否正常，如有異常會(huì)及時(shí)通知。

2、日志采集及檢索：對(duì)于一個(gè)大規(guī)模的集群，CM提供了日志的收集功能，能夠通過統(tǒng)一的界面查看集群中每臺(tái)機(jī)器、各項(xiàng)服務(wù)的日志，并且可以根據(jù)日志級(jí)別進(jìn)行檢索。

3、系統(tǒng)性能使用報(bào)告：CM能夠產(chǎn)生系統(tǒng)性能報(bào)告，包括集群的CPU使用率、單節(jié)點(diǎn)的CPU使用率、單個(gè)進(jìn)程的CPU使用率等各項(xiàng)性能數(shù)據(jù)，這對(duì)hadoop集群調(diào)優(yōu)很重要。

四、集成功能

1、安全配置：為了方便Hadoop大數(shù)據(jù)平臺(tái)與原有身份認(rèn)證系統(tǒng)如AD、LDAP等的集成，CM只需在界面上配置即可完成。

2、CM API：通過CM API 可以方便將CM集成到企業(yè)原有管理系統(tǒng)中

3、SNMP集成【簡單網(wǎng)絡(luò)管理協(xié)議（SNMP）】：CM提供了方面的SNMP集成能力，只需要簡單的配置就能夠?qū)NMP進(jìn)行集成，并且將集群中的告警信息進(jìn)行轉(zhuǎn)發(fā)。

CM的高級(jí)功能（付費(fèi)）

1、軟件滾動(dòng)升級(jí)：Hadoop版本升級(jí)和bug修復(fù)，支持升級(jí)過程中繼續(xù)對(duì)外提供服務(wù)及應(yīng)用。

2、參數(shù)版本控制：任何時(shí)候進(jìn)行配置修改并保證之后，CM會(huì)對(duì)該配置生成一個(gè)版本，支持查看歷史配置，并能回滾到不同版本，從而為集群恢復(fù)、問題診斷提供了可靠的依據(jù)。

3、備份及容災(zāi)系統(tǒng)BDR：實(shí)現(xiàn)界面化的數(shù)據(jù)備份與容災(zāi)恢復(fù)。

4、數(shù)據(jù)審計(jì)：支持對(duì)數(shù)據(jù)的審計(jì)和訪問

5、安全集成向?qū)В簡?dòng)Kerberos集成和外部安全認(rèn)證集成，如支持通過內(nèi)部數(shù)據(jù)庫和外部服務(wù)進(jìn)行用戶認(rèn)證。

上述內(nèi)容就是Cloudera大數(shù)據(jù)平臺(tái)有什么用，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

標(biāo)題名稱：Cloudera大數(shù)據(jù)平臺(tái)有什么用
文章鏈接：http://bm7419.com/article18/isjodp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、企業(yè)網(wǎng)站制作、網(wǎng)站策劃、軟件開發(fā)、靜態(tài)網(wǎng)站、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)