Hadoop的入門基礎(chǔ)有哪些-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務(wù)器提供商，新人活動買多久送多久，劃算不套路！

創(chuàng)新互聯(lián)專注于偏關(guān)網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供偏關(guān)營銷型網(wǎng)站建設(shè)，偏關(guān)網(wǎng)站制作、偏關(guān)網(wǎng)頁設(shè)計、偏關(guān)網(wǎng)站官網(wǎng)定制、微信小程序定制開發(fā)服務(wù)，打造偏關(guān)網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供偏關(guān)網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

本篇文章給大家分享的是有關(guān)Hadoop的入門基礎(chǔ)有哪些，小編覺得挺實用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

1、Hadoop概述

Hadoop 是 Apache 旗下的一個用 Java 語言實現(xiàn)開源軟件框架，它還是一個開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。Hadoop允許使用簡單的編程模型，在大量計算機(jī)集群上，對大型數(shù)據(jù)集進(jìn)行分布式處理。

狹義上說，Hadoop 指 Apache 這款開源框架，它的核心組件有：HDFS（分布式文件系統(tǒng)）：解決海量數(shù)據(jù)存儲 ；YARN（作業(yè)調(diào)度和集群資源管理的框架）：解決資源任務(wù)調(diào)度；MAPREDUCE（分布式運算編程框架）：解決海量數(shù)據(jù)計算。

廣義上來說，Hadoop 通常是指一個更廣泛的概念——Hadoop 生態(tài)圈。當(dāng)下的 Hadoop 已經(jīng)成長為一個龐大的體系，隨著生態(tài)系統(tǒng)的成長，新出現(xiàn)的項目越來越多，其中不乏一些非 Apache 主管的項目，這些項目對 HADOOP 是很好的補(bǔ)充或者更高層的抽象。比如，HDFS： 分 布 式 文 件 系 統(tǒng)；MAPREDUCE：分布式運算程序開發(fā)框架；HIVE：基于 HADOOP 的分布式數(shù)據(jù)倉庫，提供基于 SQL 的查詢數(shù)據(jù)操作；HBASE：基于Hadoop的分布式海量數(shù)據(jù)庫；ZOOKEEPER：分布式協(xié)調(diào)服務(wù)基礎(chǔ)組件；Mahout：基于 mapreduce/spark/flink 等分布式運算框架的機(jī)器學(xué)習(xí)算法庫；OOZIE：工作流調(diào)度框架；Sqoop：數(shù)據(jù)導(dǎo)入導(dǎo)出工具；FLUME：日志數(shù)據(jù)采集框架；IMPALA：基于 hive 的實時 sql 查詢分析。

2、Hadoop的發(fā)展歷程

Hadoop 是 Apache Lucene 創(chuàng)始人 Doug Cutting 創(chuàng)建的。最早起源于 Nutch， 它是 Lucene 的子項目。Nutch 的設(shè)計目標(biāo)是構(gòu)建一個大型的全網(wǎng)搜索引擎，包括網(wǎng)頁抓取、索引、查詢等功能，但隨著抓取網(wǎng)頁數(shù)量的增加，遇到了嚴(yán)重的可擴(kuò)展性問題：如何解決數(shù)十億網(wǎng)頁的存儲和索引問題。

2003 年 Google 發(fā)表了一篇論文為該問題提供了可行的解決方案。論文中描述的是谷歌的產(chǎn)品架構(gòu)，該架構(gòu)稱為：谷歌分布式文件系統(tǒng)（GFS）,可以解決他們在網(wǎng)頁爬取和索引過程中產(chǎn)生的超大文件的存儲需求。

2004 年 Google 發(fā)表論文向全世界介紹了谷歌版的MapReduce 系統(tǒng)。 同時期，Nutch 的開發(fā)人員完成了相應(yīng)的開源實現(xiàn) HDFS 和 MAPREDUCE，并從Nutch 中剝離成為獨立項目 HADOOP，到 2008 年 1 月，HADOOP 成為 Apache 頂級項目，迎來了它的快速發(fā)展期。

2006 年 Google 發(fā)表了論文是關(guān)于 BigTable 的，這促使了后來的 Hbase的發(fā)展。 因此，Hadoop 及其生態(tài)圈的發(fā)展離不開 Google 的貢獻(xiàn)。

3、Hadoop的特性

（1）擴(kuò)容能力：Hadoop 是在可用的計算機(jī)集群間分配數(shù)據(jù)并完成計算任務(wù)的，這些集群可用方便的擴(kuò)展到數(shù)以千計的節(jié)點中。

（2）成本低：Hadoop 通過普通廉價的機(jī)器組成服務(wù)器集群來分發(fā)以及處理數(shù)據(jù)，以至于成本很低。

（3）高效率：通過并發(fā)數(shù)據(jù)，Hadoop 可以在節(jié)點之間動態(tài)并行的移動數(shù)據(jù)，使得速度非?？?。

（4）可靠性：能自動維護(hù)數(shù)據(jù)的多份復(fù)制，并且在任務(wù)失敗后能自動地重新部署計算任務(wù)。所以 Hadoop 的按位存儲和處理數(shù)據(jù)的能力值得人們信賴。

4、Hadoop的應(yīng)用

Hadoop 最受青睞的行業(yè)是互聯(lián)網(wǎng)領(lǐng)域，可以說互聯(lián)網(wǎng)公司是 hadoop 的主要使用力量。國外來說，Yahoo、Facebook、IBM 等公司都大量使用 hadoop 集群來支撐業(yè)務(wù)。比如：Yahoo 的 Hadoop 應(yīng)用在支持廣告系統(tǒng)、用戶行為分析、支持 Web 搜索等。 Facebook 主要使用 Hadoop 存儲內(nèi)部日志與多維數(shù)據(jù)，并以此作為報告、分析和機(jī)器學(xué)習(xí)的數(shù)據(jù)源。

國內(nèi)來說，BAT 領(lǐng)頭的互聯(lián)網(wǎng)公司是當(dāng)仁不讓的 Hadoop 使用者、維護(hù)者。比如 Ali 云梯（14 年國內(nèi)大 Hadoop 集群）、百度的日志分析平臺、推薦引擎系統(tǒng)等。國內(nèi)其他非互聯(lián)網(wǎng)領(lǐng)域也有不少 hadoop 的應(yīng)用，比如：金融行業(yè)的個人征信分析，證券行業(yè)的投資模型分析，還有交通行業(yè)的車輛、路況監(jiān)控分析和電信行業(yè)的用戶上網(wǎng)行為分析 。

以上就是Hadoop的入門基礎(chǔ)有哪些，小編相信有部分知識點可能是我們?nèi)粘９ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。

文章題目：Hadoop的入門基礎(chǔ)有哪些-創(chuàng)新互聯(lián)
網(wǎng)頁網(wǎng)址：http://bm7419.com/article22/dsdjjc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設(shè)計公司、網(wǎng)站內(nèi)鏈、網(wǎng)站建設(shè)、云服務(wù)器、品牌網(wǎng)站制作、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)