HadoopMapReduce怎么使用

本篇內(nèi)容介紹了“Hadoop MapReduce怎么使用”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)專注于企業(yè)成都營銷網(wǎng)站建設(shè)、網(wǎng)站重做改版、鼎城網(wǎng)站定制設(shè)計、自適應(yīng)品牌網(wǎng)站建設(shè)、HTML5建站、商城網(wǎng)站開發(fā)、集團公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站制作、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計等建站業(yè)務(wù)，價格優(yōu)惠性價比高，為鼎城等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

Apache Hadoop : 

是 Apache 開源組織的一個分布式計算開源框架，提供了一個分布式文件系統(tǒng)子項目 ( HDFS) 和支持 MapReduce分布式計算的軟件架構(gòu)。

Hadoop的核心是 HDFS 及 MapReduce ，國人喜歡用 “ 分而治之 ” 來概括。

“ 分而治之” 

出自《 群經(jīng)平議·周官二 》“ 巫馬下士二人醫(yī)四人 ”：“ 凡邦之有疾病者，疕瘍者造焉 ，則使醫(yī)分而治之 ，是亦不自醫(yī)也 。” 簡單點可以理解為分別治理的意思。

這類似于設(shè)計思維中的分類思想，例如：

UX中的用戶畫像，給用戶打 TAG；

UED 的設(shè)計語言，分解設(shè)計目標，為不同的子目標設(shè)定設(shè)計規(guī)則；也可以用于分解設(shè)計元素，制定每種元素的設(shè)計策略；

UI& 平面設(shè)計，針對配色、構(gòu)圖、字體樣式等有不同的考究；

UX 設(shè)計，關(guān)注功能、布局、使用路徑、信息架構(gòu)等的優(yōu)化；

建筑／景觀設(shè)計，分別關(guān)注空間、材質(zhì)、功能、視線等的體驗；

Hadoop廣泛應(yīng)用于大數(shù)據(jù)中，用于處理數(shù)百 GB到 TB或 PB的數(shù)據(jù)。利用 HDFS ，集群 N 臺普通計算機（ 如配置為硬盤 128 GB，內(nèi)存 4 G），形成一個硬盤為 N X 128 GB，內(nèi)存 N X 4 G 的 “ 大型 ” 計算機。Hadoop 在此扮演的是數(shù)據(jù)分發(fā)的角色，可以很方便的隨時將原始數(shù)據(jù)的每一部分發(fā)送到群集中的多臺計算機上進行保存，并計算。

計算的時候，使用 MapReduce模型來將工作分成一組獨立的任務(wù)來并行處理大量數(shù)據(jù)。

在 MapReduce 中，記錄由被稱為 Mappers 的任務(wù)隔離處理。然后將 Mappers 的輸出結(jié)合到稱為 Reducers 的第二組任務(wù)中，其中可以將來自不同映射器的結(jié)果合并在一起。

MapReduce 的例子——單詞統(tǒng)計：

統(tǒng)計單詞在不同文件中出現(xiàn)的次數(shù)。我們有2個文件：

foo.txt: Sweet, this is the foo file

bar.txt: This is the bar file

輸出的結(jié)果應(yīng)該是：

sweet 1

this  2

is    2

the   2

foo   1

bar   1

file  2

寫成 MapReduce 的偽代碼形式如下：

mapper (filename, file-contents):
 for each word in file-contents:
    emit (word, 1)
 
 
reducer (word, values):
  sum = 0
  for each value in values:
    sum = sum + value
  emit (word, sum)

Hadoop 不是數(shù)據(jù)庫的替代品，而是一個計算框架，可以理解為就是個用于大數(shù)據(jù)的“計算器”。Hadoop將數(shù)據(jù)存儲在文件中，并且不會對它們編制索引。如果您想查找某些內(nèi)容，則必須運行 MapReduce 作業(yè)以查看所有數(shù)據(jù)。這需要時間，并且意味著您不能直接使用 Hadoop作為數(shù)據(jù)庫的替代品。并且對于數(shù)據(jù)庫的更新及更改數(shù)據(jù)的操作， Hadoop 都不支持。

“Hadoop MapReduce怎么使用”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！

分享標題：HadoopMapReduce怎么使用
本文來源：http://bm7419.com/article46/jcejeg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、全網(wǎng)營銷推廣、外貿(mào)網(wǎng)站建設(shè)、Google、網(wǎng)站設(shè)計、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)