hadoop掃盲

1 hadoop 大數(shù)據(jù)平臺(tái)架構(gòu)和實(shí)踐

創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站設(shè)計(jì)、成都網(wǎng)站設(shè)計(jì)、汝南網(wǎng)絡(luò)推廣、重慶小程序開發(fā)、汝南網(wǎng)絡(luò)營(yíng)銷、汝南企業(yè)策劃、汝南品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供汝南建站搭建服務(wù)，24小時(shí)服務(wù)熱線：18982081108，官方網(wǎng)址：bm7419.com

掌握大數(shù)據(jù)存儲(chǔ)與處理技術(shù)的原理

掌握hadoop開發(fā)

2 課程預(yù)報(bào)知識(shí)

linux 常用命令

java編程基礎(chǔ)

3 hadoop前世今生

大數(shù)據(jù)到來 PB 級(jí)別的數(shù)據(jù)。

mapreduce、GFS

并行，節(jié)點(diǎn)同步，開發(fā)了技術(shù)論文，沒開放源代碼。

hadoop ***小象。

4 hadoop 的功能和優(yōu)勢(shì)

開源 分布式存取 + 分布式計(jì)算平臺(tái)。

HDFS:分布式文件系統(tǒng)，

任務(wù)調(diào)度。

高擴(kuò)展、低成本、成熟的生態(tài)圈。

hadoop 人才需求，開發(fā)人才、運(yùn)維

5 生態(tài)系統(tǒng)版本

HDFS MAPreduce hive 

sql -> hive -> hadoop 

hbase 非關(guān)系型數(shù)據(jù)庫(kù)

zookeeper 動(dòng)物管理員

版本選擇，2.6版本 1.2 版本 穩(wěn)定版

6 hadoop的安裝

1 linux 環(huán)境

2 安裝jdk

3 配置hadoop 4 個(gè)配置文件

可以租用云主機(jī)。阿里云不錯(cuò)的選擇哦。

7 hadoop的核心文件

HDFS 體系結(jié)構(gòu)

讀取元數(shù)據(jù) dateNode 是 工作節(jié)點(diǎn)

數(shù)據(jù)管理策略：三份存、64M數(shù)據(jù)庫(kù)，心跳檢測(cè)、定期匯報(bào)狀態(tài)、二級(jí)namenode、定期同步到，就是各種備份，自動(dòng)同步唄。

讀寫流程：什么程序都有可能。流水線復(fù)制。更新源數(shù)據(jù)。

特點(diǎn)：數(shù)據(jù)冗余、硬件容錯(cuò)。流式的數(shù)據(jù)訪問、無法修改，直接刪除后添加。存儲(chǔ)大文件。批量讀寫，吞吐量大，一次寫入，多次讀寫，交互性能差

命令行操作：類似shell 編程。

8 map reduce 分大任務(wù)到小任務(wù)、合并結(jié)果在一起。

100GB的網(wǎng)站訪問日志文件，找錯(cuò)訪問次數(shù)最多的IP

交換很重要、

運(yùn)行流程：

基本概念：job task  one job to more task

jobtracker map任務(wù) 和 reduce任務(wù)。

jobtracker 1 作業(yè)調(diào)度 2 分配任務(wù)、監(jiān)控任務(wù)執(zhí)行進(jìn)度

監(jiān)控tasktracker的狀態(tài)

執(zhí)行任務(wù)、匯報(bào)任務(wù)狀態(tài)。

輸入數(shù)據(jù)分片、map任務(wù)、中間結(jié)果、reduce任務(wù)、輸出結(jié)果。

HDFS表中。

jobtracker 任務(wù)、執(zhí)行過程。

容錯(cuò)機(jī)制、重復(fù)執(zhí)行、先重試4次，默認(rèn)放棄，推測(cè)執(zhí)行。map端完成后，tasktracker執(zhí)行。

9 應(yīng)用案例：

wordcount 經(jīng)典記錄：

計(jì)算文件中出現(xiàn)每個(gè)單詞的頻數(shù)、

map過程 分

reduce過程 合

當(dāng)前文章：hadoop掃盲
本文地址：http://bm7419.com/article18/psscgp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動(dòng)態(tài)網(wǎng)站、靜態(tài)網(wǎng)站、企業(yè)網(wǎng)站制作、移動(dòng)網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)