大數(shù)據(jù)課堂筆記HDFS的shell操作-創(chuàng)新互聯(lián)

一、HDFS常用命令操作實(shí)戰(zhàn)

啟動Hadoop集群 執(zhí)行命令???start-yarn.sh

創(chuàng)新互聯(lián)企業(yè)建站,10年網(wǎng)站建設(shè)經(jīng)驗(yàn)，專注于網(wǎng)站建設(shè)技術(shù)，精于網(wǎng)頁設(shè)計(jì)，有多年建站和網(wǎng)站代運(yùn)營經(jīng)驗(yàn)，設(shè)計(jì)師為客戶打造網(wǎng)絡(luò)企業(yè)風(fēng)格，提供周到的建站售前咨詢和貼心的售后服務(wù)。對于成都網(wǎng)站制作、成都做網(wǎng)站、外貿(mào)營銷網(wǎng)站建設(shè)中不同領(lǐng)域進(jìn)行深入了解和探索，創(chuàng)新互聯(lián)在網(wǎng)站建設(shè)中充分了解客戶行業(yè)的需求，以靈動的思維在網(wǎng)頁中充分展現(xiàn)，通過對客戶行業(yè)精準(zhǔn)市場調(diào)研，為客戶提供的解決方案。

1.創(chuàng)建目錄

(1).單層目錄

執(zhí)行命令? hdfs dfs -mkdir /ied

利用WebUI查看創(chuàng)建的目錄

(2).創(chuàng)建多層目錄

執(zhí)行命令? hdfs dfs -mkdir -p /luzhou/lzy

利用WebUI查看創(chuàng)建的多層目錄

2.查看目錄

執(zhí)行命令? hdfs dfs -ls /? ? ? ? ?查看根目錄? ? ? ? ? ? ??

執(zhí)行命令? ?hdfs dfs -ls /luzhou? ?

3.上傳本地文件到HDFS

創(chuàng)建 test.txt 文件? 執(zhí)行命令? ?echo “hello world” >test.txt

上傳 test.txt 文件到HDFS的 /ied目錄，執(zhí)行命令??hdfs dfs -put test.txt /ied

利用Hadoop WebUI界面查看是否上傳成功

4.查看文件內(nèi)容

執(zhí)行命令：hdfs dfs -cat /ied/test.txt

5、下載HDFS文件到本地

先刪除本地的test.txt文件 執(zhí)行命令：rm -rf? test.txt

下載HDFS文件系統(tǒng)的 /ied/test.txt 到本地當(dāng)前目錄不改名，執(zhí)行命令：hdfs dfs -get /ied/test.txt

將HDFS上的文件下載到本地指定位置,并且可以更改文件名

執(zhí)行命令：hdfs dfs -get /ied/test.txt /home/exam.txt

檢查是否下載成功

6、刪除HDFS文件

執(zhí)行命令： hdfs dfs -rm /ied/test.txt

檢查是否刪除成功

7.刪除HDFS目錄

執(zhí)行命令：hdfs dfs -rmdir /luzhou

提示 -rmdir 命令刪除不了非空目錄

要遞歸刪除才能刪除非空目錄：hdfs dfs -rm -r /luzhou（-r：recursive）

刪除空目錄?/BigData?執(zhí)行命令：hdfs dfs -rmdir /BigData

8、移動目錄或文件

將 /ied 目錄更名為 /ied01，執(zhí)行命令：hdfs dfs -mv /ied /ied01

利用Hadoop WebUI查看是否更名成功

將 /ied01/exam.txt 更名為 /ied/test.txt，執(zhí)行命令：hdfs dfs -mv /ied01/exam.txt /ied01/test.txt

9、文件合并下載

現(xiàn)在 /ied01 里有一個(gè) test.txt ，創(chuàng)建 sport.txt 和 music.txt 并上傳

合并/ied01目錄的文件下載到本地當(dāng)前目錄的merger.txt

執(zhí)行命令：hdfs dfs -getmerge /ied01/* merger.txt

查看本地的merger.txt，看是不是三個(gè)文件合并后的內(nèi)容

10、檢查文件信息

檢查 test.txt 文件，執(zhí)行命令：hdfs fsck /ied01/test.txt -files -blocks -locations -racks

執(zhí)行命令：hdfs dfs -put /opt/hadoop-3.3.4.tar.gz /ied01，將hadoop壓縮包上傳到HDFS的/ied01目錄

查看HDFS上 hadoop-3.3.4.tar.gz 文件信息，執(zhí)行命令：hdfs fsck /ied01/hadoop-3.3.4.tar.gz -files -locations -racks

利用Hadoop WebUI來查看文件塊信息更加方便，總共有6個(gè)文件塊：Block0、Block1、Block2、Block3、Block4、Block5

第1個(gè)文件塊信息

第6個(gè)文件塊信息

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

標(biāo)題名稱：大數(shù)據(jù)課堂筆記HDFS的shell操作-創(chuàng)新互聯(lián)
網(wǎng)頁地址：http://bm7419.com/article12/igjdc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、定制開發(fā)、標(biāo)簽優(yōu)化、網(wǎng)站建設(shè)、響應(yīng)式網(wǎng)站、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

成都做網(wǎng)站