九、HDFS安全模式,快照,回收站,配額管理的用法

一、安全模式

hdfs最開始開始開啟集群的時候,會處于安全模式下,此時內(nèi)部正檢查集群中的副本率是否滿足配置文件中所配置的副本率
1、如果不滿足就需通過節(jié)點間的復(fù)制滿足副本率后才會退出安全模式。
2、如果大于所配置的副本率,就會通過刪除多于副本來降低副本率

創(chuàng)新互聯(lián)建站網(wǎng)站建設(shè)公司,提供成都網(wǎng)站設(shè)計、成都網(wǎng)站制作,網(wǎng)頁設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);可快速的進行網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,是專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

檢查安全模式的情況:

hdfs dfsadmin -safemode get|enter|leave|wait

注意:
處于安全模式下時,無法對hdfs中的文件進行寫,修改操作,只能進行讀操作。

1、最小副本條件的設(shè)置

dfs.replication.min,   默認是1

二、快照

這是對hdfs中某個目錄做的一個備份。默認情況下,每個目錄的快照功能是關(guān)閉的,所以如果要給該目錄創(chuàng)建快照,就得給該目錄開啟快照功能。
開啟快照:

hdfs dfsadmin -allowSnapshot <snapshotDir>

關(guān)閉快照:

hdfs dfsadmin -disallowSnapshot <snapshotDir>

顯示所有能創(chuàng)建快照的目錄:

hdfs lsSnapshottableDir

比較兩個快照不同的地方:

//比較一個目錄的兩個快照的不同
hdfs snapshotDiff 快照目錄 快照1 快照2

//比較目錄和快照的不同,中間那個“.”表示當前目錄,不可省略
hdfs snapshotDiff 快照目錄  .  快照1

創(chuàng)建快照:

//快照的目錄   快照的名稱(可選)
hdfs dfs -createSnapshot <snapshotDir> [<snapshotName>]

創(chuàng)建的快照狀態(tài)會存儲在所創(chuàng)建快照的目錄下的 .snapshot/<snapshotName>/ 這個目錄下

刪除快照:

//快照的目錄   快照的名稱(必須要有,因為一個目錄可能有多個快照)
hdfs dfs -deleteSnapshot <snapshotDir> <snapshotName>

重命名快照:

//快照的目錄   快照的名稱(必須要有,因為一個目錄可能有多個快照)
hdfs dfs -renameSnapshot <snapshotDir> <oldsnapshotName> <newsnapshotName>

從快照中恢復(fù)內(nèi)容:

可以直接從 <snapshotDir>/.snapshot/<snapshotName>/ 中查看到所有的文件以及目錄,需要哪個文件就拷貝哪個文件。

snapshotDir為創(chuàng)建了快照的目錄

三、hdfs回收站

回收站默認是關(guān)閉的,需要在配置文件中設(shè)置開啟

1、開啟回收站

修改core-site.xml,然后重啟hdfs

<!--設(shè)置被刪除文件在回收站的存活時間,單位為分鐘,如果為0,表示關(guān)閉回收站 -->
<property>
    <name>fs.trash.interval</name>
    <value>2</value>
</property>

<!--設(shè)置回收站檢查時間間隔,如果回收站中文件存活時間到期就從回收站刪除,單位是分鐘 -->
<property>
    <name>fs.trash.checkpoint.interval</name>
    <value>1</value>
</property>

2、查看回收站

開啟回收站之后,當我們刪除hdfs的文件時,刪除的文件會移動到 hdfs的/user/USERNAME/.trash/Current/ 下,其中USERNAME是當前操作hdfs 的有用戶名。所以實際上就是剪切操作。
注意:
通過程序刪除的文件不會移動到回收站中,需要顯式將文件移動到回收站。如果是通過命令行的是會移動到回收站的。

3、通過程序?qū)⑽募苿拥交厥照?/h3>
//創(chuàng)建回收站對象
Trash tsh = new Trash(conf);
Path path = new Path(pathString);
//將指定文件移動到回收站
tsh.moveToTrash(path);

4、清空回收站

hdfs dfs -expunge

5、從回收站恢復(fù)文件

直接從回收站的路徑剪切到指定路徑下即可

四、配額

//名稱配額,簡單說就是該目錄下文件和目錄的總個數(shù)的限制
hdfs dfsadmin -setQuota N HDFS目錄1 HDFS目錄2.....  設(shè)置名稱配額
hdfs dfsadmin -clrQuota HDFS目錄1 HDFS目錄2.....    取消名稱配額

//空間配額,簡單說就是該目錄的存儲空間限制
hdfs dfsadmin -setSpaceQuota N單位(如:1GB) [-storageType <storagetype>] HDFS目錄1 HDFS目錄2..... 設(shè)置空間配額
hdfs dfsadmin -clrSpaceQuota [-storageType <storagetype>] HDFS目錄1 HDFS目錄2..... 取消空間配額

其中 storageType 有以下類型:
RAW-DISK:原始物理磁盤
DISK:    分區(qū)空間
SSD:     固態(tài)硬盤
ARCHIVE:  

網(wǎng)站欄目:九、HDFS安全模式,快照,回收站,配額管理的用法
URL標題:http://bm7419.com/article32/iihesc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供企業(yè)網(wǎng)站制作、網(wǎng)站收錄網(wǎng)站制作、微信小程序品牌網(wǎng)站設(shè)計、營銷型網(wǎng)站建設(shè)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

手機網(wǎng)站建設(shè)