hdfs最開始開始開啟集群的時(shí)候,會(huì)處于安全模式下,此時(shí)內(nèi)部正檢查集群中的副本率是否滿足配置文件中所配置的副本率
1、如果不滿足就需通過節(jié)點(diǎn)間的復(fù)制滿足副本率后才會(huì)退出安全模式。
2、如果大于所配置的副本率,就會(huì)通過刪除多于副本來降低副本率
檢查安全模式的情況:
hdfs dfsadmin -safemode get|enter|leave|wait
注意:
處于安全模式下時(shí),無法對(duì)hdfs中的文件進(jìn)行寫,修改操作,只能進(jìn)行讀操作。
dfs.replication.min, 默認(rèn)是1
這是對(duì)hdfs中某個(gè)目錄做的一個(gè)備份。默認(rèn)情況下,每個(gè)目錄的快照功能是關(guān)閉的,所以如果要給該目錄創(chuàng)建快照,就得給該目錄開啟快照功能。
開啟快照:
hdfs dfsadmin -allowSnapshot <snapshotDir>
關(guān)閉快照:
hdfs dfsadmin -disallowSnapshot <snapshotDir>
顯示所有能創(chuàng)建快照的目錄:
hdfs lsSnapshottableDir
比較兩個(gè)快照不同的地方:
//比較一個(gè)目錄的兩個(gè)快照的不同
hdfs snapshotDiff 快照目錄 快照1 快照2
//比較目錄和快照的不同,中間那個(gè)“.”表示當(dāng)前目錄,不可省略
hdfs snapshotDiff 快照目錄 . 快照1
創(chuàng)建快照:
//快照的目錄 快照的名稱(可選)
hdfs dfs -createSnapshot <snapshotDir> [<snapshotName>]
創(chuàng)建的快照狀態(tài)會(huì)存儲(chǔ)在所創(chuàng)建快照的目錄下的 .snapshot/<snapshotName>/ 這個(gè)目錄下
刪除快照:
//快照的目錄 快照的名稱(必須要有,因?yàn)橐粋€(gè)目錄可能有多個(gè)快照)
hdfs dfs -deleteSnapshot <snapshotDir> <snapshotName>
重命名快照:
//快照的目錄 快照的名稱(必須要有,因?yàn)橐粋€(gè)目錄可能有多個(gè)快照)
hdfs dfs -renameSnapshot <snapshotDir> <oldsnapshotName> <newsnapshotName>
從快照中恢復(fù)內(nèi)容:
可以直接從 <snapshotDir>/.snapshot/<snapshotName>/ 中查看到所有的文件以及目錄,需要哪個(gè)文件就拷貝哪個(gè)文件。
snapshotDir為創(chuàng)建了快照的目錄
回收站默認(rèn)是關(guān)閉的,需要在配置文件中設(shè)置開啟
修改core-site.xml,然后重啟hdfs
<!--設(shè)置被刪除文件在回收站的存活時(shí)間,單位為分鐘,如果為0,表示關(guān)閉回收站 -->
<property>
<name>fs.trash.interval</name>
<value>2</value>
</property>
<!--設(shè)置回收站檢查時(shí)間間隔,如果回收站中文件存活時(shí)間到期就從回收站刪除,單位是分鐘 -->
<property>
<name>fs.trash.checkpoint.interval</name>
<value>1</value>
</property>
開啟回收站之后,當(dāng)我們刪除hdfs的文件時(shí),刪除的文件會(huì)移動(dòng)到 hdfs的/user/USERNAME/.trash/Current/ 下,其中USERNAME是當(dāng)前操作hdfs 的有用戶名。所以實(shí)際上就是剪切操作。
注意:
通過程序刪除的文件不會(huì)移動(dòng)到回收站中,需要顯式將文件移動(dòng)到回收站。如果是通過命令行的是會(huì)移動(dòng)到回收站的。
//創(chuàng)建回收站對(duì)象
Trash tsh = new Trash(conf);
Path path = new Path(pathString);
//將指定文件移動(dòng)到回收站
tsh.moveToTrash(path);
hdfs dfs -expunge
直接從回收站的路徑剪切到指定路徑下即可
//名稱配額,簡單說就是該目錄下文件和目錄的總個(gè)數(shù)的限制
hdfs dfsadmin -setQuota N HDFS目錄1 HDFS目錄2..... 設(shè)置名稱配額
hdfs dfsadmin -clrQuota HDFS目錄1 HDFS目錄2..... 取消名稱配額
//空間配額,簡單說就是該目錄的存儲(chǔ)空間限制
hdfs dfsadmin -setSpaceQuota N單位(如:1GB) [-storageType <storagetype>] HDFS目錄1 HDFS目錄2..... 設(shè)置空間配額
hdfs dfsadmin -clrSpaceQuota [-storageType <storagetype>] HDFS目錄1 HDFS目錄2..... 取消空間配額
其中 storageType 有以下類型:
RAW-DISK:原始物理磁盤
DISK: 分區(qū)空間
SSD: 固態(tài)硬盤
ARCHIVE:
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
當(dāng)前標(biāo)題:九、HDFS安全模式,快照,回收站,配額管理的用法-創(chuàng)新互聯(lián)
文章URL:http://aaarwkj.com/article44/dgdche.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供動(dòng)態(tài)網(wǎng)站、電子商務(wù)、定制網(wǎng)站、網(wǎng)站改版、域名注冊(cè)、網(wǎng)站維護(hù)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容