一、hdfs啟動流程

1、加載fsimage，即加載元數(shù)據(jù)
2、加載edits文件，因為上面的fsimage并不一定包含最新的元數(shù)據(jù)
3、保存檢查點（checkpoint），主要為了snn后面合并edits到fsimage時使用
4、進(jìn)入安全模式，檢查副本率是否滿足冗余度的要求，或者是否完整，如果不滿足就處于安全模式，無法寫入。如果滿足就退出安全模式。

槐蔭ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：028-86922220（備注：SSL證書合作）期待與您的合作！

二、基本操作命令

我們可以使用 hdfs dfs xxx 或者 hadoop fs xxx 都可以，兩者是一樣的。

完整的全部命令如下：

Usage: hadoop fs [generic options]
        [-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
        [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] <path> ...]
        [-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] [-x] <path> ...]
        [-expunge]
        [-find <path> ... <expression> ...]
        [-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getfattr [-R] {-n name | -d} [-e en] <path>]
        [-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
        [-help [cmd ...]]
        [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setfattr {-n name [-v value] | -x name} <path>]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]
        [-touchz <path> ...]
        [-truncate [-w] <length> <path> ...]
        [-usage [cmd ...]]

1、獲取命令幫助

hdfs dfs -help command
如：
hdfs dfs -help ls

2、創(chuàng)建目錄

hdfs dfs -mkdir HDFS路徑
選項：-p  遞歸創(chuàng)建目錄

3、列出目錄信息

hdfs dfs -ls HDFS路徑
選項：-R 遞歸顯示所有目錄以及目錄下的所有子目錄和文件

4、上傳文件或者目錄

hdfs dfs -put 本地路徑  HDFS路徑
hdfs dfs -copyFromLocal 本地路徑 hdfs路徑
hdfs dfs -moveFromLocal 本地路徑 hdfs路徑  這個會刪除本地文件

5、下載文件或者目錄

hdfs dfs -get HDFS路徑 本地路徑 
hdfs dfs -copyToLocal HDFS路徑 本地路徑

6、查看文件內(nèi)容

hdfs dfs -cat HDFS路徑

7、將本地文件內(nèi)容追加到HDFS文件中

hdfs dfs -appendToFile 本地路徑 HDFS路徑

8、監(jiān)控文件內(nèi)容

hdfs dfs -tail -f HDFS路徑

9、刪除文件或目錄

hdfs dfs -rm HDFS路徑
選項：-r 遞歸刪除子目錄

注意：默認(rèn)回收站關(guān)閉，所以刪除的文件立馬就沒了

10、合并數(shù)據(jù)并下載到本地

hdfs dfs -getmerge HDFS路徑1 HDFS路徑2 ....  本地路徑

11、統(tǒng)計類

hdfs dfs -count HDFS路徑     統(tǒng)計 目錄個數(shù)  文件個數(shù)  總的文件數(shù)
hdfs dfs -du HDFS路徑        顯示目錄或者文件的大小
hdfs dfs -df HDFS路徑        顯示空間使用情況

12、復(fù)制和剪切

hdfs dfs -cp HDF***c HDFSdest   HDFS內(nèi)部復(fù)制
hdfs dfs -mv HDF***c HDFSdest   HDFS內(nèi)部剪切

13、文件權(quán)限

hdfs dfs -chown user:group HDFS路徑   修改屬主屬組
hdfs dfs -chmod 權(quán)限 HDFS路徑         修改權(quán)限

14、設(shè)置副本數(shù)

hdfs dfs -setrep n HDFS路徑

三、管理命令

1、均衡datanode

hdfs balancer  將多個datanode節(jié)點進(jìn)行數(shù)據(jù)均衡處理，避免有些節(jié)點存儲數(shù)據(jù)過多

2、打印運行報告

hdfs dfsadmin -report

3、安全模式

hdfs dfsadmin -safemode  enter|leave|get  進(jìn)入安全模式|離開安全模式|獲取安全模式狀態(tài)

4、快照

hdfs dfsadmin -allowSnapshot HDFS目錄   給某個目錄做快照
hdfs dfsadmin -disableSnapshot HDFS目錄   給某個目錄取消快照

5、配額

//名稱配額，簡單說就是該目錄下文件和目錄的總個數(shù)的限制
hdfs dfsadmin -setQuota N HDFS目錄1 HDFS目錄2.....  設(shè)置名稱配額
hdfs dfsadmin -clrQuota HDFS目錄1 HDFS目錄2.....    取消名稱配額

//空間配額，簡單說就是該目錄的存儲空間限制
hdfs dfsadmin -setSpaceQuota N單位(如:1GB) [-storageType <storagetype>] HDFS目錄1 HDFS目錄2..... 設(shè)置空間配額
hdfs dfsadmin -clrSpaceQuota [-storageType <storagetype>] HDFS目錄1 HDFS目錄2..... 取消空間配額

其中 storageType 有以下類型：
RAW-DISK：原始物理磁盤
DISK：    分區(qū)空間
SSD：     固態(tài)硬盤
ARCHIVE：

四、hadoop啟動相關(guān)命令

命令作用	命令
啟動/停止歷史服務(wù)器	mr-jobhistory-daemon.sh start|stop historyserver
啟動/停止總資源管理器	yarn-daemon.sh start|stop resourcemanager
啟動/停止節(jié)點管理器	yarn-daemon.sh start|stop nodemanager
啟動/停止 NN 和 DN	start|stop-dfs.sh
啟動/停止 RN 和 NM	start|stop-yarn.sh
啟動/停止 NN、DN、RN、NM	start|stop-all.sh
啟動/停止 NN	hadoop-daemon.sh start|stop namenode
啟動/停止 DN	hadoop-daemon.sh start|stop datanode

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享名稱：四、hdfs命令行操作-創(chuàng)新互聯(lián)
地址分享：http://aaarwkj.com/article14/dohsge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營銷、網(wǎng)站制作、網(wǎng)站設(shè)計、外貿(mào)建站、自適應(yīng)網(wǎng)站、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)