<property>

創(chuàng)新互聯(lián)專(zhuān)注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、昌都網(wǎng)絡(luò)推廣、成都微信小程序、昌都網(wǎng)絡(luò)營(yíng)銷(xiāo)、昌都企業(yè)策劃、昌都品牌公關(guān)、搜索引擎seo、人物專(zhuān)訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供昌都建站搭建服務(wù)，24小時(shí)服務(wù)熱線：028-86922220，官方網(wǎng)址：aaarwkj.com

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

<description>配置是否啟動(dòng)故障恢復(fù)，配置此項(xiàng)為true的時(shí)候，core-site.xml需要配置ha.zookeeper.quorum</description>

</property>

<property>

<name>dfs.nameservices</name>

<value>ns1</value>

<description>提供服務(wù)的NS邏輯名稱，與core-site.xml里的對(duì)應(yīng)；Comma-separated list of nameservices</description>

</property>

<property>

<name>dfs.ha.namenodes.ns1</name>

<value>nn1,nn2</value>

<description>列出該邏輯名稱下的NameNode邏輯名稱， dfs.ha.namenodes.EXAMPLENAMESERVICE配置項(xiàng)EXAMPLENAMESERVICE位dfs.nameservices的值</description>

</property>

<property>

<name>dfs.namenode.rpc-address.ns1.nn1</name>

<value>nn1.ol:9000</value>

<description>指定NameNode的RPC位置；處理所有客戶端請(qǐng)求的RPC地址，</description>

</property>

<property>

<name>dfs.namenode.http-address.ns1.nn2</name>

<value>nn2.ol:50070</value>

<description>namenode web ui端口 ，例如： http://nn1.ol:50070/  </description>

</property>

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://nn1.ol:8485;nn2.ol:8485;s1.ol:8485/ns1</value>

<description>指定用于HA存放edits的共享存儲(chǔ)，通常是NFS掛載點(diǎn)；active namenode向配置的文件夾中寫(xiě)，standby namenode從這個(gè)文件夾下讀，從而保證namespaces同步；在非HA集群中此項(xiàng)配置為空</description> 

</property>

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/hadoop/1/jn/</value>

<description>作用暫時(shí)不知道</description>

</property>

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

<description> core-site.xml中配置項(xiàng)；指定HA做隔離的方法，缺省是ssh，可設(shè)為shell，稍后詳述； 

sshfence 通過(guò) ssh 登錄到前一個(gè) ActiveNameNosde 并將其殺死。為了讓該機(jī)制成功執(zhí)行，

需配置免密碼 ssh 登陸，通過(guò)參數(shù) dfs.ha.fencing.ssh.private-key-files 指定一個(gè)私鑰文件</description>

</property>

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/hadoop/.ssh/id_rsa</value>

<description>The SSH private key files to use with the builtin sshfence fencer.</description>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:///hadoop/1/dfs/nn</value>

<description>本地文件系統(tǒng)DFSnamenode存放name table(fsp_w_picpath文件)的目錄，參數(shù)值如果是逗號(hào)分隔的多個(gè)目錄，the name table復(fù)制到多個(gè)目錄，冗余</description>

其中fsp_w_picpath鏡像文件包含了整個(gè)HDFS文件系統(tǒng)的所有目錄和文件的indoe信息。對(duì)于文件來(lái)說(shuō)包括了數(shù)據(jù)塊描述信息、修改時(shí)間、訪問(wèn)時(shí)間等；對(duì)于目錄來(lái)說(shuō)包括修改時(shí)間、訪問(wèn)權(quán)限控制信息(目錄所屬用戶，所在組等)等。

另外，edit文件主要是在NameNode已經(jīng)啟動(dòng)情況下對(duì)HDFS進(jìn)行的各種更新操作進(jìn)行記錄，HDFS客戶端執(zhí)行所有的寫(xiě)操作都會(huì)被記錄到edit文件中。

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:///hadoop/1/dfs/dn,file:///hadoop/2/dfs/dn</value>

<description>DFS data node存放塊文件的本地文件系統(tǒng)目錄，一個(gè)文件按塊大小切分后，按順序存放在配置多個(gè)目錄下（目錄不存在則忽略）；

這么做的目的是，可以將數(shù)據(jù)寫(xiě)多塊硬盤(pán)，把這些位置分散在每個(gè)節(jié)點(diǎn)上的所有磁盤(pán)上可以實(shí)現(xiàn)磁盤(pán) I/O 平衡，因此會(huì)顯著改進(jìn)磁盤(pán) I/O 性能。

</description>

測(cè)試環(huán)境配置：

測(cè)試環(huán)境datanode的磁盤(pán)：

</property>

<property>

<name>dfs.blocksize</name>

<value>268435456</value>

<description>HDFS文件系統(tǒng)塊大小；可以配置以m,g等后綴結(jié)尾的值  256m</description>

</property>

<property>

<name>dfs.support.append</name>

<value>true</value>

<description>HDFS允許向文件追加內(nèi)容；如果這個(gè)參數(shù)設(shè)置為false，例如Flume這樣的工具持續(xù)向HDFS中的一個(gè)文件寫(xiě)數(shù)據(jù)就會(huì)出問(wèn)題（我猜的。沒(méi)驗(yàn)證）</description>

</property>

<property>

<name>fs.trash.interval</name>

<value>10080</value>單位：minute

<description>.Trash目錄下文件多久后被刪除，10080/1440=7，參數(shù)設(shè)置為0，文件直接刪除不移動(dòng)到.Trash中</description>

</property>

<property>

<name>dfs.datanode.failed.volumes.tolerated</name>

<value>1</value>

<description>允許磁盤(pán)損壞的數(shù)目，超過(guò)配置值，datanode shutdown</description>

</property>

<property>

<name>dfs.datanode.balance.bandwidthPerSec</name>

<value>104857600</value>

<description>balancing purpose，允許沒(méi)秒的帶寬；為了防止balance過(guò)程搶占網(wǎng)絡(luò)資源，不為Mapreduce作業(yè)或者數(shù)據(jù)輸入預(yù)留資源</description>

</property>

<property>

<name>dfs.namenode.handler.count</name>

<value>46</value>

<!-- 設(shè)置該值的一般原則是將其設(shè)置為集群大小的自然對(duì)數(shù)乘以20，即20logN，N為集群大小;python -c 'import math ; print int(math.log(N) * 20)' -->

</property>

<property>

<name>dfs.datanode.max.xcievers</name>

<value>8192</value>

<description>相當(dāng)于linux下的打開(kāi)文件最大數(shù)量，文檔中無(wú)此參數(shù)，當(dāng)出現(xiàn)DataXceiver報(bào)錯(cuò)的時(shí)候，需要調(diào)大。默認(rèn)256;

此項(xiàng)配置已過(guò)時(shí)，用dfs.datanode.max.transfer.threads代替，源代碼見(jiàn)DFSConfigKeys.java

</description>

</property>

<property>

<name>dfs.datanode.max.transfer.threads</name>

<value>8192</value>

<description>相當(dāng)于linux下的打開(kāi)文件最大數(shù)量，文檔中無(wú)此參數(shù)，當(dāng)出現(xiàn)DataXceiver報(bào)錯(cuò)的時(shí)候，需要調(diào)大。默認(rèn)256

</description>

</property>

<property>

<name>dfs.datanode.socket.write.timeout</name>

<value>100000000</value>

<description> IO超時(shí),超時(shí)上限值以毫秒為單位。0表示無(wú)限制;java.net.SocketTimeoutException: 480000（配置參數(shù)的值） millis timeout while waiting for channel to be ready for write</description>

</property>

<property>

<name>dfs.client.socket-timeout</name>

<value>100000000</value>

<description> IO超時(shí),超時(shí)上限值以毫秒為單位。0表示無(wú)限制;java.net.SocketTimeoutException: 480000（配置參數(shù)的值） millis timeout while waiting for channel to be ready for write</description>

</property>

<property>

<name>dfs.datanode.du.reserved</name>

<value>21474836480</value>

<description>每個(gè)存儲(chǔ)卷保留用作其他用途( non dfs use）的磁盤(pán)大小,20G；單位 bytes per volume</description>

</property>

<property>

<name>dfs.datanode.fsdataset.volume.choosing.policy</name>

<value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>

<description>數(shù)據(jù)副本存放磁盤(pán)選擇策略，

第一種是沿用hadoop1.0的磁盤(pán)目錄輪詢方式，實(shí)現(xiàn)類(lèi)：RoundRobinVolumeChoosingPolicy.java（如果不配置，默認(rèn)）

第二種是選擇可用空間足夠多的磁盤(pán)方式存儲(chǔ)，實(shí)現(xiàn)類(lèi)：AvailableSpaceVolumeChoosingPolicy.java

</description>

</property>

<property>

<name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold</name>

<value>2147483648</value>

<description>允許的卷剩余空間差值，2G

</description>

</property>

<property>

<name>dfs.hosts.exclude</name>

<value>/usr/local/hadoop/etc/hadoop/exclude_hosts</value>

<description>一個(gè)列表，列表中的hosts不允許連接namenode</description>

</property>

<property>

<name>dfs.client.read.shortcircuit</name>

<value>true</value>

<description>打開(kāi)本地讀功能</description>

</property>

<property>

<name>dfs.domain.socket.path</name>

<value>/hadoop/1/dfs/dn_socket_PORT</value>

<description>dfs.domain.socket.path是Datanode和DFSClient之間溝通的Socket的本地路徑

套接口文件

</description>

</property>

<!-- 權(quán)限相關(guān) Begin -->

<property>

<name>dfs.permissions.enabled</name>

<value>true</value>

<description>HDFS權(quán)限認(rèn)證，是否打開(kāi)</description>

</property>

<property>

<name>dfs.permissions.superusergroup</name>

<value>hadoop</value>

<description>超級(jí)用戶，format namenode的用戶</description>

</property>

<property>

<name>fs.permissions.umask-mode</name>

<value>022</value>

<description>core-site.xml的配置文件，注意umask對(duì)文件，文件夾影響不同</description>

</property>

<property>

<name>dfs.namenode.acls.enabled</name>

<value>true</value>

<description>

</description>

</property>

<!-- 權(quán)限相關(guān) End -->

網(wǎng)站題目：【總結(jié)】Hadoop配置文件hdfs-site.xml
文章路徑：http://aaarwkj.com/article30/pjdipo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、網(wǎng)站內(nèi)鏈、標(biāo)簽優(yōu)化、網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、手機(jī)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)