一、概要

這篇文章，給大家聊聊分布式文件系統(tǒng)HDFS在大量客戶端并發(fā)寫數(shù)據(jù)時，如何進(jìn)行性能優(yōu)化?

二、背景引入

先引入一個小的背景，假如多個客戶端同時要并發(fā)的寫Hadoop HDFS上的一個文件，這個事兒能成嗎?

明顯不可以接受啊，因為HDFS上的文件是不允許并發(fā)寫的，比如并發(fā)的追加一些數(shù)據(jù)什么。

所以HDFS里有一個機(jī)制，叫做文件契約機(jī)制。

也就是說，同一時間只能有一個客戶端獲取NameNode上面一個文件的契約，然后才可以寫入數(shù)據(jù)。

此時如果其他客戶端嘗試獲取文件契約的時候，就獲取不到，只能干等著。

通過這個機(jī)制，可以保證同一時間只有一個客戶端在寫一個文件。

在獲取到了文件契約之后，在寫文件的過程期間，那個客戶端需要開啟一個線程，不停的發(fā)送請求給NameNode進(jìn)行文件續(xù)約，告訴NameNode：

• NameNode大哥，我還在寫文件啊，你給我一直保留那個契約好嗎?

而NameNode內(nèi)部有一個專門的后臺線程，負(fù)責(zé)監(jiān)控各個契約的續(xù)約時間。

如果某個契約很長時間沒續(xù)約了，此時就自動過期掉這個契約，讓別的客戶端來寫。

說了這么多，老規(guī)矩，給大家來一張圖，直觀的感受一下整個過程。

這個機(jī)制的優(yōu)化對性能的提升是相當(dāng)有幫助的，因為正常來說，過期的契約肯定還是占少數(shù)，所以壓根兒不用每次都遍歷所有的契約來檢查是否過期。

我們只需要檢查續(xù)約時間最舊的那幾個契約就可以了，如果一個契約過期了，那么就刪掉那個契約，然后再檢查第二舊的契約好了。以此類推。

通過這個TreeSet排序 + 優(yōu)先檢查最舊契約的機(jī)制，有效的將大規(guī)模集群下的契約監(jiān)控機(jī)制的性能提升至少10倍以上，這種思想是非常值得我們學(xué)習(xí)和借鑒的。

給大家稍微引申一下，在Spring Cloud微服務(wù)架構(gòu)中，Eureka作為注冊中心其實(shí)也有續(xù)約檢查的機(jī)制，跟Hadoop是類似的。

但是在Eureka中就沒有實(shí)現(xiàn)類似的續(xù)約優(yōu)化機(jī)制，而是暴力的每一輪都遍歷所有的服務(wù)實(shí)例的續(xù)約時間。

如果你面對的是一個大規(guī)模部署的微服務(wù)系統(tǒng)呢，情況就不妙了!

部署了幾十萬臺機(jī)器的大規(guī)模系統(tǒng)，有幾十萬個服務(wù)實(shí)例的續(xù)約信息駐留在Eureka的內(nèi)存中，難道每隔幾秒鐘都要遍歷幾十萬個服務(wù)實(shí)例的續(xù)約信息嗎?

最后給大家提一句，優(yōu)秀的開源項目，蘊(yùn)含著很多優(yōu)秀的設(shè)計思想。多看各種優(yōu)秀開源項目的源碼，是短時間內(nèi)快速、大幅度提升一個人的技術(shù)功底和技術(shù)水平的方式，大家不妨嘗試一下。

網(wǎng)站名稱：一個簡單的算法，分布式系統(tǒng)的性能瞬間被提升10倍以上
標(biāo)題網(wǎng)址：http://aaarwkj.com/news8/97958.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、App開發(fā)、網(wǎng)站營銷、ChatGPT、小程序開發(fā)、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)