Puppet監(jiān)控速查問題的原因及解決方案是什么，相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

公司主營業(yè)務(wù)：成都網(wǎng)站設(shè)計、做網(wǎng)站、成都外貿(mào)網(wǎng)站建設(shè)公司、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)公司是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊有機(jī)會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)公司推出山東免費做網(wǎng)站回饋大家。

Puppet是基于C/S架構(gòu)的集中配置管理系統(tǒng)，基于自有描述性語言，可以實現(xiàn)對配置文件、用戶、定時任務(wù)、軟件包、系統(tǒng)服務(wù)等管理，保證大規(guī)模集群基礎(chǔ)配置一致性。

我們用Puppet管理了上千臺服務(wù)器，經(jīng)過多次優(yōu)化監(jiān)控，自動化灰度發(fā)布保證了所有集群基礎(chǔ)配置一致性。本文探討了如何對Puppet系統(tǒng)進(jìn)行監(jiān)控，也將典型問題和解決方案一并分享給大家。

監(jiān)控選型

Foreman提供了較全面的交互設(shè)施，包括Web前端、CLI和RESTful API。在此基礎(chǔ)之上，可以構(gòu)建監(jiān)控管理系統(tǒng)，以及實現(xiàn)報警等功能。

核心業(yè)務(wù)流程

可以簡單將Puppet的工作流程抽象為四部分：

• 請求階段：Agent基于SSL將自身信息發(fā)送給Server；

• 響應(yīng)階段：Server基于客戶端信息解析相應(yīng)的配置，并最終將偽代碼（catalog）發(fā)送回Agent；

• 執(zhí)行階段：Agent接收catalog并執(zhí)行命令或者更新文件；

• 匯報階段：Agent把結(jié)果匯報給Server。

圖1 Puppet工作流程

監(jiān)控概覽

對Puppet的核心監(jiān)控主要覆蓋如下環(huán)節(jié)：

• Agent與Master通信是否正常；

• Agent策略執(zhí)行是否生效；

• Puppet發(fā)布的策略生效時間及范圍；

• Master及其所管理集群的運行狀態(tài)。

黑盒監(jiān)控

Puppet黑盒監(jiān)控指標(biāo)不符合預(yù)期，說明集群不能正常工作或出現(xiàn)異常，黑盒監(jiān)控指標(biāo)有：所有策略是否都生效，策略生效范圍是否符合預(yù)期，策略生效結(jié)果是否符合預(yù)期。

所有策略是否都生效

說明：將一批測試節(jié)點，加入到線上Puppet集群，通過定期運行檢查腳本驗證所有策略是否都生效。

策略生效范圍

說明：策略上線后，需要確認(rèn)其生效范圍是否符合預(yù)期，即策略是否僅在指定的節(jié)點生效。

實現(xiàn)：通過Puppet模塊MCollective定時執(zhí)行檢查任務(wù)（檢查實際生效的機(jī)器列表和服務(wù)樹機(jī)器列表是否一致），如下圖，集群hn-xdata 有98%的機(jī)器符合預(yù)期，2%不符合。

圖2 Puppet策略生效范圍監(jiān)控

策略生效結(jié)果是否符合預(yù)期

說明：策略上線后，需要確保所有策略在所有機(jī)器都生效。

實現(xiàn)：通過Puppet模塊MCollective定時執(zhí)行檢查任務(wù)，（檢查實際生效的機(jī)器列表和服務(wù)樹機(jī)器列表是否一致），如下圖，每一個策略有一張餅圖。

圖3 Puppet策略結(jié)果監(jiān)控

白盒監(jiān)控

白盒監(jiān)控是黑盒監(jiān)控的補(bǔ)充，服務(wù)于故障定位，從集群容量、流量、延遲、錯誤四個方面梳理。

數(shù)據(jù)采集方式：

• 通過Foreman API

• Master日志分析

表1 通過Foreman API獲取采集的白盒指標(biāo)概覽

指標(biāo)	說明
No reports	沒有匯報的主機(jī)
Error	連上了但是執(zhí)行策略出錯
Out of sync	執(zhí)行策略超時；主機(jī)名重復(fù)；主機(jī)連不上
Active	Agent拉取策略正常
Pending	容量指標(biāo)，Master處理不過來
No changes	Agent正常拉取策略但是沒有變更
puppet_report_time_total	Agent執(zhí)行策略總時間
Pv	每分鐘訪問量

容量

Master所在實例的CPU，網(wǎng)絡(luò)連接數(shù)指標(biāo)，網(wǎng)卡

流量

Agent PV，基于Puppet Master的訪問日志puppetserver-access.log來計算流量

圖4 Agent PV流量圖

延遲

單個Agent更新策略需要的時間：puppet_report_time_total

說明：puppet_report_time_total 是Agent從連接Master到發(fā)送報告給Master總時間，0-3s的占50%，0-11s的占90%，0-15s占99%。

圖5 Agent 延遲

錯誤

• No reports：沒有報告的實例數(shù)量；

• Error agent：執(zhí)行策略出錯的實例數(shù)量；

• Out of sync：執(zhí)行策略超時、主機(jī)名重復(fù)、主機(jī)連不上Master的實例數(shù)量。

圖6 Foreman錯誤監(jiān)控指標(biāo)

Puppet監(jiān)控發(fā)現(xiàn)的問題

Agent覆蓋所有機(jī)器

問題：不能保證所有機(jī)器Agent都正常運行。

解決方案：基于服務(wù)樹或者CMDB相關(guān)系統(tǒng)將所有機(jī)器填加Agent進(jìn)程監(jiān)控。

Agent執(zhí)行策略超時

問題：大文件并發(fā)下載時，出現(xiàn)超時告警。

排查方法：在Agent上執(zhí)行命令“puppet agent -t --debug”, 發(fā)現(xiàn)在拉取文件時超時，由于文件較大，在Master上同時很多Agent拉取，導(dǎo)致超時。

解決方案：將大文件存放在云存儲上，提高下載速度。

分組不止僅限于現(xiàn)有Facter屬性

問題：策略分組和灰度發(fā)布分組現(xiàn)有Facter屬性不滿足。

原因：隨著接入業(yè)務(wù)越來越多，業(yè)務(wù)分組也越多。

解決方案：自定義Facter。

Agent不同步（Out of Sync）

問題：Agent報不同步。

原因及解決方案：

表二

原因	解決方案
主機(jī)名重復(fù)	修改Agent Hostname后重新認(rèn)證
主機(jī)認(rèn)證后重命名	直接在Foreman控制臺中刪除原名稱認(rèn)證的機(jī)器
Agent服務(wù)異常	在Agent上重啟Puppet服務(wù)
Agent磁盤打滿	清理磁盤后，Agent會自行啟動并恢復(fù)
Agent端證書error	在Agent上刪除/etc/puppetlabs/puppet/ssl文件夾后，執(zhí)行puppet agent –t重新認(rèn)證
Agent端puppet.conf文件為空	將相應(yīng)的[Agent]配置寫入puppet.conf文件中即可恢復(fù)
Master端puppe.conf文件為空	將相應(yīng)[Master]配置寫入puppet.conf文件中即可恢復(fù)
Foreman服務(wù)down掉	在Foreman機(jī)器上執(zhí)行service httpd restart、service foreman restart
Could not request certificate	1)Agent與Master時間不同步，ntpdate master –IP同步時間；2)Agent與Master端網(wǎng)絡(luò)不通；3)Master端8140端口不通

策略發(fā)布到非預(yù)期集群

問題：策略生效范圍出錯。

原因：Puppet Master入口文件統(tǒng)一為site.pp，由于策略分組多，在灰度發(fā)布階段，相應(yīng)分支也會很多，運維工程師很容易操作出錯。

解決方案：將site.pp作為一個策略模塊進(jìn)行管理，策略模塊中包含默認(rèn)default分組，以及需要灰度發(fā)布的分組。manifest文件夾下的site.pp只需include該模塊即可。

圖7 site.pp優(yōu)化后default分組策略

圖8 策略發(fā)布灰度階段分組

功能監(jiān)控發(fā)現(xiàn)所同步的文件非預(yù)期

問題：Master采用集群方式部署，在策略變更期間多臺Master上數(shù)據(jù)可能不同步，此時，同一Agent拉取到的文件可能不一致 。

原因：由于有多臺Master，其中一臺Master沒有更新文件，LB通過輪詢策略進(jìn)行轉(zhuǎn)發(fā)，當(dāng)Agent請求Master時是Master A，再拉取文件時請求的可能是Master B，兩臺Master數(shù)據(jù)不一致。

解決方案：LB策略更新為源IP哈希。

看完上述內(nèi)容，你們掌握Puppet監(jiān)控速查問題的原因及解決方案是什么的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，感謝各位的閱讀！

當(dāng)前標(biāo)題：Puppet監(jiān)控速查問題的原因及解決方案是什么-創(chuàng)新互聯(lián)
當(dāng)前地址：http://aaarwkj.com/article20/dijico.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、營銷型網(wǎng)站建設(shè)、微信小程序、小程序開發(fā)、App設(shè)計、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)