事故背景:
創(chuàng)新互聯(lián)公司專注于企業(yè)營銷型網(wǎng)站、網(wǎng)站重做改版、綿竹網(wǎng)站定制設(shè)計、自適應(yīng)品牌網(wǎng)站建設(shè)、HTML5、購物商城網(wǎng)站建設(shè)、集團公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)公司、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計等建站業(yè)務(wù),價格優(yōu)惠性價比高,為綿竹等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。有一臺機器裝不上nagios監(jiān)控,yum install openssl報一個關(guān)于“l(fā)ibkrb5.so.3”沖突的錯誤。
解決過程:
1./lib64事故
關(guān)于“l(fā)ibkrb5.so.3”沖突的錯誤,查了一些文章沒有解決,就想著把libkrb5卸掉,rpm -e libkrb5.rpm,卸載有關(guān)聯(lián)沖突,然后就rpm -e libkrb5.rpm --nodeps(事實證明,如果不清楚軟件的依賴,最好不要“--nodeps”),一卸載就發(fā)現(xiàn)問題了,發(fā)現(xiàn)yum命令用不了了,提示缺少“l(fā)ibkrb5.so.3”,然后我就從別的機器上拷貝了一個libkrb5.so.3到這臺機器上,然后yum繼續(xù)提示少別的文件,經(jīng)驗告訴我,這可能還缺少別的很多庫文件,由于是生產(chǎn)的機器,我不想花太多時間整,所以就想著從別的機器上拷貝/lib64到這臺機器,想著想著,手就不由自主的敲了個“mv /lib64 /tmp”,敲完我就后悔了,趕緊“l(fā)s”,發(fā)現(xiàn)用不了了,然后發(fā)現(xiàn)只有cd命令能用,其他的都用不了,這個時間點大概是15:00,說實話,有點慌,因為生產(chǎn)上沒有遇到過這種事,在虛擬機上試過“rm -rf /”能刪,但是也沒恢復(fù)過。
2.模擬并處理/lib64事故
想了一分鐘,決定在虛擬機上模擬這個事故,打開虛擬機,然后mv /lib64 /tmp,重啟,進(jìn)不去系統(tǒng),一直卡在開機界面。然后就開始搜索“誤刪/lib64”的相關(guān)文章,幾乎沒找到有用的,可能是因為這個事故確實比較少,生產(chǎn)中沒人會這么做,實驗的話可能也不會做這個。沒搜到“誤刪/lib64”的文章,但是有個文章的“l(fā)inux修復(fù)模式”提醒了我,心想:我可以先進(jìn)了系統(tǒng),然后把/tmp目錄下的lib64拷貝回/根目錄,這樣不就解決問題了嗎。
然后我就在虛擬機上試驗,進(jìn)入linux修復(fù)模式下后,發(fā)現(xiàn)/tmp目錄下的文件被刪了,然后就想到/tmp目錄下的文件是不是重啟后自動刪除了,然后我就把光盤鏡像系統(tǒng)里的/lib64拷貝到崩潰的系統(tǒng)根目錄下,重啟系統(tǒng),依舊不行,這可能是依舊缺少什么庫文件導(dǎo)致的系統(tǒng)起不來。
很著急很著急,因為現(xiàn)在我誤認(rèn)為/tmp/lib64這個目錄在重啟系統(tǒng)后就被刪除了,而且鏡像里的/lib64拷貝到崩潰系統(tǒng)里也是不起作用的,沒辦法了,我只能想著把系統(tǒng)里的東西導(dǎo)出來,這是一臺發(fā)布機器,深圳那邊的同事專門用來發(fā)布代碼的,恰巧當(dāng)天晚上就要用。
大概17:00左右,我聯(lián)系深圳那邊同事:勇哥,那臺發(fā)布機器被我搞崩了,想問問你重要的文件是不是集中存放在哪,我試試能不能拷貝出來。聯(lián)系之后,我基本已經(jīng)做好了將文件拷貝出來的準(zhǔn)備。
17:30,腦子里突然想到,進(jìn)入了linux修復(fù)模式后,奔潰系統(tǒng)的tmp目錄不是/tmp,而是/mnt/sysp_w_picpath/tmp,所以我就進(jìn)入/mnt/sysp_w_picpath/tmp,發(fā)現(xiàn)lib64目錄還在,然后我就mv /mnt/sysp_w_picpath/tmp/lib64 /mnt/sysp_w_picpath/,重啟系統(tǒng),正常進(jìn)入。開森。
3.處理生產(chǎn)上的/lib64事故
然后我就在vCenter的存儲上上傳了一個iso鏡像(存儲上沒有鏡像,我們新裝機是走cobbler),可惡,上傳鏡像花了半小時。。這時候已經(jīng)18:30了,我是有多緊張,20:00就要用這個機器,這個事經(jīng)理還不知道。。。然后就設(shè)置BIOS開機光盤啟動,選擇存儲,前兩次因為選錯了存儲導(dǎo)致沒光盤啟動,后來選對了存儲也還進(jìn)不去,試了三四次都進(jìn)不去,我慌了,這是什么問題呢,難道鏡像有問題?沒理由啊,拷貝沒報錯。我就查,查查查,么查到,后來有個人一句話點醒我了:光盤啟動的話,如果你沒有勾選“開機啟動”的話,那就別往下看了。。突然想到,我選了鏡像但是沒有勾選“開機自動掛載”,可不就進(jìn)不去嘛,真是忙中出錯。一切都處理好了,進(jìn)入了系統(tǒng),然后mv /mnt/sysp_w_picpath/tmp/lib64 /mnt/sysp_w_picpath/,重啟,正常進(jìn)入系統(tǒng)了,但是又有新問題了:密碼明明是正確的,但是提示密碼不正確。
慌亂之中采取了網(wǎng)管的措施,重啟,重啟之后問題依舊,此時是19:00,經(jīng)理走了,大多數(shù)同事都走了,沒人知道我正在處理一個線上事故。。。說實話,這時候我心里怕了,我怕一步一個錯,但是我分析著既然系統(tǒng)都進(jìn)去了,單用戶模式應(yīng)該沒問題,改改密碼吧,然后就把系統(tǒng)密碼改成123456,重啟后,正常進(jìn)入系統(tǒng)了,發(fā)現(xiàn)一切都正常,沒問題了吧。。。然后我遠(yuǎn)程連接這臺機器,提示超時,回到vmware上,發(fā)現(xiàn)系統(tǒng)的sshd服務(wù)沒起,查看了這個服務(wù)是開機啟動的,然后我就手動起,提示少“l(fā)ibkrb5.so.3”,等于這個libkrb5.so.3庫文件不僅影響了yum,還影響了ssh服務(wù),然后我就又進(jìn)入linux的修復(fù)模式,將鏡像里的libkrb5.so.3拷貝到系統(tǒng),進(jìn)入系統(tǒng)后啟動sshd服務(wù)正常,遠(yuǎn)程連接也行了,但是又有新問題了,只能用root用戶,切普通用戶就卡死,這又是什么問題呢?難道是堡壘機后遺癥(公司用著堡壘機呢,出事故后我就把這臺機器從堡壘機上下了)?然后我就把sshd.config里的關(guān)于堡壘機的配置都清空了,還是不行。如果只能連接不能切用戶,深圳那邊的用戶發(fā)布代碼還是有問題的,所以這個問題必須解決,但是沒有思路啊。
4.徹底恢復(fù)
不能沒有思路就不干啊,最起碼把能干的先干了。把這臺機器加到堡壘機吧,然后再說,不得不說付費的東西就是好用,也不知道什么原理,把這臺機器加到堡壘機后,就能正常切用戶了,這時候已經(jīng)是20:00多了(代碼因為一些原因延遲發(fā)布了),然后我趕緊聯(lián)系深圳用戶,讓他看看正常嗎,他回復(fù)正常,可算松了一口氣。。。
類似事件:
這個事故出現(xiàn)后不久,又有一臺數(shù)據(jù)庫因為更換磁盤導(dǎo)致系統(tǒng)起不來了,做的raid10,更換了一塊磁盤,然后系統(tǒng)就崩了(事后分析是raid卡故障導(dǎo)致)。掛載鏡像,進(jìn)入linux修復(fù)模式,系統(tǒng)有五六個分區(qū),不知道問題出在哪個分區(qū),就挨個掛載,發(fā)現(xiàn)/boot分區(qū)不能掛載,進(jìn)入/boot分區(qū),發(fā)現(xiàn)是空的,也就是說/boot分區(qū)文件丟失,查了查資料,說是重裝kernel可以解決,然后就重裝kernel,事實發(fā)現(xiàn)不行,然后就從別的機器上拷貝/boot分區(qū)內(nèi)容到崩潰的機器,重啟機器后,不像之前直接進(jìn)入grub界面了,但是讀完系統(tǒng)進(jìn)度條后就卡死了,可見還是有問題。這臺數(shù)據(jù)庫上部署的3M高可用應(yīng)用,為了快速解決這個問題,選擇了重裝系統(tǒng)并重新部署3M應(yīng)用。
在此提醒:
1、生產(chǎn)上操作雖然需要手速,但是回車別急著敲。
2、盡量別用rm命令,用mv替代。
3、不確定能處理好的事故,在處理了一段時候后最好上報,不然會特別特別尷尬,不上報吧可能處理不好,上報吧又覺得這么晚才報有點2逼。
linux進(jìn)入修復(fù)模式:
救援模式有什么作用:
◆可以更改root密碼;
◆恢復(fù)硬盤、文件系統(tǒng)操作;
◆系統(tǒng)啟動不來的時候,只能通過救援模式來啟動;
救援模式啟動的步驟如下:
1、首先開機進(jìn)入BIOS設(shè)置(每臺電腦進(jìn)入bios的方法不同根據(jù)自己的電腦進(jìn)入),BOOT啟動順序為光盤優(yōu)先啟動 CD-ROM Drive 使用小鍵盤的+ -號調(diào)整上下順序;設(shè)置好后保存并退出。
如果是vmware workstation,可以“虛擬機→電源→開機進(jìn)入固件”進(jìn)行設(shè)置BIOS;
如果是物理機,直接F1 F2 F12什么的進(jìn)入BIOS,各有不同,看提示;
如果是exsi,右鍵虛擬機,點編輯,先掛載了鏡像,然后修改開機啟動到BIOS界面即可。
2、重啟系統(tǒng)后進(jìn)入安裝啟動菜單,上下鍵移動到Rescue install system 救援安裝系統(tǒng);
3、選擇語言,保持默認(rèn)English
4、選擇鍵盤類型,保持默認(rèn)us
5、是否啟動網(wǎng)絡(luò),需要根據(jù)你實際情況進(jìn)行選擇,如果需要通過聯(lián)網(wǎng)拷貝數(shù)據(jù),選擇YES,在這里我們選擇NO;
6、進(jìn)入到Rescue界面,選擇Continue
7、本地系統(tǒng)掛載在/mnt/sysp_w_picpath下 如果要到root環(huán)境下,運行 chroot /mnt/sysp_w_picpath 命令
8、三種選項:shell 進(jìn)入命令行模式;fakd是診斷模式;reboot重啟電腦;我們這里選擇shell
9、進(jìn)入shell命令行,提示符為bash-4.1#
ls /mnt/sysp_w_picpath/ 顯示掛載的目錄為根目錄的文件
執(zhí)行chroot /mnt/sysp_w_picpath/ 將/mnt/sysp_w_picpath/目錄下的文件移動到根目錄;
命令后提示符為sh-4.1#
ls 顯示為根目錄的文件;
事實上,缺少系統(tǒng)文件會導(dǎo)致“chroot /mnt/sysp_w_picpath”出錯,查也查不出來什么,因為不管缺什么都是統(tǒng)一的錯誤提示“/bin/bash。。。?!?,像我上面缺少/lib64目錄、缺少/boot下的文件,在“chroot /mnt/sysp_w_picpath”時都會報錯,而且報錯一樣。。??梢圆焕頃@個命令,你干啥干啥,該修改文件修改文件,該拷貝目錄拷貝目錄,不影響。
10、在sh-4.1#模式下需要先exit退出,回到bash-4.1#才可以reboot重啟系統(tǒng);
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
本文名稱:生產(chǎn)事故:誤刪/lib64,移走/lib64目錄-創(chuàng)新互聯(lián)
網(wǎng)站地址:http://aaarwkj.com/article46/ccdjhg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供軟件開發(fā)、定制開發(fā)、自適應(yīng)網(wǎng)站、品牌網(wǎng)站建設(shè)、外貿(mào)建站、虛擬主機
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容