這篇文章主要介紹了怎么分析Linux日志，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

成都網(wǎng)絡(luò)公司-成都網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián)建站十載經(jīng)驗(yàn)成就非凡，專業(yè)從事網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)，成都網(wǎng)頁設(shè)計(jì)，成都網(wǎng)頁制作，軟文推廣，1元廣告等。十載來已成功提供全面的成都網(wǎng)站建設(shè)方案，打造行業(yè)特色的成都網(wǎng)站建設(shè)案例，建站熱線：028-86922220，我們期待您的來電！

日志中有大量的信息需要你處理，盡管有時(shí)候想要提取并非想象中的容易。在這篇文章中我們會介紹一些你現(xiàn)在就能做的基本日志分析例子（只需要搜索即可）。我們還將涉及一些更高級的分析，但這些需要你前期努力做出適當(dāng)?shù)脑O(shè)置，后期就能節(jié)省很多時(shí)間。對數(shù)據(jù)進(jìn)行高級分析的例子包括生成匯總計(jì)數(shù)、對有效值進(jìn)行過濾，等等。

我們首先會向你展示如何在命令行中使用多個(gè)不同的工具，然后展示了一個(gè)日志管理工具如何能自動完成大部分繁重工作從而使得日志分析變得簡單。

用 Grep 搜索

搜索文本是查找信息最基本的方式。搜索文本最常用的工具是 grep。這個(gè)命令行工具在大部分 Linux 發(fā)行版中都有，它允許你用正則表達(dá)式搜索日志。正則表達(dá)式是一種用特殊的語言寫的、能識別匹配文本的模式。最簡單的模式就是用引號把你想要查找的字符串括起來。

正則表達(dá)式

這是一個(gè)在 Ubuntu 系統(tǒng)的認(rèn)證日志中查找 “user hoover” 的例子：

$ grep "user hoover" /var/log/auth.logAccepted password for hoover from 10.0.2.2 port 4792 ssh3pam_unix(sshd:session): session opened for user hoover by (uid=0)pam_unix(sshd:session): session closed for user hoover

構(gòu)建精確的正則表達(dá)式可能很難。例如，如果我們想要搜索一個(gè)類似端口 “4792” 的數(shù)字，它可能也會匹配時(shí)間戳、URL 以及其它不需要的數(shù)據(jù)。Ubuntu 中下面的例子，它匹配了一個(gè)我們不想要的 Apache 日志。

$ grep "4792" /var/log/auth.logAccepted password for hoover from 10.0.2.2 port 4792 ssh374.91.21.46 - - [31/Mar/2015:19:44:32 +0000] "GET /scripts/samples/search?q=4972 HTTP/1.0" 404 545 "-" "-”

環(huán)繞搜索

另一個(gè)有用的小技巧是你可以用 grep 做環(huán)繞搜索。這會向你展示一個(gè)匹配前面或后面幾行是什么。它能幫助你調(diào)試導(dǎo)致錯(cuò)誤或問題的東西。B 選項(xiàng)展示前面幾行，A 選項(xiàng)展示后面幾行。舉個(gè)例子，我們知道當(dāng)一個(gè)人以管理員員身份登錄失敗時(shí)，同時(shí)他們的 IP 也沒有反向解析，也就意味著他們可能沒有有效的域名。這非常可疑！

$ grep -B 3 -A 2 'Invalid user' /var/log/auth.logApr 28 17:06:20 ip-172-31-11-241 sshd[12545]: reverse mapping checking getaddrinfo for 216-19-2-8.commspeed.net [216.19.2.8] failed - POSSIBLE BREAK-IN ATTEMPT!Apr 28 17:06:20 ip-172-31-11-241 sshd[12545]: Received disconnect from 216.19.2.8: 11: Bye Bye [preauth]Apr 28 17:06:20 ip-172-31-11-241 sshd[12547]: Invalid user admin from 216.19.2.8Apr 28 17:06:20 ip-172-31-11-241 sshd[12547]: input_userauth_request: invalid user admin [preauth]Apr 28 17:06:20 ip-172-31-11-241 sshd[12547]: Received disconnect from 216.19.2.8: 11: Bye Bye [preauth]

Tail

你也可以把 grep 和 tail 結(jié)合使用來獲取一個(gè)文件的最后幾行，或者跟蹤日志并實(shí)時(shí)打印。這在你做交互式更改的時(shí)候非常有用，例如啟動服務(wù)器或者測試代碼更改。

$ tail -f /var/log/auth.log | grep 'Invalid user'Apr 30 19:49:48 ip-172-31-11-241 sshd[6512]: Invalid user ubnt from 219.140.64.136Apr 30 19:49:49 ip-172-31-11-241 sshd[6514]: Invalid user admin from 219.140.64.136

關(guān)于 grep 和正則表達(dá)式的詳細(xì)介紹并不在本指南的范圍，但 Ryan’s Tutorials 有更深入的介紹。

日志管理系統(tǒng)有更高的性能和更強(qiáng)大的搜索能力。它們通常會索引數(shù)據(jù)并進(jìn)行并行查詢，因此你可以很快的在幾秒內(nèi)就能搜索 GB 或 TB 的日志。相比之下，grep 就需要幾分鐘，在極端情況下可能甚至幾小時(shí)。日志管理系統(tǒng)也使用類似 Lucene 的查詢語言，它提供更簡單的語法來檢索數(shù)字、域以及其它。

用 Cut、 AWK、 和 Grok 解析

命令行工具

Linux 提供了多個(gè)命令行工具用于文本解析和分析。當(dāng)你想要快速解析少量數(shù)據(jù)時(shí)非常有用，但處理大量數(shù)據(jù)時(shí)可能需要很長時(shí)間。

Cut

cut 命令允許你從有分隔符的日志解析字段。分隔符是指能分開字段或鍵值對的等號或逗號等。

假設(shè)我們想從下面的日志中解析出用戶：

pam_unix(su:auth): authentication failure; logname=hoover uid=1000 euid=0 tty=/dev/pts/0 ruser=hoover rhost=  user=root

我們可以像下面這樣用 cut 命令獲取用等號分割后的第八個(gè)字段的文本。這是一個(gè) Ubuntu 系統(tǒng)上的例子：

$ grep "authentication failure" /var/log/auth.log | cut -d '=' -f 8roothooverrootnagiosnagios

AWK

另外，你也可以使用 awk，它能提供更強(qiáng)大的解析字段功能。它提供了一個(gè)腳本語言，你可以過濾出幾乎任何不相干的東西。

例如，假設(shè)在 Ubuntu 系統(tǒng)中我們有下面的一行日志，我們想要提取登錄失敗的用戶名稱：

Mar 24 08:28:18 ip-172-31-11-241 sshd[32701]: input_userauth_request: invalid user guest [preauth]

你可以像下面這樣使用 awk 命令。首先，用一個(gè)正則表達(dá)式 /sshd.*invalid user/ 來匹配 sshd invalid user 行。然后用 { print $9 } 根據(jù)默認(rèn)的分隔符空格打印第九個(gè)字段。這樣就輸出了用戶名。

$ awk '/sshd.*invalid user/ { print $9 }' /var/log/auth.logguestadmininfotestubnt

你可以在 Awk 用戶指南 中閱讀更多關(guān)于如何使用正則表達(dá)式和輸出字段的信息。

日志管理系統(tǒng)

日志管理系統(tǒng)使得解析變得更加簡單，使用戶能快速的分析很多的日志文件。他們能自動解析標(biāo)準(zhǔn)的日志格式，比如常見的 Linux 日志和 Web 服務(wù)器日志。這能節(jié)省很多時(shí)間，因?yàn)楫?dāng)處理系統(tǒng)問題的時(shí)候你不需要考慮自己寫解析邏輯。

下面是一個(gè) sshd 日志消息的例子，解析出了每個(gè) remoteHost 和 user。這是 Loggly 中的一張截圖，它是一個(gè)基于云的日志管理服務(wù)。

你也可以對非標(biāo)準(zhǔn)格式自定義解析。一個(gè)常用的工具是 Grok，它用一個(gè)常見正則表達(dá)式庫，可以解析原始文本為結(jié)構(gòu)化 JSON。下面是一個(gè) Grok 在 Logstash 中解析內(nèi)核日志文件的事例配置：

filter{  grok  {    match => {"message" => "%{CISCOTIMESTAMP:timestamp} %{HOST:host} %{WORD:program}%{NOTSPACE} %{NOTSPACE}%{NUMBER:duration}%{NOTSPACE} %{GREEDYDATA:kernel_logs}"  }}

下圖是 Grok 解析后輸出的結(jié)果：

用 Rsyslog 和 AWK 過濾

過濾使得你能檢索一個(gè)特定的字段值而不是進(jìn)行全文檢索。這使你的日志分析更加準(zhǔn)確，因?yàn)樗鼤雎詠碜云渌糠秩罩拘畔⒉恍枰钠ヅ洹榱藢σ粋€(gè)字段值進(jìn)行搜索，你首先需要解析日志或者至少有對事件結(jié)構(gòu)進(jìn)行檢索的方式。

如何對應(yīng)用進(jìn)行過濾

通常，你可能只想看一個(gè)應(yīng)用的日志。如果你的應(yīng)用把記錄都保存到一個(gè)文件中就會很容易。如果你需要在一個(gè)聚集或集中式日志中過濾一個(gè)應(yīng)用就會比較復(fù)雜。下面有幾種方法來實(shí)現(xiàn)：

1. 用 rsyslog 守護(hù)進(jìn)程解析和過濾日志。下面的例子將 sshd 應(yīng)用的日志寫入一個(gè)名為 sshd-message 的文件，然后丟棄事件以便它不會在其它地方重復(fù)出現(xiàn)。你可以將它添加到你的 rsyslog.conf 文件中測試這個(gè)例子。

1. :programname, isequal, “sshd” /var/log/sshd-messages

2. &~

2. 用類似 awk 的命令行工具提取特定字段的值，例如 sshd 用戶名。下面是 Ubuntu 系統(tǒng)中的一個(gè)例子。

1. $ awk '/sshd.*invalid user/ { print $9 }' /var/log/auth.log

2. guest

3. admin

4. info

5. test

6. ubnt

3. 用日志管理系統(tǒng)自動解析日志，然后在需要的應(yīng)用名稱上點(diǎn)擊過濾。下面是在 Loggly 日志管理服務(wù)中提取 syslog 域的截圖。我們對應(yīng)用名稱 “sshd” 進(jìn)行過濾，如維恩圖圖標(biāo)所示。

   

如何過濾錯(cuò)誤

一個(gè)人最希望看到日志中的錯(cuò)誤。不幸的是，默認(rèn)的 syslog 配置不直接輸出錯(cuò)誤的嚴(yán)重性，也就使得難以過濾它們。

這里有兩個(gè)解決該問題的方法。首先，你可以修改你的 rsyslog 配置，在日志文件中輸出錯(cuò)誤的嚴(yán)重性，使得便于查看和檢索。在你的 rsyslog 配置中你可以用 pri-text 添加一個(gè) 模版，像下面這樣：

"<%pri-text%> : %timegenerated%,%HOSTNAME%,%syslogtag%,%msg%n"

這個(gè)例子會按照下面的格式輸出。你可以看到該信息中指示錯(cuò)誤的 err。

<authpriv.err> : Mar 11 18:18:00,hoover-VirtualBox,su[5026]:, pam_authenticate: Authentication failure

你可以用 awk 或者 grep 檢索錯(cuò)誤信息。在 Ubuntu 中，對這個(gè)例子，我們可以用一些語法特征，例如 . 和 >，它們只會匹配這個(gè)域。

$ grep '.err>' /var/log/auth.log<authpriv.err> : Mar 11 18:18:00,hoover-VirtualBox,su[5026]:, pam_authenticate: Authentication failure

你的第二個(gè)選擇是使用日志管理系統(tǒng)。好的日志管理系統(tǒng)能自動解析 syslog 消息并抽取錯(cuò)誤域。它們也允許你用簡單的點(diǎn)擊過濾日志消息中的特定錯(cuò)誤。

下面是 Loggly 中一個(gè)截圖，顯示了高亮錯(cuò)誤嚴(yán)重性的 syslog 域，表示我們正在過濾錯(cuò)誤：

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“怎么分析Linux日志”這篇文章對大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!

文章名稱：怎么分析Linux日志
分享網(wǎng)址：http://aaarwkj.com/article44/pjcehe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設(shè)計(jì)公司、域名注冊、網(wǎng)站策劃、外貿(mào)網(wǎng)站建設(shè)、App開發(fā)、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)