背景

經(jīng)常需要查看日志，不僅是用來排錯(cuò)，有些時(shí)候我還需要監(jiān)控系統(tǒng)來抓取特定日志來幫助減少我的工作負(fù)擔(dān)，以及時(shí)監(jiān)控到異常出現(xiàn)，并作出通知及響應(yīng)，那么從大量日志中快速并精確篩選出想要的日志，并且精確提取信息，是一個(gè)必備的技能。我曾經(jīng)用內(nèi)置的事件查看器的篩選器進(jìn)行事件篩選，然后保存視圖，或者使用powershell get-winevent 進(jìn)行篩選，也使用logparser, 或者第三方的日志查看工具比如eventexplorer 進(jìn)行日志篩選。但是總是遇到幾個(gè)主要的問題：

成都一家集口碑和實(shí)力的網(wǎng)站建設(shè)服務(wù)商，擁有專業(yè)的企業(yè)建站團(tuán)隊(duì)和靠譜的建站技術(shù)，10年企業(yè)及個(gè)人網(wǎng)站建設(shè)經(jīng)驗(yàn) ,為成都近千家客戶提供網(wǎng)頁設(shè)計(jì)制作,網(wǎng)站開發(fā),企業(yè)網(wǎng)站制作建設(shè)等服務(wù),包括成都營銷型網(wǎng)站建設(shè)，成都品牌網(wǎng)站建設(shè)，同時(shí)也為不同行業(yè)的客戶提供網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)的服務(wù),包括成都電商型網(wǎng)站制作建設(shè),裝修行業(yè)網(wǎng)站制作建設(shè)，傳統(tǒng)機(jī)械行業(yè)網(wǎng)站建設(shè),傳統(tǒng)農(nóng)業(yè)行業(yè)網(wǎng)站制作建設(shè)。在成都做網(wǎng)站,選網(wǎng)站制作建設(shè)服務(wù)商就選創(chuàng)新互聯(lián)。

1. 從大量日志中過濾出極個(gè)別日志，每次執(zhí)行的事件總是太長。

2. 不能靈活的或者更精確的進(jìn)行篩選。一般只能大概的匹配，然后再做一步處理。通常又遇到1的問題。

嘗試和比較

經(jīng)過一些嘗試和使用，個(gè)人覺得powershell 的get-winevent 最方便，因?yàn)楫吘故且粋€(gè)腳本語言，可以進(jìn)一步進(jìn)行處理，而且可以很靈活的處理。logparser 很快，但是如果精確提取某些日志的字段，就沒有那么容易了,windows 日志的EventData中的數(shù)據(jù)復(fù)雜多樣，靠幾個(gè)常規(guī)字段是沒有辦法靈活進(jìn)行處理的。

論速度的話，除了logparser,使用xml 篩選是最快速的。但是xml 篩選需要使用復(fù)雜的、受限的xpath 1.0 (被微軟實(shí)現(xiàn)后，有更多限制),雖然有點(diǎn)蹩腳又難懂，但是和時(shí)間節(jié)省算起，還是劃的來的，特別是重復(fù)任務(wù)。

一個(gè)比較好的開始是從下面鏈接開始。

https://blogs.technet.microsoft.com/askds/2011/09/26/advanced-xml-filtering-in-the-windows-event-viewer/

正式實(shí)踐

一個(gè)比較常用場景是，我經(jīng)常需要精確過濾到哪個(gè)賬號(hào)最近鎖定了，哪臺(tái)計(jì)算機(jī)鎖定的，什么時(shí)候。我需要很快速的能查詢到鎖定日志。過去雖然我用get-winevent –filterhashtable 可以做到這些，但是速度實(shí)在太慢了，雖然我的域控只有4臺(tái)。我經(jīng)常和用戶說，如果你想知道你在哪臺(tái)計(jì)算機(jī)上鎖定了，請等待一段時(shí)間，我會(huì)把查詢結(jié)果用郵件發(fā)給你。不過現(xiàn)在使用xpath 過濾時(shí)，我基本上可以在用戶打電話過來時(shí)，告訴他這些信息。

下面XML 過濾AD安全日志中的最近一天的某個(gè)用戶名的鎖定日志

<QueryList> <Query Id="0" Path="Security"> <Select Path="Security"> *[System[EventID=4740 and TimeCreated[timediff(@SystemTime) &lt;= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]] and *[EventData[Data[@Name='TargetUserName']='somebody']] </Select> </Query> </QueryList>

如果你只想過濾最近一天所有用戶的鎖定日志，那么這樣寫

<QueryList> <Query Id="0" Path="Security"> <Select Path="Security"> *[System[EventID=4740 and TimeCreated[timediff(@SystemTime) &lt;= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]] </Select> </Query> </QueryList>

上面過濾XML可以在 事件查看器的 篩選當(dāng)前日志--》XML---》手動(dòng)編輯查詢中進(jìn)行測驗(yàn)。

OK ,為了方便使用，我們做成一個(gè)powershell function ,方便日常使用，直接上例子。

function get-lockedEvent{     <#     .SYNOPSIS         Function to filter user locked event which id=4740     .DESCRIPTION         This function search user locked events in DC security logs, this function need the domain admin priv.     .EXAMPLE         get-lockedEvent -loginname oaoperator -show     .EXAMPLE         PS C:\> get-lockedEvent -loginname oaoperator -summary         Count Name         ----- ----         457 Oaoperator, OA     .EXAMPLE         PS C:\> get-lockedEvent -loginname oaoperator         Username   LockedPC Datetime           EventLocation         --------   -------- --------           -------------         Oaoperator OA       2018/9/27 10:27:40 dc02         Oaoperator OA       2018/9/27 10:32:40 dc02     #>          [cmdletbinding()]     param(         [parameter(Mandatory=$false)]         [string]         $loginname,         [Parameter(Mandatory=$false)]         [switch]         $summary,         [Parameter(Mandatory=$false)]         [switch]         $show     ) # filter Locked Events generated in 1 day and username eq loginname     $f2=@'     <QueryList>     <Query Id="0" Path="Security">       <Select Path="Security">       *[System[EventID=4740  and TimeCreated[timediff(@SystemTime) &lt;= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]        and        *[EventData[Data[@Name='TargetUserName']='{0}']]       </Select>     </Query>     </QueryList> '@ # filter Locked Events generated in 1 day      $f1=@'     <QueryList>     <Query Id="0" Path="Security">       <Select Path="Security">       *[System[EventID=4740  and TimeCreated[timediff(@SystemTime) &lt;= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]       </Select>     </Query>     </QueryList> '@     if($loginname){         $f=$f2 -f $loginname     }else{         $f=$f1     }     $DCs=Get-ADDomainController -Filter *|%{$_.hostname}     $r=Invoke-Command -ComputerName $DCs -ArgumentList @($f) -Command{         param(             $filter         )         $events=Get-WinEvent -FilterXml  $filter         $events|%{             $e=[xml]$_.toxml()             [PSCustomObject]@{                 'Username'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetUserName'})."#text"                 'LockedPC'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetDomainName'})."#text"                 'Datetime'=[datetime]$e.Event.System.TimeCreated.SystemTime                 'EventLocation'=$e.Event.System.Computer             }         }     }|Sort-Object -Property Datetime |select -Property 'UserName','LockedPC','Datetime','EventLocation'     if($summary){         $r=$r|Group-Object -Property Username,LockedPC -NoElement     }          if($show){         $r|Out-GridView     }else{         $r     } }

另外一個(gè)實(shí)踐

由于最近有一些計(jì)劃任務(wù)的狀態(tài)需要監(jiān)控，而且考慮到這應(yīng)該是一個(gè)非常通用的需求，所以我想過濾計(jì)劃任務(wù)名稱匹配\qq_ent 開頭的，然后任務(wù)執(zhí)行結(jié)果不為0的日志，盡管我參考著下面的一些blog 鏈接，也讓我嘗試了好一會(huì)，我想應(yīng)該記錄下這些過程。

我們先來看看計(jì)劃任務(wù)日志的xml 內(nèi)容：

<Event xmlns="http://schemas.microsoft.com/win/2004/08/events/event"> <System>   <Provider Name="Microsoft-Windows-TaskScheduler" Guid="{DE7B24EA-73C8-4A09-985D-5BDADCFA9017}" />    <EventID>201</EventID>    <Version>2</Version>    <Level>4</Level>    <Task>201</Task>    <Opcode>2</Opcode>    <Keywords>0x8000000000000000</Keywords>    <TimeCreated SystemTime="2018-11-18T05:00:02.058811400Z" />    <EventRecordID>144817</EventRecordID>    <Correlation ActivityID="{110529FD-DBFD-4E59-B207-83DF8CC779B8}" />    <Execution ProcessID="1508" ThreadID="24392" />    <Channel>Microsoft-Windows-TaskScheduler/Operational</Channel>    <Computer>ComputerName.xxx.com</Computer>    <Security UserID="S-1-5-18" />    </System> <EventData Name="ActionSuccess">   <Data Name="TaskName">\qq_ent\store_to_db</Data>    <Data Name="TaskInstanceId">{110529FD-DBFD-4E59-B207-83DF8CC779B8}</Data>    <Data Name="ActionName">C:\Users\UserName\AppData\Local\Programs\Python\Python37\python3.exe</Data>    <Data Name="ResultCode">2147942401</Data>    <Data Name="EnginePID">22172</Data>    </EventData>   </Event>

說下我們的任務(wù)：

1. 匹配 EventData 中Data 名稱為TaskName的，它的值應(yīng)該是\qq_ent\xxxx

2. 匹配 EventData中 Data 名稱為ResultCode的，它的值應(yīng)該是>0 或者不等于0的

3. EventID=201

4. Provider Name=Microsoft-Windows-TaskScheduler

最后成型的過濾，和微軟的之前的例子不一樣。

 <QueryList>     <Query Id="0" Path="Microsoft-Windows-TaskScheduler/Operational">       <Select Path="Microsoft-Windows-TaskScheduler/Operational">       *[System/EventID=201]        and        *[EventData[                     (                         Data[@Name='TaskName']='\qq_ent\download_images'                      or                          Data[@Name='TaskName']='\qq_ent\store_to_db_offline'                     or                          Data[@Name='TaskName']=='\qq_ent\gatherQQmsg'                      or                          Data[@Name='TaskName']=='\qq_ent\store_to_db'                     )                     and                         Data[@Name='ResultCode'] !=0         ]]       </Select>     </Query>     </QueryList>

我之前按照微軟的例子是這樣寫的，結(jié)果不對(duì)的。

    <QueryList>     <Query Id="0" Path="Microsoft-Windows-TaskScheduler/Operational">       <Select Path="Microsoft-Windows-TaskScheduler/Operational">       *[System/EventID=201]        and        *[             EventData[                     (                         Data[@Name='TaskName']                          and                          (                             Data='\qq_ent\download_images'                              or                              Data='\qq_ent\store_to_db_offline'                             or                              Data='\qq_ent\gatherQQmsg'                              or                              Data='\qq_ent\store_to_db'                         )                     )                      and                     (                         Data[@Name='ResultCode'] and Data !='0'                     )             ]         ]       </Select>     </Query>     </QueryList>

注意事項(xiàng)

1. event log 中的Xpath 受限，能使用的函數(shù)有限，因此如果你想篩選字符串，你會(huì)發(fā)現(xiàn)starts-with contains 這些xpath 函數(shù)都不支持。盡量使用其他條件篩選，然后再使用powershell內(nèi)置過濾功能進(jìn)行過濾，當(dāng)然這要犧牲一些處理時(shí)間。

2. Xpath中的一些字符串要進(jìn)行轉(zhuǎn)義，比如你想比較一個(gè)數(shù)字，可能寫Data>0,那么> 要轉(zhuǎn)義成&gt;

參考資料

https://blogs.technet.microsoft.com/heyscriptingguy/2011/01/24/use-powershell-cmdlet-to-filter-event-log-for-easy-parsing/

https://blogs.technet.microsoft.com/heyscriptingguy/2014/06/04/data-mine-the-windows-event-log-by-using-powershell-and-xml/

https://blogs.technet.microsoft.com/heyscriptingguy/2014/06/03/use-filterhashtable-to-filter-event-log-with-powershell/

https://blogs.technet.microsoft.com/askds/2011/09/26/advanced-xml-filtering-in-the-windows-event-viewer/

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

名稱欄目：Windows日志高級(jí)篩選實(shí)踐-創(chuàng)新互聯(lián)
標(biāo)題網(wǎng)址：http://aaarwkj.com/article30/gojpo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、App開發(fā)、網(wǎng)站導(dǎo)航、虛擬主機(jī)、面包屑導(dǎo)航、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)