互聯(lián)網(wǎng)IDC圈1月8日?qǐng)?bào)道，1月5-7日，第十屆中國IDC產(chǎn)業(yè)年度大典（IDCC2015）在北京國家會(huì)議中心隆重召開。本次大會(huì)由中國信息通信研究院、云計(jì)算發(fā)展與政策論壇、數(shù)據(jù)中心聯(lián)盟指導(dǎo)，中國IDC產(chǎn)業(yè)年度大典組委會(huì)主辦，互聯(lián)網(wǎng)IDC圈承辦，并受到諸多媒體的大力支持。

為豐鎮(zhèn)等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計(jì)制作服務(wù)，及豐鎮(zhèn)網(wǎng)站建設(shè)行業(yè)解決方案。主營(yíng)業(yè)務(wù)為網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、豐鎮(zhèn)網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會(huì)得到認(rèn)可，從而選擇與我們長(zhǎng)期合作。這樣，我們也可以走得更遠(yuǎn)！

中國IDC產(chǎn)業(yè)年度大典作為國內(nèi)云計(jì)算和數(shù)據(jù)中心領(lǐng)域規(guī)模大、最具影響力的標(biāo)志性盛會(huì)，之前已成功舉辦過九屆，在本屆大會(huì)無論是規(guī)格還是規(guī)模都"更上一層樓"，引來現(xiàn)場(chǎng)人員爆滿，影響力全面覆蓋數(shù)據(jù)中心、互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等多個(gè)領(lǐng)域。

日志易首席執(zhí)行官陳軍出席IDCC2015大會(huì)并在大數(shù)據(jù)應(yīng)用與安全技術(shù)論壇發(fā)表主題為《IT運(yùn)維分析與海量日志搜索》的精彩演講。

日志易首席執(zhí)行官陳軍

以下為陳軍演講實(shí)錄：  

陳軍：我今天講的是IT運(yùn)維分析與海量日志分析，今天是IDC大會(huì)，很多數(shù)據(jù)需要分析，IT設(shè)備需要做運(yùn)維。我分這幾部分講，什么叫IT運(yùn)維分析，IT運(yùn)維是個(gè)比較新的東西，日志的應(yīng)用場(chǎng)景、過去及現(xiàn)在的做法、日志搜索引擎、日志易的產(chǎn)品。

過去做IT運(yùn)維都講IT運(yùn)維管理，IT運(yùn)維管理做了很多年了，也非常成熟，隨著前幾年大數(shù)據(jù)技術(shù)的興起，大家開始把大數(shù)據(jù)技術(shù)應(yīng)用到IT運(yùn)維上面做分析，就產(chǎn)生了IT運(yùn)維分析，把大數(shù)據(jù)技術(shù)用在IT運(yùn)維分析上的目的是提高數(shù)據(jù)質(zhì)量和效率?？捎眯员O(jiān)控、應(yīng)用型能監(jiān)控、故障根源分析、安全審計(jì)。權(quán)威的調(diào)查機(jī)構(gòu)Gartner估計(jì)，到2017年15%的大企業(yè)會(huì)積極使用ITOA，2014年這個(gè)數(shù)字只有5%，不管5%還是15%，是比較低的比例，ITOA是新出現(xiàn)的東西，正在被市場(chǎng)逐步接受。

ITOA把大數(shù)據(jù)的技術(shù)用在運(yùn)維數(shù)據(jù)的分析上，數(shù)據(jù)的來源就非常重要，ITOA的數(shù)據(jù)來源主要是四方面：

第一是機(jī)器數(shù)據(jù)，服務(wù)器、網(wǎng)絡(luò)設(shè)備產(chǎn)生的數(shù)據(jù)，其實(shí)就是日志。

第二是通信數(shù)據(jù)，現(xiàn)在網(wǎng)絡(luò)已經(jīng)非常普遍了，后臺(tái)的設(shè)備很多都是大型的分布式系統(tǒng)，都有網(wǎng)絡(luò)的通信，網(wǎng)絡(luò)通信過去通過網(wǎng)絡(luò)抓包，通過流量分析應(yīng)用的情況。網(wǎng)絡(luò)抓包、流量分析的這類數(shù)據(jù)又是Wire Data。

第三是代碼級(jí)別進(jìn)行統(tǒng)計(jì)分析的，像PHP、JAVA這些字節(jié)碼來插入統(tǒng)計(jì)分析的代碼，統(tǒng)計(jì)它的函數(shù)調(diào)用情況、堆站的使用情況，從代碼級(jí)別來進(jìn)行統(tǒng)計(jì)分析，更加精細(xì)化的統(tǒng)計(jì)化分析，這是代理數(shù)據(jù)。

第四是探針數(shù)據(jù)，國內(nèi)已經(jīng)有些公司在做這個(gè)事情，全國的用戶訪問IDC的延時(shí)是多少，得在全國布點(diǎn)，發(fā)起模擬用戶的請(qǐng)求探測(cè)，進(jìn)行端到端延時(shí)的度量。美國有一家做ITOA的公司，他們做了一個(gè)用戶調(diào)查，四種數(shù)據(jù)來源使用情況，日志的使用比例非常高，占86%，網(wǎng)絡(luò)抓包占93%，插入代碼代理數(shù)據(jù)是47%，探針數(shù)據(jù)是72%。日志跟網(wǎng)絡(luò)抓包占的比例非常高，占到了百分之八九十，插入代碼占不到50%，探針大概是70%。

日志無所不在，所有服務(wù)器、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)都會(huì)產(chǎn)生日志，但是日志的覆蓋面非常廣，日志也有它的特點(diǎn)，不同的應(yīng)用輸出的日志完整性跟可用性不同，因?yàn)檩敵鎏嗳罩緯?huì)降低應(yīng)用的性能，會(huì)關(guān)閉一些級(jí)別低的日志，只輸出級(jí)別最高的。輸出的日志有多少，數(shù)據(jù)的完整性有差別。通信數(shù)據(jù)，網(wǎng)絡(luò)抓包，從網(wǎng)絡(luò)流量統(tǒng)計(jì)的信息也是非常全面的，但是它也有它的局限性，有一些事件未必觸發(fā)網(wǎng)絡(luò)通信，如果沒有觸發(fā)網(wǎng)絡(luò)通信的話就不會(huì)產(chǎn)生網(wǎng)絡(luò)流量，就沒辦法抓這些包進(jìn)行統(tǒng)計(jì)。

探針數(shù)據(jù)，是模擬用戶請(qǐng)求，好處是端到端監(jiān)控，可以從手機(jī)訪問到服務(wù)器端到端的延時(shí)，但它的問題不是真實(shí)的用戶度量，前幾年已經(jīng)開始講一個(gè)概念，真實(shí)的用戶度量，我們希望度量到用戶真正的延時(shí)情況，而不是模擬的。移動(dòng)應(yīng)用廠商像騰訊、百度他們已經(jīng)有數(shù)以億計(jì)的終端用戶，他們可以直接在他們的手機(jī)應(yīng)用端做真實(shí)的用戶度量，可以看到真實(shí)用戶的訪問情況。2008年汶川地震的時(shí)候騰訊QQ客戶端實(shí)時(shí)監(jiān)測(cè)到汶川地區(qū)用戶QQ掉線，馬上知道那里發(fā)生了事故，要么是IDC事故，要么是網(wǎng)絡(luò)的事故，所以可以做真實(shí)的網(wǎng)絡(luò)度量。

日志學(xué)術(shù)性的說法是時(shí)間序列機(jī)器數(shù)據(jù)，為什么叫做時(shí)間序列機(jī)器數(shù)據(jù)？因?yàn)樗菐r(shí)間戳的機(jī)器數(shù)據(jù)，它是機(jī)器產(chǎn)生的，網(wǎng)絡(luò)設(shè)備、服務(wù)器產(chǎn)生的。第二它是帶時(shí)間戳的，日志包含了IT系統(tǒng)非常多的信息，服務(wù)器、網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)、應(yīng)用軟件，甚至包括用戶的信息、業(yè)務(wù)的信息。日志反映了事實(shí)數(shù)據(jù)，美國有個(gè)很出名的公司叫影音（音），做職業(yè)社交，他的一名工程師寫了一篇非常出名的文章，每一個(gè)軟件工程師都應(yīng)該知道實(shí)時(shí)數(shù)據(jù)統(tǒng)一的抽象的信息，也有中譯版，深度解析Linkedin大數(shù)據(jù)平臺(tái)，所有對(duì)日志感興趣的工程師可以好好看下這篇文章，這篇文章講的就是日志是一個(gè)企業(yè)里最真實(shí)的數(shù)據(jù)，不管是數(shù)據(jù)中心還是企業(yè)里發(fā)生的一切日志都會(huì)記錄下來，通過統(tǒng)計(jì)分析這個(gè)日志，不同系統(tǒng)之間的通信也可以通過日志來傳輸這個(gè)信息。大數(shù)據(jù)領(lǐng)域有比較開源的軟件Kafuka，當(dāng)年發(fā)明Kafuka的目的就是用來傳輸日志，Kafuka也是做日志處理里用的最普遍的消息隊(duì)列軟件。

先看一下Apache日志，這是一條Apache日志，它是文本信息，如果不是專業(yè)的運(yùn)維工程師經(jīng)?？慈罩镜脑挘蠹铱吹竭@個(gè)會(huì)像看天書，不知道是什么含義，使用日志易這個(gè)軟件把日志做結(jié)構(gòu)化，把它從非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)成結(jié)構(gòu)化數(shù)據(jù)得出來的信息。一條日志包含的信息非常多，從這里面統(tǒng)計(jì)分析的話會(huì)得出多有價(jià)值的信息。日志可以用到哪些場(chǎng)景？一個(gè)是運(yùn)維監(jiān)控，IDC需要進(jìn)行運(yùn)維監(jiān)控，保證系統(tǒng)的可用性，如果出現(xiàn)故障了，能夠及時(shí)追溯故障根源，及時(shí)知道問題。應(yīng)用性能監(jiān)控，主要是知道性能的情況，你的網(wǎng)站是不是慢，為什么慢，慢在哪里，這方面屬于應(yīng)用性能監(jiān)控。數(shù)據(jù)中心里還有一條很重要的就是安全，要保證數(shù)據(jù)中心的安全，防止黑客的入侵。這可以用在安全審計(jì)方面，主要是安全信息事件管理、合規(guī)審計(jì)、發(fā)現(xiàn)高級(jí)持續(xù)威脅APT，APT現(xiàn)在也是比較熱門的話題。做APT的發(fā)現(xiàn)得通過日志、流量，全方位360無死角地進(jìn)行監(jiān)控。

日志用在業(yè)務(wù)和用戶數(shù)據(jù)分析上。過去的做法是日志沒有集中管理，散落在各臺(tái)服務(wù)器上，事后出了問題就登錄到各臺(tái)服務(wù)器上用腳本命令，用VI去查看日志，有一些水平高的運(yùn)維工程師用AWK寫一些腳本分析程序去分析日志，這樣的做法也有問題，因?yàn)榈卿浀礁髋_(tái)服務(wù)器，這些服務(wù)器都是生產(chǎn)服務(wù)器，一不小心的誤操作可能就會(huì)導(dǎo)致事故。日志被刪除，一個(gè)是磁盤滿了，日志就被覆蓋了，另外運(yùn)維工程師把日志當(dāng)做垃圾，看到磁盤快沒了首先做的事情就是刪除日志，刪除日志之后如果事后發(fā)現(xiàn)有些措施或者故障需要分析需要追溯又找不到日志了。黑客入侵之后，聰明的黑客第一件事就是刪除日志，因?yàn)槿罩居涗浟怂肭值暮圹E，他刪除日志就可以把他入侵的痕跡磨除掉。

系統(tǒng)出現(xiàn)故障的時(shí)候日志會(huì)包含信息，我們希望實(shí)時(shí)地發(fā)現(xiàn)這些信息，當(dāng)日志出現(xiàn)錯(cuò)誤信息的時(shí)候能夠馬上報(bào)警，而不是僅僅用在事后的追查上。后來有些公司開始重視日志，他們用數(shù)據(jù)庫存儲(chǔ)日志，現(xiàn)在是一個(gè)比較普遍的做法，但是用數(shù)據(jù)庫存儲(chǔ)日志有什么問題呢？

數(shù)據(jù)庫是用來存結(jié)構(gòu)化數(shù)據(jù)的，日志是非結(jié)構(gòu)化的數(shù)據(jù)，數(shù)據(jù)庫有固定的Schema，規(guī)定好數(shù)據(jù)庫的表格是當(dāng)有新的日志表格過來的時(shí)候表格又要改。

我看到有一些做法，為了讓表的格式大限度的靈活化，數(shù)據(jù)庫就定義了三列，第一列是產(chǎn)生日志的機(jī)器IT地址，第二是時(shí)間戳，第三是日志本身的信息，把整個(gè)日志的文本當(dāng)做一個(gè)字段放到數(shù)據(jù)庫里，沒辦法針對(duì)日志里的信息進(jìn)行抽取進(jìn)行分析。數(shù)據(jù)庫沒辦法適用TB級(jí)的海量日志，現(xiàn)在產(chǎn)生的日志越來越多，每臺(tái)服務(wù)器一天產(chǎn)生幾GB甚至幾十GB的數(shù)據(jù)，一個(gè)數(shù)據(jù)中心上千臺(tái)服務(wù)器一天可能產(chǎn)生幾TB的數(shù)據(jù)，數(shù)據(jù)庫沒辦法處理來。

一講大數(shù)據(jù)都離不開Hadoop，Hadoop出來之后大家開始用Hadoop處理日志，首先Hadoop是批處理的框架，不夠及時(shí)。用Hadoop處理分析都是今天看昨天的數(shù)據(jù)，或者是看幾個(gè)小時(shí)之前的，最快也只能看到幾十分鐘之前的，想看幾秒鐘之前的Hadoop是做不到的。所以Hadoop基本是用來做數(shù)據(jù)的離線挖掘，沒辦法做在線數(shù)據(jù)分析。后來又開始出現(xiàn)Storm、Spark，但這些都是使用框架，我們希望有個(gè)東西拿來就可以用。后來出現(xiàn)NoSQL，但沒辦法全文檢索，我們希望對(duì)日志進(jìn)行實(shí)時(shí)的搜索分析，需要有一個(gè)搜索分析引擎，要有幾個(gè)特點(diǎn)，一是快，日志從產(chǎn)生到分析出結(jié)果只有幾秒的延時(shí)，二是大，每天處理TB級(jí)的日志量。三是靈活，Googlefor IT，可搜索、分析任何日志。FastBig Data，除了大之外還要快。

日志管理系統(tǒng)的進(jìn)化，日志1.0數(shù)據(jù)庫，日志2.0是用Hadoop或NoSQL處理，現(xiàn)在到了日志3.0，實(shí)時(shí)搜索引擎，F(xiàn)astBig Data?？删幊痰娜罩緦?shí)時(shí)搜索分析平臺(tái)，跟谷歌、百度的搜索引擎非常相似，有搜索框，但這個(gè)搜索框又比谷歌、百度更復(fù)雜，它定義了很多搜索處理語言。比如有管道符，還有各種命令，可以在搜索框里進(jìn)行非常復(fù)雜的分析。它可以接入各種來源的數(shù)據(jù)，包括日志文件、數(shù)據(jù)庫、恒生電子交易系統(tǒng)。有企業(yè)部署版和SaaS版，SaaS版處理每天500MB日志是免費(fèi)的。

可以搜索、告警、統(tǒng)計(jì)，配置解析規(guī)則，識(shí)別任何日志，安全攻擊自動(dòng)識(shí)別，開放API，對(duì)接第三方系統(tǒng)。高性能、可擴(kuò)展分布式。我們看一下案例，中國平安，使用日志易之前，逐臺(tái)登陸服務(wù)器，無法集中查看日志，無法對(duì)海量數(shù)據(jù)進(jìn)行挖掘、用戶行為分析，日志查詢方法比較原始，只能less、grep和awk等常見的Linux指令，無法多維度查詢。無法進(jìn)行日志的業(yè)務(wù)邏輯分析和告警。使用日志易之后，接入60多個(gè)應(yīng)用的日志。

另外一個(gè)案例是山東移動(dòng)，分析營(yíng)業(yè)廳營(yíng)業(yè)員做業(yè)務(wù)辦理的web請(qǐng)求日志。聚合出每個(gè)營(yíng)業(yè)員每項(xiàng)業(yè)務(wù)的詳細(xì)操作步驟，對(duì)每個(gè)步驟的操作時(shí)長(zhǎng)進(jìn)行告警、統(tǒng)計(jì)分析，這里用到搜索處理語言，這是一條搜索處理語言，這是搜索這個(gè)字段，字段后包含了文本信息，這里是一個(gè)管道符，通過這個(gè)管道符把事務(wù)命令串起來，搜索完了進(jìn)行事務(wù)的處理，一筆事務(wù)有起始的，對(duì)事物的關(guān)聯(lián)通過ID進(jìn)行，關(guān)聯(lián)之后一筆事務(wù)有開始有結(jié)束，開始查詢作為開始提交作為結(jié)束，最長(zhǎng)的時(shí)間跨度不會(huì)超過30分鐘，超過30分鐘就不去處理了，這樣就把每一筆事務(wù)都關(guān)聯(lián)起來。這就是分析出來的結(jié)果，每一筆繳費(fèi)業(yè)務(wù)的結(jié)果統(tǒng)計(jì)分析出來。

還有一個(gè)案例是國家電網(wǎng)，做信息安全與事件管理。終端信息安全事件日志的調(diào)查、分析、取證，在各省分公司信息安全事件現(xiàn)場(chǎng)使用，快速排查日志里保留的證據(jù)，為事件取證提供支持。客戶已經(jīng)有中國平安、國家開發(fā)銀行、中國移動(dòng)、國家電網(wǎng)、小米開放平臺(tái)、樂視網(wǎng)、有利網(wǎng)這些用戶。

我今天的介紹就到這里，歡迎關(guān)注我們的公眾號(hào)。

本文題目：陳軍：IT運(yùn)維分析與海量日志搜索
文章出自：http://aaarwkj.com/article12/chijgc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營(yíng)銷型網(wǎng)站建設(shè)、云服務(wù)器、外貿(mào)網(wǎng)站建設(shè)、搜索引擎優(yōu)化、App開發(fā)、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)