使用Spark和Scala怎么分析Apache訪問日志，相信很多沒有經(jīng)驗(yàn)的人對(duì)此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個(gè)問題。

10年積累的網(wǎng)站設(shè)計(jì)制作、做網(wǎng)站經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先做網(wǎng)站后付款的網(wǎng)站建設(shè)流程，更有康馬免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

安裝

首先需要安裝好Java和Scala，然后下載Spark安裝，確保PATH 和JAVA_HOME 已經(jīng)設(shè)置，然后需要使用Scala的SBT 構(gòu)建Spark如下：

$ sbt/sbt assembly

構(gòu)建時(shí)間比較長。構(gòu)建完成后，通過運(yùn)行下面命令確證安裝成功：

$ ./bin/spark-shell

scala> val textFile = sc.textFile("README.md") // 創(chuàng)建一個(gè)指向 README.md 引用scala> textFile.count // 對(duì)這個(gè)文件內(nèi)容行數(shù)進(jìn)行計(jì)數(shù)scala> textFile.first // 打印出第一行

Apache訪問日志分析器

首先我們需要使用Scala編寫一個(gè)對(duì)Apache訪問日志的分析器，所幸已經(jīng)有人編寫完成，下載Apache logfile parser code。使用SBT進(jìn)行編譯打包：

sbt compilesbt testsbt package

打包名稱假設(shè)為AlsApacheLogParser.jar。然后在Linux命令行啟動(dòng)Spark：

// this works$ MASTER=local[4] SPARK_CLASSPATH=AlsApacheLogParser.jar ./bin/spark-shell

對(duì)于Spark 0.9，有些方式并不起效：

// does not work$ MASTER=local[4] ADD_JARS=AlsApacheLogParser.jar ./bin/spark-shell// does not workspark> :cp AlsApacheLogParser.jar

上傳成功后，在Spark REPL創(chuàng)建AccessLogParser 實(shí)例：

import com.alvinalexander.accesslogparser._val p = new AccessLogParser

現(xiàn)在就可以像之前讀取readme.cmd一樣讀取apache訪問日志accesslog.small：

scala> val log = sc.textFile("accesslog.small")14/03/09 11:25:23 INFO MemoryStore: ensureFreeSpace(32856) called with curMem=0, maxMem=30922506214/03/09 11:25:23 INFO MemoryStore: Block broadcast_0 stored as values to memory (estimated size 32.1 KB, free 294.9 MB)log: org.apache.spark.rdd.RDD[String] = MappedRDD[1] at textFile at <console>:15scala> log.count(a lot of output here)res0: Long = 100000

分析Apache日志

我們可以分析Apache日志中404有多少個(gè)，創(chuàng)建方法如下：

def getStatusCode(line: Option[AccessLogRecord]) = { line match {  case Some(l) => l.httpStatusCode  case None => "0" }}

其中Option[AccessLogRecord]是分析器的返回值。

然后在Spark命令行使用如下：

log.filter(line => getStatusCode(p.parseRecord(line)) == "404").count

這個(gè)統(tǒng)計(jì)將返回httpStatusCode是404的行數(shù)。

深入挖掘

下面如果我們想知道哪些URL是有問題的，比如URL中有一個(gè)空格等導(dǎo)致404錯(cuò)誤，顯然需要下面步驟：

1. 過濾出所有 404 記錄  從每個(gè)404記錄得到request字段(分析器請(qǐng)求的URL字符串是否有空格等)  不要返回重復(fù)的記錄

創(chuàng)建下面方法：

// get the `request` field from an access log recorddef getRequest(rawAccessLogString: String): Option[String] = { val accessLogRecordOption = p.parseRecord(rawAccessLogString) accessLogRecordOption match {  case Some(rec) => Some(rec.request)  case None => None }}

將這些代碼貼入Spark REPL，再運(yùn)行如下代碼：

log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).countval recs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_))val distinctRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).distinctdistinctRecs.foreach(println)

看完上述內(nèi)容，你們掌握使用Spark和Scala怎么分析Apache訪問日志的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

分享名稱：使用Spark和Scala怎么分析Apache訪問日志-創(chuàng)新互聯(lián)
URL網(wǎng)址：http://aaarwkj.com/article20/dgojco.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、App設(shè)計(jì)、標(biāo)簽優(yōu)化、品牌網(wǎng)站設(shè)計(jì)、Google、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)