小編給大家分享一下Spark有什么用，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

創(chuàng)新互聯(lián)公司主營梁園網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,成都app軟件開發(fā)公司,梁園h5小程序開發(fā)搭建,梁園網(wǎng)站營銷推廣歡迎梁園等地區(qū)企業(yè)咨詢

SPARK

Apache Spark 是專為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎。Spark是UC Berkeley AMP lab (加州大學(xué)伯克利分校的AMP實驗室)所開源的類Hadoop MapReduce的通用并行框架，Spark，擁有Hadoop MapReduce所具有的優(yōu)點；但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學(xué)習(xí)等需要迭代的MapReduce的算法。

Spark 是一種與 Hadoop 相似的開源集群計算環(huán)境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負(fù)載方面表現(xiàn)得更加優(yōu)越，換句話說，Spark 啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。

Spark 是在 Scala 語言中實現(xiàn)的，它將 Scala 用作其應(yīng)用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數(shù)據(jù)集。

盡管創(chuàng)建 Spark 是為了支持分布式數(shù)據(jù)集上的迭代作業(yè)，但是實際上它是對 Hadoop 的補充，可以在 Hadoop 文件系統(tǒng)中并行運行。通過名為 Mesos 的第三方集群框架可以支持此行為。Spark 由加州大學(xué)伯克利分校 AMP 實驗室 (Algorithms, Machines, and People Lab) 開發(fā)，可用來構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用程序。

Apache Spark是專為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎 ?，F(xiàn)在形成一個高速發(fā)展應(yīng)用廣泛的生態(tài)系統(tǒng)。

學(xué)習(xí)大數(shù)據(jù)的起點

Spark 主要有三個特點 ：

首先，高級 API 剝離了對集群本身的關(guān)注，Spark 應(yīng)用開發(fā)者可以專注于應(yīng)用所要做的計算本身。

其次，Spark 很快，支持交互式計算和復(fù)雜算法。

最后，Spark 是一個通用引擎，可用它來完成各種各樣的運算，包括 SQL 查詢、文本處理、機器學(xué)習(xí)等，而在 Spark 出現(xiàn)之前，我們一般需要學(xué)習(xí)各種各樣的引擎來分別處理這些需求。

性能特點

更快的速度

內(nèi)存計算下，Spark 比 Hadoop 快100倍。

易用性

Spark 提供了80多個高級運算符。

通用性

Spark 提供了大量的庫，包括SQL、DataFrames、MLlib、GraphX、Spark Streaming。 開發(fā)者可以在同一個應(yīng)用程序中無縫組合使用這些庫。

支持多種資源管理器

Spark 支持 Hadoop YARN，Apache Mesos，及其自帶的獨立集群管理器

Spark生態(tài)系統(tǒng)

Shark：Shark基本上就是在Spark的框架基礎(chǔ)上提供和Hive一樣的HiveQL命令接口，為了最大程度的保持和Hive的兼容性，Shark使用了Hive的API來實現(xiàn)query Parsing和 Logic Plan generation，最后的PhysicalPlan execution階段用Spark代替HadoopMapReduce。通過配置Shark參數(shù)，Shark可以自動在內(nèi)存中緩存特定的RDD，實現(xiàn)數(shù)據(jù)重用，進而加快特定數(shù)據(jù)集的檢索。同時，Shark通過UDF用戶自定義函數(shù)實現(xiàn)特定的數(shù)據(jù)分析學(xué)習(xí)算法，使得SQL數(shù)據(jù)查詢和運算分析能結(jié)合在一起，最大化RDD的重復(fù)使用。

SparkR：SparkR是一個為R提供了輕量級的Spark前端的R包。 SparkR提供了一個分布式的data frame數(shù)據(jù)結(jié)構(gòu)，解決了 R中的data frame只能在單機中使用的瓶頸，它和R中的data frame 一樣支持許多操作，比如select,filter,aggregate等等。（類似dplyr包中的功能）這很好的解決了R的大數(shù)據(jù)級瓶頸問題。 SparkR也支持分布式的機器學(xué)習(xí)算法，比如使用MLib機器學(xué)習(xí)庫。 SparkR為Spark引入了R語言社區(qū)的活力，吸引了大量的數(shù)據(jù)科學(xué)家開始在Spark平臺上直接開始數(shù)據(jù)分析之旅。

基本原理

Spark Streaming：構(gòu)建在Spark上處理Stream數(shù)據(jù)的框架，基本的原理是將Stream數(shù)據(jù)分成小的時間片斷（幾秒），以類似batch批量處理的方式來處理這小部分?jǐn)?shù)據(jù)。Spark Streaming構(gòu)建在Spark上，一方面是因為Spark的低延遲執(zhí)行引擎（100ms+），雖然比不上專門的流式數(shù)據(jù)處理軟件，也可以用于實時計算，另一方面相比基于Record的其它處理框架（如Storm），一部分窄依賴的RDD數(shù)據(jù)集可以從源數(shù)據(jù)重新計算達(dá)到容錯處理目的。此外小批量處理的方式使得它可以同時兼容批量和實時數(shù)據(jù)處理的邏輯和算法。方便了一些需要歷史數(shù)據(jù)和實時數(shù)據(jù)聯(lián)合分析的特定應(yīng)用場合。

計算方法

Bagel: Pregel on Spark，可以用Spark進行圖計算，這是個非常有用的小項目。Bagel自帶了一個例子，實現(xiàn)了Google的PageRank算法。

當(dāng)下Spark已不止步于實時計算，目標(biāo)直指通用大數(shù)據(jù)處理平臺，而終止Shark，開啟SparkSQL或許已經(jīng)初見端倪。

近幾年來，大數(shù)據(jù)機器學(xué)習(xí)和數(shù)據(jù)挖掘的并行化算法研究成為大數(shù)據(jù)領(lǐng)域一個較為重要的研究熱點。早幾年國內(nèi)外研究者和業(yè)界比較關(guān)注的是在 Hadoop 平臺上的并行化算法設(shè)計。然而， HadoopMapReduce 平臺由于網(wǎng)絡(luò)和磁盤讀寫開銷大，難以高效地實現(xiàn)需要大量迭代計算的機器學(xué)習(xí)并行化算法。隨著 UC Berkeley AMPLab 推出的新一代大數(shù)據(jù)平臺 Spark 系統(tǒng)的出現(xiàn)和逐步發(fā)展成熟，近年來國內(nèi)外開始關(guān)注在 Spark 平臺上如何實現(xiàn)各種機器學(xué)習(xí)和數(shù)據(jù)挖掘并行化算法設(shè)計。為了方便一般應(yīng)用領(lǐng)域的數(shù)據(jù)分析人員使用所熟悉的 R 語言在 Spark 平臺上完成數(shù)據(jù)分析，Spark 提供了一個稱為 SparkR 的編程接口，使得一般應(yīng)用領(lǐng)域的數(shù)據(jù)分析人員可以在 R 語言的環(huán)境里方便地使用 Spark 的并行化編程接口和強大計算能力。

以上是“Spark有什么用”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

新聞標(biāo)題：Spark有什么用
URL鏈接：http://aaarwkj.com/article30/ggheso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、品牌網(wǎng)站設(shè)計、網(wǎng)站維護、定制開發(fā)、品牌網(wǎng)站制作、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)