Hadoop和spark的性能比較

本篇內容主要講解“Hadoop和spark的性能比較”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強。下面就讓小編來(lái)帶大家學(xué)習“Hadoop和spark的性能比較”吧!

　　Hadoop和spark的性能比較

　　Spark在內存中運行速度比Hadoop快100倍，在磁盤(pán)上運行速度快10倍。眾所周知，Spark在數量只有十分之一的機器上，對100TB數據進(jìn)行排序的速度比Hadoop MapReduce快3倍。此外，Spark在機器學(xué)習應用中的速度同樣更快，例如Naive Bayes和k-means。

　　由處理速度衡量的Spark性能之所以比Hadoop更優(yōu)，原因如下：

　　1、每次運行MapReduce任務(wù)時(shí)，Spark都不會(huì )受到輸入輸出的限制。事實(shí)證明，應用程序的速度要快得多。

　　2、Spark的DAG可以在各個(gè)步驟之間進(jìn)行優(yōu)化。Hadoop在MapReduce步驟之間沒(méi)有任何周期性連接，這意味著(zhù)在該級別不會(huì )發(fā)生性能調整。

　　但是，如果Spark與其他共享服務(wù)在YARN上運行，則性能可能會(huì )降低并導致RAM開(kāi)銷(xiāo)內存泄漏。出于這個(gè)原因，如果用戶(hù)有批處理的訴求，Hadoop被認為是更高效的系統。