hadoop和spark的區別是什么

這篇文章主要講解了“hadoop和spark的區別是什么”，文中的講解內容簡(jiǎn)單清晰，易于學(xué)習與理解，下面請大家跟著(zhù)小編的思路慢慢深入，一起來(lái)研究和學(xué)習“hadoop和spark的區別是什么”吧！

主要是從四個(gè)方面對Hadoop和spark進(jìn)行了對比分析：

1、目的：首先需要明確一點(diǎn)，hadoophe spark 這二者都是大數據框架，即便如此二者各自存在的目的是不同的。Hadoop是一個(gè)分布式的數據基礎設施，它是將龐大的數據集分派到由若干臺計算機組成的集群中的多個(gè)節點(diǎn)進(jìn)行存儲。Spark是一個(gè)專(zhuān)門(mén)用來(lái)對那些分布式存儲的大數據進(jìn)行處理的工具，spark本身并不會(huì )進(jìn)行分布式數據的存儲。

2、兩者的部署：Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數據提供了存儲，則MapReduce為海量的數據提供了計算。所以使用Hadoop則可以?huà)侀_(kāi)spark，而直接使用Hadoop自身的mapreduce完成數據的處理。Spark是不提供文件管理系統的，但也不是只能依附在Hadoop上，它同樣可以選擇其他的基于云的數據系統平臺，但spark默認的一般選擇的還是hadoop。

3、數據處理速度：Spark，擁有Hadoop、 MapReduce所具有能更好地適用于數據挖掘與機器學(xué)習等需要迭代的的優(yōu)點(diǎn)；但不同于MapReduce的是Job中間輸出結果可以保存在內存中，從而不再需要讀寫(xiě)HDFS，

Spark 是一種與 Hadoop 相似的開(kāi)源集群計算環(huán)境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現得更加優(yōu)越，換句話(huà)說(shuō)，Spark 啟用了內存分布數據集，除了能夠提供交互式查詢(xún)外，它還可以?xún)?yōu)化迭代工作負載。

4、數據安全恢復：Hadoop每次處理的后的數據是寫(xiě)入到磁盤(pán)上，所以其天生就能很有彈性的對系統錯誤進(jìn)行處理；spark的數據對象存儲在分布于數據集群中的叫做彈性分布式數據集中，這些數據對象既可以放在內存，也可以放在磁盤(pán)，所以spark同樣可以完成數據的安全恢復。