乐鱼电竞

教育行业A股IPO第一股（股票代码 003032）

全国咨询/投诉热线：400-618-4000

Spark处理数据的速度比Hive更快？原因是什么？

更新时间:2021年05月20日15时02分 来源:乐鱼电竞 浏览次数:

乐鱼电竞-一样的教育，不一样的品质

问题分析

考官主要考核你对Spark和Hadoop运行机制的理解，考察你对技术应用场景的敏感性和理解程度，这对工作的具体质量有很大的影响。

核心问题讲解

Spark SQL比Hadoop Hive快，是有一定条件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎还比Spark SQL的引擎更快。
其实，关键还是在于Spark 本身快。那么Spark为什么快呢？

  1. 消除了冗余的HDFS读写
    Hadoop每次shuffle操作后，必须写到磁盘，而Spark在shuffle后不一定落盘，可以cache到内存中，以便迭代时使用。如果操作复杂，很多的shufle操作，那么Hadoop的读写IO时间会大大增加。、

  2. 消除了冗余的MapReduce阶段
    Hadoop的shuffle操作一定连着完整的MapReduce操作，冗余繁琐。而Spark基于RDD提供了丰富的算子操作，且action操作产生shuffle数据，可以缓存在内存中。

  3. JVM的优化
    Hadoop每次MapReduce操作，启动一个Task便会启动一次JVM，基于进程的操作。而Spark每次MapReduce操作是基于线程的，只在启动Executor时启动一次JVM，内存的Task操作是在线程复用的。
    每次启动JVM的时间可能就需要几秒甚至十几秒，那么当Task多了，这个时间Hadoop不知道比Spark慢了多少。
    总结：Spark比Mapreduce运行更快，主要得益于其对mapreduce操作的优化以及对JVM使用的优化。

问题扩展

Spark快不是绝对的，但是绝大多数Spark都比Hadoop计算要快。
考虑一种极端查询：Select month_id,sum(sales) from T group by month_id;这个查询只有一次shuffle操作，此时，也许Hive HQL的运行时间也许比Spark还快。

结合项目中使用

公司在技术人员储备满足的情况下，同样的业务处理，优先选择spark来进行实现，这样对统计分析的执行效率会有很大的提升。
如果业务对性能没有要求，而且内存资源有限，也可以采用Hive来进行计算分析。





猜你喜欢：

怎样使用Spark方法完成RDD的创建？

Spark的应用场景有哪些？

Spark SQL如何实现Hive数据仓库的操作？

乐鱼电竞python+大数据开发培训培训课程

0 分享到：
和我们在线交谈！
【网站地图】【sitemap】