Spark精华问答 | Spark 会替代Hadoop 吗?

戳蓝字“CSDN云计算”关注我们哦！

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右，是hadoop的升级版本，Hadoop作为第一代产品使用HDFS，第二代加入了Cache来保存中间计算结果，并能适时主动推Map/Reduce任务，第三代就是Spark倡导的流Streaming。今天，就让我们一起来看看关于它的更加深度精华问答吧！

Q：目前那些行业在用Spark处理大数据？

A：Spark技术在国内外的应用开始越来越广泛，它正在逐渐走向成熟，并在这个领域扮演更加重要的角色。国外一些大型互联网公司已经部署了Spark。例如：一直支持Hadoop的四大商业机构（Cloudera、MapR、Hortonworks、EMC）已纷纷宣布支持Spark；Mahout前一阶段也表示，将不再接受任何形式以MapReduce实现的算法，同时还宣布了接受基于Spark新的算法；而Cloudera的机器学习框架Oryx的执行引擎也将由Hadoop的MapReduce替换成Spark；另外，Google也已经开始将负载从MapReduce转移到Pregel和Dremel上；FaceBook也宣布将负载转移到Presto上……，淘宝、优酷土豆、网易、百度、腾讯等国内大型知名企业已经在商业生产环境下开始使用Spark技术；Intel、IBM、Linkin、Twwitter等国外大型知名企业也都在大力支持Spark。

Q：Spark 会替代Hadoop 吗?

A：Hadoop在云计算大数据发展的早期做出了卓越的贡献，其MapReduce模型极大的简化了海量数据的分析。随着大数据多重处理例如迭代计算、机器学习、图计算等和低延迟交互式查询的需求爆发式的增长，Hadoop在架构的先天缓慢性导致了其无法满足人们在处理大数据时候的复杂计算和快速响应，Spark应运而生。

Hadoop的HDFS已经成为大数据存储的实施标准，例如淘宝内部有多带大数据处理系统，但是存储系统统一采用HDFS，其HDFS集群规模超过5000台，现在的Spark一般情况下都是从HDFS上获取数据并把计算后的数据交给HDFS。

Yarn这个资源管理框架也正在成为事实的群集资源管理标准，极大的简化了多套系统下资源的管理和数据的共享。

Spark会取代Hadoop的计算框架MapReduce，现在Hadoop的世界上最知名的四大发行商都正在由MapReduce转向Spark。Spark会成为大数据时代通用的计算平台。

Q：开发Spark程序，用Python和Scala区别大吗？

A：就代码的风格而言是不大的；世界上也有很多人使用Python开发Spark程序；但是最为推荐的是Scala，因为Spark框架是用Scala编写的，在API方面对Scala的支持也是最好的。

Q：SPARK环境需要哪些？除了HDFS基础，有SPARK集成包么？

A：Spark的安装需要Hadoop的HDFS；Spark有自己的集成包，但是依旧需要HDFS的配合；同时Spark也可以部署到亚马逊云上。

Q： groupbykey是排好序的吗？分组排序怎么实现？

A：groupByKey在一个由（K,V）对组成的数据集上调用，返回一个（K，Seq[V])对的数据集，所以是没有排序的；要想分组排序，首先要使用groupByKey完成分组功能，然后使用sortWith这个函数对指完成排序实现。

640?wx_fmt=png