福州餐饮网站建设,电子商务网站订单功能,如何跑网站建设业务,任丘市网站建设公司Greenplum属于MPP架构#xff0c;和Hadoop一样都是为了解决大规模数据的并行计算而出现的技术#xff0c;两者的相似点在于#xff1a; 分布式存储#xff0c;数据分布在多个节点服务器上分布式并行计算框架支持横向扩展来提高整体的计算能力和存储容量都支持X86开放集群架…Greenplum属于MPP架构和Hadoop一样都是为了解决大规模数据的并行计算而出现的技术两者的相似点在于 分布式存储数据分布在多个节点服务器上分布式并行计算框架支持横向扩展来提高整体的计算能力和存储容量都支持X86开放集群架构 但两种技术在数据存储和计算方法上也存在明显的差异 是否有模式概念Greenplum MPP按照关系数据库行列表方式存储数据有模式Hadoop按照文件切片方式分布式存储无模式。数据分布机制MPP主要采用Hash分布计算节点和存储紧密耦合数据分布粒度在记录级的更小粒度Hadoop FS按照文件切块后随机分配节点和数据无耦合数据分布粒度在文件块级缺少64MB。计算框架MPP采用SQL并行查询计划Hadoop采用MapReduce计算框架。 基于上述不同体现在效率、功能等特性方面也大不相同。 计算效率对比 MapReduce相比而言是一种较为蛮力的计算方式数据处理过程分为Map-Shuffle-Reduce的过程相比MPP而言MapReduce的数据在计算前未经整理和组织而MPP预先把数据有效的组织例如行列表关系、Hash分布、索引、分区、列存、统计信息收集等这决定了在计算过程中效率大不相同。 MAP效率。 Hadoop的MAP阶段需要对数据再解析而MPP数据库则会直接取行列表效率高。Hadoop按默认64MB拆分文件而且数据不能保证在所有节点均匀分布因此MAP过程的并行化程度低MPP数据库按照数据记录拆分和Hash分布粒度更细数据分布在所有节点中非常均匀并行化程度更高。Hadoop HDFS 没有灵活的索引、分区、列存等技术而MPP通常利用这些技术大幅提高数据的检索效率。Shuffle效率。 Shuffle对比MPP计算中的重分布由于 Hadoop数据与节点的无关性Shuffle基本避免不了而MPP数据库对于相同Hash分布数据不需要重分布节点大量网络和CPU消耗。MapReduce没有统计信息不能做基于cost based的优化MPP数据库可以利用统计信息很好的进行并行计算优化。例如MPP对于不同分布的数据可以在计算中基于cost动态决定最优执行路径如采用重分布还是小表广播。Reduce效率。 对比MPP数据库的SQL执行器executorMapReduce缺乏灵活的Join技术支持MPP可以基于cost来自动选择Hash Join、Merge Join还是Nested Join基于可以在Hash Join通过cost选择小表做Hash在Nested Join中选择index提高Join性能等。MPP对于Aggregation提供Multiple-agg、Group-agg、Sort-agg等多种技术来提供计算性能MapReduce需要开发人员自己实现。 另外MapReduce在整个Map-Shuffle-Reduce过程中通过文件来交换数据效率很低MapReduce要求每个步骤间的数据都要序列化到磁盘意味着MapReduce作业的IO成本很高导致交互分析和迭代算法开销很大MPP数据库采用Pipline方式在内存数据流中处理数据效率比文件方式高很多。 总结MPP数据库在计算并行度、计算算法上比Hadoop更优效率更高。 功能对比 MPP数据库采用SQL作为交互式语言SQL简单易学具有很强的数据操纵能力和过程语言能力SQL语言是专门为统计和数据分析开发的语言各种功能和函数琳琅满目SQL语言不仅适合开发人员也适用于分析业务人员大大简化数据的操作和交互过程。 MapReduce编程明显困难在原生的MapReduce开发框架基础上开发需要熟悉JAVA开发和并行原理。为了解决易用性的问题近近来SQL on Haddop技术大量涌现几乎成为当前Hadoop开发使用的一个技术热点趋势。这些技术包括Hive、HAWQ、Spark SQL、Impala、Presto、Drill、Tajo等。这些技术有些是在MapReduce上做优化比如Spark采用内存中的MapReduce技术有的采用C/C代替Java语言重构Hadoop和MapReduce有些是直接绕开MapReduce如Impala、HAWQ借鉴MPP计算思想来做查询优化和内存数据Pipeline计算以此提高性能。 虽然SQL on Hadoop比原始MapReduce在易用上有所提高但SQL成熟度和关系分析上目前还与MPP数据库有较大差距。 上述产品除了HAWQ外对SQL的支持非常有限特别是分析型复杂SQL如SQL 2003 OLAP 窗口函数几乎都不支持。由于Hadoop本身Append-only特性SQL on Hadoop大多不支持数据局部更新和删除功能基本上都缺少索引和存储过程等特征。除HAWQ外大多对于ODBC/JDBC/DBI/OLEDB/.NET接口的支持有限与主流第三方BI报表工具的兼容性不如MPP数据库。 SQL on Hadoop不擅长交互式的Ad Hoc查询大多通过预关联的方式规避这个问题。另外在并发处理方面能力较弱。高并发场景下需要控制计算请求的并发度避免资源过载导致的稳定性问题和性能下降问题。 架构灵活性对比 为保证数据的高性能计算MPP数据库节点和数据之间是紧耦合的相反Hadoop的节点和数据是没有耦合关系的。这决定了Hadoop的架构更加灵活存储节点和计算节点的无关性现在在2个方面 扩展性。 Hadoop架构支持单独增加数据节点或计算节点依托Hadoop的SQL on Hadoop系统例如HAWQ、SPARK均可单独增加计算层的节点或数据层的HDFS存储节点HDFS数据存储对计算层来说是透明的。MPP数据库扩展时一般情况下是计算节点和数据节点一起增加的增加节点后需要对数据做重分布才能保证数据与节点的紧耦合进而保证系统的性能。Hadoop增加存储层节点后虽然也需要Rebalance数据但不是那么紧迫。节点退服。 Hadoop节点宕机退服对系统影响较小并且系统会自动将数据在其它节点扩充到3份MPP数据库节点宕机时系统性能损耗大于Hadoop。HAWQ实现了计算节点和HDFS数据节点的解耦采用MR2.0的YARN来进行资源调度同时具有Hadoop的灵活伸缩的架构特性和MPP的高效能计算能力。不过HAWQ比Greenplum MPP数据库要低一倍左右但比其它基于MapReduce的SQL on Hadoop性能要好。 选择MPP还是Hadoop 如果数据需要频繁的计算和统计并且希望具有更好的SQL交互式支持和更快计算性能及复杂SQL语法支持建议选择MPP数据库。特别如数据仓库、集市、ODS、交互式分析数据平台等系统MPP有明显的优势。 如果数据加载后只会被用于读取少数次的任务和用于少数次的访问而且主要用于Batch对计算性能不是很敏感选择Hadoop也不错Hadoop不需要花费较多的精力来模式化你的数据节点数据模型设计和数据加载设计方面的投入。包括历史数据系统、ETL临时数据区、数据交换平台等。