设计高端网站建设,上海电子商务网站制作公司,亚马逊入驻费用及条件,perl网站开发摘要#xff1a; 如果您是一个大数据开发工程师并且使用过hadoop的hive框架#xff0c;那么恭喜您#xff0c;阿里云的大数据计算服务-Maxcompute#xff0c;您已经会了90%。这篇文章就来简单对比下Maxcompute和hive的异同#xff0c;来方便刚开始使用Maxcompute的用户 如果您是一个大数据开发工程师并且使用过hadoop的hive框架那么恭喜您阿里云的大数据计算服务-Maxcompute您已经会了90%。这篇文章就来简单对比下Maxcompute和hive的异同来方便刚开始使用Maxcompute的用户从hive秒速迁移到Maxcompute的使用上。 点此查看原文http://click.aliyun.com/m/40814/ 如果您是一个大数据开发工程师并且使用过hadoop的hive框架那么恭喜您阿里云的大数据计算服务-Maxcompute您已经会了90%。这篇文章就来简单对比下Maxcompute和hive的异同来方便刚开始使用Maxcompute的用户从hive秒速迁移到Maxcompute的使用上。 首先回顾下hive的概念。 1、hive是基于hadoop的,以表的形式来存储数据实际上数据是存储在hdfs上数据库和表其实是hdfs上的两层目录数据是放在表名称目录下的计算还是转换成mapreduce计算。 2、hive可以通过客户端命令行和java api操作数据 3、hive是hql语言操作表跟通用sql语言的语法大致相同可能会多一些符合本身计算的函数等。hql会解析成mapreduce进行相关逻辑计算 4、hive有分区分桶的概念 5、hive可以通过命令从本地服务器来上传下载表数据 hive可以通过外部表功能映射hbase和es等框架的数据 6、hive任务可以通过hadoop提供的webUI来查看任务进度日志等 7、hive支持自定义函数udfudafudtf 8、hive可以通过hue界面化操作 9、hive可以通过sqoop等工具和其他数据源交互 10、资源调度依赖于hadoop-yarn平台 那么如果你对这些hive的功能稍微熟悉的话现在我告诉你Maxcompute的功能以及用法和上述hive功能基本一致。 先看下Maxcompute的组件 MaxCompute 主要服务于批量结构化数据的存储和计算可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务支持sql查询计算自定义函数udf实现复杂逻辑mapreduce程序实现更具体的业务计算支持Graph面向迭代的图计算处理框架提供java api来连接操作sqltask。 是不是初步看起来MaxCompute也是和hive一样可以用sqludfmr ①文件系统对比 对比差异之前容许我先简单介绍下阿里云的基石-飞天系统详细的可以网上搜下。飞天系统是分布式的文件存储和计算系统听起来是不是好熟悉是不是和hadoop的味道一样。这里对于Maxcompute可以暂时把它当作是hadoop类似的框架那Maxcompute就是基于飞天系统的类似于hive基于hadoop。 hive的数据实际上是在hdfs上元数据一般放在mysql以表的形式展现。你可以直接到hdfs上查到具体文件。Maxcompute的数据是在飞天文件系统对外不暴露文件系统底层优化会自动做好。 ②hive和Maxcompute客户端 直接上图来对比 hive的客户端 Maxcompute(原odps)的客户端 是不是看起来一致。 实际上 项目空间Project是 MaxCompute 的基本组织单元它类似于传统数据库的Database 或 Schema 的概念是进行多用户隔离和访问控制的主要边界 。一个用户可以同时拥有多个项目空间的权限 配置文件如图 在客户端中可以执行sql和其他命令。 那么MaxCompute除了命令行客户端也提供了python和java的sdk来访问。不说了直接上代码 import java.util.List;import com.aliyun.odps.Instance;import com.aliyun.odps.Odps;import com.aliyun.odps.OdpsException;import com.aliyun.odps.account.Account;import com.aliyun.odps.account.AliyunAccount;import com.aliyun.odps.data.Record;import com.aliyun.odps.task.SQLTask;public class testSql { //这里accessId和accessKey是阿里云为安全设置的账户访问验证类似于密码不止是在Maxcompute中使用private static final String accessId ;private static final String accessKey “”; //这里是的服务地址private static final String endPoint http://service.odps.aliyun.com/api; //Maxcompute的项目名称类似于hive的databaseprivate static final String project ;private static final String sql select category from iris;;public static voidmain(String[] args) {Account account new AliyunAccount(accessId, accessKey);Odps odps new Odps(account);odps.setEndpoint(endPoint);odps.setDefaultProject(project);Instance i;try {i SQLTask.run(odps, sql);i.waitForSuccess();ListRecord records SQLTask.getResult(i); for(Record r:records){System.out.println(r.get(0).toString());}} catch (OdpsException e) {e.printStackTrace();}}} 是不是觉得很亲切跟大多数数据库的访问方式一样。 ③odpscmd和hivesql 首先来看建表语句 hive标准建表语句 hive create table page_view ( page_id bigint comment 页面ID, page_name string comment 页面名称, page_url string comment 页面URL ) comment 页面视图 partitioned by (ds string comment 当前时间用于分区字段) row format delimited stored as rcfile location /user/hive/test; maxcompute建表语句 create table page_view ( page_id bigint comment 页面ID, page_name string comment 页面名称, page_url string comment 页面URL ) partitioned by (ds string comment 当前时间用于分区字段) 从建表语句上明显的可以感觉出来maxcompute没有指定分隔符没有指定文件存储路径没有指定文件的存储格式。难道是默认的吗不。 因为maxcompute是基于阿里云飞天文件系统用户无需关心文件存储格式压缩格式存储路径等 这些操作由阿里云来完成用户也不用来疲于文件存储成本,压缩性价比,读写速度等优化可以将精力集中在业务的开发上。 另外二者的数据的上传下载 hive可以通过命令比如上传 maxcompute是通过命令工具 tunnel上传下载同时支持在上传过程校验文件格式脏数据等 ④分区和分桶 分区的概念相信使用hive的同学很熟悉其实就是在表目录上再套一层目录将数据区分目的就是提高查询效率。那么从上面建表语句中可以看出maxcomoute和hive都是支持分区的概念用法一致。 关于分桶上面建表语句中hive中有分桶语句maxcompute没有分桶的操作实际上分桶是把一个大文件根据某个字段hash成多个小文件适当的分桶会提高查询效率在maxcompute中这些优化底层已经做了。 ⑤外部表功能 hive可以通过外部表的功能来操作例如hbase和es的数据。外部表功能maxcompute(2.0版本支持)中也是同样适用maxcompute通过外部表来映射阿里云的OTS和OSS两个数据存储产品来处理非结构化的数据例如音频视频等。看下建表语句 CREATE EXTERNAL TABLE IF NOT EXISTS ambulance_data_csv_external ( vehicleId int, recordId int, patie ntId int, calls int, locationLatitute double, locationLongtitue double, recordTime string, direction string ) STORED BY com.aliyun.odps.CsvStorageHandler -- (2) LOCATION oss://oss-cn-hangzhou-zmf.aliyuncs.com/oss-odps-test/Demo/SampleData/CSV/AmbulanceData/; 再看hive映射到hbase建表语句 CREATE EXTERNAL TABLE cofeed_info ( rowkey string, id string, source string, insert_time timestamp, dt string ) STORED BY ‘org.apache.Hadoop.hive.hbase.HBaseStorageHandler’ WITH SERDEPROPERTIES (“hbase.columns.mapping” “:key, cf:id, cf:source, cf:insert_time, cf:dt”) TBLPROPERTIES (“hbase.table.name” “cofeed_info”); 语法基本一致maxcompute可以自定义extractor来处理非结构化数据可以参考https://yq.aliyun.com/articles/61567来学习 ⑥webui hive任务依赖于hadoop的hdfs和yarn提供的webui访问。看下对比 hadoopwebui 在这里可以通过历史任务来查看hive任务的执行情况。个人觉得页面不是很友好。 那么在Maxcompute中当然也是可以通过ui来查看任务执行状态进度参数以及任务日志等 首先在任务执行的时候在客户端会打印出来一串http地址我们叫做logview复制下来在浏览器中打开即可。 如图 在浏览器中打开 总体上一看非常清晰明了。任务开始时间结束时间任务状态绿色进度条。很方便的获取任务的总体情况 点击Detail按钮可以看更具体的调度日志等 点击jsonsumary可以看到非常详细的执行过程 那么可以看到Maxcompute的webui还是比较友好的方便用户很快定位问题。调度方面这里也说一下是由阿里云统一调度用户无需关心优化。 ⑦自定义函数的支持 hive和Maxcompute都支持自定函数。同样是三种udfudtfudaf。 代码写法一致。最大的区别在于数据类型的支持上。 目前Maxcompute支持的数据类型是 UDF 支持 MaxCompute SQL 的数据类型有Bigint, String, Double, Boolean 类型 。MaxCompute 数据类型与 Java 类型的对应关系如下注意 java 中对应的数据类型以及返回值数据类型是对象首字母请务必大写 目前暂不支持 datetime 数据类型建议可以转换成 String 类型传入处理 。 SQL 中的 NULL 值通过 Java 中的 NULL 引用表示因此 Java primitive type 是不允许使用的因为无法表示 SQL 中的 NULL 值 。 所以不同于hive中支持各种类型。 看maxcompute代码示例 import com.aliyun.odps.udf.UDF;public final class Lower extends UDF {public String evaluate(String s) {if (s null) { return null; }return s.toLowerCase();}} 用法一致所以使用hive的用户基本可以直接迁移。 在此强调一下在MaxCompute中处于安全层面的考虑对udf和mr是有java沙箱限制的比如在udf代码中不能启用其他线程等等具体可以参考 https://help.aliyun.com/document_detail/27967.html 那么可以看到Maxcompute的webui还是比较友好的方便用户很快定位问题。调度方面这里也说一下是由阿里云统一调度用户无需关心优化。 ⑧界面化操作。 谈到界面化的操作阿里云的产品基本上都是界面化操作可拖拽等等开发门槛非常低所以也是非常适合初学大数据或者公司没有相关开发人力的公司。 hive可以借助hue工具来操作查询数据但是实际上交互性不是很强。 那么这里就将Maxcompute的界面化操作以及数据同步权限控制数据管理和其他数据源交互定时调度等简单介绍下就是阿里云的产品-大数据开发套件目前是免费使用的。需要开通Maxcompute项目进入操作。等不及了直接上图 1Maxcompute sql 查询界面化 maxcompute mapreduce界面化配置 Maxcompute数据同步界面化 hive可以通过sqoop工具和多种数据源进行数据同步。Maxcompute在大数据开发套件中也是非常方便的和其他数据源进行同步 并且可以配置流程控制调度 是不是很神奇惊不惊喜意不意外。具体的使用还是大家亲自体验这里就不一一介绍了。 那最后来看下hadoop-mapreduce和Maxcompute-mapreduce的使用对比。还是用大家最喜欢的wordcount来做示例。 介绍之前还是要强调一下1Maxcompute-mapreduce输入输出都是表或者分区的形式如果需要引用其他文件需要先上传2Maxcompute-mapreduce也是有沙箱限制不允许在代码中启用别的框架线程等。 hadoop-mr代码就不贴了直接上Maxcompute-mapreduce代码Overridepublic void setup(TaskContext context) throws IOException {word context.createMapOutputKeyRecord();one context.createMapOutputValueRecord();one.set(new Object[] { 1L });System.out.println(TaskID: context.getTaskID().toString());}Overridepublic void map(long recordNum, Record record, TaskContext context)throws IOException { //maxcompute中是以表中一行记录来处理Recordfor (int i 0; i record.getColumnCount(); i) {word.set(new Object[] { record.get(i).toString() });context.write(word, one);}}} 再看job主函数配置代码逻辑是通用的public static void main(String[] args) throws Exception {if (args.length ! 2) {System.err.println(Usage: WordCount in_table out_table);System.exit(2);}JobConf job new JobConf();job.setMapperClass(TokenizerMapper.class);job.setCombinerClass(SumCombiner.class);job.setReducerClass(SumReducer.class); //这里可以直接指定map端输出的字段job.setMapOutputKeySchema(SchemaUtils.fromString(word:string));job.setMapOutputValueSchema(SchemaUtils.fromString(count:bigint)); //这里输入出需要是表活着分区InputUtils.addTable(TableInfo.builder().tableName(args[0]).build(), job);OutputUtils.addTable(TableInfo.builder().tableName(args[1]).build(), job);JobClient.runJob(job);} 那么基本上主要的功能对比差不多了大家可以发现如果您是一位使用过hive的开发人员可以秒迁移到maxcompute上更加方便简洁的来做开发将开发人员从苦逼的加班中解放出来实际上公司节省了大量的运维成本开发人力成本等等将主要精力放在业务开发。如果非要问我hive和maxcompute的性能对比那我只能告诉它是经历双十一考验过的。 总结如果说工业革命是将人们从体力劳动解放出来那么如今的互联网革命尤其是云计算大数据的飞速发展是将人们从脑力中解放出来。 即使你是一个人的研发公司阿里云也可以让你有对抗世界级企业的能力。你不是一个人在战斗。