教做视频的网站,建产品网站怎么做,设计漂亮的网站,wordpress 标签中文每个JJ Abrams的电视连续剧疑犯追踪从主要人物芬奇先生一个下列叙述情节开始#xff1a;“ 你是被监视。 政府拥有一个秘密系统-每天每天每小时都会对您进行监视的机器。 我知道是因为...我建造了它。 “当然#xff0c;我们的技术人员知道得更多。 庞大的电气和软件工程师团… 每个JJ Abrams的电视连续剧疑犯追踪从主要人物芬奇先生一个下列叙述情节开始“ 你是被监视。 政府拥有一个秘密系统-每天每天每小时都会对您进行监视的机器。 我知道是因为...我建造了它。 “当然我们的技术人员知道得更多。 庞大的电气和软件工程师团队需要花费多年的时间来制造如此高性能的机器而预算却是无法想象的……或者不是吗 等一下我们有了Hadoop 现在由于有了Hadoop 我们每个人都可以成为Finch先生预算不高。 在JCG文章“ Hadoop模式介绍-独立伪分布式分布式 ”中JCG合作伙伴Rahul Patodi解释了如何设置Hadoop 。 Hadoop项目已经产生了许多用于分析半结构化数据的工具但是Hive也许是其中最直观的工具因为它允许具有SQL背景的任何人提交被描述为SQL查询的MapReduce作业。 Hive可以从命令行界面执行也可以在服务器模式下运行而Thrift客户端充当JDBC / ODBC接口可以访问数据分析和报告应用程序。 在本文中我们将设置一个Hive服务器创建一个表使用文本文件中的数据加载它然后使用iReport创建一个Jasper Resport。 Jasper报表在Hive服务器上执行SQL查询然后将其转换为Hadoop执行的MapReduce作业。 注意我使用运行OpenSuSE 12.1 Linux且安装了MySQL 5.5的Hadoop版本0.20.205Hive版本0.7.1和iReport版本4.5。 假设你已经安装了Hadoop的下载和安装蜂巢下面的蜂巢 入门维基指令。 默认情况下 Hive是在独立Hadoop模式下运行的CLI模式下安装的。 制作多用户Hive Metastore 默认的Hive安装使用derby嵌入式数据库作为其元存储。 Metastore是Hive维护我们要通过SQL访问的数据的描述的地方。 为了使metastore同时可以从许多用户访问必须将其移动到独立数据库中。 这是安装MySQL Metastore的方法。 将MySQL JDBC驱动程序 jar文件复制到〜/ hive-0.7.1-bin / lib目录 更改〜/ hive-0.7.1-bin / conf目录中的文件hive-default.xml中的以下属性 propertynamejavax.jdo.option.ConnectionURL/namevaluejdbc:mysql://hyperion/metastore?createDatabaseIfNotExisttrue/valuedescriptionJDBC connect string for a JDBC metastore/description /propertypropertynamejavax.jdo.option.ConnectionDriverName/namevaluecom.mysql.jdbc.Driver/valuedescriptionDriver class name for a JDBC metastore/description /propertypropertynamejavax.jdo.option.ConnectionUserName/namevaluefoo/valuedescriptionUsername to connect to the database/description /propertypropertynamejavax.jdo.option.ConnectionPassword/namevaluebar/valuedescriptionPassword to connect to the database/description /property 使用MySQL工作台或MySQL命令行实用程序使用latin1字符集创建模式。 如果Hive找不到模式它将使用MySQL的默认字符集自行创建模式。 在我的情况下这是UTF-8并生成了jdbc错误。 如果要使用命令行实用程序请键入 mysql CREATE DATABASE IF NOT EXISTS metastore DEFAULT CHARACTER SET latin1 COLLATE latin1_bin; 在命令提示符下键入Hive以输入Hive CLI并键入 hive SHOW TABLES; OK testlines Time taken: 3.654 seconds hive 这将填充您新创建的metastore模式。 如果您看到任何错误请检查您的hive-default.xml配置并确保您的数据库模式被命名为“ metastore”其中latin1作为默认字符集。 现在让我们用一些数据填充Hadoop Hive 我们只创建两个名为file01和file02的文本文件每个文件包含 file01 你好世界再见世界 大家好再见大家 file02 您好Hadoop再见Hadoop 大家好大家再见 将这些文件从本地文件系统复制到HDFS $ hadoop fs -mkdir HiveExample $ hadoop fs -copyFromLocal ~/file* /user/ssake/HiveExample 转到Hive CLI并创建一个名为testlines的表该表将在字符串数组中包含每一行的单词 hive create table testlines (line arraystring) row format delimited collection items terminated by ; 将文本文件加载到Hive中 hive load data inpath /user/ssake/HiveExample/file01 INTO table testlines; hive load data inpath /user/ssake/HiveExample/file02 INTO table testlines; 检查测试行现在是否包含每行的单词 hive select * from testlines; OK [Hello,World,Bye,World] [Hello,Everybody,Bye,Everybody] [Hello,Hadoop,Goodbye,Hadoop] [Hello,Everybody,Goodbye,Everybody] Time taken: 0.21 seconds 现在我们有了一个包含数据的Hive我们可以将其作为服务器在端口10000中运行这通常是运行hive服务器的方式 $ HIVE_PORT10000 $ hive --service hiveserver 通过此设置可能有多个Thrift客户端访问我们的Hive服务器。 但是根据Apache Hive博客 多线程Hive功能尚未经过全面测试因此每个Thrift客户端使用单独的端口和Hive实例更为安全。 创建“字数统计”报告 iReport 4.5支持配置单元数据源因此让我们使用它来创建一个以配置单元服务器作为数据源运行的报表 1.创建一个连接到配置单元服务器的数据源 2.使用报告向导生成报告 3.在“ HiveQL查询”输入框中键入以下内容 select word,count(word) from testlines lateral view explode(line) words as word group by word 让我们简要解释一下上述查询的作用 我们的源表“ testlines”表只有一个名为“ line”的列其中包含字符串数组形式的数据。 每个字符串数组代表在导入文件“ file01 ”和“ file02 ”中找到的句子中的单词。 为了正确计算所有输入文件中每个不同单词的出现次数我们必须将源表中的字符串数组“分解”为一个新单词其中应包含每个单词。 为此我们将“侧视图”与HiveQL命令“ explode”结合使用如上所示。 在上面的HiveQL查询中我们创建了一个名为“ words”的新图标表该表具有一个名为“ word”的列其中包含从“ testlines”表的每个字符串数组中找到的所有单词。 4.单击…按钮以选择所有文件然后单击下一步。 5.在设计器视图中单击“预览”选项卡以执行HiveQL报告 这是我们的报告 现在您已经准备好构建使用熟悉的JDBC接口访问Hadoop数据的应用程序 参考我们的W4G合作伙伴 Spyros Sakellariou 使用Hive和iReport进行大数据分析 。 翻译自: https://www.javacodegeeks.com/2012/02/big-data-analytics-with-hive-and.html