如何在路由器上做网站转跳,桌面网站怎么做,咨询类网站开发的意义,name域名注册文章目录 一、实战概述二、实战步骤#xff08;一#xff09;创建图书数据库#xff08;二#xff09;创建国别分区的图书表#xff08;三#xff09;在本地创建数据文件#xff08;四#xff09;按分区加载数据1、加载中文书籍数据到countrycn分区2、加载英文书籍数据… 文章目录 一、实战概述二、实战步骤一创建图书数据库二创建国别分区的图书表三在本地创建数据文件四按分区加载数据1、加载中文书籍数据到countrycn分区2、加载英文书籍数据到countryen分区 五查看分区表book全部记录六 通过HDFS查看分区对应的目录及文件七手动创建分区并上传数据1、在HDFS上手动创建countryjp分区目录2、创建日文书籍数据文件jp_book.txt3、上传文件到HDFS日本分区目录4、更新元数据以识别新分区 八再次查看book表全部记录九删除指定分区十更改分区名十一在MySQL中查看Hive元数据分区信息1、登录MySQL Hive Metastore数据库2、 查看book表分区元数据信息 三、实战总结 一、实战概述 在本Hive分区表管理实战中我们通过一系列实际操作演示了如何有效地利用分区功能来组织和查询大规模数据。首先创建了一个名为book的内部分区表其结构包含id与name字段并根据country字段进行分区。接下来准备并加载了不同国家中国和英国书籍的数据文件到对应的分区目录中。 为了展示分区灵活性我们还模拟了手动创建新分区日本上传数据文件并通过msck repair table命令将新分区纳入表的元数据管理中。此外实战还涉及分区的删除、重命名等操作直观展示了Hive如何同步更新分区状态至HDFS存储及元数据层面。 最后通过查看MySQL中Hive Metastore数据库的相关表信息揭示了Hive如何记录分区的具体元数据内容包括分区位置等关键信息。整个实战过程充分展现了Hive分区表在提升查询效率、实现数据分类存储以及简化数据管理方面的强大能力。 二、实战步骤 一创建图书数据库 执行命令create database bookdb; 执行命令use bookdb;切换到bookdb数据库 二创建国别分区的图书表 执行语句create table book (id int, name string) partitioned by (country string) row format delimited fields terminated by ;创建book表 三在本地创建数据文件 在master虚拟机上创建中文书籍数据文件cn_book.txt 在master虚拟机上创建英文书籍数据文件en_book.txt 四按分区加载数据 1、加载中文书籍数据到countrycn分区 执行语句load data local inpath /root/cn_book.txt overwrite into table book partition(countrycn); 2、加载英文书籍数据到countryen分区 执行语句load data local inpath /root/en_book.txt overwrite into table book partition(countryen); 五查看分区表book全部记录 执行语句select * from book;注意第三列是分区字段 六 通过HDFS查看分区对应的目录及文件 使用HDFS Shell命令检查/user/hive/warehouse/bookdb.db/book假设这是hive表的默认存储位置下的countrycn和countryen分区目录及其内部的数据文件。执行命令hdfs dfs -ls -r /user/hive/warehouse/bookdb.db/book 七手动创建分区并上传数据 1、在HDFS上手动创建countryjp分区目录 执行命令hdfs dfs -mkdir /user/hive/warehouse/bookdb.db/book/countryjp 2、创建日文书籍数据文件jp_book.txt 在master虚拟机上创建jp_book.txt 3、上传文件到HDFS日本分区目录 执行命令hdfs dfs -put jp_book.txt /user/hive/warehouse/bookdb.db/book/countryjp 4、更新元数据以识别新分区 执行语句msck repair table book; 八再次查看book表全部记录 执行语句select * from book;注意第三列是分区字段 九删除指定分区 执行语句alter table book drop partition (countryjp);删除countryjp分区 此时查看分区表全部记录就会发现没有日本书籍记录 十更改分区名 将原有countrycn分区重命名为countryzh执行语句alter table book partition (countrycn) rename to partition (countryzh); 此时查看分区表全部记录 十一在MySQL中查看Hive元数据分区信息 1、登录MySQL Hive Metastore数据库 执行命令mysql -uroot -p903213登录MySQL然后执行use hive;打开hive元数据库 2、 查看book表分区元数据信息 执行语句SELECT * FROM COLUMNS_V2;book分区表的CD_ID值是27 执行语句select SD_ID, CD_ID, LOCATION from SDS where CD_ID 27; 三、实战总结 本实战演练全面展示了如何在Hive中创建和管理分区表通过实际操作演示了数据按国别分区存储、加载与查询的全过程。从创建book表开始依次完成了数据文件准备、分区数据加载、分区查看及更新元数据等任务并进一步演示了分区的增删改查操作最后通过MySQL查看Hive Metastore中记录的分区元数据信息充分体现了Hive分区表在提升查询效率与简化数据管理方面的优势。