淄博网站网站建设,百度软文推广怎么做,亚马逊虚拟主机做网站,深圳网站建站建设系列文章目录 物流实时数仓#xff1a;环境搭建 文章目录 系列文章目录前言一、环境准备1.前置环境2.hbase安装1.上传并解压2.配置环境变量3.拷贝jar包4.编写配置文件5.分发配置文件 3.Redis安装1.安装需要的编译环境2.上传并解压文件3.编译安装4.后台访问 4.ClickHouse安装5…系列文章目录 物流实时数仓环境搭建 文章目录 系列文章目录前言一、环境准备1.前置环境2.hbase安装1.上传并解压2.配置环境变量3.拷贝jar包4.编写配置文件5.分发配置文件 3.Redis安装1.安装需要的编译环境2.上传并解压文件3.编译安装4.后台访问 4.ClickHouse安装5.Flink安装 二、数据采集1.上传文件2.创建数据库3.模拟数据 总结 前言 之前学校安排了实训所以有一堆事情要处理。现在基本算是搞完了继续进行学习的提升这次进行的是实时数仓的学习可以算是大数据学习的最后阶段了。 以下是实时数仓的框架图。 一、环境准备 1.前置环境 我们需要准备好以下环境 jdk、hadoop、zookeeper、kafka、mysql。 这些环境在之前的离线数仓都安装过这里就不再重复了。 线上问诊 2.hbase安装 hbase专栏 接下来整合phoenix这个软件可以让我们用SQL操作hbase 1.上传并解压 2.配置环境变量 # PHOENIX_HOME export PHOENIX_HOME/opt/module/phoenix export PHOENIX_CLASSPATH$PHOENIX_HOME export PATH$PATH:$PHOENIX_HOME/bin3.拷贝jar包 cp phoenix-server-hbase-2.4-5.1.3.jar /opt/module/hbase/lib/4.编写配置文件 vim /opt/module/hbase/conf/hbase-site.xmlpropertynamephoenix.schema.isNamespaceMappingEnabled/namevaluetrue/value /propertypropertynamephoenix.schema.mapSystemTablesToNamespace/namevaluetrue/value /propertyvim /opt/module/phoenix/bin/hbase-site.xmlpropertynamephoenix.schema.isNamespaceMappingEnabled/namevaluetrue/value /propertypropertynamephoenix.schema.mapSystemTablesToNamespace/namevaluetrue/value /property5.分发配置文件 xsync /opt/module/hbase/lib/phoenix-server-hbase-2.4-5.1.3.jar xsync /opt/module/hbase/conf/hbase-site.xml 之后我们启动zk、hadoop和hbase测试一下。 然后访问以下hbase的webui http://hadoop102:16010/ 之后连接Phoenix /opt/module/phoenix/bin/sqlline.py hadoop102,hadoop103,hadoop104:21813.Redis安装 1.安装需要的编译环境 sudo yum install centos-release-scl scl-utils-build sudo yum install -y devtoolset-8-toolchain sudo scl enable devtoolset-8 bash2.上传并解压文件 tar -xvf redis-6.0.8.tar.gz -C /opt/module/ cd ../module/redis-6.0.8/3.编译安装 make make install4.后台访问 注意上边命令是用root完成现在我们用atguigu进行下边的命令。 备份redis.conf cp /opt/module/redis-6.0.8/redis.conf ~/my_redis.conf修改设置 vim ~/my_redis.confRedis启动 redis-server ./my_redis.conf4.ClickHouse安装 具体内容参考之前的博客不写了 ClickHouse 5.Flink安装 Flink安装 二、数据采集 1.上传文件 cd /opt/module/ mkdir tms cd tms2.创建数据库 然后运行.sql文件 里面会有一些初始数据。 3.模拟数据 修改一下 application.yml 这里的信息根据自己的数据库信息进行修改。 java -jar tms-mock-2023-01-06.jar由于我们模拟的是实时数仓所以他会不停的生成数据所以等个半分钟就可以终止进程然后去数据库看数据了。 这就是生成数据的实时时间说明数据进行了更新但这不是模拟数据的时间模拟数据的时间可以在application.yml设置。 换个表查看 我们发现实时数据也进行了更新。 总结 至此物流实时数仓采集通道搭建完成。