兰州网站建设多少钱,创建免费网站需要的工具,建站报价,重庆市城市建设规划官方网站1、数据仓库工作流调度 1.1 调度工具部署 工具部署链接 1.2 新数据生成 1.2.1 用户行为日志 1、启动日志采集通道#xff0c;包括Kafka、Flume等 #xff08;1#xff09;启动Zookeeper zk.sh start#xff08;2#xff09;启动Kafka kf.sh start#xff08;3包括Kafka、Flume等 1启动Zookeeper zk.sh start2启动Kafka kf.sh start3启动Flume f1.sh start f2.sh start2、修改日志模拟器配置文件 修改hadoop102和hadoop103两台节点中的/opt/module/applog/application.yml文件修改mock.date参数如下。 mock.date: 2020-06-153、执行日志生成脚本 lg.sh4、观察HDFS上是否有2020-06-15的日志数据生成 1.2.2 业务数据 1、修改Maxwell配置文件 1修改/opt/module/maxwell/config.properties文件 vim /opt/module/maxwell/config.properties2修改mock_date参数设置如下 mock_date2020-06-152、启动增量表采集通道包括Maxwel、Kafka、Flume等 1启动Maxwell mxw.sh start注意若Maxwell当前正在运行为确保上述mock参数生效需重启Maxwell。 2启动Flume f3.sh start3修改业务数据模拟器配置文件中的mock_date参数 mock.date2020-06-154执行业务数据生成命令 java -jar gmall2020-mock-db-2021-10-10.jar 5观察HDFS上增量表是否有2020-06-15的数据生成 1.3 工作流调度实操 由于DolphinScheduler集群模式启动进程较多对虚拟机内存要求较高。故下面提供两种方式可根据虚拟机内存情况进行选择。 1.3.1 DolphinScheduler集群模式 1、启动DolphinScheduler dolphinscheduler/bin/start-all.sh 2、使用普通用户登录 3、向DolphinScheduler资源中心上传工作流所需脚本 1创建文件夹 2上传工作流所需脚本 将工作流所需的所有脚本上传到资源中心scripts路径下结果如下 4、向DolphinScheduler的WorkerServer节点分发脚本依赖的组件 由于工作流要执行的脚本需要调用Hive、DataX等组件故在DolphinScheduler的集群模式下需要确保每个WorkerServer节点都有脚本所依赖的组件。 xsync /opt/module/hive/xsync /opt/module/spark/xsync /opt/module/datax/5、创建工作流 1在gmall项目下创建工作流 2各任务节点配置如下 mysql_to_hdfs_full hdfs_to_ods_db hdfs_to_ods_log ods_to_dwd ods_to_dim dwd_to_dws_1d dws_1d_to_dws_nd dws_1d_to_dws_td dws_to_ads hdfs_to_mysql 3各节点依赖关系如下 4保存工作流 注意定时调度时全局参数值应设置为$[yyyy-MM-dd-1]或者空值。 7、上线工作流 8、执行工作流