网站开发语言在线检测,怎么看一个网站是什么程序做的,中国工商注册网官方网址,广西教育学会 网站建设文章目录一、全量同步1. 增量同步SQL2. 构建reader3. 构建writer4. 字段对应关系映射5. 构建json6. 选择同步模板7. 查询最早时间8. 修改任务信息9. 添加增量参数10. 数据清理11. 执行任务12. 查看执行日期13. 数据验证15. 查看同步脚本二、基于日期增量同步2.1. 新增新数据2.2… 文章目录一、全量同步1. 增量同步SQL2. 构建reader3. 构建writer4. 字段对应关系映射5. 构建json6. 选择同步模板7. 查询最早时间8. 修改任务信息9. 添加增量参数10. 数据清理11. 执行任务12. 查看执行日期13. 数据验证15. 查看同步脚本二、基于日期增量同步2.1. 新增新数据2.2. 执行数据同步2.3. 查看日志2.4. 查看数据库2.5. 日期选取一、全量同步 声明 以增量方式数据同步第一次是全量同步从第二次同步开始以第一次同步完成后的时间为开始时间进行增量同步 注咱们添加项目、添加任务模板先用以前的直接任务构建 1. 增量同步SQL select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where dt to_date(${lastTime},yyyy-mm-dd hh24:mi:ss) and dt to_date(${currentTime},yyyy-mm-dd hh24:mi:ss)2. 构建reader 构建reader填写增量同步SQL 3. 构建writer 4. 字段对应关系映射 5. 构建json 6. 选择同步模板 基础模板可以在执行同步前进行任务信息的修改 刷新页面 7. 查询最早时间 查询同步数据的最早时间和最晚时间等会会以最早时间为开始时间进行同步 8. 修改任务信息 9. 添加增量参数 -DlastTime%s -DcurrentTime%s10. 数据清理 清空mysql数据库otbs1表的数据 11. 执行任务 12. 查看执行日期 如果不显示就刷新页面 13. 数据验证 15. 查看同步脚本 存量同步完成之后查看同步脚本 从图中可以看出以增量形式同步全量第一次完成后开始时间自动变更成了当前时间以后增量同步就会一当前时间作为开始时间继续增量同步 二、基于日期增量同步 查询数据库目前idno最大值 1048577 2.1. 新增新数据 新增3条数据 insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10) values (1048578, 字符串1, 1, 1696248667889, 2021-06-29 13:22:26, 3.141592653578, 字符串2, 字符串3, 字符串4, 字符串5, 字符串6); insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10) values (1048579, 字符串1, 1, 1696248667889, 2021-06-29 13:22:26, 3.141592653578, 字符串2, 字符串3, 字符串4, 字符串5, 字符串6); insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10) values (1048580, 字符串1, 1, 1696248667889, 2021-06-29 13:22:26, 3.141592653578, 字符串2, 字符串3, 字符串4, 字符串5, 字符串6); 插入后再次查询idno最大值 1048580在以前基础上堵了3条数据。 2.2. 执行数据同步 如果这次增量同步的数量为3条就说明是增量数据同步对吧 2.3. 查看日志 从同步日志可以看出只同步了3条数据 2.4. 查看数据库 多了3条数据 2.5. 日期选取 找一个关键的业务日期