Flink CDC / Kafka Connect 自动转换 Debezium 的 DataTime / Timpstamp 时间格式

不管是用 Flink CDC 还是 Kafka Connect (Debezium Connector),在实时获取数据库的 CDC 数据并以 Json 格式写入 Kafak 中时,都会遇到 DataTime / Timpstamp 类型的转换问题,即:原始数据库中的 DataTime / Timpstamp 的字面量是 2021-12-14 00:00:00 这种形式,但是,转换为 Json 后就变成了 1639411200000 (带毫秒位的 epoch 时间),这带来的问题是:下游表基于 Json 数据建表时,对应的字段/列不能直接声明为 DataTime / Timpstamp 类型,而是必须先声明 bigint / long 类型后再进行格式转换,这带来了很大的不变,更坏的影响是,在 Flink SQL 中就不能使用 like 子句来建表了,导致手写大量的 SQL。

这个问题的解法不 Flink CDC / Kafka Connect 上,而在 Debezium 自身,对于 Flink CDC 和 Kafka Connect 是通用的,就是:开发 Debezium 的 Custom Converter,自动对时间类型的数据进行格式转换。需要注意的是:Debezium 的 Custom Converter 机制做过重大升级,编写自定义的 Converter 时要注意你所使用的 Debezium 的版本!

首先,我们看一下 Debzium 官方文档对于自定义时间格式转化给出的方案:https://debezium.io/documentatio

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/5122.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Zynq 7000 系列之启动模式—NOR启动

NOR Boot是一种启动模式,它指的是当芯片上电时,芯片从NOR Flash的起始位置开始取代码执行。在NOR Flash的开头处,通常存储着8个向量表,其中包含了用于引导系统的指令。这些指令中的b reset是一个相对跳转指令,意味着不…

windows11家庭版开启Hyper-v

前提:如果在控制面板中-->程序和功能-->启用和关闭windows功能-->没有Hyper-v 1.什么是Hyper-v? Hyper-v分为两个部分:底层的虚拟机平台、上层的虚拟机管理软件 2.Hyper-v安装 2.1新建hyper.cmd文件,写入下面的内容&…

vulnhub——DC:7

文章目录 信息收集Penetration1、通过web服务获取低权限用户shell2、通过文件信息获取提权方法/opt/scripts/backups.shbackups.sh利用 信息收集 ┌──(root㉿anla)-[~] …

第三节课,功能2:开发后端用户的管理接口--http client -- debug测试

一、idea 中 Http client 使用 二、测试步骤,先进入主程序 2.1 先run ,再debug 2.2 再进入想要测试的代码 2.2.1 进入测试的接口 三、程序逻辑 1)用户注册逻辑:如果用户不存在再后端,看用户名&密码&校验码是…

设计模式- 中介者模式(Mediator Pattern)结构|原理|优缺点|场景|示例

设计模式(分类) 设计模式(六大原则) 创建型(5种) 工厂方法 抽象工厂模式 单例模式 建造者模式 原型模式 结构型(7种) 适配器…

邦注科技 模具清洗机 干冰清洗机 干冰清洗设备原理介绍

干冰清洗机,这款神奇的清洁设备,以干冰颗粒——固态的二氧化碳,作为其独特的清洁介质。它的工作原理可谓独具匠心,利用高压空气将干冰颗粒推送至超音速的速度,犹如一颗颗银色的流星,疾速喷射至待清洗的物体…

iOS获取通讯录的方法

目录 前言 1.什么是CNContactStore 2.获取通讯录权限 1.配置plist文件 2.请求访问通讯录授权 3.通讯录访问权限的其它配置 3.获取通讯录中的联系人 4.获取通讯录中的群组 5.操作联系人 1.增加联系人 2.更新联系人信息 3.删除联系人信息 6.监听通讯录变化 …

ABAP 数据写入Excel 并保存

参考老白 https://www.cnblogs.com/liaojunbo/archive/2011/09/06/2168552.html 但是缺zcl_excel 。需要从 dotabap要引入abap2xlsx 英文版进入后 尝试了一下 1)列的宽度自适应么有找到在哪里? 列宽设置 lo_worksheet->set_column_width( ip_co…

企微社群群发消息:强化社群互动与营销新策略

在数字化营销日益盛行的今天,企业微信社群已成为企业与用户之间沟通互动的重要桥梁。而企微社群群发消息功能,更是这一桥梁上的重要纽带,它能够帮助企业高效、精准地传递信息,强化社群互动,提升营销效果。本文将详细介…

C++ //练习 13.40 为你的StrVec类添加一个构造函数,它接受一个Initializer_list<string>参数。

C Primer(第5版) 练习 13.40 练习 13.40 为你的StrVec类添加一个构造函数,它接受一个Initializer_list参数。 环境:Linux Ubuntu(云服务器) 工具:vim 代码块 /****************************…

微软的access数据库使用

“小规模数据用Excel,大规模数据用Access。” 当涉及到大规模数据时,使用excel非常的卡顿,使用access就不会出现这个问题。 一、常用操作 1.新建一个数据库 直接右键,新建 access数据库 2.excel内容导入到access中(成…

【Web UI自动化】Python+Selenium 环境配置

安装Python 官网地址:https://www.python.org/,Downloads菜单下选择适合自己的系统版本,我的是Windows。 点击进入以后,可以看到当前最新版本。 点击上面的链接,页面下滑,找到下载链接,根据…

天冕科技亮相第十七届深圳国际金融博览会!

第十七届深圳国际金融博览会在深圳会展中心正式开幕,天冕科技跟随南山区组团集体亮相,充分展现金融活力。此次金博会,南山区政府共遴选了包括天冕科技在内的三家优秀金融科技企业组团参展,以特色与创新的案例展示了辖区金融业发展…

【简单讲解下FastStone Capture】

🎥博主:程序员不想YY啊 💫CSDN优质创作者,CSDN实力新星,CSDN博客专家 🤗点赞🎈收藏⭐再看💫养成习惯 ✨希望本文对您有所裨益,如有不足之处,欢迎在评论区提出…

python部署linux

项目做完了,就涉及到了部署 部署 Python的打包部署方式有多种,具体取决于项目的需求、规模以及所使用的工具。以下是几种常见的Python打包部署方式: 使用pip安装:对于小型的Python库或工具,通常可以直接通过pip进行安…

idea添加scala库,src\main\scala‘ is duplicated in module ‘XXX‘.

环境: jdk 17 scala 2.11.8 IntelliJ IDEA 2023.1.1 (Ultimate Edition) Windows 10 专业版 22H2 报错解释: 这个错误表明在IntelliJ IDEA中的Scala模块(名为XXX)配置中存在重复的目录。具体来说,src\main\scala目…

目标检测应用场景—数据集【NO.33】血细胞图像分类和检测数据集

写在前面:数据集对应应用场景,不同的应用场景有不同的检测难点以及对应改进方法,本系列整理汇总领域内的数据集,方便大家下载数据集,若无法下载可关注后私信领取。关注免费领取整理好的数据集资料!今天分享…

类加载器和双亲委派机制体会及分析和arthas使用

类加载器的分类 验证流程使用arthas arthas下载地址 Releases alibaba/arthas (github.com) 使用过程 想要被arthas识别到 需要让应用程序不退出 System.in.read(); 随便运行一个类 public class HshbDemo {public static final int a 1;public static void main(String…

头歌:RDD的创建 -Scala

第1关:集合并行化创建RDD 任务描述 本关任务:计算并输出各个学生的总成绩。 相关知识 为了完成本关任务,你需要掌握:1.集合并行化创建RDD,2.reduceByKey算子、foreach算子 集合创建RDD Spark会将集合中的数据拷贝到集…

企业营销战略新思考:营销5.0与开源AI智能名片S2B2C商城小程序引领私域流量经营新纪元

随着互联网的深入发展,企业营销战略已经不再是单一、静态的规划,而是一个持续进化、与市场紧密相连的动态过程。在这个过程中,营销5.0和开源AI智能名片S2B2C商城小程序的结合,为企业营销战略注入了新的活力,也为私域流…