Debezium日常分享系列之:Debezium 2.7.0.Alpha1发布

Debezium日常分享系列之:Debezium 2.7.0.Alpha1发布

  • 一、重大改变
    • 1.Core
    • 2.SQL Server
  • 二、新功能和改进
    • 1.使用 Helm Chart 安装 Debezium Operator
    • 2.支持MongoDB增量快照的谓词条件
    • 3.新的 MariaDB 独立连接器
    • 4.ExtractNewDocumentState 包含 MongoDB 删除的文档 ID
    • 5.交易元数据编码排序
    • 6.阻止增量快照改进
    • 7.Cassandra 性能改进
    • 8.新的 Oracle“RawToString”自定义转换器
    • 9.改进了对 Oracle 的 NLS 字符集支持
    • 10.改进了 Vitess 中的时间支持

一、重大改变

1.Core

  • 据发现,在某些通信失败的情况下,某些 JDBC 查询可能会无限期地阻塞。为了解决此问题,可以使用新的可配置超时选项 query.timeout.ms 来设置 JDBC 查询在终止之前可以执行的最长时间 。

2.SQL Server

  • SQL Server 连接器先前处理了在单个数据库往返期间捕获的所有事务。此行为是可配置的,并且基于 max.iterations.transactions,默认处理所有事务(值为 0)。如果您的数据库有大量事务,这可能会导致意外的内存不足情况。
  • 为了解决这些用例的这个问题,max.iterations.transactions 的默认值已更改为 500,以便对这些开箱即用的部署用例更具弹性。如果您想返回到以前的行为,只需将此配置选项添加到您的连接器,并将值设置为 0。

二、新功能和改进

1.使用 Helm Chart 安装 Debezium Operator

  • 为了改进 Debezium Operator 的部署,可以通过 https://charts.debezium.io 上的 Helm Chart 来安装它。这避免了将操作器安装到单独的命名空间中的过于复杂的部署模型,从而最大限度地降低了在 Kubernetes 上管理多个 Debezium Server 部署的复杂性。

2.支持MongoDB增量快照的谓词条件

  • 增量快照过程是各种恢复情况下从源表或集合收集全部或部分数据集的重要部分。关系连接器长期以来一直支持在增量快照信号上提供附加条件值以限制数据集的想法,从而提供特定数据行的有针对性的重新同步。
  • 我们很高兴地宣布,现在 MongoDB可以实现这一点。与关系数据库不同,附加条件应以 JSON 格式提供。它将使用查找操作应用于指定的集合,以获取要增量快照的文档的子集列表。

3.新的 MariaDB 独立连接器

Debezium 2.5 引入了对 MariaDB 的官方支持,作为现有 MySQL 连接器的一部分。这一演变的下一步就在这里,为 MariaDB提供了新的独立连接器实现。

这里有几件事值得注意:

  • MariaDB 和 MySQL 都对一个名为 debezium-connector-binlog 的新抽象连接器有共同的依赖关系,它为这两种基于 binlog 的连接器提供了通用框架。
  • 现在,每个独立连接器都专门针对其目标数据库进行定制,因此 MySQL 用户应使用 MySQL,MariaDB 用户应使用 MariaDB。因此,connection.adapter 配置选项已被删除,jdbc.protocol 配置选项现在仅特定于某些 MySQL 用例,MariaDB 不使用。

该连接器的文档仍在开发中,并将在将来添加。目前,可以参考 MySQL 连接器文档来了解与 MariaDB 相关的大部分内容。

4.ExtractNewDocumentState 包含 MongoDB 删除的文档 ID

  • 在 MongoDB ExtractNewDocumentState 单一消息转换的先前版本中,删除事件未提供标识符作为有效负载的一部分。这降低了删除事件的意义,因为向消费者提供的数据不足以对这些事件采取行动。此行为已得到改进,删除事件现在在有效负载中包含 _id 属性。

5.交易元数据编码排序

  • 在某些管道中,排序对于消费应用程序至关重要。有些场景可能会影响数据管道的这方面,例如发生 Kafka 重新分区时。这会导致事后尝试重建排序时容易出错的问题。
  • 现在,当启用事务元数据时,这些元数据事件还将对其事务顺序进行编码,因此,如果发生 Kafka 重新分区或其他改变排序语义的场景,消费者可以简单地使用新的编码排序字段来获得确定性交易排序 。

6.阻止增量快照改进

  • 在某些用例中,增量快照信号需要转义完全限定表名称中的某些字符。这导致了阻塞快照的一些问题,因为解析哪些表要创建快照的过程使用了稍微不同的机制。在 Debezium 2.7 中,我们统一了这种方法,您现在可以在适用的情况下使用带有阻塞快照的转义表名称。

7.Cassandra 性能改进

  • Cassandra 连接器在 Debezium 2.7 中也发生了一些变化,特别是性能优化。 KafkaRecordEmitter 的实现依赖于线程同步块,这会降低吞吐量。此外,该实现还执行了一些不必要的刷新,这也影响了性能。此代码已被重写,以提高吞吐量并减少不必要的刷新调用。

8.新的 Oracle“RawToString”自定义转换器

  • 虽然 Oracle 建议用户避免使用基于 RAW 的列,但出于向后兼容性的原因,这些列仍广泛用于标准 Oracle 表中。但在某些业务用例中,继续使用 RAW 列而不是其他数据类型是有意义的。
  • Debezium 2.7 引入了一个专门针对 Oracle 的新自定义转换器,称为 RawToStringConverter。此自定义转换器旨在允许您使用 STRING 架构类型快速将 RAW 列的字节数组内容转换为基于字符串的字段。这对于使用 RAW 列存储不需要 VARCHAR2 排序规则开销的字符数据的情况很有用,但您仍然需要将此字段作为基于字符串的数据发送给使用者。

9.改进了对 Oracle 的 NLS 字符集支持

  • 安装 Debezium 2.7 Oracle 连接器时,您可能会注意到一个新的依赖项 orai18n.jar。此依赖项会自动分发,以便为某些方言提供扩展字符集支持。

10.改进了 Vitess 中的时间支持

  • Debezium 关系连接器依赖配置选项 time. precision.mode 来控制如何添加时间值来更改事件。在某些情况下,您可能希望使用与 Kafka 类型一致的模式,即连接模式。在其他情况下,您可能更愿意使用默认的自适应毫秒模式来避免精度损失。
  • Debezium for Vitess 连接器传统上不遵循此模型,而是将时间值作为基于字符串的类型发出。虽然这有助于避免使用连接模式时出现精度损失问题,但这会增加消费者解析和操作这些值的不必要的开销。
  • 在 Debezium 2.7 中,Vitess 将此行为与其他关系连接器保持一致,使用 time. precision.mode 来控制时间值的发送方式。默认情况下,它将使用自适应毫秒模式,但如果您愿意,您可以自定义它以使用连接模式。基于字符串的时间值的发射已被删除。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/830098.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

RK3588 - RKNN(Rockchip 神经处理单元)的逆向工程

本文翻译自https://jas-hacks.blogspot.com/2024/02/rk3588-reverse-engineering-rknn.html RK3588 NPU 的内部操作和功能主要隐藏在名为RKNPU2的闭源 SDK 中。由于对大型语言模型 (LLM) 的兴趣以及对transform模型最佳矩阵乘法的追求,想了解 RKNPU SDK 新引入的矩阵…

自动开箱机:提升包装物流效率的关键设备

随着电子商务的飞速发展,物流行业面临着重要的挑战和机遇。如何在保证服务质量的同时,提高物流效率,降低成本,成为摆在物流企业面前的重要课题。在这个背景下,自动开箱机以其高效、精准、省力的特点,正逐渐…

OpenMM——教程学习(1)

如何从零开始做一个蛋白小分子动力学模拟 AmberTools将被用来生成输入文件,OpenMM 将被用来运行模拟,模拟平台为在线百度AI Stuio, 并使用GPU加速。 First thing’s first, 到PDB 蛋白数据库下载一需要模拟的靶点晶体,备用。 1. H web server…

一文讲清:什么是供应商管理?供应商管理怎么做?

供应商管理指的是对供应商的了解、选择、开发、使用和控制等综合性管理工作的总称。其目的在于建立起一个稳定可靠的供应商队伍,为企业生产提供可靠的物资供应。但是企业在进行供应商管理往往面临以下问题: 1、招投标,信息不透明 这主要表…

R语言的基本图形

一&#xff0c;条形图 安装包 install.packages("vcd") 绘制简单的条形图 barplot(c(1,2,4,5,6,3)) 水平条形图 barplot(c(1,2,4,5,6,3),horiz TRUE) 堆砌条形图 > d1<-c("Placebo","Treated") > d2<-c("None",&qu…

你不需要总是在 React 中使用 useState

在我审查的一个拉取请求中&#xff0c;我注意到在许多拉取请求中看到的一种模式。React 组件具有多个 UI 状态&#xff0c;例如 loading、error 和 success。 作者使用了多个 useState 钩子来管理这些状态&#xff0c;这导致代码难以阅读且容易出错&#xff0c;例如&#xff1a…

hadoop命令

hadoop命令 目录 hadoop命令 1.查看文件下面有哪些文件和目录 2.获取文件信息 查看文件内容 3.创建一个文件夹 4.剪切 1&#xff09;从本地hadoop剪切到hdfs并上传到hdfs 2&#xff09;剪切 从hdfs剪切到本地hadoop目录上 5.删除 1&#xff09;递归删除 2&#xff0…

springboot权限验证学习-下

上篇讲了rbac对于菜单的权限&#xff0c;下面准备完成按钮权限以及行数据和列数据权限 权限控制(按钮权限) 权限控制 操作权限就是将操作视为资源&#xff0c;比如删除操作&#xff0c;有些人可以有些人不行。于后端来说&#xff0c;操作就是一个接口。于前端来说&#xff0…

秋招后端开发面试题 - JVM底层原理

目录 JVM底层原理前言面试题Java 对象的创建过程&#xff1f;什么是指针碰撞&#xff1f;什么是空闲列表&#xff1f;/ 内存分配的两种方式&#xff1f;JVM 里 new 对象时&#xff0c;堆会发生抢占吗&#xff1f;JVM 是怎么设计来保证线程安全的&#xff1f;/ 内存分配并发问题…

k8s pod使用sriov

之前的文章中讲了k8s multus的使用&#xff0c;本章节来讲述下如何使用multus来实现sriov的使用。 一、sriov 简介 SR-IOV在2010年左右由Intel提出&#xff0c;但是随着容器技术的推广&#xff0c;intel官方也给出了SR-IOV技术在容器中使用的开源组件&#xff0c;例如&#…

3MF体积设计扩展

3MF 联盟最近宣布了他们最新的体积设计扩展&#xff08;volumetric design extension&#xff09;&#xff0c;用于通过基于体积的描述来编码几何形状和空间多样性属性。 该组织致力于推进 3D 打印的通用规范&#xff0c;目前正在新扩展达到 1.0 之前征求公众反馈。 NSDT工具推…

OpenCV 实现重新映射

返回:OpenCV系列文章目录&#xff08;持续更新中......&#xff09; 上一篇&#xff1a;OpenCV 实现霍夫圆变换 下一篇 :OpenCV实现仿射变换 目标 在本教程中&#xff0c;您将学习如何&#xff1a; 一个。使用 OpenCV 函数 cv&#xff1a;&#xff1a;remap 实现简单的重新…

20240428如何利用IDM下载磁链视频

缘起&#xff1a; https://weibo.com/tv/show/1034:4864336909500449 中国获奖独立纪录片《阿辉》揭秘红灯区“教父”的生存法则 5,751次观看 1年前 发布于 陕西 身为里中横 67.7万粉丝 互联网科技博主 微博原创视频博主 头条文章作者 https://weibo.com/tv/show/1034:4864…

数据通信-A

数据通信 一、数据通信网络基础二、VRP系统三、eNSP配置命令 不是从零开始&#xff0c;有一些基础&#xff0c;主要记录配置命令。一、数据通信网络基础 图标&#xff1a;主要是认识第一行。 常见术语&#xff1a;数据通信网络最基本的功能是实现数据互通。 数据载荷&#…

解决IDEA下springboot项目打包没有主清单属性

1.问题出现在SpringBoot学习中 , 运行maven打包后无法运行 报错为spring_boot01_Demo-0.0.1-SNAPSHOT.jar中没有主清单属性 SpringBoot版本为 2.6.13 Java 版本用的8 解决方法 1.执行clean 删除之前的打包 2.进行打包规范设置 2.1 3.进行问题解决 (借鉴了阿里开发社区) 使用…

[嵌入式系统-53]:嵌入式系统集成开发环境大全

目录 一、嵌入式系统集成开发环境分类 二、由MCU芯片厂家提供的集成开发工具 三、由嵌入式操作提供的集成开发工具 四、由第三方工具厂家提供的集成开发工具 一、嵌入式系统集成开发环境分类 嵌入式系统集成开发工具和集成开发环境可以按照不同的分类方式进行划分&#xff…

【LAMMPS学习】八、基础知识(5.2)粒度模型

8. 基础知识 此部分描述了如何使用 LAMMPS 为用户和开发人员执行各种任务。术语表页面还列出了 MD 术语&#xff0c;以及相应 LAMMPS 手册页的链接。 LAMMPS 源代码分发的 examples 目录中包含的示例输入脚本以及示例脚本页面上突出显示的示例输入脚本还展示了如何设置和运行各…

将针孔模型相机 应用到3DGS

Motivation 3DGS 的 投影采用的是 CG系的投影矩阵 P P P, 默认相机的 principal point (相机光心) 位于图像的中点处。但是 实际应用的 绝大多数的 相机 并不满足这样一个设定&#xff0c; 因此我们 需要根据 f , c x , c y {f,c_x, c_y} f,cx​,cy​ 这几个参数重新构建3D …

centos 7 yum install -y nagios

centos 7 systemctl disable firewalld --now vi /etc/selinux/config SELINUXdisabled yum install -y epel-release httpd nagios yum install -y httpd nagios systemctl enable httpd --now systemctl enable nagios --now 浏览器 IP/nagios 用户名&#xff1a;…

vue学习的预备知识为学好vue打好基础

目录 Vue是什么 &#xff1f;如何使用Vue &#xff1f;Vue ApiVue入口apiVue实例apiVue函数api 无构建过程的渐进式增强静态HTMLVue模块化构建工具npmyarnWebpackvue-cliVite Vue是什么 &#xff1f; 文章基于Vue3叙述。 Vue (发音为 /vjuː/&#xff0c;类似 view) 是一款用于…