Apache SeaTunnel 2.3.12 发布!核心引擎升级、连接器生态再扩张

news/2025/9/18 18:30:59/文章来源:https://www.cnblogs.com/seatunnel/p/19099413

ST2.3.12

近期,Apache SeaTunnel 2.3.12 正式发版。这是继 2.3.11 之后的又一次迭代,本周期合并 82 个 PR,提供 9 项新特性、30+ 项功能增强、20+ 处文档修正,并修复 43 个 Bug。核心改进集中在 SensorsData 与 Databend 生态接入,Paimon、ClickHouse、MaxCompute 等连接器读写能力扩充,SQL Transform 语法与向量函数增强,以及 Zeta 引擎 Checkpoint 细粒度监控及 REST 接口易用性提升等方面。

亮点一览

Apache SeaTunnel 2.3.12 亮点很多,以下为归类整理:

  • 新增连接器:SensorsData 与 Databend 连接器。
  • 连接器能力扩充
    • Paimon:多源并发、权限校验、LIKE/IN 谓词下推。
    • ClickHouse:多表并行读取与表结构并行拉取。
    • MaxCompute Sink:追加 upsert&delete 会话模式及时间戳字段写入。
  • Transform/SQL 语法与向量函数增强:SQL Transform 新增 COALESCE 类型转换、multi_if、向量函数与 Murmur64 哈希。
  • Zeta 引擎可观测性增强:REST API 可返回 SQL 格式结果,作业信息自带 startTime,任务队列大小可观测。
  • File 连接器增强: 支持二进制分块、CSV 分隔符自定义、按最后修改时间过滤文件。
  • 文档修正与补充:补充 Iceberg S3 Tables、JDBC GenericDialect、StarRocks 必填 schema 等说明。
  • Bug 修复:43 项修复涵盖 Iceberg 时区、Kafka 位点、Oracle CDC、Transform 向量维度等场景。

功能更新列表

【新增连接器】

  • SensorsData Source/Sink (#9432)
  • Databend Source/Sink (#9331)

【连接器能力扩充】

  • ClickHouse:多表并发读 + 并行读取表结构 (#9704 #9446)
  • Paimon:多源并发、权限控制、LIKE/IN 下推、版本升至 1.1.1 (#9759 #9722 #9484 #9379 #8074)
  • MaxCompute:upsert/delete 会话模式、时间戳字段写入、隧道 endpoint 选项 (#9462 #9234 #9548)
  • Hudi:预合并字段选项 (#9496)
  • HdfsFile:多表并发写 (#9651)
  • Hive Sink:支持 overwrite 模式 (#7891)
  • Kudu:过滤器下推 (#9405)
  • TDengine:子表与 fieldNames 映射 (#9593)
  • MySQL CDC:按时间位点启动、Tinyint(1) 按 byte 读取、兼容 MySQL 8.4+ (#9735 #9373 #9720)
  • Redis Hash:支持 key_field_name 选项,结果记录带回 key (#9642 #9574)
  • File/CSV/Excel:二进制分块、CSV 分隔符自定义、按修改时间过滤、Excel 单表最大行数可配 (#9668 #9608 #9526 #9391)

【Transform & SQL】

  • 新增 COALESCE 类型转换、multi_if、TRIM_SCALE、Murmur64、向量降维、向量函数、JSONPath 多字段提取、Data Validator 转换 (#9299 #9154 #9700 #9748 #9783 #9765 #9712 #9445)
  • SQL Transform EXTRACT 函数扩展字段支持,cast 失败预检 (#9342 #9600)

【Zeta 引擎 & Core】

  • REST API 支持 SQL 格式返回 (#9802)
  • 作业信息新增 startTime (#9400)
  • 任务中间队列大小指标暴露 (#9550)
  • JobStateEvent 事件监听扩展 (#9689)
  • 插件目录隔离:每个连接器可独立 lib 目录 (#9650)
  • 集群脚本支持展示成员信息 (#9502)
  • 默认 slot-num 改为 CPU 核心数×2 (#9601)
  • 本地模式文档与默认配置优化 (#9770)
  • CheckpointErrorRestoreEndTest 用例稳定性优化 (#9619)
  • 存储 metrics 时去掉分布式锁 (#9776)

【格式 & 序列化】

  • Maxwell/Canal/Debezium JSON 格式补充 ts_ms 与 table 字段,File Sink 支持对应格式输出 (#9701 #9278 #9336)

【依赖 & 构建】

  • AWS SDK v2 统一升至 2.31.30 (#9698)
  • Apache Commons 迁移至 Commons-Lang3 (#9694)
  • Spotless 自动替换 shaded 包导入 (#9655)
  • CDC JAR 体积优化 (#9546)

文档优化

  • 补充 Iceberg S3 Tables REST Catalog 说明 (#9686)
  • 新增 JDBC GenericDialect 支持描述 (#9763)
  • 修正 StarRocks 文档 schema 必要性为 true (#9656)
  • 修正 REST API finished-jobs 缺少 SAVEPOINT_DONE 字段 (#9676)
  • 修正 transform-v2 TableFilter 标题层级 (#9528)
  • 修正 Sink 插件 plugin_input 配置示例错误 (#9492)
  • 更新 Paimon 投影下推文档 (#9425)
  • 更新 JDBC 全链路文档 (#9679)
  • 更新 SQL 函数返回类型说明 (#9703 #9711)
  • 添加多模态支持描述 (#9652)
  • 添加 SeaTunnel 工具链到 README (#9707)
  • 修正参数类型格式 (#9753)
  • 修正 deepwiki 链接错误 (#9356)
  • 修正 DynamoDB 参数错误 (#9447)
  • 修正文档 404 链接 (#9561)
  • 新增 Zeta 调优指南 (#9539)

Bug 修复

  • Iceberg:ORC 写入 Illegal provider-class、时区偏移、版本升级至 1.6.1 (#9588 #9460 #9451)
  • Kafka:offset=-1 异常、分区过滤阻塞、恢复作业起始位点错误 (#9376 #9598 #9736)
  • Paimon:DECIMAL 精度丢失、动态分桶异常、重复提交异常 (#9452 #9480 #9595 #9665)
  • ClickHouse:SeaTunnelRow tableId 设置错误 (#9585)
  • File/Parquet:用户自定义 schema 不生效、二进制读取策略空指针 (#9596 #9391)
  • HTTP:pageField 空指针、分页死循环、content-type 缺失、mime 类型非法、字段数量不一致 (#9498 #9504 #9497 #9363 #9103)
  • JDBC:Postgres 网络地址类型读写、Vertica upsert 失效、Float→BigDecimal 精度丢失 (#9618 #9607 #9670)
  • Oracle CDC:LOB 启用时事务提交未更新 (#9412)
  • Mongo-CDC:exactly-once 默认 true 导致异常 (#9454)
  • Redis:Hash 读取 key 字段缺失 (#9642)
  • Elasticsearch:向量列定义生成错误 (#9470 #9471)
  • Prometheus:时间解析 double 失败 (#9311)
  • OceanBase Oracle:创建不支持数据类型 (#9383)
  • RabbitMQ:缺少 durable/exclusive/auto-delete 默认值 (#9631)
  • Transform-V2:向量维度精度、自定义 UDF 异常、日期格式 'T' 处理、from_unixtime 整数输入 (#9646 #9195 #9406 #9738)
  • Spark:source parallelism 未生效 (#9319)
  • Zeta:checkpoint 禁用后仍多读、local 模式无法结束、master 切换线程泄露、Imap 资源泄露、作业状态获取缺少 pending、HTTPS 自定义端口失效 (#9552 #9549 #9464 #9696 #9489 #9705)
  • 其余 CI、E2E、打包、依赖冲突等修复略。

致谢

老王、Adam Wang、alberne wang、chestnufang、corgy - w、CosmosNi、David Zollo、dy102、dyp12、e - mhui、Emmanuel、hailin0、huangkuilin、Jarvis、Jast、Jeremy、JeremyXin、Jia Fan、jiachuan.zhu、Junxin Xiao、Leon Yoah、litiliu、liucongjy、liuwei178、loupipalien、Luigi Durso、misi、Nana Jerde、ocean - zhc、Osiris、Parkjihun、SEZ、sohurdc、suntectec、wanmingshi、WenDing - Y、wgzhao、wildpea、xiaochen、yzeng1618、ZHANG YINGHONG、zhangdonghao、zhangqingsong、zhenyue - xu、Zhilin Li、Zmm

谨向版本发布经理 范佳(GitHub ID:Jia Fan)致以最诚挚的感谢!同时感谢所有以下代码与文档贡献者,是你们的每一次 Commit、Review 与测试,确保 2.3.12 能够如期高质量上线。Apache SeaTunnel 因你们而更精彩,让我们在下个版本继续并肩前行!

完整变动列表请查阅官方 Release 页面:
https://github.com/apache/seatunnel/releases/tag/2.3.12

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/907343.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

详细介绍:对于牛客网—语言学习篇—C语言入门—链表的题目解析

详细介绍:对于牛客网—语言学习篇—C语言入门—链表的题目解析pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Co…

安全认证哪家强?CISP和HCIE我选...... - 详解

pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", …

Day17Arrays类的初步认识

package com.cc.array;import java.util.Arrays;public class ArrayDem6 {public static void main(String[] args) {int[] a = {12, 3, 43, 4, 235, 5, 6, 45, 7, 7};System.out.println(a);//[I@f6f4d33//打印数组元…

小学生模拟赛题解

A 正常做这题显然 \(10^{18}\) 是不可做的,所以问题一定出现在 gen 上。 注意到 \(7\mid2009\),换句话说,若 \(t_1=3k(k\in\mathbb N_+)\),那么 \(t_2=t_1+9\),这就导致 \(3\mid t_2\)。以此类推,会发现对于 \(\…

服务器安装docker、mysql、redis、nginx、nacos、jdk等

一、安装docker 1.1、安装必要工具 sudo yum install -y yum-utils \ device-mapper-persistent-data \ lvm21.2、进行仓库源设置 sudo yum-config-manager \ --add-repo \ https://mirrors.tuna.tsinghua.edu.cn/dock…

StringComparer.OrdinalIgnoreCase

StringComparer.OrdinalIgnoreCase 是 .NET 提供的不区分大小写、且按 Unicode 码位排序的字符串比较器,适用于哈希表、字典、集合、排序等需要显式指定比较规则的地方。1. 核心特点特性说明比较规则 不区分大小写(A…

LLM大模型:Qwen3-Next-80B中的next究竟是个啥?

1、近期,国内LLM头号玩家阿里发布了Qwen3-Next-80B模型,但从名字上看就和其之前发布的模型不同:多了next!这就奇怪了:为啥会多出一个next?这个next究竟是啥意思了?2、自从3年前 chatGPT 3.5发布后,AI又开始大火…

中了勒索病毒 peng

中了勒索病毒 peng一,中招 早上一上班,看到电脑屏幕显示这样的壁纸。 居然中招了?不敢相信。 我发现自己的网盘里的所有文件,都被加密并改名,形如 aaaa.jpg.[[VlDy9dk2RaQ1F]].[[Ruiz@firemail.cc]].peng 而且这些…

在 WSL 中通过 Bash 函数快速转换 Windows 路径为 Ansible/WSL 路径 - 教程

在 WSL 中通过 Bash 函数快速转换 Windows 路径为 Ansible/WSL 路径 - 教程pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-famil…

K8s 必备:kubectl patch 命令详解

K8s 必备:kubectl patch 命令详解精准高效的Kubernetes资源更新技巧一、为什么需要kubectl patch? 在日常Kubernetes运维工作中,我们经常需要对集群中的资源进行修改。虽然kubectl apply和kubectl edit都很常用,但…

完整教程:如何管理好上网行为,8个上网行为管控措施分享,让上网井然有序

pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", …

深入解析:AI Ping:精准可靠的大模型服务性能评测平台

pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", …

金融租赁公司厂商租赁业务调研报告

厂商租赁金融租赁公司厂商租赁业务调研报告 报告摘要 本报告旨在全面、深入地分析中国金融租赁公司(下称“金租公司”)厂商租赁业务的现状、模式、市场环境、监管动态、数字化转型路径及绩效评估体系。截至2025年,厂…

普科科技PKC7030H交直流电流探头应用指南​​

普科PKC7030H探头支持DC-120MHz带宽、1%精度,30A连续电流测量,适用于高频大电流交直流混合信号测试。在现代电力电子、新能源及高速数字系统的设计与调试中,对复杂电流波形的精准测量是分析效率、优化性能与保障可靠…

从“分散”到“统一”,中控技术利用SeaTunnel构建高效数据采集框架,核心数据同步任务0故障运行!

本文将深入探讨中控技术基于 Apache SeaTunnel 构建企业级数据采集框架的实践,重点分享集群高可用配置、性能调优、容错机制及数据质量监控等方面的具体思考与方案。作者 | 崔俊乐引言:对企业而言,数据采集的核心挑…

再见 Cursor,Qoder 真香!这波要改写 AI 编程格局

如果把未来 AI 编程工具的核心竞争力用一句话总结,那就是:能不能让开发者在透明化的协作中,信任它、依赖它,并且和它一起把项目养大。作者:loonggg 真心建议大家去使用一下这段时间最新推出的一款 AI 编程工具:Q…

PolarFire SoC mpfs-mmuart-interrupt 多核通信

PolarFire SoC mpfs-mmuart-interrupt 多核通信e51 :/* Clear pending software interrupt in case there was any. */clear_soft_interrupt(); set_csr(mie, MIP_MSIP);/* Raise software interrupt to wake hart…

T/B cell subtype marker - un

B cell ref: https://www.abcam.cn/primary-antibodies/b-cells-basic-immunophenotypingT cell ref: https://www.abcam.cn/primary-antibodies/t-cells-basic-immunophenotyping作者:un-define出处:https://www.cn…

SAP FICO 完全凭证替代

GGB1 这个参数是获取所有行项目的关键USING bool_data TYPE gb002_015*&---------------------------------------------------------------------* *& Form u902 *&------------------------------…

K8s Application模式下的flink任务执行精要

本文分享自天翼云开发者社区《K8s Application模式下的flink任务执行精要》,作者:l****n 构键k8s集群在这里,我们需要搭建一个K8S环境用于提供flink任务的运行时环境。在这里推荐使用kubeadm或者一些脚本工具搭建,…