Debezium + Kafka + Flink/Doris Stream Load 实时数仓

news/2025/9/24 12:34:25/文章来源:https://www.cnblogs.com/chong-zuo3322/p/19108978

通过 Debezium 捕获 Oracle 的 CDC(Change Data Capture)日志,经 Kafka 缓冲,再通过 Flink 或直接调用 Doris 的 Stream Load 接口写入 Doris。

 

1、Oracle CDC 捕获:

Debezium(基于 LogMiner 或 XStream)解析 Oracle 的 Redo Log/Archive Log,实时捕获 INSERT/UPDATE/DELETE 变更,生成包含前后镜像的 JSON 数据(如op: u表示更新,before/after字段记录变更内容)。

2、消息缓冲:

将 Debezium 输出的变更数据发送到 Kafka 主题(按表分主题,便于后续消费),解决生产端和消费端的速度不匹配问题。

3、数据写入 Doris:

Flink 消费:Flink 读取 Kafka 数据,做简单转换(如过滤、字段映射)后,通过 Doris 的 Flink Connector(flink-connector-doris)写入,支持批量提交(默认 1000 条 / 批)和 Exactly-Once 语义。

直接 Stream Load:若无需复杂转换,可通过 Kafka Connect 的 Doris Sink 直接调用 Doris 的 Stream Load 接口(HTTP 协议),适合简单场景。

 
优势
1、实时性强:端到端延迟可控制在秒级(取决于 Kafka 和 Flink 的配置)。
2、高可靠:Kafka 持久化数据,Flink 支持故障恢复,确保数据不丢失。
3、适配复杂场景:支持数据清洗、多表关联、字段转换等 ETL 操作。
 
注意事项
1、Oracle 需开启归档日志(ARCHIVELOG),并配置 Debezium 的捕获权限(如LOGMINING权限)。
2、大表初始化可先通过 DataX 全量同步,再通过 CDC 同步增量,避免 Debezium 全量扫描耗时过长。
 
https://www.bilibili.com/video/BV1WZ4y1m7QM/?spm_id_from=333.337.search-card.all.click&vd_source=04d80f475277388fb106b530402116b6
https://www.bilibili.com/cheese/play/ss6294?query_from=0&search_id=16748265835398194874&search_query=Debezium&csource=common_hpsearch_null_null&spm_id_from=333.337.search-card.all.click

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/915708.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

实用指南:【Makefile】Linux内核模块编译

pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", …

er图关于网站建设允许个人做动漫网站吗

1:音频信息数据量计算 已知采样频率(单位KHz)、量化位数、声道数及持续时间(单位分钟),求未压缩时的数据量(单位MB). 例如: 输入: 22.05 16 2 3 &#xff…

Gitee DevOps平台:中国企业数字化转型的代码管理新范式

Gitee DevOps平台:中国企业数字化转型的代码管理新范式 随着中国科技产业的蓬勃发展,国产代码托管平台Gitee正凭借其深度本土化能力和全栈式DevOps解决方案,成为企业研发数字化转型的重要推手。该平台不仅提供了与国…

Ansible + Docker 部署 Zookeeper 集群

Ansible + Docker 部署 Zookeeper 集群1. 服务器和集群信息 1.1 主机列表IP 主机名 内存(GB) CPU核数 磁盘 操作系统 CPU 架构 已安装软件10.0.0.13 arc-pro-dc01 my.registry.com 8 1 500GB CentOS 7.9.2009 x86_…

幂运算与航班中转的奇妙旅行:探索算法世界的两极 - 实践

幂运算与航班中转的奇妙旅行:探索算法世界的两极 - 实践pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas…

Gemini CLI 配置问题

我是 Windows 环境,代理和CLI 配置完成,终端输入 gemini,可以正常进入,但是提问是,显示报错信息: [API Error: exception TypeError: fetch failed sending request]后来发现是power shell需要做以下设置,敲入…

本土化与全球化博弈下的项目管理工具选型:Gitee如何为中国企业破局?

本土化与全球化博弈下的项目管理工具选型:Gitee如何为中国企业破局? 在数字化转型浪潮席卷全球的当下,项目管理工具市场正迎来爆发式增长。国际数据公司(IDC)最新报告显示,2023年全球项目管理软件市场规模预计突…

论Linux安装后需要进行的配置

先别急,容我吃个饭再说。文章中涉及的敏感信息均已做打码处理,文章仅做经验分享用途,切勿当真,未授权的攻击属于非法行为!文章中敏感信息均已做多层打码处理。传播、利用本文章所提供的信息而造成的任何直接或者间…

购物网站开发的背景与意义手机网站和网站一体

最近搞图片上传,折腾了一个星期终于做出来了,网上搜出来的方法几乎都是好几年前的,试了好多都不能用,此次把代码公布出来供大家参考。注:部分代码是后台写的,此方法没用到第三方库。1.图片保存到本地同时上…

网站被采集了 一个栏目不收录软件学校网站模板下载

parent.location.reload(); window.opener.location.hrefwindow.opener.location.href; 转载于:https://www.cnblogs.com/xbding/archive/2012/07/03/2574660.html

完整教程:嵌入式数据结构笔记七——二叉树

pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", …

51单片机-驱动DS1302时钟芯片模块教程 - 实践

51单片机-驱动DS1302时钟芯片模块教程 - 实践pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", &qu…

JVM 类加载器详解 - 实践

JVM 类加载器详解 - 实践2025-09-24 12:16 tlnshuju 阅读(0) 评论(0) 收藏 举报pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; fo…

石碣做网站优化偷wordpress模板

wildfly管理控制台红帽JBoss企业应用程序平台(EAP)和WildFly具有共生关系 。 简而言之,红帽JBoss企业应用程序平台(JBoss EAP)保留了WildFly社区项目(以前称为JBoss Application Server)的所有创…

音乐网站制作教程步骤wordpress登陆后查看

李宗盛有首歌的歌词里写到:「工作是容易的,赚钱是困难的」。乍一听感觉有点矛盾,工作的一个重要结果不就是赚钱么,为什么工作容易赚钱却难?但仔细一想就恍然其中想表达的意思了。 工作的本质是出售劳动价值&#xff0c…

网站域名备案需要什么罗湖营销型网站建设

RPC和 HTTP是两种常见的通信方式,它们在设计目标、使用场景和技术实现上有显著区别。以下是它们的详细对比: 1. 定义与核心思想 特性RPCHTTPRemote Procedure Call远程过程调用HyperText Transfer Protocol超文本传输协议定义一种协议或框架&#xff0…

昌平哪有做网站的公司比较大网站建设公司

🛫更多ssm知识见SSM_面向CRUD编程专栏 🚕本博客总结自黑马程序员的ssm框架视频 🚒博主对于该知识尚在学习阶段 🚄如果发现存在问题请毫不吝啬的指出 🚀🚀扎哇太枣糕的博客主页🚀🚀 目…

网站建设推广安徽国内专业网站设计

删除的场景: 解决思路: 1、计算操作后的总页数 2、删除成功之后的总页数与当前总页数进行比较 3、如果删除成功之后的总页数比小于当前总页数,需要把当前页码减去1;否则,直接进行列表数据的请求 代码实现 /*总条数…

中国做网站的公司新手网页制作

2022-01-25 更新:博客新地址:https://www.itbob.cn/,文章距上次编辑时间较远,部分内容可能已经过时! 文章目录● 前言● 注册 Cloudflare● 添加站点● 修改DNS● 开启 HTTPS● 重定向强制 HTTPSHTTP(超文本…

Unity小游戏接入抖音敏感词检测 - 指南

Unity小游戏接入抖音敏感词检测 - 指南2025-09-24 12:04 tlnshuju 阅读(0) 评论(0) 收藏 举报pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !…