outbox架构解说

Outbox 模式是一种用于实现数据一致性的架构模式,特别是在微服务架构中。

它确保在处理事务时,数据的原子性和最终一致性。

Outbox 模式的详细解说:

1. 概念与背景

  • 背景:在微服务架构中,一个操作可能涉及多个服务,每个服务都有自己的数据库。
  • 为了保证数据的一致性,通常需要使用分布式事务。
  • 然而,传统的两阶段提交(2PC)等分布式事务机制在微服务环境中实现复杂且性能较低。
  • 概念:Outbox 模式通过将事件或消息的发布与数据库事务绑定在一起,确保在事务提交后,事件或消息能够被可靠地发布。

2. 工作原理

Outbox 模式的核心思想是将事件或消息存储在数据库的同一个事务中,然后通过一个单独的进程或服务将这些事件或消息发布出去。

具体步骤如下:

1.事务开始:应用程序开始一个数据库事务,包含对业务数据的修改和事件或消息的插入。

2.插入事件:在同一个事务中,将事件或消息插入到一个专门的 "outbox" 表中。

3.事务提交:提交事务。如果事务成功,事件或消息也被持久化到数据库中。

4.事件发布:一个单独的进程或服务(通常称为 "outbox processor" 或 "message relay")定期轮询 "outbox" 表,将新事件或消息发布到消息代理(如 Kafka、RabbitMQ 等)。

5.事件删除:发布成功后,事件或消息从 "outbox" 表中删除。

    3. 优点

    • 原子性:确保业务数据和事件或消息的原子性,避免数据不一致。
    • 可靠性:通过数据库事务保证事件的持久化,避免消息丢失。
    • 解耦:将事件发布与业务逻辑解耦,简化系统架构。
    • 可扩展性:适用于高并发和大规模分布式系统。

    4. 缺点

    • 复杂性:引入了额外的组件和流程,增加了系统复杂性。
    • 延迟:事件发布可能会有一定的延迟,因为需要等待 outbox processor 处理。
    • 数据库负载:额外的插入和查询操作可能会增加数据库的负载。

    5. 实现方式

    • 数据库表:使用一个专门的 "outbox" 表来存储事件或消息。
    • 轮询机制:outbox processor 定期轮询 "outbox" 表,发布新事件或消息。
    • 事务日志:另一种实现方式是使用数据库的事务日志(如 MySQL 的 binlog)来捕获事件,然后通过 CDC(Change Data Capture)工具发布事件。

    6. 示例

    假设有一个订单服务,当创建订单时,需要同时更新订单表并发送一个 "订单创建" 事件到消息代理。

    用Outbox 模式的具体步骤如下:

    1.开始事务

    BEGIN TRANSACTION;
    

    2.插入订单

    INSERT INTO orders (id, customer_id, amount, status) VALUES (1, 100, 250, 'pending');
    

    3.插入事件

    INSERT INTO outbox (id, event_type, payload, created_at) VALUES (1, 'OrderCreated', '{"orderId":1,"customerId":100,"amount":250}', NOW());
    

    4.提交事务

    COMMIT;
    

    5.事件发布:outbox processor 定期查询 outbox 表,发布事件到消息代理,然后删除已发布的事件。

      7. 与其他模式的比较

      • Transactional Outbox vs. Transactional Messaging
        • Transactional Outbox:使用数据库表存储事件,然后通过轮询或 CDC 发布事件。
        • Transactional Messaging:直接在事务中发送消息到消息代理,可能需要两阶段提交。

      8. 总结

      Outbox 模式是一种有效的数据一致性解决方案,特别适用于微服务架构。

      它通过将事件或消息的发布与数据库事务绑定在一起,确保了数据的原子性和最终一致性。

      虽然引入了额外的复杂性和延迟,但提供了更高的可靠性和可扩展性。

      联系方式:https://t.me/XMOhost26

      交流技术群:https://t.me/owolai007

      本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/906421.shtml

      如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

      相关文章

      喷涂喷漆机器人详解

      1. 定义 喷涂喷漆机器人是专为表面涂装设计的自动化工业设备,通过精准控制实现高效、均匀的涂料喷涂。其核心价值在于提升生产效率、保障质量一致性,同时减少材料浪费及环境污染,广泛应用于汽车、航空航天等领域。 2. 结构组成 机械臂&…

      DataX:一个开源的离线数据同步工具

      DataX 是一个异构数据源离线同步(ETL)工具,实现了包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。它也是阿里云 DataWorks 数据集成功能的开源版本。 为了解决异构数据源同…

      微软家各种copilot的AI产品:Github copilot、Microsoft copilot

      背景 大家可能听到很多copilot,比如 Github Copilot,Microsoft Copilot、Microsoft 365 Copilot,有什么区别 Github Copilot:有网页版、有插件(idea、vscode等的插件),都是面向于程序员的。Mi…

      SpringMVC04所有注解按照使用位置划分| 按照使用层级划分(业务层、视图层、控制层)

      目录 一、所有注解按照使用位置划分(类、方法、参数) 1. 类级别注解 2. 方法级别注解 3. 参数级别注解 4. 字段/返回值注解 二、按照使用层级划分(业务层、视图层、控制层) 1、控制层(Controller Layer&#x…

      std::chrono类的简单使用实例及分析

      author: hjjdebug date: 2025年 05月 20日 星期二 14:36:17 CST descrip: std::chrono类的简单使用实例及分析 文章目录 1.实例代码:2. 代码分析:2.1 auto t1 std::chrono::high_resolution_clock::now();2.1.1 什么是 system_clock2.1.2 什么是 chrono::time_point?2.1.3 什…

      电子电路仿真实验教学平台重磅上线!——深圳航天科技创新研究院倾力打造,助力高校教学数字化转型

      在传统电子电路课堂中,实验室的灯光总与高昂的成本、拥挤的设备、反复的耗材损耗相伴,而教师不得不面对这样的现实:有限的硬件资源束缚着教学深度,不可逆的实验风险制约着创新探索,固化的时空场景阻碍着个性化学习。当…

      面试真题 - 高并发场景下Nginx如何优化

      Nginx是一款高性能的Web服务器和反向代理服务器,以其轻量级、高并发处理能力和稳定性闻名。在面对高并发场景时,合理的配置与优化策略至关重要,以确保服务的稳定性和响应速度。 以下是针对Nginx进行高并发优化的一些关键配置和策略&#xff…

      算法与数据结构:质数、互质判定和裴蜀定理

      文章目录 质数质数判定质数筛选质因数分解互质判定裴蜀定理 质数 首先回顾「质数」的定义:若一个正整数无法被除了 1 ​和它自身之外的任何自然数整除,则称该数为质数(或素数),否则称该正整数为合数。 根据上述定义&…

      代码随想录算法训练营第60期第四十二天打卡

      大家好,今天还是继续我们的动态规划里面的背包问题,前面我们主要接触的是0-1背包和完全背包,其实这两个背包问题主要就是看看每一件物品我们是否有多件,如果每一件物品我们只能取一次的话那这样我们就是0-1背包,如果每…

      第41天-Python+Qt四屏播放器开发指南

      一、技术选型与工具准备 核心库: Pyqt5:Python标准GUI库,构建用户界面 os / sys:文件系统操作 开发环境: pip install pyqt5 最终效果与运行 import sys from PyQt5.QtWidgets import QVBoxLayout, QHBoxLayout # 添加缺失的布局管理器 from PyQt5.QtCore impor…

      upload-labs通关笔记-第12关 文件上传之白名单GET法

      目录 一、白名单过滤 二、%00截断 1、%00截断原理 2、空字符 3、截断条件 &#xff08;1&#xff09;PHP版本 < 5.3.4 &#xff08;2&#xff09;magic_quotes_gpc配置为Off &#xff08;3&#xff09;代码逻辑存在缺陷 三、源码分析 1、代码审计 &#xff08;1&…

      Node.js数据抓取技术实战示例

      Node.js常用的库有哪些呢&#xff1f;比如axios或者node-fetch用来发送HTTP请求&#xff0c;cheerio用来解析HTML&#xff0c;如果是动态网页的话可能需要puppeteer这样的无头浏览器。这些工具的组合应该能满足大部分需求。 然后&#xff0c;可能遇到的难点在哪里&#xff1f;…

      数据结构(3)线性表-链表-单链表

      我们学习过顺序表时&#xff0c;一旦对头部或中间的数据进行处理&#xff0c;由于物理结构的连续性&#xff0c;为了不覆盖&#xff0c;都得移&#xff0c;就导致时间复杂度为O&#xff08;n&#xff09;&#xff0c;还有一个潜在的问题就是扩容&#xff0c;假如我们扩容前是10…

      【Unity】DOTween的常用函数解释

      DOTween插件常用函数解释 1.DOTween.To&#xff08;通用变化动画&#xff09; 解释&#xff1a;将某一个值在一定的时间内变化到另一个值&#xff08;通用的函数&#xff09;&#xff0c;可用于大部分的动画变化 使用示例&#xff1a; using UnityEngine; using DG.Tweenin…

      数据结构测试模拟题(1)

      1、约瑟夫问题 #include<bits/stdc.h> using namespace std; const int N25; int e[N],ne[N],head-1,idx1; int n,m; void add_to_head(int x){e[idx]x;ne[idx]head;headidx; } void add(int k,int x){e[idx]x;ne[idx]ne[k];ne[k]idx; } int main(){cin>>n>>…

      Helm配置之为特定Deployment配置特定Docker仓库(覆盖全局配置)

      文章目录 Helm配置之为特定Deployment配置特定Docker仓库(覆盖全局配置)需求方法1:使用Helm覆盖值方法2: 在Lens中临时修改Deployment配置步骤 1: 创建 Docker Registry Secret步骤 2: 在 Deployment 中引用 Secret参考资料Helm配置之为特定Deployment配置特定Docker仓库(覆…

      BERT 作为Transformer的Encoder 为什么采用可学习的位置编码

      摘要 BERT 在位置编码上与原始 Transformer 论文中的 sin/cos 公式不同&#xff0c;选择了可学习&#xff08;learned&#xff09;的位置嵌入方案。本文将从 Transformer 原始位置编码选项入手&#xff0c;分析 BERT 选择 learned positional embeddings 的四大核心原因&#x…

      【Linux 学习计划】-- gcc、g++、动静态库链接

      目录 什么是gcc、g gcc、g 相关操作详解 预处理、编译、汇编、链接来源 动静态链接是什么 结语 什么是gcc、g gcc、g其实就是编译器&#xff0c;是帮助我们从.c或者.cc&#xff0c;.cpp文件编译成可执行程序的 其中&#xff0c;我们如果要编译c语言文件的话&#xff0c;…

      前端读取本地项目中 public/a.xlsx 文件中的数据 vue3

      前端读取本地项目中 public/a.xlsx 文件中的数据 vue3 项目中需要在 Vue3 项目中读取 public/a.xlsx 文件&#xff0c;可以使用 fetch API 来获取文件内容 一、安装 xlsx 首先&#xff0c;你需要安装 xlsx 库&#xff1a; npm install xlsx二、在需要用的页面里引入xlsx im…

      MySQL:to many connections连接数过多

      当你遇到 MySQL: Too many connections 错误时&#xff0c;意味着当前连接数已达到 MySQL 配置的最大限制。这通常是由于并发连接过多或连接未正确关闭导致的。 一、查看当前连接数 查看 MySQL 当前允许的最大连接数 SHOW VARIABLES LIKE max_connections;查看当前使用的最大…