Java编程中,异步操作流程中,最终一致性以及重试补偿的设计与实现

一、背景

微服务设计中,跨服务的调用,由于网络或程序故障等各种原因,经常会出现调用失败而需要重试。另外,在异步操作中,我们提供接口让外部服务回调。回调过程中,也可能出现故障。

这就要求我们主动向外部服务发起查询,以获取外部服务的操作结果。

见下图:
在这里插入图片描述
这种异步操作流程,比较常见于支付系统,其思路值得借鉴。

本文主要是想介绍,在没有订单号、支付流水号等业务唯一性的场景下,使用一张任务表,实现上面的异步操作,达到最终一致性。

二、定时任务

在这里插入图片描述

1、定时查询

查询下一次重试时间早于当前时间的记录,每次拉取N条。定时机制,可以依赖xxl-job这样的分布式定时任务。

notifyTasksRepository.findTop50ByNextTimeBeforeOrderByNextTimeAsc(DateUtil.date());

2、指数级重试

   public void retry() {this.retryTimes += 1;this.nextTime = calcNextRetryTime();this.lastTime = new Date();}private Date calcNextRetryTime() {final ZoneId zone = ZoneId.systemDefault();final LocalDateTime lastTime = LocalDateTime.ofInstant(Instant.now(), zone);final LocalDateTime nextTime = lastTime.plus(exp(this.retryTimes), ChronoUnit.MILLIS);final Instant instant = nextTime.atZone(zone).toInstant();return Date.from(instant);}private long exp(int retryCount) {long waitTime = ((long) Math.pow(2, retryCount) * 1000L);return waitTime;}

3、请求流水号

既然是微服务之间的异步操作流程,就需要设计一个类似于订单号,能够贯穿整个流程。它就是请求流水号,要求是不能重复。发起请求、回调通知和主动查询,都是需要传递该字段。

4、notifyParams参数

这是一个json格式的string字符串,当外部服务是post请求的时候,请求报文就保存在该字段。
而如果仅仅是保存http接口的请求入参的话,在实际不同的业务还是不够的。
所以,需要你把业务中需要透传的字段,也都保存在该字段里。

比如:http接口,需要requestNo和classroomId两个字段就可以了。而你的业务系统里,还需要字段:课程编号和讲次编号,那么请一并把它们都保存进去。
待外部服务回调的时候,根据requestNo请求流水号查询任务,需要反解析该字段,取出需要的课程编号和讲次编号。
如此一来,很好地体现了任务表的抽象性,又满足了不同业务的具体性。
当然了,前提是任务的查询,不会把它们作查询条件。

@JsonIgnoreProperties(ignoreUnknown = true)
@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class ClassroomCopyRequest {/*** 原课堂ID(http请求必填参数)*/private String classroomId;/*** 请求流水号(http请求必填参数)*/private String requestNo;/*** 讲次编号(透传参数)*/private String lectureNo;/*** 课程编号(透传参数)*/private String courseNo;/*** 任务编号(透传参数)*/private String taskCode;
}

三、代码设计

在这里插入图片描述
从上面的流程图,也可以看出,业务逻辑处理,是有两个方向:一是业务方的回调;二是定时任务的主动查询。

二者最终都需要发送一个异步事件,让异步线程池去处理。

所以,无论从哪个链路获取到的返回结果,都应该是一样的(实际上也如此)。
示例:
复制课堂,返回一个新的课堂ID。由于我们在不同的业务流程中,都会有复制课堂的需求,所以需要用任务编号加以区分。而外部服务是不会关注你的任务,更遑论任务编号了。

在异步设计中,尽量抽象系统之间的交互术语,而不能具化。

进一步说,复制课堂,只需要知道原课堂ID即可,不要去让它去关心是什么业务下的复制。
这就是请求流水号requestNo的巧妙设计之处。

@ApiModel
@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class ClassroomCopyResultNotify {@ApiModelProperty(notes = "源课堂ID")private String sourceClassroomId;@ApiModelProperty(notes = "新课堂ID", required = true)@NotEmpty(message = "新课堂ID必填")private String newClassroomId;@ApiModelProperty(notes = "请求流水号", required = true)@NotEmpty(message = "请求流水号必填")private String requestNo;

1、回调通知接口

有了上面的回调报文,下面的接口设计就非常简单了。

    @ApiOperation(value = "异步通知课堂的复制结果")@PostMapping(value = {"/api/v1/classroom/copy/callback"})public ResponseEntity<?> copyResultNotify(@Validated @RequestBody ClassroomCopyResultNotify notify) {return ResponseEntity.ok(classroomAppService.copyResultNotify(notify));}

2、服务层ClassroomAppService.java

final NotifyTasks notifyTasks = notifyTasksRepository.findByRequestNoAndTaskCode(request.getRequestNo(),Constants.TaskCode.CLASSROOM_COPY_RESULT);if (null == notifyTasks) {if (log.isWarnEnabled()) {log.warn("请求流水号{}不存在", request.getRequestNo());}
}
//发送异步事件

3、事件订阅者

    @Subscribe@AllowConcurrentEvents@Transactional(rollbackFor = Throwable.class)public void onNotifySuccessEvent(NotifySuccessEvent event) {if (null == event || null == event.getTaskCode()) {return;}if (log.isInfoEnabled()) {log.info("订阅异步通知结果事件,详情={}", JsonUtils.toJsonString(event));}switch (event.getTaskCode()) {case Constants.TaskCode.CLASSROOM_COPY_RESULT:// 解析任务的入参final ClassroomCopyRequest copyRequest = JSON.parseObject(event.getRequestJson(), ClassroomCopyRequest.class);// 解析回调报文final ClassroomCopyResultNotify copyResponse = JSON.parseObject(event.getResponseJson(), ClassroomCopyResultNotify.class);// 调用业务逻辑处理break;default:break;}}

4、业务逻辑处理

经过上一步对参数和回调的解析,接下来就是不同业务的处理了。

处理完成后,删除任务即可。

// 业务处理
...
...
...
// 处理成功,删除定时任务
notifyTasksRepository.deleteByRequestNoAndTaskCode(requestNo, Constants.TaskCode.CLASSROOM_COPY_RESULT);

5、发起对外部服务的请求

ClassroomCopyRequest request = ClassroomCopyRequest.builder().requestNo(requestNo).classroomId(sourceClassroomId).lectureNo(lectureNo).courseNo(courseNo).taskCode(taskCode).build();// notify方法,发起Http请求,如果失败,则会像下面的语句一样,保存至定时任务表
notifyTasksService.notify(taskCode, requestNo, url, gson.toJson(request));// 保存至定时任务表
notifyTasksService.schedule(Constants.TaskCode.CLASSROOM_COPY_RESULT, requestNo,queryUrl, gson.toJson(request));
  • schedule()方法的定义见下:
public void schedule(String taskCode, String requestNo, String notifyUrl, String notifyParams)
  • 这里的设计思路是,发起外部服务的请求,同时保存主动查询的任务到库里。
  • 外部服务处理完成,回调我们的时候,需要把主动查询的任务届时删除。(防止不必要的查询)
  • 主动查询复制结果的任务,必须在发起请求的时候,同时就保存到库表里。这是因为回调的报文中只有请求流水号requestNo,在处理回调的时候,需反查出本任务记录。

四、任务的增删查改

这一小节,我们试着总结下对任务的操作。

1、新增

向外部服务发起请求的时候,保存主动查询的任务(任务内容见notifyParams)

2、删除

业务逻辑处理完成后,删除主动查询的任务。否则定时任务会一直轮询该任务,浪费性能。

3、查询

分布式定时任务,cron表达式规则下,每次查询N条待处理的任务列表。

4、修改

主动查询结果的任务,如果处理出现失败的时候,则需要更新下一次重试时间,支持指数级的退避重试。

五、总结

本文试着通过一个任务表,向你表述如何实现重试补偿,以实现跨服务间的最终一致性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/146313.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vim批量多行缩进调整

网上其他教程&#xff1a; ctrl v 或者 v进行visual模式按方向键<&#xff0c;>调整光标位置选中缩进的行Shift > &#xff08;或者 Shift < &#xff09;进行左右缩进。 我只想说&#xff0c;乱七八糟&#xff0c;根本不管用 本文教程&#xff1a; 增加缩进…

物联网网关在工业行业的应用案例

物联网网关在工业行业的应用案例 随着物联网技术的不断发展&#xff0c;物联网网关在工业行业的应用越来越广泛。本文将介绍一个物联网网关在工业行业的应用案例&#xff0c;以期为相关领域的研究和实践提供借鉴和启示。 一、案例背景 某大型制造企业是一家全球知名的汽车制…

高防IP是什么,高防IP有什么作用?

什么是高防IP&#xff1f; 高防IP是一款专业解决大流量攻击的安全防护产品&#xff0c;支持网站和非网站类业务的DDoS、CC防护&#xff0c;用户通过配置转发规则&#xff0c;将攻击流量引至高防IP并清洗&#xff0c;保障业务稳定可用&#xff0c;具有灾备能力&#xff0c;线路…

剑指offer --- 用两个栈实现队列的先进先出特性

目录 前言 一、读懂题目 二、思路分析 三、代码呈现 总结 前言 当我们需要实现队列的先进先出特性时&#xff0c;可以使用栈来模拟队列的行为。本文将介绍如何使用两个栈来实现队列&#xff0c;并给出具体的思路和代码实现。 一、读懂题目 题目&#xff1a;用两个栈实现一…

[ 云计算 | AWS ] AI 编程助手新势力 Amazon CodeWhisperer:优势功能及实用技巧

文章目录 一、Amazon CodeWhisperer 简介1.1 CodeWhisperer 是什么1.2 Amazon CodeWhisperer 是如何工作的 二、Amazon CodeWhisperer 的优势和功能2.1 Amazon CodeWhisperer 的优势2.2 Amazon CodeWhisperer 的代码功能 三、Amazon CodeWhisperer 安装3.1 安装到 IntelliJ IDE…

计算数组中每个元素的立方根numpy.cbrt()

【小白从小学Python、C、Java】 【计算机等级考试500强双证书】 【Python-数据分析】 计算数组中每个元素的立方根 numpy.cbrt() [太阳]选择题 请问以下代码中执行语句输出结果是&#xff1f; import numpy as np a np.array([1, 8, 27]) print("【显示】a ",a) pr…

synchronized jvm实现思考

底层实现时&#xff0c;为什么使用了cxq队列和entryList双向链表&#xff1f;这里为什么不跟AQS中使用一个队列就行了&#xff0c;加了一个entryList的目的是为了什么&#xff1f; 个人理解这里多一个entryList&#xff0c;可能是用于减少频繁的cas操作。假设存在很多锁竞争时&…

【Linux】gcc/g++ gdb 使用

目录 1&#xff0c;背景知识 2&#xff0c;gcc 如何完成 1&#xff0c;预处理(进行宏替换) 2&#xff0c;编译&#xff08;生成汇编&#xff09; 3&#xff0c;汇编&#xff08;生成机器可识别代码&#xff09; 4&#xff0c;连接&#xff08;生成可执行文件或库文件&…

rk3588 usb网络共享连接

出门在外总会遇到傻 X 地方 没有能连接公网的 网口给香橙派连网 而我的香橙派5plus 没有wifi模块。。。话不多说 在手机上看一眼手机的mac地址&#xff0c; 在rk3588 上执行以下命令&#xff1a; sudo ifconfig usb0 down sudo ifconfig usb0 hw ether 58:F2:FC:5D:D4:7A //该m…

浅谈基于云计算的环境智能监控系统

随着经济的飞速发展&#xff0c;环境污染也越来越严重&#xff0c;环境监控成为了政府与社会关注的焦点。本文提出了一种基于云计算的环境智能监控系统——EasyCVR&#xff0c;该系统综合应用了传感器、云计算、大数据、人工智能等技术&#xff0c;具有实时、准确、高效的监控能…

ChatGPT简介及基本概念

点击跳转专栏>Unity3D特效百例点击跳转专栏>案例项目实战源码点击跳转专栏>游戏脚本-辅助自动化点击跳转专栏>Android控件全解手册点击跳转专栏>Scratch编程案例点击跳转>软考全系列点击跳转>蓝桥系列点击跳转>ChatGPT和AIGC &#x1f449;关于作者 专…

HarmonyOS开发:动态共享包的依赖问题

一、共享包的依赖方式 在需要依赖的模块包目录下oh-package.json5文件中添加依赖&#xff1a; "dependencies": {"ohos/srpaasUI": "file:../../srpaasUI","ohos/srbusiness": "file:../../feature/srbusiness"} 引入之后…

Java源码分析:Guava之不可变集合ImmutableMap的源码分析

原创/朱季谦 一、案例场景 遇到过这样的场景&#xff0c;在定义一个static修饰的Map时&#xff0c;使用了大量的put()方法赋值&#xff0c;就类似这样—— public static final Map<String,String> dayMap new HashMap<>(); static {dayMap.put("Monday&q…

音频类型转换工具-可执行文件exe/dmg制作

朋友车载音乐需要MP3格式&#xff0c;想要个批量转换工具 准备工作 brew install ffmpeg --HEAD或者官网下载安装ffmpeg并配置环境conda install ffmpeg 或者pip install ffmpeg-python 音频类型转换程序.py文件 exe文件在windows下打包&#xff0c;dmg在macos下打包&#…

2023_“数维杯”问题B:棉秸秆热解的催化反应-详细解析含代码

题目翻译&#xff1a; 随着全球对可再生能源需求的不断增加&#xff0c;生物质能作为一种成熟的可再生能源得到了广泛的关注。棉花秸秆作为一种农业废弃物&#xff0c;因其丰富的纤维素、木质素等生物质成分而被视为重要的生物质资源。虽然棉花秸秆的热解可以产生各种形式的可…

001 opencv addWeighted

目录 一、环境 二、addWeighted函数 三、代码演示 一、环境 本文使用环境为&#xff1a; Windows10Python 3.9.17opencv-python 4.8.0.74 二、addWeighted函数 OpenCV中的cv.addWeighted函数是一个用于图像叠加的函数&#xff0c;它可以将两个具有相同尺寸和类型的图像按…

基于JavaWeb+SSM+社区居家养老服务平台—颐养者端微信小程序系统的设计和实现

基于JavaWebSSM社区居家养老服务平台—颐养者端微信小程序系统的设计和实现 源码获取入口前言主要技术系统设计功能截图Lun文目录订阅经典源码专栏Java项目精品实战案例《500套》 源码获取 源码获取入口 前言 在复杂社会化网络中&#xff0c;灵活运用社会生活产生的大数据&am…

农户建档管理系统的设计与实现-计算机毕业设计源码20835

摘 要 随着互联网趋势的到来&#xff0c;各行各业都在考虑利用互联网将自己推广出去&#xff0c;最好方式就是建立自己的互联网系统&#xff0c;并对其进行维护和管理。在现实运用中&#xff0c;应用软件的工作规则和开发步骤&#xff0c;采用Java技术建设农户建档管理系统。 本…

python时间变化与字符串替换技术及读JSON文件等实践笔记

1. 需求描述 根据预测出结果发出指令的秒级时间&#xff0c;使用时间戳&#xff0c;也就是设定时间&#xff08;字符串&#xff09;转为数字时间戳。时间计算转换过程中&#xff0c;出现单个整数&#xff08;例如8点&#xff09;&#xff0c;按字符串格式补齐两位“08”。字符…

iOS项目集成RN(0)

iOS原有项目集成RN 环境安装RN环境搭建Node & Watchman 安装 创建新应用iOS项目集成RN如果没有iOS项目&#xff0c;新建一个 swift&#xff0c; storyboard项目&#xff0c; 名字&#xff1a;RNTest新建一个 RNDemo目录&#xff0c;一个iOS子目录&#xff0c; 把iOS相关的拷…