XXL-JOB(5)

news/2025/10/23 21:58:22/文章来源:https://www.cnblogs.com/huang2/p/19161743

 表结构分析

xxl_job_lock:任务调度锁表;

xxl_job_group:执行器信息表,维护任务执行器信息;

xxl_job_info:调度扩展信息表:用于保存XXL-JOB调度任务的扩展信息,如任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等;

xxl_job_log:调度日志表:用于保存XXL-JOB任务调度的历史信息,如调度结果、执行结果、调度入参、调度机器和执行器等等;

xxl_job_log_report:调度日志报表:用户存储XXL-JOB任务调度日志的报表,调度中心报表功能页面会用到;

xxl_job_logglue:任务GLUE日志:用于保存GLUE更新历史,用于支持GLUE的版本回溯功能;

xxl_job_registry:执行器注册表,维护在线的执行器和调度中心机器地址信息;

xxl_job_user:系统用户表;

脚本如下:

查看代码
#
# XXL-JOB
# Copyright (c) 2015-present, xuxueli.CREATE database if NOT EXISTS `xxl_job` default character set utf8mb4 collate utf8mb4_unicode_ci;
use `xxl_job`;SET NAMES utf8mb4;CREATE TABLE `xxl_job_info`
(`id`                        int(11)      NOT NULL AUTO_INCREMENT,`job_group`                 int(11)      NOT NULL COMMENT '执行器主键ID',`job_desc`                  varchar(255) NOT NULL,`add_time`                  datetime              DEFAULT NULL,`update_time`               datetime              DEFAULT NULL,`author`                    varchar(64)           DEFAULT NULL COMMENT '作者',`alarm_email`               varchar(255)          DEFAULT NULL COMMENT '报警邮件',`schedule_type`             varchar(50)  NOT NULL DEFAULT 'NONE' COMMENT '调度类型',`schedule_conf`             varchar(128)          DEFAULT NULL COMMENT '调度配置,值含义取决于调度类型',`misfire_strategy`          varchar(50)  NOT NULL DEFAULT 'DO_NOTHING' COMMENT '调度过期策略',`executor_route_strategy`   varchar(50)           DEFAULT NULL COMMENT '执行器路由策略',`executor_handler`          varchar(255)          DEFAULT NULL COMMENT '执行器任务handler',`executor_param`            varchar(512)          DEFAULT NULL COMMENT '执行器任务参数',`executor_block_strategy`   varchar(50)           DEFAULT NULL COMMENT '阻塞处理策略',`executor_timeout`          int(11)      NOT NULL DEFAULT '0' COMMENT '任务执行超时时间,单位秒',`executor_fail_retry_count` int(11)      NOT NULL DEFAULT '0' COMMENT '失败重试次数',`glue_type`                 varchar(50)  NOT NULL COMMENT 'GLUE类型',`glue_source`               mediumtext COMMENT 'GLUE源代码',`glue_remark`               varchar(128)          DEFAULT NULL COMMENT 'GLUE备注',`glue_updatetime`           datetime              DEFAULT NULL COMMENT 'GLUE更新时间',`child_jobid`               varchar(255)          DEFAULT NULL COMMENT '子任务ID,多个逗号分隔',`trigger_status`            tinyint(4)   NOT NULL DEFAULT '0' COMMENT '调度状态:0-停止,1-运行',`trigger_last_time`         bigint(13)   NOT NULL DEFAULT '0' COMMENT '上次调度时间',`trigger_next_time`         bigint(13)   NOT NULL DEFAULT '0' COMMENT '下次调度时间',PRIMARY KEY (`id`)
) ENGINE = InnoDBDEFAULT CHARSET = utf8mb4;CREATE TABLE `xxl_job_log`
(`id`                        bigint(20) NOT NULL AUTO_INCREMENT,`job_group`                 int(11)    NOT NULL COMMENT '执行器主键ID',`job_id`                    int(11)    NOT NULL COMMENT '任务,主键ID',`executor_address`          varchar(255)        DEFAULT NULL COMMENT '执行器地址,本次执行的地址',`executor_handler`          varchar(255)        DEFAULT NULL COMMENT '执行器任务handler',`executor_param`            varchar(512)        DEFAULT NULL COMMENT '执行器任务参数',`executor_sharding_param`   varchar(20)         DEFAULT NULL COMMENT '执行器任务分片参数,格式如 1/2',`executor_fail_retry_count` int(11)    NOT NULL DEFAULT '0' COMMENT '失败重试次数',`trigger_time`              datetime            DEFAULT NULL COMMENT '调度-时间',`trigger_code`              int(11)    NOT NULL COMMENT '调度-结果',`trigger_msg`               text COMMENT '调度-日志',`handle_time`               datetime            DEFAULT NULL COMMENT '执行-时间',`handle_code`               int(11)    NOT NULL COMMENT '执行-状态',`handle_msg`                text COMMENT '执行-日志',`alarm_status`              tinyint(4) NOT NULL DEFAULT '0' COMMENT '告警状态:0-默认、1-无需告警、2-告警成功、3-告警失败',PRIMARY KEY (`id`),KEY `I_trigger_time` (`trigger_time`),KEY `I_handle_code` (`handle_code`),KEY `I_jobid_jobgroup` (`job_id`,`job_group`),KEY `I_job_id` (`job_id`)
) ENGINE = InnoDBDEFAULT CHARSET = utf8mb4;CREATE TABLE `xxl_job_log_report`
(`id`            int(11) NOT NULL AUTO_INCREMENT,`trigger_day`   datetime         DEFAULT NULL COMMENT '调度-时间',`running_count` int(11) NOT NULL DEFAULT '0' COMMENT '运行中-日志数量',`suc_count`     int(11) NOT NULL DEFAULT '0' COMMENT '执行成功-日志数量',`fail_count`    int(11) NOT NULL DEFAULT '0' COMMENT '执行失败-日志数量',`update_time`   datetime         DEFAULT NULL,PRIMARY KEY (`id`),UNIQUE KEY `i_trigger_day` (`trigger_day`) USING BTREE
) ENGINE = InnoDBDEFAULT CHARSET = utf8mb4;CREATE TABLE `xxl_job_logglue`
(`id`          int(11)      NOT NULL AUTO_INCREMENT,`job_id`      int(11)      NOT NULL COMMENT '任务,主键ID',`glue_type`   varchar(50) DEFAULT NULL COMMENT 'GLUE类型',`glue_source` mediumtext COMMENT 'GLUE源代码',`glue_remark` varchar(128) NOT NULL COMMENT 'GLUE备注',`add_time`    datetime    DEFAULT NULL,`update_time` datetime    DEFAULT NULL,PRIMARY KEY (`id`)
) ENGINE = InnoDBDEFAULT CHARSET = utf8mb4;CREATE TABLE `xxl_job_registry`
(`id`             int(11)      NOT NULL AUTO_INCREMENT,`registry_group` varchar(50)  NOT NULL,`registry_key`   varchar(255) NOT NULL,`registry_value` varchar(255) NOT NULL,`update_time`    datetime DEFAULT NULL,PRIMARY KEY (`id`),UNIQUE KEY `i_g_k_v` (`registry_group`, `registry_key`, `registry_value`) USING BTREE
) ENGINE = InnoDBDEFAULT CHARSET = utf8mb4;CREATE TABLE `xxl_job_group`
(`id`           int(11)     NOT NULL AUTO_INCREMENT,`app_name`     varchar(64) NOT NULL COMMENT '执行器AppName',`title`        varchar(12) NOT NULL COMMENT '执行器名称',`address_type` tinyint(4)  NOT NULL DEFAULT '0' COMMENT '执行器地址类型:0=自动注册、1=手动录入',`address_list` text COMMENT '执行器地址列表,多地址逗号分隔',`update_time`  datetime             DEFAULT NULL,PRIMARY KEY (`id`)
) ENGINE = InnoDBDEFAULT CHARSET = utf8mb4;CREATE TABLE `xxl_job_user`
(`id`         int(11)     NOT NULL AUTO_INCREMENT,`username`   varchar(50) NOT NULL COMMENT '账号',`password`   varchar(50) NOT NULL COMMENT '密码',`role`       tinyint(4)  NOT NULL COMMENT '角色:0-普通用户、1-管理员',`permission` varchar(255) DEFAULT NULL COMMENT '权限:执行器ID列表,多个逗号分割',PRIMARY KEY (`id`),UNIQUE KEY `i_username` (`username`) USING BTREE
) ENGINE = InnoDBDEFAULT CHARSET = utf8mb4;CREATE TABLE `xxl_job_lock`
(`lock_name` varchar(50) NOT NULL COMMENT '锁名称',PRIMARY KEY (`lock_name`)
) ENGINE = InnoDBDEFAULT CHARSET = utf8mb4;## —————————————————————— init data ——————————————————INSERT INTO `xxl_job_group`(`id`, `app_name`, `title`, `address_type`, `address_list`, `update_time`)
VALUES (1, 'xxl-job-executor-sample', '示例执行器', 0, NULL, '2018-11-03 22:21:31');INSERT INTO `xxl_job_info`(`id`, `job_group`, `job_desc`, `add_time`, `update_time`, `author`, `alarm_email`,`schedule_type`, `schedule_conf`, `misfire_strategy`, `executor_route_strategy`,`executor_handler`, `executor_param`, `executor_block_strategy`, `executor_timeout`,`executor_fail_retry_count`, `glue_type`, `glue_source`, `glue_remark`, `glue_updatetime`,`child_jobid`)
VALUES (1, 1, '测试任务1', '2018-11-03 22:21:31', '2018-11-03 22:21:31', 'XXL', '', 'CRON', '0 0 0 * * ? *','DO_NOTHING', 'FIRST', 'demoJobHandler', '', 'SERIAL_EXECUTION', 0, 0, 'BEAN', '', 'GLUE代码初始化','2018-11-03 22:21:31', '');INSERT INTO `xxl_job_user`(`id`, `username`, `password`, `role`, `permission`)
VALUES (1, 'admin', 'e10adc3949ba59abbe56e057f20f883e', 1, NULL);INSERT INTO `xxl_job_lock` (`lock_name`)
VALUES ('schedule_lock');commit;

server-worker 调度模型

image

 

调度中心和执行器 两个模块之间通讯是 server-worker 模式。调度中心本身就是一个SpringBoot 工程,启动会监听8080端口。

执行器启动后,会启动内置服务( EmbedServer )监听9994端口。这样双方都可以给对方发送命令。

那调度中心如何知道执行器的地址信息呢 ?上图中,执行器会定时发送注册命令 ,这样调度中心就可以获取在线的执行器列表。

关于执行器调用方式源码分享

com.xxl.job.core.thread.ExecutorRegistryThread  : 执行器注册线程。

 RegistryParam registryParam = new RegistryParam(RegistryConfig.RegistType.EXECUTOR.name(), appname, address);
for (AdminBiz adminBiz: XxlJobExecutor.getAdminBizList()) {try {//com.xxl.job.core.biz.client.AdminBizClient // adminBiz , 直接通过http方式将本地机器的服务器地址写入到调度中心ReturnT<String> registryResult = adminBiz.registry(registryParam);if (registryResult!=null && ReturnT.SUCCESS_CODE == registryResult.getCode()) {registryResult = ReturnT.SUCCESS;logger.debug(">>>>>>>>>>> xxl-job registry success, registryParam:{}, registryResult:{}", new Object[]{registryParam, registryResult});break;} else {logger.info(">>>>>>>>>>> xxl-job registry fail, registryParam:{}, registryResult:{}", new Object[]{registryParam, registryResult});}} catch (Throwable e) {logger.info(">>>>>>>>>>> xxl-job registry error, registryParam:{}", registryParam, e);}}

com.xxl.job.core.biz.client.AdminBizClient 

 @Override
public ReturnT<String> registry(RegistryParam registryParam) {return XxlJobRemotingUtil.postBody(addressUrl + "api/registry", accessToken, timeout, registryParam, String.class);
}

com.xxl.job.core.server.EmbedServer.EmbedHttpServerHandler: 内置服务 任务处理器

这个是处理 admin 服务过来的请求 (调度中心)

  try {switch (uri) {case "/beat":return executorBiz.beat();case "/idleBeat":// 判断是当前jobThread是否空闲IdleBeatParam idleBeatParam = GsonTool.fromJson(requestData, IdleBeatParam.class);return executorBiz.idleBeat(idleBeatParam);case "/run":// 核心执行逻辑TriggerParam triggerParam = GsonTool.fromJson(requestData, TriggerParam.class);return executorBiz.run(triggerParam);case "/kill":// 删除jobTheadKillParam killParam = GsonTool.fromJson(requestData, KillParam.class);return executorBiz.kill(killParam);case "/log"://  获取执行器这边任务的日志LogParam logParam = GsonTool.fromJson(requestData, LogParam.class);return executorBiz.log(logParam);default:return new ReturnT<String>(ReturnT.FAIL_CODE, "invalid request, uri-mapping(" + uri + ") not found.");}} catch (Throwable e) {logger.error(e.getMessage(), e);return new ReturnT<String>(ReturnT.FAIL_CODE, "request error:" + ThrowableUtil.toString(e));}

 

包含三个属性

executorBiz:  执行器 com.xxl.job.core.biz.impl.ExecutorBizImpl

比较重要的是执行器的run 方法。

主要是处理各类任务类型, 绑定JobThread 和 Jobhandler  的关系,然后将传递到triggerQueue中。

image

com.xxl.job.core.thread.JobThread#run

 

   // 获取调度参数triggerParam = triggerQueue.poll(3L, TimeUnit.SECONDS);//  调度上下文参数XxlJobContext xxlJobContext = new XxlJobContext(triggerParam.getJobId(),triggerParam.getExecutorParams(),logFileName,triggerParam.getBroadcastIndex(),triggerParam.getBroadcastTotal());// 判断是否有超时时间                       if (triggerParam.getExecutorTimeout() > 0) {// limit timeoutThread futureThread = null;try {FutureTask<Boolean> futureTask = new FutureTask<Boolean>(new Callable<Boolean>() {@Overridepublic Boolean call() throws Exception {// init job contextXxlJobContext.setXxlJobContext(xxlJobContext);// 具体jobhandle 执行handler.execute();return true;}});futureThread = new Thread(futureTask);futureThread.start();Boolean tempResult = futureTask.get(triggerParam.getExecutorTimeout(), TimeUnit.SECONDS);} catch (TimeoutException e) {XxlJobHelper.log("<br>----------- xxl-job job execute timeout");XxlJobHelper.log(e);// handle resultXxlJobHelper.handleTimeout("job execute timeout ");} finally {futureThread.interrupt();}} else {// just execute  具体jobhandle 执行handler.execute();}.... //  省略 日志处理finally {// 执行完毕将 if (triggerParam != null) {// callback handler info// 如果任务没有停止if (!toStop) {// 设置 TriggerCallbackThread 回调线程// 放入回调队里中去TriggerCallbackThread.pushCallBack(new HandleCallbackParam(triggerParam.getLogId(),triggerParam.getLogDateTime(),XxlJobContext.getXxlJobContext().getHandleCode(),XxlJobContext.getXxlJobContext().getHandleMsg()));} else {// is killedTriggerCallbackThread.pushCallBack(new HandleCallbackParam(triggerParam.getLogId(),triggerParam.getLogDateTime(),XxlJobContext.HANDLE_CODE_FAIL,stopReason + " [job running, killed]"));}}}

上述代码分析如下图示:

 image

bizThreadPool:  业务线程池 
ThreadPoolExecutor bizThreadPool = new ThreadPoolExecutor(0,200,60L,TimeUnit.SECONDS,new LinkedBlockingQueue<Runnable>(2000),new ThreadFactory() {@Overridepublic Thread newThread(Runnable r) {return new Thread(r, "xxl-job, EmbedServer bizThreadPool-" + r.hashCode());}},new RejectedExecutionHandler() {@Overridepublic void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {throw new RuntimeException("xxl-job, EmbedServer bizThreadPool is EXHAUSTED!");}});

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/944712.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

蛋白表达原理与关键要素解析

一、蛋白表达的基本原理 蛋白表达(Protein Expression) 是指细胞根据遗传信息合成蛋白质的过程。在自然状态下,DNA 上的基因通过 转录(Transcription) 产生信使 RNA(mRNA),随后经过 翻译(Translation) 在核糖…

顾雅南的声音美化课堂

下载地址 https://8ma.co/res/L7AZ255U ◀.zstitle { width: 280px; text-align: center; font-size: 26px } .zsimgweixin { width: 280px } .zsimgali { width: 280px; padding: 0px 0px 50px 0px } .zsleft { floa…

Ramanujan Master Theorem

:::note[前置知识] 这篇文章需要用到复数以及一些变换。如果你不会复数,可以参考这篇文章。 如果你不会变换,可以参考这篇文章。::: 位移算符 我们定义:\(D\equiv \frac{\mathrm d}{\mathrm dx}\),考虑 \[e^D=\sum…

【周记】2025.10.13~2025.10.19

2025.10.13~2025.10.19 周记不是太好的一周,随便说说两句吧。 ① 这一周非常非常的累...... 我们是周二、周四晚上(还有周六一整天哈)会上信息学竞赛,搞得我疲惫不堪。我们先是学了矩阵乘法,然后又打了一场模拟赛…

C++案例 自定义数组

#include <string> #include <iostream> #include <algorithm> #include <initializer_list> using namespace std;template<class T> class myArray {// 类模板 友元 重载 外部类实现/…

20251023周四日记

20251023周四日记今天心情好多了,项目终于快完事了。 今日: 1.早上买个早点肉夹馍来组里吃,来时正好碰见师姐收签字。更新了财政系统,搜了个nb的VLM综述。和博、耀对接好明天找他们去。 2.中午不老饿的,呆到两点去…

10.23《程序员修炼之道 从小工到专家》第二章 注重实效的途径 - GENGAR

软件开发需遵循多类核心原则,以提升效率、降低风险并保障代码质量。 DRY 原则(Don’t Repeat Yourself)要求系统中每项信息有单一权威表示,可避免重复带来的维护难题。重复主要分四类:强加的重复可通过方法规避,…

玩转单片机之智能车小露——LED闪烁实战

用单片机点亮一颗LED非常简单,让一颗LED闪烁也很简单,比如写一段下面这样的程序: while(1){ // 无限循环LED1 = 0; // 点亮LEDdelay_ms(300); // 延时300msLED1 = 1; // 熄灭LEDdelay_ms(300); // 延…

ord() 函数

ord() 函数以一个字符(长度为 1 的字符串)作为参数,返回对应的 ASCII 数值,或者 Unicode 数值,如果所给的 Unicode 字符超出了你的 Python 定义范围,则会引发一个 TypeError 的异常。 ord() 函数的语法: ord(c)…

2025.10.23总结 - A

今天上了数据结构还有体育,加油

树状数组求逆序对

统计对于每个i<j,求a[i]>a[j]的数量 在每一次更新(update)树状数组时,以元素的值作为树状数组的索引,更新的值为 +1,代表个数。 在每一次获取(query)逆序对数时,存在于树状数组中的元素的索引值都比当前…

大模型 | VLA 初识及在自动驾驶场景中的应用

一、VLA 简介 1.1 VLA 定义 VLA (Vision Language Action)是一种多模态机器学习模型,结合了视觉、语言和动作三种能力,旨在实现从感知输入直接映射到控制动作的完整闭环能力。VLA 强调一体化多模态端到端架构,非感…

Redis中的分布式锁之SETNX底层实现

https://blog.csdn.net/qq_39032307/article/details/148683477

2025家纺摄影公司推荐,南通鼎尚摄影专注产品视觉呈现

2025家纺摄影公司推荐,南通鼎尚摄影专注产品视觉呈现 家纺摄影行业面临的技术挑战 随着电商行业的蓬勃发展,家纺摄影行业正面临着前所未有的技术挑战。据统计,超过70%的线上消费者表示,产品图片质量直接影响其购买…

ExPRT.AI如何预测下一个将被利用的漏洞

本文详细介绍了CrowdStrike Falcon Exposure Management中的ExPRT.AI引擎如何利用实时对手信号、观测到的攻击行为以及基于专有威胁情报训练的AI来预测最可能被利用的漏洞,帮助安全团队优先处理最关键的安全风险。How…

求函数

求函数 题目描述 牛可乐有 $n$ 个一次函数,第 $i$ 个函数为 $f_i(x) = k_i \times x + b_i$。 牛可乐有 $m$ 次操作,每次操作为以下二者其一:$1$ $i$ $k$ $b$ 将 $f_i(x)$ 修改为 $f_i(x) = k \times x + b$。 $2$ …

AI元人文构想的跨学科研究:技术实现与人文影响分析——对自由与责任的再框架化(DeepSeek基于Ai元人文系列文章研究)

AI元人文构想的跨学科研究:技术实现与人文影响分析——对自由与责任的再框架化 ——DeepSeek基于Ai元人文系列文章研究引言:AI元人文构想的理论基础与概念界定1.1 概念起源与核心内涵 “AI元人文”构想由学者岐金兰提…

Python---简易编程解决工作问题

近期在做一些很简单但是很繁琐的工作,就考虑使用Python来进行开发一些工具。 首先是下载安装Pythonhttps://www.python.org/downloads/release/python-3140/检查是否安装成功:python --version检测pip是否正常:pip …

DM8 安装包 for linux_x86

下载地址 https://8ma.co/res/VWXE40M2 ◀ ◀ ◀.zstitle { width: 280px; text-align: center; font-size: 26px } .zsimgweixin { width: 280px } .zsimgali { width: 280px; padding: 0px 0px 50px 0px } .zslef…

日总结 16

Git 是一款分布式版本控制系统,核心作用是追踪文件(尤其代码)的修改历史、管理多版本,并支持多人高效协作。它通过记录每一次修改(可随时回退到任意历史版本)、分支功能(实现并行开发不冲突)、分布式特性(本地…