docker安装单机版canal和使用

说明：我安装的组件架构如下：
在这里插入图片描述

1、准备一台虚拟机，192.168.2.223，我安装的时候，docker只支持canal1.1.6版本，1.1.7无法使用docker安装.还有一点要补充，就是1.1.6好像不支持es8.0以上版本（官网说的是1.7版本才有es8.0以上.）。
2、登录数据库的主机，修改数据库的配置

#修改mysql的配置文件，在[mysqld]下添加以下内容
server_id=1
# 开启binlog
log_bin = mysql-bin
# 选择row模式
binlog_format = ROW

#查看开启命令拓展，这个用于和instance配置的数据库进行使用，安装canal-admin的数据库可以不开启blog，但是同步到数据库需要开启
show variables like 'log_bin';
show variables like 'binlog_format';
show variables like '%server_id%';

3、获取安装包和准备数据

mkdir -p /root/canal
cd /root/canal
#下载文件包
wget https://github.com/alibaba/canal/releases/download/canal-1.1.6/canal.admin-1.1.6.tar.gz
mkdir canal-admin
tar -zxvf canal.admin-1.1.6.tar.gz -C canal-admin
#把cat的回显记录下来，拿到自己准备的mysql上去创建需要的数据表。因为容器部署不支持source命令，所以手动记录下来进行执行
cat /root/canal/conf/canal_manager.sql#去到安装mysql的主机，登录mysql
mysql -u 用户名 -p 密码
create database canal_manager;
grant all privileges on canal_manager.* to canal@'%' identified by 'canal'
flush privileges;
exit
mysql -ucanal -pcanal
use canal_manager; 
#执行cat的内容

下载的cana .admin-1.1.6.tar.gz安装包太慢的话，1.1.7本部也适用的，因为我后续需要安装1.7版本，所以提供1.7版本，可以通过我百度云进行下载：
链接：https://pan.baidu.com/s/1FDAcyTiFEZEITX0gAXOnmw
提取码：70j9
4、部署安装

#执行安装，账号密码可以自定义
docker run  --privileged -p 8089:8089 -v /opt/canal-admin/conf:/root/canal/conf -v /opt/canal-admin/logs:/root/canal/logs  --name canal-admin -e spring.datasource.address="数据库的ip:端口/canal_manager?allowMultiQueries=true&useUnicod=true&charac terEncodin=utf-8&serverTimezone=CTT&allowPublicKeyRetrieval=true&useSSL= false" -e spring.datasource.username=canal -e spring.datasource.password=canal -e canal.adminPasswd=123456 -d canal/canal-admin:v1.1.7
#登录canal-admin，ip为安装主机ip,端口为8089,用户为admin，密码为123456
#注：canal_manager.sql 提供的脚本中，canal_user 表提供的默认⽤户名为： canal，密码为：6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9，也就是 SELECT PASSWORD('123456'); 的值
所以登陆 canal-admin 管理平台的⽤户名就是 admin/123456

在这里插入图片描述
5、安装canal-server

#安装,这些账号密码可以自定义
docker run  -p 11111:11111 --name canal-server01 -e canal.admin.register.auto=true  -e canal.admin.register.name=canal-server01 -e canal.admin.manager=192.168.2.223:8089 -e canal.admin.port=11110 -e canal.admin.user=admin -e canal.admin.passwd=6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9  -d canal/canal-server:v1.1.6

部署完成就可以看到server了,这里的serverip是容器的ip，我们不需要进行修改，修改会导致异常的。当我们需要使用的时候直接填写宿主机ip即可。
在这里插入图片描述
在操作配置中可以根据自己服务进行自定义和填写，这里就不说明了。
在这里插入图片描述

6、创建instance，在Instance 管理里点击新建，输入名称，和选择server

#输入
# mysql集群配置中的serverId概念，需要保证和当前mysql集群中id唯⼀ (v1.1.x版本之后c anal会⾃动⽣成，不需要⼿⼯指定) 
# canal.instance.mysql.slaveId=0 
# mysql主库链接地址 
canal.instance.master.address=mysql地址:port端口
# mysql主库链接时起始的binlog⽂件 
canal.instance.master.journal.name= 
# mysql主库链接时起始的binlog偏移量 
canal.instance.master.position= 
# mysql主库链接时起始的binlog的时间戳 
canal.instance.master.timestamp= 
# mysql数据库帐号(此处的⽤户名和密码为 安装canal#mysql配置相关#创建canal⽤户 这⼀步 创建的⽤户名和密码) 
canal.instance.dbUsername=root 
# mysql数据库密码 
canal.instance.dbPassword=123456
# mysql 数据解析编码 
canal.instance.connectionCharset=UTF-8 
# mysql 数据解析关注的表，Perl正则表达式，即我们需要关注那些库和那些表的binlog数据， 也可以在canal client api中⼿动覆盖 
canal.instance.filter.regex=.*\\..* 
# table black regex 
# mysql 数据解析表的⿊名单，表达式规则⻅⽩名单的规则 ,这里我过滤掉了BASE TABLE，不然启动会报错
canal.instance.filter.black.regex=mysql\\.slave_.*,.*BASE TABLE

在这里插入图片描述

7、新建sringboot项目，idea默认创建的是高版本，我调整了配置如下，然后下一步，下一步进行添加搜索和添加一些必要的依赖。熟悉的也可以通过pom文件自定义添加

https://start.aliyun.com/

在这里插入图片描述
在这里插入图片描述

8、创建和启动验证，具体业务需要自己去自定义

在pom文件中添加依赖
<dependency><groupId>com.alibaba.otter</groupId><artifactId>canal.client</artifactId><version>1.1.0</version></dependency>

创建测试类SimpleCanalClientExample

package com.example.demo;import java.net.InetSocketAddress;
import java.util.List;import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.common.utils.AddressUtils;
import com.alibaba.otter.canal.protocol.Message;
import com.alibaba.otter.canal.protocol.CanalEntry.Column;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;
import com.alibaba.otter.canal.protocol.CanalEntry.EventType;
import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;
import com.alibaba.otter.canal.protocol.CanalEntry.RowData;public class SimpleCanalClientExample {public static void main(String args[]) {// 创建链接CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("192.168.2.223",11111), "test", "", "");int batchSize = 1000;int emptyCount = 0;try {connector.connect();connector.subscribe(".*\\..*");connector.rollback();int totalEmptyCount = 120;while (emptyCount < totalEmptyCount) {Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据long batchId = message.getId();int size = message.getEntries().size();if (batchId == -1 || size == 0) {emptyCount++;System.out.println("empty count : " + emptyCount);try {Thread.sleep(1000);} catch (InterruptedException e) {}} else {emptyCount = 0;// System.out.printf("message[batchId=%s,size=%s] \n", batchId, size);printEntry(message.getEntries());}connector.ack(batchId); // 提交确认// connector.rollback(batchId); // 处理失败, 回滚数据}System.out.println("empty too many times, exit");} finally {connector.disconnect();}}private static void printEntry(List<Entry> entrys) {for (Entry entry : entrys) {if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {continue;}RowChange rowChage = null;try {rowChage = RowChange.parseFrom(entry.getStoreValue());} catch (Exception e) {throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),e);}EventType eventType = rowChage.getEventType();System.out.println(String.format("================&gt; binlog[%s:%s] , name[%s,%s] , eventType : %s",entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),eventType));for (RowData rowData : rowChage.getRowDatasList()) {if (eventType == EventType.DELETE) {printColumn(rowData.getBeforeColumnsList());} else if (eventType == EventType.INSERT) {printColumn(rowData.getAfterColumnsList());} else {System.out.println("-------&gt; before");printColumn(rowData.getBeforeColumnsList());System.out.println("-------&gt; after");printColumn(rowData.getAfterColumnsList());}}}}private static void printColumn(List<Column> columns) {for (Column column : columns) {System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());}}}

9、随便去instance配置的数据库修改数据，查看控制台输出

在这里插入图片描述
10，有问题可以去官网找找处理方法
https://github.com/alibaba/canal/issues

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/708703.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Appium手机Android自动化

Appium手机Android自动化

目录 介绍 什么是APPium&#xff1f; APPium的特点 环境准备 adb(android调试桥)常用命令 appium图形化简单使用 连接手机模拟器 使用appium桌面端应用程序 ​编辑 整合java代码测试 环境准备 引入所需依赖 书写代码简单启动 ​编辑 Appium元素定位 id定位 介…
阅读更多...
前端配置开发环境，新电脑配置前端开发环境，Vue开发环境配置的详细过程（前端开发环境配置，电脑重置后配置前端开发环境）

前端配置开发环境，新电脑配置前端开发环境，Vue开发环境配置的详细过程（前端开发环境配置，电脑重置后配置前端开发环境）

简介&#xff1a;有时候&#xff0c;我们需要在新电脑 或者 电脑重置后&#xff0c;配置前端开发环境&#xff0c;具体都需要安装什么软件和插件&#xff0c;这里来记录一下&#xff08;文章适合新手和小白&#xff0c;大佬可以带过&#xff09;。 ✨前端开发环境&#xff0c;需…
阅读更多...
《Spring Security 简易速速上手小册》第3章 用户认证机制（2024 最新版）

《Spring Security 简易速速上手小册》第3章 用户认证机制（2024 最新版）

文章目录 3.1 认证流程3.1.1 基础知识详解认证流程的核心概念认证流程的步骤 3.1.2 主要案例&#xff1a;内存用户认证案例 Demo&#xff1a;快速启动你的 Spring Boot 守护程序 3.1.3 拓展案例 1&#xff1a;数据库用户认证案例 Demo&#xff1a;让数据库守护你的秘密 3.1.4 拓…
阅读更多...
蓝桥杯备赛第二篇（背包问题）

蓝桥杯备赛第二篇（背包问题）

1. 01 背包&#xff08;采用状态压缩&#xff09; public static void main(String[] args) {Scanner scanner new Scanner(System.in);int M scanner.nextInt();int N scanner.nextInt();int[] value new int[N 1];int[] weight new int[N 1];int[] dp new int[M 1];…
阅读更多...
python的数据结构

python的数据结构

文章目录 python的数据结构列表当做堆栈使用将列表当作队列使用 python的数据结构 列表 (List)&#xff1a;一种有序的集合&#xff0c;可以包含多个项目。列表中的项目可以轻松地添加、删除或更改。 my_list [1, 2, 3, 4, 5]列表当做堆栈使用 堆栈是一种后进先出&#xff…
阅读更多...
代理IP安全问题：在国外使用代理IP是否安全

代理IP安全问题：在国外使用代理IP是否安全

目录 前言 一、国外使用代理IP的安全风险 1. 数据泄露 2. 恶意软件 3. 网络攻击 4. 法律风险 二、保护国外使用代理IP的安全方法 1. 选择可信的代理服务器 2. 使用加密协议 3. 定期更新系统和软件 4. 注意网络安全意识 三、案例分析 总结 前言 在互联网时代&…
阅读更多...
【postgresql 基础入门】带过滤条件的查询，where子句中的操作符介绍，案例展示，索引失效的大坑就在这里

【postgresql 基础入门】带过滤条件的查询，where子句中的操作符介绍，案例展示，索引失效的大坑就在这里

查询数据-过滤数据 ​专栏内容&#xff1a; postgresql内核源码分析手写数据库toadb并发编程 ​开源贡献&#xff1a; toadb开源库 个人主页&#xff1a;我的主页 管理社区&#xff1a;开源数据库 座右铭&#xff1a;天行健&#xff0c;君子以自强不息&#xff1b;地势坤&#…
阅读更多...
翻译平台翻译模型大模型 英翻中 en-zh 评测

翻译平台翻译模型大模型 英翻中 en-zh 评测

评测语句 Trump was always bothered by how Trump Tower fell 41 feet short of the General Motors building two blocks north 结论 大模型翻译最佳&#xff0c;第三方里百度次之&#xff0c;翻译模型还不太行 测试过程 翻译模型 facebook mbart-large-50-many-to-many-…
阅读更多...
【Unity】实现从Excel读取数据制作年份选择器

【Unity】实现从Excel读取数据制作年份选择器

效果预览&#xff1a; 此处利用Excel来读取数据来制作年份选择器&#xff0c;具体步骤如下。 如果只是制作年份选择器可以参考我这篇文章&#xff1a;构建简单实用的年份选择器&#xff08;简单原理示范&#xff09; 目录 效果预览&#xff1a; 一、 Excel准备与存放 1.1 …
阅读更多...
openssl3.2 - exp - calc PE file checksum and SHA3-512

openssl3.2 - exp - calc PE file checksum and SHA3-512

openssl3.2 - exp - calc PE file checksum and SHA3-512 概述 想在程序中, 对自身的PE内容算校验和和HASH, 然后送给服务端判断PE文件是否被修改了. 前几天, 看了一个资料, 里面有算PE校验和的实现. 迁移到自己工程. 但是没有算HASH, 正好已经将openssl官方demo过了一遍, 有…
阅读更多...
K8s Pod资源管理组件

K8s Pod资源管理组件

目录 Pod基础概念 在Kubrenetes集群中Pod有如下两种使用方式 pause容器使得Pod中的所有容器可以共享两种资源 网络 存储 总结 kubernetes中的pause容器主要为每个容器提供功能 Kubernetes设计这样的Pod概念和特殊组成结构的用意 通常把Pod分为以下几类 自主式Pod 控…
阅读更多...
【字符串】-Lc3-无重复字符的最长子串（indexOf(String str, int fromIndex)）

【字符串】-Lc3-无重复字符的最长子串（indexOf(String str, int fromIndex)）

写在前面 最近想复习一下数据结构与算法相关的内容&#xff0c;找一些题来做一做。如有更好思路&#xff0c;欢迎指正。 目录 写在前面一、场景描述二、具体步骤1.环境说明2.代码 写在后面 一、场景描述 给定一个字符串&#xff0c;请你找出其中不含有重复字符的 最长子串 &…
阅读更多...
input css padding

input css padding

这样控件会跑出外套控件在HTML JSP里面是经常出现的。但有些外国adobe的as控件不存在这种情况&#xff0c;这是因为内层控件定义的时候不能超出外层控件的范围。 修改下&#xff1a;去掉原来css padding&#xff0c;然后加上宽度和高度
阅读更多...
C语言 常量

C语言 常量

常量是固定值&#xff0c;在程序执行期间不会改变。这些固定的值&#xff0c;又叫做字面量。 常量可以是任何的基本数据类型&#xff0c;比如整数常量、浮点常量、字符常量&#xff0c;或字符串字面值&#xff0c;也有枚举常量。 常量就像是常规的变量&#xff0c;只不过常量的…
阅读更多...
EAP-TLS实验之Ubuntu20.04环境搭建配置（FreeRADIUS3.0）(四)

EAP-TLS实验之Ubuntu20.04环境搭建配置（FreeRADIUS3.0）(四)

该篇主要介绍了利用配置ca.cnf、server.cnf、client.cnf在certs路径下生成证书文件&#xff08;非执行bootstrap脚本&#xff0c;网上也有很多直接通过openssl命令方式生成的文章&#xff09;&#xff0c;主要参考&#xff08;概括中心思想&#xff09;官方手册&#xff0c;以及…
阅读更多...
s-table和columns初始化不完整，造成table文件的filter报错

s-table和columns初始化不完整，造成table文件的filter报错

问题 顺藤摸瓜找errorHandler.js文件 发现文件并没有什么问题 顺藤摸瓜找index.vue文件 首先找到报错的filter&#xff0c;发现与columnsSetting相关 找到columnsSetting发现等于columns 返回自己使用S-table组件的地方&#xff0c;发现columns初始化时仅初始化为ref()未表明…
阅读更多...
统信软件：统一操作系统 UOS 代言人

统信软件：统一操作系统 UOS 代言人

这是ren_dong的第32篇原创 1、Deepin Deepin&#xff1a;最受欢迎的民用国产操作系统 2008 年,Deepin 操作系统最早版本正式发布&#xff0c;是由 深之度创始人刘闻欢组织团队研发的基于 Debian 的本地化 Linux 操作系统 2011 年,武汉深之度科技有限公司成立&#xff0c;开始产…
阅读更多...
Facebook的虚拟社交愿景：元宇宙时代的新起点

Facebook的虚拟社交愿景：元宇宙时代的新起点

在当今数字化时代&#xff0c;社交媒体已经成为人们生活中不可或缺的一部分。而随着科技的不断进步和社会的发展&#xff0c;元宇宙已经成为了人们关注的热点话题之一。作为社交媒体的领军企业之一&#xff0c;Facebook也在积极探索虚拟社交的未来&#xff0c;将其视为元宇宙时…
阅读更多...
LeetCode 2886.改变数据类型

LeetCode 2886.改变数据类型

DataFrame students ------------------- | Column Name | Type | ------------------- | student_id | int | | name | object | | age | int | | grade | float | ------------------- 编写一个解决方案来纠正以下错误&#xff1a; grade 列被存储为浮点数&#xff0c;将它转…
阅读更多...
6U VPX全国产飞腾D2000/8核+复旦微FPGA信息处理主板

6U VPX全国产飞腾D2000/8核+复旦微FPGA信息处理主板

产品特性 产品功能 飞腾计算平台&#xff0c;国产化率100% VPX-MPU6503是一款基于飞腾D2000/8核信息处理主板&#xff0c;采用由飞腾D2000处理器飞腾X100桥片的高性能计算机模块&#xff0c;双通道16G贴装内存&#xff0c;板载128G 固态SSD&#xff1b;预留固态盘扩展接口&…
阅读更多...
最新文章

Copyright @ 2022~2023