保姆级教程Docker部署KRaft模式的Kafka官方镜像

目录

一、安装Docker及可视化工具

二、单节点部署

1、创建挂载目录

2、运行Kafka容器

3、Compose运行Kafka容器

4、查看Kafka运行状态

三、集群部署

四、部署可视化工具

1、创建挂载目录

2、运行Kafka-ui容器

3、Compose运行Kafka-ui容器

4、查看Kafka-ui运行状态

在Kafka2.8版本之前，Kafka是强依赖于Zookeeper中间件的，这本身就很不合理，中间件依赖另一个中间件，搭建起来实在麻烦。所幸Kafka2.8之后推出了KRaft模式，即抛弃Zookeeper，由Kafka节点自己做Controller来选举Leader。本篇文章内容就是介绍如何在Docker中搭建Kafka KRaft环境。

一、安装Docker及可视化工具

Docker及可视化工具的安装可参考：Ubuntu上安装 Docker及可视化管理工具

二、单节点部署

在进行单节点部署并以KRaft模式运行时，该节点通常是混合节点的类型

1、创建挂载目录

# 创建宿主机kafka挂载目录
sudo mkdir -p /data/docker/kafka

2、运行Kafka容器

# 拉取镜像
sudo docker pull apache/kafka:3.9.0# 运行容器
sudo docker run --privileged=true \
--net=bridge \
-d --name=kafka \
-v /data/docker/kafka/data:/var/lib/kafka/data \
-v /data/docker/kafka/config:/mnt/shared/config \
-v /data/docker/kafka/secrets:/etc/kafka/secrets \
-p 9092:9092 -p 9093:9093 \
-e LANG=C.UTF-8 \
-e KAFKA_NODE_ID=1 \
-e CLUSTER_ID=kafka-cluster \
-e KAFKA_PROCESS_ROLES=broker,controller \
-e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
-e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
-e KAFKA_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.3.9:9092 \
-e KAFKA_CONTROLLER_QUORUM_VOTERS=1@localhost:9093 \
apache/kafka:3.9.0

参数解析如下：

参数参数说明
docker run运行 Docker 容器
-d容器将在后台运行，而不是占用当前的终端会话
--privileged=trueDocker会赋予容器几乎与宿主机相同的权限
--net=bridge网络模式配置，默认是bridge，bridge表示使用容器内部配置网络
--name kafka给容器命名为 kafka，以便于管理和引用该容器
-p 9092:9092 -p 9093:9093映射 kafka 的客户端通信端口和控制器端口
-e KAFKA_NODE_ID=1节点ID，用于标识每个集群中的节点，需要是不小于1的整数，同一个集群中的节点ID不可重复
-e CLUSTER_ID=kafka-cluster集群ID，可以自定义任何字符串作为集群ID，同一个集群中所有节点的集群ID必须配置为一样
-e KAFKA_PROCESS_ROLES=broker,controller节点类型，broker,controller表示该节点是混合节点，通常单机部署时需要配置为混合节点

-e KAFKA_INTER_BROKER_LISTENER_NAME=

PLAINTEXT

Kafka的Broker地址前缀名称，固定为PLAINTEXT即可

-e KAFKA_CONTROLLER_LISTENER_NAMES=

CONTROLLER

Kafka的Controller地址前缀名称，固定为CONTROLLER即可

-e KAFKA_LISTENERS=

PLAINTEXT://:9092,CONTROLLER://:9093

表示Kafka要监听哪些端口，PLAINTEXT://:9092,CONTROLLER://:9093表示本节点作为混合节点，监听本机所有可用网卡的9092和9093端口，其中9092作为客户端通信端口，9093作为控制器端口

-e KAFKA_ADVERTISED_LISTENERS=

PLAINTEXT://192.168.3.9:9092

配置Kafka的外网地址，需要是PLAINTEXT://外网地址:端口的形式，当客户端连接Kafka服务端时，Kafka会将这个外网地址广播给客户端，然后客户端再通过这个外网地址连接，除此之外集群之间交换数据时也是通过这个配置项得到集群中每个节点的地址的，这样集群中节点才能进行交互。需要修改为对应的Kafka的外网地址。

-e KAFKA_CONTROLLER_QUORUM_VOTERS=

1@localhost:9093

投票节点列表，通常配置为集群中所有的Controller节点，格式为节点id@节点外网地址:节点Controller端口，多个节点使用逗号,隔开，由于是混合节点，因此配置自己就行了
-v /data/docker/kafka/data:/var/lib/kafka/data持久化数据文件夹，如果运行出现问题可以清空该数据卷文件重启再试
-v /data/docker/kafka/config:/mnt/shared/config持久化配置文件目录
-v /data/docker/kafka/secrets:/etc/kafka/secrets持久化秘钥相关文件夹

容器运行参数详解参考：Docker容器运行常用参数详解-CSDN博客 

3、Compose运行Kafka容器

创建docker-compose.yml文件

sudo touch /data/docker/kafka/docker-compose.yml

文件内容如下：

version: '3'services:kafka:image: apache/kafka:3.9.0container_name: kafkaports:- "9092:9092"- "9093:9093"environment:- LANG=C.UTF-8- KAFKA_NODE_ID=1- CLUSTER_ID=kafka-cluster- KAFKA_PROCESS_ROLES=broker,controller- KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT- KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER- KAFKA_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093- KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.3.9:9092- KAFKA_CONTROLLER_QUORUM_VOTERS=1@localhost:9093volumes:- /data/docker/kafka/data:/var/lib/kafka/data- /data/docker/kafka/config:/mnt/shared/config- /data/docker/kafka/secrets:/etc/kafka/secretsprivileged: truenetwork_mode: "bridge"

运行容器

#-f:调用文件,-d:开启守护进程
sudo docker compose -f /data/docker/kafka/docker-compose.yml up -d

4、查看Kafka运行状态

三、集群部署

采用Broker + Controller集群，这是推荐的生产环境的集群部署方式，集群中不存在混合节点，每个节点要么是Broker类型，要么是Controller类型。

通过下列命令在服务器上部署：

# 定义域名
# 这是fish shell的变量定义语法
# 使用bash请替换为：kafka_host="192.168.3.9"
set kafka_host "192.168.3.9"# 节点1-Controller
sudo docker run -id --privileged=true \--net=bridge --name=kafka-1 \-p 10001:9093 \-v /data/docker/kafka-1/config:/mnt/shared/config \-v /data/docker/kafka-1/data:/var/lib/kafka/data \-v /data/docker/kafka-1/secrets:/etc/kafka/secrets \-e LANG=C.UTF-8 \-e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \-e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \-e CLUSTER_ID=kafka-cluster \-e KAFKA_NODE_ID=1 \-e KAFKA_PROCESS_ROLES=controller \-e KAFKA_CONTROLLER_QUORUM_VOTERS="1@$kafka_host:10001" \-e KAFKA_LISTENERS="CONTROLLER://:9093" \apache/kafka:3.9.0# 节点2-Broker
sudo docker run -id --privileged=true \--net=bridge --name=kafka-2 \-p 9002:9092 \-v /data/docker/kafka-2/config:/mnt/shared/config \-v /data/docker/kafka-2/data:/var/lib/kafka/data \-v /data/docker/kafka-2/secrets:/etc/kafka/secrets \-e LANG=C.UTF-8 \-e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \-e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \-e CLUSTER_ID=kafka-cluster \-e KAFKA_NODE_ID=2 \-e KAFKA_PROCESS_ROLES=broker \-e KAFKA_CONTROLLER_QUORUM_VOTERS="1@$kafka_host:10001" \-e KAFKA_LISTENERS="PLAINTEXT://:9092" \-e KAFKA_ADVERTISED_LISTENERS="PLAINTEXT://$kafka_host:9002" \apache/kafka:3.9.0# 节点3-Broker
sudo docker run -id --privileged=true \--net=bridge --name=kafka-3 \-p 9003:9092 \-v /data/docker/kafka-3/config:/mnt/shared/config \-v /data/docker/kafka-3/data:/var/lib/kafka/data \-v /data/docker/kafka-3/secrets:/etc/kafka/secrets \-e LANG=C.UTF-8 \-e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \-e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \-e CLUSTER_ID=kafka-cluster \-e KAFKA_NODE_ID=3 \-e KAFKA_PROCESS_ROLES=broker \-e KAFKA_CONTROLLER_QUORUM_VOTERS="1@$kafka_host:10001" \-e KAFKA_LISTENERS="PLAINTEXT://:9092" \-e KAFKA_ADVERTISED_LISTENERS="PLAINTEXT://$kafka_host:9003" \apache/kafka:3.9.0

这样，我们就部署了一个由1个Controller节点和2个Broker节点构成的集群，需要注意的是：

  • Broker节点无需暴露9093端口，Controller节点无需暴露9092端口
  • Broker节点需指定KAFKA_PROCESS_ROLES为broker，同样的Controller需要指定为controller
  • KAFKA_CONTROLLER_QUORUM_VOTERS配置只需要写集群中所有的Controller节点的地址端口列表
  • 对于KAFKA_LISTENERS配置项：Broker节点需要配置为PLAINTEXT://:9092，表示本节点作为Broker节点；Controller节点需要配置为CONTROLLER://:9093，表示本节点作为Controller节点
  • 对于KAFKA_ADVERTISED_LISTENERS配置项：Controller节点不能指定该配置；Broker节点需要指定为自己的外网地址和端口

四、部署可视化工具

在早期使用Kafka时，通常会选择Kafka Tool或Kafka Eagle进行管理。Kafka Tool是一款桌面应用程序，而Kafka Eagle则基于浏览器运行。尽管这两款工具在用户体验上表现平平，但它们基本能满足日常需求。

然而，自Kafka 3.3.1版本起，Kafka正式弃用了Zookeeper，转而采用自有的仲裁机制，即kraft模式。遗憾的是，上述两款工具似乎未能及时跟进这一更新，仍然要求用户输入Zookeeper地址才能连接，导致它们在新版本Kafka中无法正常使用。为了解决这一问题，我发现了一款轻量且易于使用的替代工具——kafka-ui，它能够更好地适配新版Kafka。

1、创建挂载目录

# 创建宿主机kafka-ui挂载目录
sudo mkdir -p /data/docker/kafka-ui/config# 创建挂载的配置文件
sudo touch /data/docker/kafka-ui/config/dynamic_config.yaml

2、运行Kafka-ui容器

# 拉取镜像
sudo docker pull provectuslabs/kafka-ui:v0.7.2# 运行容器
sudo docker run --privileged=true \
--net=bridge \
-d --name=kafka-ui \
-p 18080:8080 \
-v /data/docker/kafka-ui/config/dynamic_config.yaml:/etc/kafkaui/dynamic_config.yaml
-e KAFKA_CLUSTERS_0_NAME=kafka-cluster \
-e KAFKA_CLUSTERS_0_BOOTSTRAP_SERVERS=192.168.3.9:9092 \
-e SERVER_SERVLET_CONTEXT_PATH=/ \
-e AUTH_TYPE=LOGIN_FORM \
-e SPRING_SECURITY_USER_NAME=admin \
-e SPRING_SECURITY_USER_PASSWORD=admin \
-e TZ=Asia/Shanghai \
-e LANG=C.UTF-8 \
provectuslabs/kafka-ui:v0.7.2

参数解析如下：

参数参数说明
docker run运行 Docker 容器
-d容器将在后台运行，而不是占用当前的终端会话
--privileged=trueDocker会赋予容器几乎与宿主机相同的权限
--net=bridge网络模式配置，默认是bridge，bridge表示使用容器内部配置网络
--name kafka-ui给容器命名为 kafka-ui，以便于管理和引用该容器
-p 18080:8080映射 kafka-ui 的web端口

-v /data/docker/kafka-ui/config/dynamic_config.yaml:

/etc/kafkaui/dynamic_config.yaml

挂载配置文件，确保config/dynamic_config.yaml文件存在
-e SERVER_SERVLET_CONTEXT_PATH=/默认kafka-ui是免登录的，为了防止所有人都可以登录产生误操作问题，在docker部署的时候可以添加如下四个环境变量配置用户的登录密码。
-e AUTH_TYPE=LOGIN_FORM
-e SPRING_SECURITY_USER_NAME=admin
-e SPRING_SECURITY_USER_PASSWORD=admin
-e KAFKA_CLUSTERS_0_NAME=kafka-cluster自定义集群名称

-e KAFKA_CLUSTERS_0_BOOTSTRAP_SERVERS=

192.168.3.9:9092

集群地址，如有多个地址逗号分隔；需要修改为对应的Kafka的外网地址。

3、Compose运行Kafka-ui容器

创建docker-compose.yml文件

sudo touch /data/docker/kafka-ui/docker-compose.yml

文件内容如下：

version: '3'services:kafka:image: provectuslabs/kafka-ui:v0.7.2container_name: kafka-uiports:- "18080:8080"environment:- TZ=Asia/Shanghai- LANG=C.UTF-8- DYNAMIC_CONFIG_ENABLED=true- KAFKA_CLUSTERS_0_NAME=kafka-cluster- KAFKA_CLUSTERS_0_BOOTSTRAP_SERVERS=192.168.3.9:9092- SERVER_SERVLET_CONTEXT_PATH=/- AUTH_TYPE=LOGIN_FORM- SPRING_SECURITY_USER_NAME=admin- SPRING_SECURITY_USER_PASSWORD=adminvolumes:- /data/docker/kafka-ui/config/dynamic_config.yaml:/etc/kafkaui/dynamic_config.yamlprivileged: truenetwork_mode: "bridge"

运行容器

#-f:调用文件,-d:开启守护进程
sudo docker compose -f /data/docker/kafka-ui/docker-compose.yml up -d

4、查看Kafka-ui运行状态

http://192.168.3.9:18080/auth

账号和密码 都是admin

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/70364.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

CPU的基本结构

CPU的基本结构

基本结构 控制器（Control Unit）：负责控制，如指令计数器，指令跳转。 算术逻辑控制器（Arithmetic/Logic Unit）：负责计算，如算术运算加减，逻辑比较大小等。 南北…
阅读更多...
如何使用deepseek开发一个翻译API

如何使用deepseek开发一个翻译API

什么是deepseek Deepseek 是一个基于人工智能技术的自然语言处理平台，提供了多种语言处理能力，包括文本翻译、语义分析、情感分析等。它通过深度学习模型和大规模语料库训练，能够实现高质量的文本翻译和多语言理解。Deepseek 的核心优势在于…
阅读更多...
UnityShader学习笔记——渲染路径

UnityShader学习笔记——渲染路径

——内容源自唐老狮的shader课程 目录 1.是什么 2.LightMode标签 3.前向渲染路径（Forward） 3.1.处理光照的方式 3.2.处理各种光源的方式 3.3.在哪里进行光照计算 4.顶点照明渲染路径（Vertex） 5.延迟渲染路径（…
阅读更多...
单片机通讯中的时序图：初学者的入门指南

单片机通讯中的时序图：初学者的入门指南

一、什么是时序图？ 在单片机的世界里，时序图是一种非常重要的工具，它用于描述信号在时间上的变化规律。简单来说，时序图就像是信号的“时间线”，它展示了各个信号线在不同时间点上的电平状态。通过时序图，我…
阅读更多...
docker常用命令及案例

docker常用命令及案例

以下是 Docker 的所有常用命令及其案例说明&#xff0c;按功能分类整理&#xff1a; 1. 镜像管理 1.1 拉取镜像 命令: docker pull <镜像名>:<标签>案例: 拉取官方的 nginx 镜像docker pull nginx:latest1.2 列出本地镜像 命令: docker images案例: 查看本地所有…
阅读更多...
集合类不安全问题

集合类不安全问题

ArrayList不是线程安全类&#xff0c;在多线程同时写的情况下&#xff0c;会抛出java.util.ConcurrentModificationException异常 解决办法&#xff1a; 1.使用Vector&#xff08;ArrayList所有方法加synchronized&#xff0c;太重&#xff09; 2.使用Collections.synchronized…
阅读更多...
【自开发工具介绍】SQLSERVER的ImpDp和ExpDp工具04

【自开发工具介绍】SQLSERVER的ImpDp和ExpDp工具04

SQLSERVER的ImpDp和ExpDp工具演示 1、指定某些表作为导出对象外 (-exclude_table) 验证用&#xff1a;导出的表&#xff0c;导入到新的数据库 2、指定某些表作为导出对象外 (-exclude_table) 支持模糊检索&#xff0c;可以使用星号 以s开头的表作为导出对象外&#xff0c;…
阅读更多...
【大模型】基于LlamaIndex实现大模型RAG

【大模型】基于LlamaIndex实现大模型RAG

文章目录 一、RAG基础二、使用大语言模型LLMs2.1 使用OpenAI大模型2.2 本地大模型 三、构建RAG pipeline3.1 加载数据3.1.1 SimpleDirectoryReader3.1.2 DatabaseReader3.1.3 直接创建文档Document 3.2 转换数据3.3 索引/嵌入 Indexing & Embedding3.4 存储3.5 查询3.6 评估…
阅读更多...
Mac 终端命令大全

Mac 终端命令大全

—目录操作— ꔷ mkdir 创建一个目录 mkdir dirname ꔷ rmdir 删除一个目录 rmdir dirname ꔷ mvdir 移动或重命名一个目录 mvdir dir1 dir2 ꔷ cd 改变当前目录 cd dirname ꔷ pwd 显示当前目录的路径名 pwd ꔷ ls 显示当前目录的内容 ls -la ꔷ dircmp 比较两个目录的内容 di…
阅读更多...
你猜猜 攻防世界

你猜猜 攻防世界

你猜猜 打开附件&#xff1a; 504B03040A0001080000626D0A49F4B5091F1E0000001200000008000000666C61672E7478746C9F170D35D0A45826A03E161FB96870EDDFC7C89A11862F9199B4CD78E7504B01023F000A0001080000626D0A49F4B5091F1E0000001200000008002400000000000000200000000000000…
阅读更多...
优惠券平台（一）：基于责任链模式创建优惠券模板

优惠券平台（一）：基于责任链模式创建优惠券模板

前景概要 系统的主要实现是优惠券的相关业务&#xff0c;所以对于用户管理的实现我们简单用拦截器在触发接口前创建一个单一用户。 // 用户属于非核心功能&#xff0c;这里先通过模拟的形式代替。后续如果需要后管展示&#xff0c;会重构该代码 UserInfoDTO userInfoDTO new…
阅读更多...
VsCode创建VUE项目

VsCode创建VUE项目

1. 首先安装Node.js和npm 通过网盘分享的文件&#xff1a;vsCode和Node&#xff08;本人电脑Win11安装&#xff09; 链接: https://pan.baidu.com/s/151gBWTFZh9qIDS9XWMJVUA 提取码: 1234 它们是运行和构建Vue.js应用程序所必需的。 1.1 Node安装&#xff0c;点击下一步即可 …
阅读更多...
大模型产品Deepseek（五）、本地安装部署（Docker方式）

大模型产品Deepseek（五）、本地安装部署（Docker方式）

DeepSeek 本地部署指南 DeepSeek是一款高效的智能搜索与推荐引擎，除了通过云端API提供服务外，它还支持本地部署，让开发者可以完全控制数据和计算资源。通过本地部署，您可以将DeepSeek集成到内部系统中，在私有环境下运行模型，减少对外部API的依赖，同时提升数据隐私性与响…
阅读更多...
JVM 中的四类引用：强、软、弱、虚

JVM 中的四类引用：强、软、弱、虚

导言 在 Java 开发中&#xff0c;垃圾收集&#xff08;GC&#xff09;机制通过自动管理内存提升了开发效率。但你是否知道 JVM 通过四种引用类型&#xff08;强、软、弱、虚&#xff09;精细控制对象生命周期&#xff1f; 强引用&#xff08;Strong Reference&#xff09; 特…
阅读更多...
数据结构--八大排序算法

数据结构--八大排序算法

1. 直接插入排序 当插入第 i(i>1) 个元素时&#xff0c;前面的 array[0],array[1],…,array[i-1] 已经排好序&#xff0c;此用 array[i] 的排序码与 array[i-1],array[i-2],… 的排序码顺序进行比较&#xff0c;找到插入位置即将 array[i] 插入&#xff0c;原来位置上的元素…
阅读更多...
【C/C++算法】从浅到深学习---双指针算法（图文兼备 + 源码详解）

【C/C++算法】从浅到深学习---双指针算法（图文兼备 + 源码详解）

绪论&#xff1a;冲击蓝桥杯一起加油&#xff01;&#xff01; 每日激励&#xff1a;“不设限和自我肯定的心态&#xff1a;I can do all things。 — Stephen Curry” 绪论​&#xff1a; 本章是新开篇章也是算法的第一篇章----双指针算法&#xff0c;双指针算法是算法中非常…
阅读更多...
Python内置函数map(), list(), len(), iter(), hex(), hash()的详细解析，包括功能、语法、示例及注意事项

Python内置函数map(), list(), len(), iter(), hex(), hash()的详细解析，包括功能、语法、示例及注意事项

1. map(function, iterable, ...) 功能&#xff1a;对可迭代对象中的每个元素应用指定函数&#xff0c;返回一个迭代器。 参数&#xff1a; function&#xff1a;要执行的函数&#xff08;可以是lambda表达式&#xff09;。 iterable&#xff1a;一个或多个可迭代对象&#x…
阅读更多...
Win本地安装Ollama+本地运行大模型+Cherrystudio使用

Win本地安装Ollama+本地运行大模型+Cherrystudio使用

0. 前言 本文主要介绍 win 本地安装 Ollama &#xff0c;本地部署 Ollama 的 deepseek-r1:7b 大模型&#xff0c;使用具有界面画操作的工具 Cherrystudio进行操作。文章内容仅供参考。 1. Ollama简介 ‌ ‌Ollama 是一个开源的框架&#xff0c;旨在本地运行大型语言模型…
阅读更多...
用户点击商品埋点的实现方案

用户点击商品埋点的实现方案

在高并发、可扩展性和高可用性的前提下&#xff0c;实现用户点击商品的埋点&#xff0c;方案应包括 数据采集、数据传输、数据存储和数据分析 四个主要环节。下面是一个完整的埋点实现方案&#xff1a; 1. 方案架构 整体流程&#xff1a; 前端埋点&#xff1a;用户点击商品时…
阅读更多...
【C++】AVLTree(AVL树)简单模拟

【C++】AVLTree(AVL树)简单模拟

文章目录 1.AVL树的结点2.AVL树的插入3.AVL树的旋转3.1 新节点插入较高左子树的左侧---左左&#xff1a;右单旋3.2 新节点插入较高右子树的右侧---右右&#xff1a;左单旋3.3 新节点插入较高左子树的右侧---左右&#xff1a;先左单旋再右单旋3.4 新节点插入较高右子树的左侧---…
阅读更多...
最新文章

Copyright @ 2022~2023