JDK ZOOKEEPER KAFKA安装

JDK17下载安装

mkdir -p /usr/local/develop

cd /usr/local/develop

将下载的包上传服务器指定路径

解压文件

tar -zxvf jdk-17.0.14_linux-x64_bin.tar.gz -C /usr/local/develop/

修改文件夹名

mv /usr/local/develop/jdk-17.0.14 /usr/local/develop/java17

配置环境变量

vim /etc/profile
 

export JAVA_HOME=/usr/local/develop/17

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib

保存之后让环境变量生效

source /etc/profile

KAFKA下载安装

kafka.apache.org

将下载的包放到/usr/local/develop路径下

解压

tar -xvf kafka_2.13-3.9.0.tgz -C /usr/local/develop/

Kafka 的版本命名方式 kafka_2.13-3.9.0 可以拆分成两部分：

  1. 2.13：指的是 Scala 版本
  2. 3.9.0：指的是 Kafka 的版本号

cd kafka_2.13-3.9.0

命令区别

在解压JDK和KAFKA时候

JDK用了tar -zxvf  而KAFKA用了 tar -xvf的原因

Kafka启动方式

kafka基于Scala开发,需要Java8+环境

有两种启动方式

1种是基于zookeeper  另外一种是基于KRaft(用于取代Zookeeper)

基于ZOOKEEPER启动

(zookeeper也是java开发的)

进去kafka的bin目录

cd /usr/local/develop/kafka_2.13-3.9.0/bin

先启动zookeeper 并指定Zookeeper的配置文件  即使不指定应该也是用的这个配置文件

nohup ./zookeeper-server-start.sh ../config/zookeeper.properties > /usr/local/develop/zookeeper.log 2>&1 &

启动kafka

nohup ./kafka-server-start.sh ../config/server.properties > /usr/local/develop/zookeeper.log 2>&1 &

关闭kafka

./kafka-server-stop.sh

关闭zookeeper

./zookeeper-server-stop.sh

可以通过

netstat -nlpt   查看使用的端口

基于KRaft启动(无需zookeeper)

cd /usr/local/develop/kafka_2.13-3.9.0/bin

生成 Cluster UUID(集群ID)

./kafka-storage.sh random-uuid              可以多次执行  每次生成的UUID不同

格式化存储 format -t  后面是集群ID 然后指定配置

./kafka-storage.sh format -t zvalKa2rSxmM_NUp6hOxxQ -c ../config/kraft/server.properties &
启动 Kafka

nohup ./kafka-server-start.sh ../config/kraft/server.properties > /usr/local/develop/zookeeper.log 2>&1 &

关闭

./kafka-server-stop.sh
 

解释:事实上UUID可以随意   但是当第一次启动之后 在/tmp/kraft-combined-logs 中已经将zvalKa2rSxmM_NUp6hOxxQ集群ID写入   可以

rm -rf /tmp/kraft-combined-logs   这样的话  集群ID是123也可以启动

./kafka-storage.sh format -t 123 -c ../config/kraft/server.properties &

使用独立zookerper

kafka自带了zookerper

zookeeper下载安装

都一样  随便点击下载   或者用wget下载

cd /usr/local/develop

wget https://dlcdn.apache.org/zookeeper/zookeeper-3.9.3/apache-zookeeper-3.9.3-bin.tar.gz

解压

tar -zxvf apache-zookeeper-3.9.3-bin.tar.gz -C /usr/local/develop/

cd apache-zookeeper-3.9.3-bin

配置zookeeper

cd /usr/local/develop/apache-zookeeper-3.9.3-bin/conf

cp zoo_sample.cfg zoo.cfg

启动zookeeper

./zkServer.sh start                    默认就会用zoo.cfg的配置

./zkServer.sh stop     关闭zookeeper

netstat -nlpt           查看使用的端口和pid

zookeeper会启用一个8080端口  为避免端口冲突   修改下配置

‌ZooKeeper的8080端口主要用于管理界面和REST API服务‌。ZooKeeper的默认管理端口是8080，通过这个端口可以访问ZooKeeper的管理界面和REST API，从而进行配置管理、监控和调试等操作‌

kill之后重启zookeeper    或者在zookeeper的bin目录下执行   ./zkServer.sh stop

‌ZooKeeper的8080端口主要用于管理界面和REST API服务‌。ZooKeeper的默认管理端口是8080，通过这个端口可以访问ZooKeeper的管理界面和REST API，从而进行配置管理、监控和调试等操作‌

不了解之前  安全组还是关闭的好

用独立zookeeper启动kafka

先启动zookeeper

nohup/usr/local/develop/apache-zookeeper-3.9.3-bin/bin/zkServer.sh start

启动kafka

nohup /usr/local/develop/kafka_2.13-3.9.0/bin/kafka-server-start.sh /usr/local/develop/kafka_2.13-3.9.0/config/server.properties > /usr/local/develop/zookeeper.log 2>&1       后面加&  不加是前台启动

关闭kafka

/usr/local/develop/kafka_2.13-3.9.0/bin/kafka-server-start.sh

关闭zookeeper

ps -ef|grep zoo

或者

netstat -nlpt

然后kill 

通过Docker安装kafka

1.安装docker

查看是否安装过docker

yum list installed|grep docker

卸载docker

sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

安装最新版本docker

设置docker的下载镜像  这个适合国外,国内可能有点慢

sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
 

国内用这个
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

上面两个命令-->向 /etc/yum.repos.d/ 目录中新增一个 .repo 配置文件，让 yum 能够从指定的 Docker 仓库下载软件包。    docker-ce.repo作用是指定去哪里下载镜像  镜像源配置文件

/etc/yum.repos.d

sudo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

sudo systemctl start docker

设置docker开机自启

sudo systemctl enable docker

配置docker镜像加速器

vim /etc/docker/daemon.json

{
  "registry-mirrors": [
    "https://dockerproxy.com",
    "https://mirror.baidubce.com",
    "https://docker.m.daocloud.io",
    "https://docker.nju.edu.cn",
    "https://docker.mirrors.sjtug.sjtu.edu.cn"
  ]
}
 

加载配置

sudo systemctl daemon-reload

如果无法启动 配置vim /etc/docker/daemon.json的时候格式有误

sudo systemctl restart docker


systemctl status docker   查看docker状态

systemctl stop docker   停止docker

也可以使用

service docker start   启动

service docker stop   停止

service docker restart  重启

2.docker安装kafka

docker search kafka

可以查看kafka文档

也可以上docker查看

我这里就按kafka官方推荐的

拉取镜像也可以直接run  没有就会自动下载

docker pull apache/kafka-native:3.9.0

先要启动zookeeper 

docker run -d --name dckafka -p 9092:9092 apache/kafka:3.9.0

Docker配置Kafka

以上方式启动kafka的话,用于本地测试,外部无法连接

https://hub.docker.com/r/apache/kafka

Docker容器的kafka三种配置方式,

1.就是默认配置 (因没有配置,外部无法连接,只有本地测试可用)

2.文件输入:提供一个本地kafka属性配置文件,替换docker容器中kafka的默认配置

3.环境变量:通过-e 变量  在启动时候覆盖默认配置中的对应属性值

在kafka的docker容器内部 /etc/kafka/docker  下有个server.properties

需要将这个文件放到宿主机

mkdir -p /usr/local/develop/docker/kafka/data

创建Topic

这里暂时用传统方式启动zookeeper和kafka    用kafka自带的zookeeper

进去kafka的bin目录

cd /usr/local/develop/kafka_2.13-3.9.0/bin

先启动zookeeper

nohup ./zookeeper-server-start.sh ../config/zookeeper.properties > /usr/local/develop/zookeeper.log 2>&1 &

启动kafka

nohup ./kafka-server-start.sh ../config/server.properties > /usr/local/develop/zookeeper.log 2>&1 &

# 1. 创建主题  --bootstrap-server localhost:9092指要连接的kafka服务器
./kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

./kafka-topics.sh --create --topic quickstart-events2 --partitions 2 --bootstrap-server localhost:9092    指定分区数量
修改分区数量(分区数量只能加 不能减 (删了重新创建))

./kafka-topics.sh --alter --topic quickstart-events2 --partitions 5 --bootstrap-server localhost:9092

# 2. 列出所有主题
./kafka-topics.sh --list --bootstrap-server localhost:9092

# 3. 显示主题详细信息
./kafka-topics.sh --describe --topic quickstart-events2 --bootstrap-server localhost:9092

# 4. 删除主题
./kafka-topics.sh --delete --topic quickstart-events --bootstrap-server localhost:9092

Kafka和EMQX的区别

生产者消费者通信(发送接收)

示例:

创建Topic

./kafka-topics.sh --create --topic topic-0 --bootstrap-server localhost:9092

生产者发送消息

./kafka-console-producer.sh --topic topic-0 --bootstrap-server localhost:9092  回车后建立生产者的连接通道,消息就会被发送到 Kafka topic-0 主题中。

消费者读消息(拉取)  --from-beginning 消费拉取该topic所有历史消息 (因此每次启动都可以重复消费)

./kafka-console-consumer.sh --topic topic-0 --from-beginning --bootstrap-server localhost:9092

没有--from-beginning 只会消费(拉取)新消息 消费者启动之后生产者发送的消息

./kafka-console-consumer.sh --topic topic-0 --bootstrap-server localhost:9092
 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/71535.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

高考數學。。。

高考數學。。。

2024上 具体来说，直线的参数方程可以写为： x1t y−t z1t 二、简答题(本大题共5小题，每小题7分，共35分。) 12.数学学习评价不仅要关注结果评价，也要关注过程评价。简要说明过程评价应关注哪几个方面。…
阅读更多...
C# 实现鼠标轨迹录制与回放自动化功能(附源码)

C# 实现鼠标轨迹录制与回放自动化功能(附源码)

在软件自动化测试或者重复性办公任务中，鼠标操作的自动化可以大大减少人工干预，提高工作效率。这里将详细介绍如何使用 C# 实现鼠标轨迹的录制与回放功能，代码结构清晰，具有较强的扩展性。 引用 NuGet 包 在开发这个功能时&…
阅读更多...
Nacos 核心功能实战笔记(超详细)

Nacos 核心功能实战笔记(超详细)

Nacos 核心功能实战笔记 一、Nacos 简介 1. 是什么？ 全称：Nacos Naming and Configuration Service定位：阿里巴巴开源的 动态服务发现、配置管理、服务管理平台核心功能：服务注册与发现 统一配置管理 服务健康监测适用场景&…
阅读更多...
安装remixd，在VScode创建hardhat

安装remixd，在VScode创建hardhat

在终端，以管理员身份，cmd 需要科学上网 npm install -g remix-project/remixd 在vscode插件中，安装solidity插件，是暗灰色那款 1.将nodeJs的版本升级至18以上 2.在vscode打开一个新的文件，在终端输入 npx hardhat 3.…
阅读更多...
unity pico开发 四 物体交互 抓取 交互层级

unity pico开发 四 物体交互 抓取 交互层级

文章目录 手部设置物体交互物体抓取添加抓取抓取三种类型抓取点偏移抓取事件抓取时不让物体吸附到手部 射线抓取交互层级 手部设置 为手部（LeftHandController）添加XRDirInteractor脚本 并添加一个球形碰撞盒，勾选isTrigger,调整大小为0.1 …
阅读更多...
CyberRT(apollo) 定时器模块简述及bug分析

CyberRT(apollo) 定时器模块简述及bug分析

timer 模块 timer的定义，cyberrt中timer模块用于设置定时器任务，字面意思，设置设置定时周期及出发频次（周期 or oneshot)，到达指定时间时间触发callback time wheel 时钟节拍轮，常见的定时器设计&#x…
阅读更多...
java八股文之消息中间件

java八股文之消息中间件

1.RabbitMQ如何保证消息不丢失 开启生产者确认机制，确保生产者的消息能到达队列开启持久化功能，确保消息未消费前在队列中不会丢失（交换机，队列，消息都需要开启持久化功能）开启消费者确认机制为auto,由spr…
阅读更多...
Win7重装不翻车！ISO镜像安全下载渠道+BIOS设置避雷手册

Win7重装不翻车！ISO镜像安全下载渠道+BIOS设置避雷手册

一、写在前面：为什么你需要这份教程？ 当电脑频繁蓝屏、系统崩溃甚至无法开机时，重装系统可能是最后的救命稻草。但市面上的教程往往存在三大痛点： ⚠️ 镜像来源不明导致系统被植入后门 ⚠️ 启动盘制作失败反复折腾 ⚠️ 操作失…
阅读更多...
大学至今的反思与总结

大学至今的反思与总结

现在是2025年的3月5日，我大三下学期。 自大学伊始，我便以考研作为自己的目标，有时还会做自己考研上岸头部985,211，offer如潮水般涌来的美梦。 但是我却忽略了一点，即便我早早下定了决心去考研，但并没有早…
阅读更多...
SpringBoot 全局异常处理

SpringBoot 全局异常处理

文章目录 异常处理全局异常处理（推荐）局部异常处理高级技巧设置返回状态码处理404异常异常处理 全局异常处理（推荐） 创建一个全局异常处理类，使用 @RestControllerAdvice 注解标记。 在方法上使用 @ExceptionHandler 声明当前方法可处理的异常类型。当系统发生异常时，…
阅读更多...
【四.RAG技术与应用】【11.阿里云百炼应用（上）：RAG在云端的实践】

【四.RAG技术与应用】【11.阿里云百炼应用（上）：RAG在云端的实践】

一、为什么需要RAG？大模型的“知识困境”与破局之道 大模型虽然“博学”，但它的知识库存在两个致命短板： 缺乏私有知识：比如企业内部的产品手册、客户数据、行业报告等；知识更新滞后：大模型的训练数据往往停留在某个时间点，无法实时获取最新信息（比如今天的股票行情或…
阅读更多...
使用wifi连接手机adb进行调试|不使用数据线adb调试手机|找应用错误日志和操作日志

使用wifi连接手机adb进行调试|不使用数据线adb调试手机|找应用错误日志和操作日志

手机在开发者选项里要开启无线调试 在手机设置中查看WiFi的IP地址 设置 -> WLAN -> 已连接的WiFi -> IP地址 使用手机的IP地址连接 adb connect 192.168.1.12:xxxxx 检查连接状态 adb devices 断开特定设备 adb disconnect 192.168.x.x:xxxxx 断开所有设备 …
阅读更多...
mapbox高阶，结合threejs（threebox）添加三维球体

mapbox高阶，结合threejs（threebox）添加三维球体

👨‍⚕️ 主页： gis分享者 👨‍⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏：mapbox 从入门到精通 文章目录 一、🍀前言1.1 ☘️mapboxgl.Map 地图对象1.2 ☘️mapboxgl.Map style属性1.3 ☘️threebox Sphere静态对象二、🍀使用t…
阅读更多...
游戏引擎学习第140天

游戏引擎学习第140天

回顾并为今天的内容做准备 目前代码的进展到了声音混音的部分。昨天我详细解释了声音的处理方式，声音在技术上是一个非常特别的存在，但在游戏中进行声音混音的需求其实相对简单明了，所以今天的任务应该不会太具挑战性。 今天我们会编写一个…
阅读更多...
golang并发编程如何学习

golang并发编程如何学习

《掌握 Golang 并发编程的通关秘籍》 在当今的编程世界中，Golang 并发编程正以其独特的魅力和强大的能力吸引着众多开发者。然而，对于许多小伙伴来说，如何学好这门技术却成了一个头疼的问题。别担心，今天就让我来为大家揭开 Gola…
阅读更多...
SpringMVC学习（controller层加载控制与(业务、功能)bean加载控制、Web容器初始化配置类）(3)

SpringMVC学习（controller层加载控制与(业务、功能)bean加载控制、Web容器初始化配置类）(3)

目录 一、SpringMVC、Spring的bean加载控制。 &#xff08;1&#xff09;实际开发的包结构层次。 &#xff08;2&#xff09;如何"精准"控制两个容器分别加载各自bean。(分析) <1>SpringMVC相关bean加载控制。(方法) <2>Spring相关bean加载控制。(方法) …
阅读更多...
fastapi+mysql实现增删改查

fastapi+mysql实现增删改查

说明&#xff1a; 我计划用python的fastapi框架&#xff0c;实现操作MySQL数据库的表&#xff0c;实现增删改查的操作&#xff0c;并且在postman里面测试 step1: 安装数据库依赖 pip install fastapi uvicorn pymysqlstep2:C:\Users\Administrator\PycharmProjects\FastAPIPro…
阅读更多...
Linux系统之配置HAProxy负载均衡服务器

Linux系统之配置HAProxy负载均衡服务器

Linux系统之配置HAProxy负载均衡服务器 前言一、HAProxy介绍1.1 HAProxy简介1.2 主要特点1.3 使用场景二、本次实践介绍2.1 本次实践简介2.2 本次实践环境规划三、部署两台web服务器3.1 运行两个Docker容器3.2 编辑测试文件3.3 访问测试四、安装HAProxy4.1 更新系统软件源4.2 安…
阅读更多...
CS144 Lab Checkpoint 2: the TCP receiver

CS144 Lab Checkpoint 2: the TCP receiver

Overview TCPReceiver 从对等的sender接收消息&#xff0c;使用 receive() 方法&#xff0c;然后调用 Reassembler() 方法&#xff0c;后者写入 ByteStream 中 然后应用程序从 ByteSteam 中读取。 同时&#xff0c;TCPReceiver 还会通过 send() 方法给sender发送消息&#xff…
阅读更多...
Spring Boot 3.x 核心注解详解与最佳实践

Spring Boot 3.x 核心注解详解与最佳实践

Spring Boot 3.x 核心注解详解与最佳实践 前言 随着Spring Boot 3.x的正式发布&#xff0c;这个基于Spring Framework 6的里程碑版本带来了诸多新特性。本文将深入剖析Spring Boot 3.x的核心注解体系&#xff0c;结合代码示例讲解其作用及使用场景&#xff0c;助您快速掌握新…
阅读更多...
最新文章

Copyright @ 2022~2023