linux安装Kafka以及windows安装Kafka和常见问题解决

目录

Linux上安装Kafka

当主题删除不了时,可以进入zookeeper:

windows上安装kafka

安装Kafka需要有Zookeeper,或者也可以使用kafka自带的zookeeper

Linux上安装Kafka

将kafka的安装包上传到/export/server目录并解压,重命名:

tar -zxvf kafka压缩包名

mv kafka压缩包 kafka

1、进入 Kafka 解压目录的 config 目录中

cd /export/server/kafka_2.11-2.0.0/config/

2、利用 vi 或 vim 打开 server.properties 文件

修改:vi server.properties

找到 "broker.id=0"这一行,一般主节点设置为0

找到log.dirs这一行,修改日志存放路径

# broker 的编号,如果集群中有多个broker,则每个broker的编号需要设置的不同
broker.id=0
# broker 对外提供的服务入口地址
listeners=PLAINTEXT://master:9092
# 存放消息日志文件的地址
log.dirs=/opt/kafka_2.12-2.8.1/logs
# Kafka 所需的 ZooKeeper 集群地址
zookeeper.connect=master:2181,slave1:2181,slave2:2181

修改完后,切换到/export/server存放kafka的目录下,分发给两个从节点

scp -r /export/server/kafka/ slave1:/export/server/

scp -r /export/server/kafka/ slave2:/export/server/

分发完后,记得进入两个从节点的 server.properties文件,将broker.id改为1和2

borker.id=1
listeners=PLAINTEXT://slave1:9092
host.name=slave1

borker.id=2
listeners=PLAINTEXT://slave2:9092
host.name=slave2

配置环境变量:vi /etc/profile

export KAFKA_HOME=/export/server/kafka
export PATH=$PATH:$KAFKA_HOME/bin

刷新文件:source /etc/profile

分发给两个从节点:

scp -r /etc/profile slave1:/etc

scp -r /etc/profile slave2:/etc

先启动三台zookeeper: zkServer.sh start 再分别启动三台服务器上的kafka(后台启动命令):

kafka-server-start.sh -daemon config/server.properties

jps查看进程是否有kafka节点

经过以上步骤Kafka则安装完成

启动kafka命令:

./bin/kafka-server-start.sh或

./bin/kafka-server-start.sh -daemon config/server.properties(最好用这个)

创建topic,其中toipic名称为installtopic,分区数为2,副本数为2:

./bin/kafka-topics.sh --zookeeper master:2181 --create --replication-factor 2 --partitions 2 --topic installtopic

查看主题:

bin/kafka-topics.sh --list --zookeeper master:2181

当主题删除不了时,可以进入zookeeper:

//进入Cli端
bin/zkCli.sh -server master:2181
//查看主题
ls /brokers/topics3
//删除主题installtopic
deleteall /brokers/topics/installtopic
//退出Cli端
quit

windows上安装kafka

先在kafka目录下新建一个logs文件夹

修改config\server.properties

listeners=PLAINTEXT://localhost:9092

logs改为自己的路径

.\bin\windows\kafka-server-start.bat .\config\server.properties

Windows下启动单机kafka出现:系统找不到指定路径

解决方法:

修改bin\windows\kafka-run-class.bat

rem Which java to use这行下面的

ELSE(

set JAVA="你自己的jdk路径"

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/71507.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

本地YARN集群部署

请先完成HDFS的前置部署,部署方式可查看:本地部署HDFS集群https://blog.csdn.net/m0_73641796/article/details/145998092?spm1001.2014.3001.5502 部署说明 组件配置文件启动进程备注Hadoop HDFS需修改 需启动: NameNode作为主节点 DataNode作为从节点 Secondary…

UnrealEngine UE5 可视化 从地球观察火星 金星 土星 运动轨迹

视频参考:https://www.bilibili.com/video/BV1KpXSYdEdo/ 从地球观察土星的运动轨迹 从地球观察火星 轨迹 从地球观察金星的运动轨迹

【练习】【二叉树】力扣热题100 102. 二叉树的层序遍历

题目 二叉树的层序遍历 给你二叉树的根节点 root ,返回其节点值的 层序遍历 。 (即逐层地,从左到右访问所有节点)。 示例 1: 输入:root [3,9,20,null,null,15,7] 输出:[[3],[9,20],[15,7]] 示例…

鬼泣:项目前置设置杂项

能帮到你的话,就给个赞吧 😘 文章目录 插件niagara ui render:在 UI 中渲染 Niagara 特效skeletal editor:编辑骨骼,调整骨骼动画motion warping:根据目标自动调整角色动画。animation warping:…

通用信息抽取大模型PP-UIE开源发布,强化零样本学习与长文本抽取能力,全面适配多场景任务

背景与简介 信息抽取(information extraction)是指,从非结构化或半结构化数据(如自然语言文本)中自动识别、提取并组织出结构化信息。通常包含多个子任务,例如:命名实体识别(NER&am…

Matlab实现车牌识别

车牌识别技术作为现代智能交通系统、安防监控以及诸多车辆管理应用场景中的关键环节,正发挥着日益重要的作用,它能够自动、快速且精准地从车辆图像或视频流中提取车牌信息,实现车辆身份的智能化识别。 技术原理 车牌识别主要依托于图像处理、…

基于Asp.net的零食购物商城网站

作者:计算机学姐 开发技术:SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等,“文末源码”。 专栏推荐:前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏:…

数据结构与算法:二分答案法

前言 二分答案法是很牛逼的一种算法,本质思想就是猜答案,然后看能不能对上条件。 一、内容 1.使用条件 只有当让你输出的答案只有一个数的时候,且答案与给定条件之间存在单调性关系时才能使用。 2.步骤 首先,要先确定答案那…

Ubuntu20.04双系统安装及软件安装(十一):向日葵远程软件

Ubuntu20.04双系统安装及软件安装(十一):向日葵远程软件 打开向日葵远程官网,下载图形版本: 在下载目录下打开终端,执行: sudo dpkg -i SunloginClient(按tab键自动补全)出现报错: …

快速生成viso流程图图片形式

我们在写详细设计文档的过程中总会不可避免的涉及到时序图或者流程图的绘制,viso这个软件大部分技术人员都会使用,但是想要画的好看,画的科学还是比较难的,现在我总结一套比较好的方法可以生成好看科学的viso图(图片格式)。主要思…

C++设计一:日期类Date实现

一、引言与概述 1 引言 日期操作是软件开发中的常见需求,如日程管理、数据统计等场景均需处理日期的比较、偏移及合法性校验。为简化此类操作,本文设计了一个高效且类型安全的C日期类Date。 该类通过构造函数内嵌合法性检查,确保对象初始状…

【网络安全】——协议逆向与频繁序列提取:从流量中解码未知协议

目录 引言 一、为什么要结合频繁序列提取? 二、四步融合分析法 步骤1:原始流量采集与预处理 步骤2:多粒度序列模式挖掘 层1:单包内字节级频繁项 层2:跨数据包的行为序列 步骤3:关键字段定位与结构假…

【PAT (Basic Level) Practice】——【数论】1013 数素数

文章目录 一【题目难度】二【题目编号】三【题目描述】四【题目示例】五【解题思路】六【最终得分】七【代码实现】八【提交结果】 一【题目难度】 乙级 二【题目编号】 1013 数素数 三【题目描述】 令 Pi 表示第 i 个素数。现任给两个正整数 M≤N≤104,请输出…

HCIA—IP路由静态

一、概念及作用 1、概念:IP路由是指在IP网络中,数据从源节点到目的节点所经过的路径选择和数据转发的过程。 2、作用 ①实现网络互联:使不同网段的设备能够相互通信,构建大规模的互联网络 ②优化网络拓扑:根据网络…

雷池WAF的为什么选择基于Docker

Docker 是一种开源的容器化平台,可以帮助开发人员将应用程序及其所有依赖项打包到一个称为容器的独立、可移植的环境中。Docker 的核心概念包括以下几点: 容器:Docker 使用容器来封装应用程序及其依赖项,使其能够在任何环境中都能…

图像分类项目2:鸟类图像分类

1 数据集处理 1.1数据集下载 数据集来源:kaggle,网址:https://www.kaggle.com/,点击进入网站,左侧选择Datasets。 进入后搜索栏搜索关键词bird。此时出现很多数据集可以选择,推荐选择第一个或者第三个。…

01_NLP基础之文本处理的基本方法

自然语言处理入门 自然语言处理(Natural Language Processing, 简称NLP)是计算机科学与语言学中关注于计算机与人类语言间转换的领域,主要目标是让机器能够理解和生成自然语言,这样人们可以通过语言与计算机进行更自然的互动。 …

利用opencv_python(pdf2image、poppler)将pdf每页转为图片

1、安装依赖pdf2image pip install pdf2image 运行.py报错,因为缺少了poppler支持。 2、安装pdf2image的依赖poppler 以上命令直接报错。 改为手工下载: github: Releases oschwartz10612/poppler-windows GitHub 百度网盘: 百度网盘…

IDEA入门及常用快捷键

IDEA是java常用的IDE。当run一个.java文件时,其实是经历了先编译为.class,再运行的过程。 在project文件夹中,out文件夹存储编译的.class文件,src文件夹存储.java代码文件。 设置自动导包 快捷键: 格式化快捷键&…

io学习----->文件io

思维导图: 一.文件io的概念 文件IO:指程序和文件系统之间的数据交互 特点: 1.不存在缓冲区,访问速度慢 2.不可以移植,依赖于操作系统 3.可以访问不同的文件类型(软连接,块设备等) 4.文件IO属于系统调…