学习kafka

一个存放消息的组件
生产者,  消费者,  broker三部分

消息队列的两种模式
*生产者和消费者(消费者主动拉取信息,然后删除)
*发布订阅()

kafka基础架构*一个topic有多个partition(副本(信息非全量),有分leader和follower)
*消费者组(只消费leader的)(一个分区一个消费者处理)
*zookeeper()


安装

修改broker id
修改ZK地址
修改数据存放路径

生产者原理

流程:数据——缓存——集群
        数据量先写道缓存 到达指定批次数量(batch)(默认16K),或等待时间(linger)(默认0秒)就发送

        *可以异步发送

        *可以异步发送回调

        *同步发送

        分区
       
*1有指定的-指定partution
        *2有key的-根据key和toipc的partition数取余,
        *3啥没有的-粘性分区(随机,批次满了或时间到在随机下一个)

         怎么提高吞吐量


        *加大批次(batch)(默认16K)
        *等待时间(linger)(默认0
        *压缩
        *修改缓冲区大小(默认32M)

        幂等性:(无论发送多少次,都只保存一条)
        去重性(最多一次)配置acks
        可靠性(最少一次)

        有序性(开启幂等性,或者设置单分区)

架构

        消费者

        broker
                broker
                topic
                partition分区
                        可靠性(副本(leader,folloer))
                        生产者和消费者只对leader操
                        一个分区只有一个消费者

        消费者

        zookeeper
                broker.ids
                leader
                辅助选举

生产者API

        *send()异步发送
        *可以回调可以实现同步
        *批量发送设置(batch)(默认16K),或等待时间(linger)默认0
        *配置acks
                (acks=0或者1)最多一次(去重)
                 (acks=-1或者retries>0)最少一次(可靠)
        

消费者API
       
可以自动提交者手动提交(单条或者批量提交)
 

支持事务y

      隔离级别 读未提交,读提交

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/200009.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CTF特训日记day(4-6)

来复现一下2022QWB决赛的RDP题目 这两天腰疼去了趟医院 题目要求我们攻击XRDP程序,从而达到本地提权的效果。 首先观察XRDP程序的版本信息 rootRDP:/home/rdp/Desktop# xrdp-sesman -version xrdp-sesman 0.9.18The xrdp session managerCopyright (C) 2004-2020…

Diary12-Word表格

Word表格 一.制表符 1.制表 制表:tab键,一个tab键2个空格 2.制表符 使用了tab键之后,所留下来的标记,等同于段落标记 二.制表位与表格 1.制表位 制表位:是指制表符在水平标尺上的位置,指定文字缩进的…

【eNSP实践】eNSP实战篇(2)之简单实现交换机与主机的配置(图文详解)

目录 写在前面涉及知识1、交换机实验1.1 实验条件1.2 实验步骤A、打开eNSP软件,创建拓扑B、搭建主机与交换机连线C、配置交换机和主机D、验证不同网段设备可通性 1.3 通过交换机查看MAC地址 写在最后 写在前面 其实前面文章我有介绍关于路由器的使用,但…

Java多线程技术二:线程间通信——wait/notify机制

1 概述 线程时操作系统中独立的个体,但这些个体如果不经过特殊的处理是不能成为一个整体的。线程间的通信就是使线程成为整体的比用方案之一,可以说,是线程间进行通信后系统之间的交互性会更强大,CPU利用率会得以大幅提高&#xf…

linux 进程间几种常见通信方式介绍

在Linux系统中,进程间通信(Inter-Process Communication,IPC)是指进程之间进行信息交换和共享资源的一种机制。Linux系统提供了多种IPC方式,包括管道、消息队列、信号量、共享内存和套接字等。下面将详细介绍这些IPC方…

Spring Boot项目打包指定包名

在pom.xml文件中的添加<build></build>配置项<finalName>指定包名</finalName>&#xff0c;如想打包的包名叫myApp&#xff0c;添加<finalName>my_server</finalName>即可。 <?xml version"1.0" encoding"UTF-8"…

数据结构基础(不带头节点的单向非循环链表)

单链表完整代码 LinkList.hLinkList.ctest.c LinkList.h #pragma once#include <stdio.h> #include <stdlib.h> #include <assert.h> #include <string.h>typedef int ElemType; typedef struct LNode {ElemType data;struct LNode* next; }LNode;voi…

深入理解Linux =~

一、基本用法 在Linux中&#xff0c;~是用于正则表达式匹配的符号&#xff0c;其基本用法是&#xff1a; [[ $variable ~ pattern ]] 其中$variable是待匹配的字符串&#xff0c;pattern是正则表达式。如果匹配成功&#xff0c;则返回0&#xff0c;否则返回1。 例如&#x…

执法记录仪、一体化布控球等目前支持的AI智能算法、视频智能分析算法有哪些

一、前端设备实现AI算法 主要是基于安卓的布控球实现&#xff0c;已有的算法包括&#xff1a; 1&#xff09;人脸&#xff1b;2&#xff09;车牌&#xff1b;3&#xff09;是否佩戴安全帽&#xff1b;4&#xff09;是否穿着工装&#xff1b; 可以支持定制开发 烟雾&#xf…

使用晶振遇到的两个问题

并联电阻的问题 在一些方案中&#xff0c;晶振并联1MΩ电阻时&#xff0c;程序运行正常&#xff0c;而在没有1MΩ电阻的情况下&#xff0c;程序运行有滞后及无法运行现象发生。 原因分析&#xff1a; 在无源晶振应用方案中&#xff0c;两个外接电容能够微调晶振产生的时钟频率…

【算法思考记录】力扣2477. 到达首都的最少油耗【Java,深度优先搜索】

原题链接 到达首都的最少油耗&#xff1a;一种优雅的解决方案 题目解析 这个算法题目描述了一个有趣的场景&#xff1a;一棵由城市和道路组成的树形结构&#xff0c;其中每个节点代表一个城市&#xff0c;边代表道路。所有城市的代表需要前往编号为0的城市——首都参加会议。…

开放式蓝牙耳机什么品牌好?南卡、韶音、cleer开放式耳机哪个好?

开放式耳机采用不入耳的设计&#xff0c;提供更为舒适的佩戴体验&#xff0c;不会给耳朵带来持续的压力和损害&#xff0c;减轻身体负担。同时&#xff0c;由于无需将耳机插入耳朵内&#xff0c;减少了细菌滋生的可能性&#xff0c;避免了一些耳道健康问题。这些优点也是开放式…

P5 Linux 标准C库函数

目录 前言 01 标准输入、标准输出和标准错误 02 打开文件 fopen() 03 新建文件的权限 04 fclose()关闭文件 05 读文件和写文件 06 库函数 fseek 定位 6.1 lseek的使用 07 ftell()函数 前言 &#x1f3ac; 个人主页&#xff1a;ChenPi &#x1f43b;推荐专栏1: 《C_Chen…

将显存和内存使用降低到原来的1/5左右

llm数据预处理的技巧 1&#xff0c;提前将数据集转为token 2&#xff0c;且可以提前全部对齐 3&#xff0c;存储的时候要每个序列存储为str([1,2,3]) 这样训练的时候再eval出来会让磁盘上显示多大数据内存就占用多大数据 根据上述的思路 如果能够将一个llm 大模型的整个推理过…

Dinky之安装部署与基本使用

Dinky之安装部署与基本使用 Dinky概览Linux安装部署解压到指定目录初始化MySQL数据库修改配置文件加载依赖启动Dinky Docker部署启动dinky-mysql-server镜像启动dinky-standalone-server镜像 Dinky的基本使用上传jar包Flink配置集群管理集群实例管理集群配置管理 创建作业语句编…

打破界限:SQL数据库水平扩展的8大挑战与机遇

数据库扩展是指提升数据库处理更多数据、更多用户或更多交易的能力。通常&#xff0c;SQL数据库采用垂直扩展的方式&#xff0c;即通过增加更多的CPU、内存或存储空间来增强数据库服务器的性能。然而&#xff0c;这种方法受限于单个服务器的硬件能力。 为了克服这一限制&#…

SpringBoot学习笔记-实现微服务:匹配系统(下)

笔记内容转载自 AcWing 的 SpringBoot 框架课讲义&#xff0c;课程链接&#xff1a;AcWing SpringBoot 框架课。 CONTENTS 1. 重构项目1.1 初始化Spring Cloud项目1.2 创建匹配系统框架 2. 实现匹配系统微服务2.1 数据库更新2.2 Web后端与匹配系统后端通信2.3 实现匹配逻辑2.4 …

《形式语言与自动机理论(第4版)》笔记(二)

文章目录 [toc]前导《形式语言与自动机理论&#xff08;第4版&#xff09;》笔记&#xff08;一&#xff09; 第三章&#xff1a;有穷状态自动机3.1|语言的识别3.2|有穷状态自动机即时描述 s e t ( ) set() set()例题问题 1 1 1解答问题 2 2 2解答 3.3|不确定的有穷状态自动机构…

pandas详细笔记

一&#xff1a;什么是Pandas from matplotlib import pyplot import numpy as np import pandas as pdarange np.arange(1, 10, 2) series pd.Series(arange,indexlist("ABCDE")) print(series)二&#xff1a;索引 三&#xff1a;切片 位置索引切片&#xff08;左闭…

.mallox勒索病毒解密:恢复数据与网络安全对策

引言&#xff1a; 在网络威胁不断演变的今天&#xff0c;恶意软件如.mallox勒索病毒已成为数字安全的一大挑战。本文将深入介绍.mallox勒索病毒&#xff0c;以及如何有效地恢复被其加密的数据文件&#xff0c;并提供一些建议用于预防此类威胁。如不幸感染这个勒索病毒&#xf…