消息队列(5):RocketMQ

介绍

RocketMQ是一款成熟的分布式消息中间件。
由阿里2012年开源,2017年成为Apache顶级项目。
源码是java写的。
高性能,低延迟,高可靠。历经多次双十一大促,整体很稳定。

RocketMQ对比其他mq的优势

对比kafka和Rabbitmq,RocketMQ优势如下:
1.支持事务型消息。
2.可以支持指定时间的延迟消费,但不能指定任意时间,RocketMQ有18个延迟级别。
3.支持消费失败的重试。
4.consumer可以tag过滤,tag可以理解为比topic更一个细粒度的子主题。
5.支持重复消费,这个kafka也支持。

RocketMQ需要注意

Rocket不能完全保证消息的消费是有且只有一次,只能保证至少一次。
所以在设计消费端的时候,要特别注意幂等性。或者你的系统允许少量的消息重复。

RocketMQ核心四大组件

NameService,Broker,Producer,Consumer
每个组件可以部署成集群模式水平扩展。
在这里插入图片描述

1、Producer负责发消息,有3种发送方式

1.同步发送:重要场景,发一条要等接收方反馈成功,才会继续发。
2.异步发送:对响应时间有要求的场景,发一条后不等反馈,直接再发。
3.单向发送:量大但可靠性要求不高的场景,如日志收集。
同步发送就像打电话,你说一句,听到对面反馈了,再说。
异步发送就像发微信,你只管一直发,对面看到后也会反馈。
单向发送就像写信,写出去就不管了

2、Consumer负责消费消息,有2种消费方式

1.拉取型消费(DefaultMQPushConsumer):主动拉消息
2.推送型消费(DefaultMQPullConsumer):先去注册消费监听器,监听器被触发才会消费

3、Broker负责存储消息

接收Producer发的消息,存储,Consumer从这里拉取消息。
Broker有两个角色,Master和Slave。了解分布式协议的,对这两个主从角色肯定不陌生。
Broker集群部署有4种方式:
1.单Master,即只有一个主
一旦宕机,服务不可用,单机测试用,生产不会用
2.多Master,即都是主
单个Master宕机,服务还是可用的,但宕机期间该机器的消息不能被实时消费了
3.多Master多Slaver(同步双写)
每个Master都配一个Slaver,写消息的时候,主从都写成功才算成功。
这个是解决了上一个主宕机后消息不能被实时消费的问题,但由于得写两份,性能略受影响
4.多Master多Slaver(异步复制)
每个Master都配一个Slaver,写消息的时候,主成功就成功返回,之后异步复制消息到从。
主从消息延迟是毫秒级。
这个是解决了上一个写两份的性能问题,但在主宕机且不可恢复的情况下,可能会由于消息延迟复制的原因,导致少量消息丢失。

这四种方式,每一种都是为了解决上一种的问题所作出的改进,但同时又会带来新的问题。
但慢慢的,可以将问题降到一个可人为控制并且可接受的范围内。
所以,在不考虑成本的情况下,第四种是最优的,但往往企业都会将成本放在比较高的位置,所以鱼与熊掌不可兼得。

4、NameServer负责保存Broker相关元信息并给生产者和消费者查找Broker信息

每个Broker启动的时候都会在NameServer注册,生产者在发送消息前也会根据Topic到这里获取Broker的路由信息。消费者也会定时获取topic的路由信息。
完全可以将NameServer理解成一个注册中心,因为早期没有NameServer的时候,这个位置是用Zookeeper代替的。

5、ProducerGroup & ConsumerGroup

ProducerGroup可以理解为一个发消息的应用,一个Producer Group下包含多个Producer实例。
ConsumerGroup可以理解为一个拿消息应用,一个Consumer Group下包含多个Consumer实例。
Producer实例或者Consumer实例,可以是多态机器,也可以是一台机器的多个进程,也可以是一个进程的多个对象。
一个Producer Group可以发送多个Topic消息。
一个Consumer Group下的多个Consumer以均摊方式消费消息,如果设置为广播方式,那么这个Consumer Group下的每个实例都消费全量数据。
在这里插入图片描述

RocketMQ的消息Message

topic:

一条消息必须要有一个主题topic,这个和大部分消息中间件一样。

tag:

此外Message还有一个标签的概念,可以理解为子主题,可用可不用。
同一个topic下,当消息还有更细粒度的区分时,就可以通过tag标签来标记。

RocketMQ的消费模式

集群消费

默认是集群消费。
一个消费者集群共同消费一个主题。

广播消费

消息会发给消费组中的每一个消费者消费。

批量消费

consumer.setConsumeMessageBatchMaxSize(10);

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/499790.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[错误记录] --- clickhouse报错Decimal value is too small

java操作clickhouse数据库,执行insert的时候,报错: Exception in thread "main" ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 69, host: xx.xx.xx.xxx, port: xxxx; Code: 69, e.displayText(…

[错误记录] --- rocketmq批量消费设置参数的问题

rocketmq想支持批量消费,于是便设置以下参数: consumer.setConsumeMessageBatchMaxSize(1000);这样是正确的,但由于业务要求,还想再设置大点,于是设置成这样: consumer.setConsumeMessageBatchMaxSize(10…

rocketmq批量消费

rocketmq默认就是可以批量消费的,但需要设置多个参数一起配合。 我们只需要知道他是怎么消费的,就可以很精准的设置他的批量消费参数。 我们看看DefaultMQPushConsumer源码中的这几个参数: /*** 消费消息线程,最小数目*/private …

阿波罗配置中心(apollo)的个人看法

阿波罗应该是近几年比较火的一个分布式配置中心了,说说我个人的理解,希望对一些人有用吧。 首先从使用者的角度想 我们怎么用配置中心的? 1.得有个页面,能有权限管理,能有创建配置key-value。 在阿波罗中&#xff…

架构师成长之路

一个架构师要掌握的最基本的数学知识 知识点备注log三角函数二项式定理多项式合并极限幂函数泰勒级数傅里叶级数概率

消息队列(4):Kafka

介绍 kafka是一个支持分布式的消息系统,基于发布/订阅模式。 kafka由LinkedIn公司开发,2010年成为Apache顶级项目。 源码是由java写的。 基本概念 1、Broker kafka集群中的每台机器,都叫一个broker. 2、Topic(主题&#xff0…

clickhouse的ReplacingMergeTree引擎实战

学习ReplacingMergeTree引擎,首先你得了解clickhouse的MergeTree引擎,因为ReplacingMergeTree引擎是MergeTree引擎的一个扩展版引擎,他拥有和MergeTree一样的功能,同时新增了一个删除相同主键数据的功能。 我们知道,cl…

clickhouse 分片

我们知道mysql数据库如果想做分片,需要使用第三方组件,这是因为mysql在设计之初就没有太多考虑分布式等问题。而clickhouse作为新生代性能之王,分片也是必须的功能。基本上从2015年之后的各种数据库也罢,框架也罢,都开…

[记录] ---阿里云java.io.IOException: Connection reset by peer的问题

项目部署到阿里云,突然报错,频繁的打印堆栈信息,一开始是把堆内存打满导致服务一直重启,调大堆内存后就不影响正常服务了,但还是一直打堆栈,虽说日志会自动清理,但一直打这个信息着实不好看。 最…

数据库缓存双写一致性的一些个人想法

数据库缓存双写一致性的一些个人想法 有这么个问题,还是经典面试题: 说我们有个数据库,他的读请求特别多,以至于要在数据库上加一层缓存来抗压,这个都能理解吧。 这里的缓存,可能是和数据库一样的数据&am…

2020年规划

1.去其他城市,市级城市超过3个。 2.继续想着通过其他方式赚钱。 3.选一个技术体系,搞精通,比如数据库,比如高并发分布式等 4.搞个自己的网站,国庆前平均每天100访问量。 5.12点前睡觉 2020年1月5日,2020年…

实用的java代码生成器,开箱即用(基于mybatisplus的AutoGenerator)

spring-boot工程下&#xff0c;自动生成代码&#xff0c;controller层&#xff0c;service层&#xff0c;mapper层。 根据数据库配置好的表&#xff0c;逆向生成实体类和各层结构 1、引入maven <dependency><groupId>com.baomidou</groupId><artifactId&…

mac/windows 端口占用解决记录

idea启动报错&#xff1a;端口占用 The port may already be in use or the connector may be misconfigured mac端口占用解决 zhangshuaideMacBook-Pro:~ zhangshuai$ lsof -i:8095 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME Google 375 zhangshuai 32u IPv6 0x…

[配置中心] --- consul

mac下载安装consul 1、下载&#xff1a;consul下载地址 2、解压到目录/usr/local/bin下 3、执行consul文件 4、验证&#xff1a;控制台输入consul验证 5、启动consul&#xff1a;consul agent -dev windows安装consul 1、下载&#xff0c;解压到D:\soft&#xff0c;将这个路…

[java基础] --- java开发,service层是不是一定要写接口

估计很多java开发的同学都遇到过&#xff0c;service层要写一个接口&#xff0c;然后再写接口的实现类&#xff0c;但这个接口从项目开始到项目倒闭&#xff0c;都不会有第二个实现&#xff0c;那为什么不直接写个service类呢&#xff1f;如果你还没想过这个问题&#xff0c;那…

浅谈权限(功能权限数据权限)

一般企业上的权限部分&#xff0c;都是区分为功能权限和数据权限。 一、功能权限 功能权限&#xff0c;就是用户登录后&#xff0c;能看到哪些菜单&#xff0c;能看到哪些按钮&#xff0c;能执行哪些操作的权限。 一般&#xff0c;功能权限&#xff0c;已经都有很成熟的业内方…

一个技术负责人应该知道的规范细节

前言&#xff1a; 作为一个技术负责人&#xff0c;不能只定义一个项目的技术选型&#xff0c;而不注意开发细节。 开发前&#xff0c;如果不预先定义好规范&#xff0c;那么项目中就会乱成一锅粥。每个人自成一派&#xff0c;单看每个人的模块&#xff0c;貌似都没啥大问题&am…

skywalking(1) 基于opentracing规范的APM系统

skywalking是&#xff1a; 基于opentracing规范的APM系统 skywalking解决了什么问题&#xff1f; skywalking解决微服务架构下&#xff0c;多服务直接复杂的调用关系 了解dapper&#xff0c;分布式链路追踪系统 dapper又是谷歌论文&#xff0c;各公司又相继模仿。&#xff…

skywalking(2)

安装 1、安装jdk 2、安装es 3、安装skywalking&#xff08;backend和ui&#xff09; 应用启动时添加探针&#xff08;agent&#xff09; 使用 java -javaagent:/aa/bb/boot.jar -Dserver.port8081 -jar boot.jar 启动项目jar包 查看调用链&#xff0c;追踪等 仪表盘&#…

skywalking(3)

javaagent原理 skywalking实现代码无侵入&#xff0c;就是用了javaagent javaagent是java命令的一个参数&#xff0c;可以用于指定一个jar包 这个jar包中的MANIFEST.MF中&#xff0c;必须指定Premain-Class项 Premain-Class指定的那个类&#xff0c;必须实现premain()方法 当…