微服务技术栈之rabbitMQ高级(二)

  • 我们该如何确保MQ消息的可靠性

  • 如果真的发送失败,有没有其它的兜底方案?

这些问题,在这一次的学习中都会找到答案。

生产者的可靠性

首先,我们一起分析一下消息丢失的可能性有哪些。

消息从发送者发送消息,到消费者处理消息,需要经过的流程是这样的:

消息从生产者到消费这的每一步都有可能导致消息丢失:

  • 发送消息时丢失:
    • 生产者发送消息时连接MQ失败

    • 生产者发送消息到达MQ后未找到Exchange

    • 生产者发送消息到达MQ的Exchange后,未找到合适的Queue

    • 消息到达MQ后,处理消息的进程发生异常

  • MQ导致消息丢失:
    • 消息到达MQ,保存到队列后,尚未消费就突然宕机

  • 消费者处理消息时:
    • 消息接收后尚未处理突然宕机

    • 消息接收后处理过程中抛出异常

所以,我们要解决消息丢失问题,保证MQ的可靠性,就必须从三个方面入手

  • 确保生产者一定把消息发送到MQ

  • 确保MQ不会将消息弄丢

  • 确保消费者一定要处理消息

生产者重试机制

生产者发送消息时,出现了网络故障,导致与MQ的连接中断。

为了解决这一问题,SpringAMQP提供的消息发送时的重试机制。即:当RabbitTemplate与MQ连接超时后,多次重试。

修改publisher工程的yml配置文件

配置文件: 
  rabbitmq:
    host: 192.168.200.131
    port: 5672
    virtual-host: /hmall
    username: hmall
    password: 123
    connection-timeout: 1S # 设置连接超时时间
    template:
      retry:
        enabled: true # 开启超时重试机制
        initial-interval: 1000ms #失败后的初始等待时间
        multiplier: 1 #失败后下次的等待时长倍数,下次等待时长 = 失败后的初始等待时间(initial-interval) * multiplier
        max-attempts: 3 # 最大重试次数
停止mq服务:

docker stop mq

命令: 

[root@localhost ~]# docker stop mq
mq
[root@localhost ~]#

启动测试:

然后我们测试TestQueue方法。测试发送一条消息。

代码:

    @Test
    @DisplayName("简单的队列测试")
   public void testSimpleQueue(){
        //1,队列名称
        String queueName = "simple.queue";

        //2,消息
        String msg = "hello world";
        //3,发送消息
        rabbitTemplate.convertAndSend(queueName,msg);

    }

看结果

 发现会每隔1秒(连接超时1秒,隔1秒;所以输出的时候显示每隔2秒)重试1次,总共重试了3次。消息发送的超时重试机制配置成功了!

注意事项: 

当网络不稳定的时候,利用重试机制可以有效提高消息发送的成功率。不过SpringAMQP提供的重试机制是阻塞式的重试,也就是说多次重试等待的过程中,当前线程是被阻塞的。

如果对于业务性能有要求,建议禁用重试机制。如果一定要使用,请合理配置等待时长和重试次数,当然也可以考虑使用异步线程来执行发送消息的代码。

生产者确认机制

一般情况下,只要生产者与MQ之间的网路连接顺畅,基本不会出现发送消息丢失的情况,因此大多数情况下我们无需考虑这种问题。

但是,不排除在下面的情况也会出现消息发送到MQ之后丢失的现象,例如:

  • MQ内部处理消息的进程发生了异常

  • 生产者发送消息到达MQ后未找到Exchange

  • 生产者发送消息到达MQ的Exchange后,未找到合适的Queue,因此无法路由

针对上述情况,RabbitMQ提供了生产者消息确认机制,包括publisher Confirm和publisher Return两种。在开启确认机制的情况下,当生产者发送消息给MQ后,MQ会根据消息处理的情况返回不同的回执

示意图:

总结:
  • 当消息投递到MQ,但是路由失败时,通过Publisher Return返回异常信息,同时返回ack的确认信息,代表投递成功

  • 临时消息投递到了MQ,并且入队成功,返回ACK,告知投递成功

  • 持久消息投递到了MQ,并且入队完成持久化,返回ACK ,告知投递成功

  • 其它情况都会返回NACK,告知投递失败

其中acknack属于Publisher Confirm机制,ack是投递成功;nack是投递失败。而return则属于Publisher Return机制。

默认两种机制都是关闭状态,需要通过配置文件来开启。

实现生产者确认

开启生产者确认:

在publisher生产者工程的yml添加下面的配置

spring:
  rabbitmq:
    publisher-confirm-type: correlated # 开启publisher confirm机制,并设置confirm类型
    publisher-returns: true # 开启publisher return机制

代码

  rabbitmq:
    host: 192.168.200.131
    port: 5672
    virtual-host: /hmall
    username: hmall
    password: 123
    publisher-confirm-type: correlated # 开启publisher confirm机制,并设置confirm类型
    publisher-returns: true # 开启publisher return机制

publisher-confirm-type有三种模式可选:

  • none:关闭confirm

  • simple:同步阻塞等待MQ的回执

  • correlated:MQ异步回调返回回执

一般推荐使用correlated,回调机制

定义ReturnCallback:

每个RabbitTemplate只能配置一个ReturnCallback,因此我们可以在一个配置类中,统一进行配置。我在publisher模板定义一个配置类:

Mqconfig配置类

代码:

@Slf4j
@Configuration
@RequiredArgsConstructor
public class MqConfig {

    private final RabbitTemplate rabbitTemplate;

    @PostConstruct
    public void init(){
       rabbitTemplate.setReturnsCallback(new RabbitTemplate.ReturnsCallback() {
           @Override
           public void returnedMessage(ReturnedMessage returnedMessage) {
               log.debug("触发了return callback");
               System.out.println("交换机exchange:"+returnedMessage.getExchange());
               System.out.println("routingKey路由key:"+returnedMessage.getRoutingKey());
               System.out.println("消息体message:"+returnedMessage.getMessage());
               System.out.println("应答码:replayCode:"+returnedMessage.getReplyCode());
               System.out.println("应答信息:replayText:"+returnedMessage.getReplyText());
           }
       });
    }

}
 定义ConfirmCallback:

由于每个消息发送时的处理逻辑不一定相同,因此ConfirmCallback需要在每次发消息时定义。具体来说,是在调用RabbitTemplate中的convertAndSend方法时,多传递一个参数:

这里的CorrelationData包含两个核心的东西:

  • id:消息的唯一标示,MQ对不同的消息的回执以此做判断,避免混淆

  • SettableListenableFuture:回执结果的Future对象

将来MQ的回执就会通过这个Future来返回,我们可以提前给CorrelationData中的Future添加回调函数来处理消息回执:

新增一个测试方法,向交换机发送消息,并且routingkey是不存在的,来进行测试,并且添加ConfirmCallback:

我在一个测试类下,新增一个testConfirmCallback方法:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/456027.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

leetcode一天一题-第1天

为了增加自己的代码实战能力,希望通过刷leetcode的题目,不断提高自己,增加对代码的理解,同时开拓自己的思维方面。 题目名称:两数之和 题目编号:1 题目介绍: 给定一个整数数组 nums 和一个整数…

Instant --java学习笔记

Instant 时间线上的某个时刻 / 时间戳过获取lnstant的对象可以拿到此刻的时间,该时间由两部分组成:从1970-01-01 00:00:00 开始走到此刻的总秒数不够1秒的纳秒数 Instant的常见方法: Instant可以用来记录代码的执行时间,或用于记录用户操作某…

利用Nginx正向代理实现局域网电脑访问外网

引言 在网络环境中,有时候我们需要让局域网内的电脑访问外网,但是由于网络策略或其他原因,直接访问外网是不可行的。这时候,可以借助 Nginx 来搭建一个正向代理服务器,实现局域网内电脑通过 Nginx 转发访问外网的需求。…

macbook使用Parallels Desktop虚拟机中使用外接拓展屏幕

macbook使用安装了windows虚拟机后,想让windows使用macbook外接的拓展屏,其实很简单,只需要在parallels desktop中点击全屏开启: 就可以在windows全屏模式下使用拓展屏幕了

Docker 镜像源配置

目录 一、 Docker 镜像源1.1 加速域名1.2 阿里云镜像源(推荐) 二、Docker 镜像源配置2.1 修改配置文件2.1.1 Docker Desktop 配置2.1.2 命令行配置 2.2 重启 Docker 服务2.2.1 Docker Desktop 重启2.2.2 命令行重启 2.3 检查是否配置成功 参考资料 一、 …

嘿!终于等到了!应用开发云资源套餐如约而至!

MemFire Cloud平台更新啦!!此次更新我们推出了万众期待的计费套餐,下面给大家带来详细的介绍~ 计费模式为“基础套餐按量付费”,您可选择购买带有一定配额的基础套餐,超出配额部分可以通过开启“超限按量”功能来转为…

清华大学:《AIGC发展研究资料2.0》

清华大学发布了《AIGC发展研究资料2.0》,该报告旨在聚焦AIGC产业发展的现状、趋势,从技术篇、产业篇、评测篇、职业篇、风险篇等多种角度分析产业发展。 报告还强调了该技术的应用潜力将在教育、医疗、工业制造、交通运输、法律服务等领域发挥&#xff0…

学会这几步,让酷开系统的使用体验更加出色!

在当今数字化快速发展的时代,用户体验(User Experience, UX)已成为产品和服务成功的关键因素之一。随着市场竞争的加剧,仅仅提供功能性强大的产品已不足以满足用户的需求,如何提升整体体验、确保用户的满意度和忠诚度&…

AutoMQ 社区双周精选第八期(2024.02.26~2024.03.08)

本期概要 本周新增贡献者: tisonkun: 优化了 E2E 测试在 Fork 仓库的定期执行问题。 funky-eyes: 修复了 s3url 未透传 pathStyle 的问题,并支持 HTTP S3 接入点。 版本发布重大更新: AutoMQ 1.0.0 GA : 经过长时间的自动化测试验证&…

OSCP-Challenge 1 - Medtech

文章目录 121靶机122靶机14靶机11靶机83靶机82靶机12靶机13靶机10靶机120靶机121靶机 进入首页后有个登录功能,点击跳转到login.aspx 在用户名处存在sql注入,sql类型是mssql。 直接用xp_cmdshell执行命令。 后面想着用powershell来反弹shell或者下载文件,发现均失败,然后…

从零开始写 Docker(六)---实现 mydocker run -v 支持数据卷挂载

本文为从零开始写 Docker 系列第六篇,实现类似 docker -v 的功能,通过挂载数据卷将容器中部分数据持久化到宿主机。 完整代码见:https://github.com/lixd/mydocker 欢迎 Star 推荐阅读以下文章对 docker 基本实现有一个大致认识: …

基于YOLOv8/YOLOv7/YOLOv6/YOLOv5的人群密度检测系统(深度学习模型+UI界面+训练数据集)

摘要:开发人群密度检测系统对于公共安全等领域具有关键作用。本篇博客详细介绍了如何运用深度学习构建一个人群密度检测系统,并提供了完整的实现代码。该系统基于强大的YOLOv8算法,并对比了YOLOv7、YOLOv6、YOLOv5,展示了不同模型…

4 配置静态IP

当我们安装好Linux后,需要进行网络配置,保障windows和linux网络相通,以及通过Linux可以访问外网。 1、设置VM网络: 1.1 选择编辑---虚拟网络编辑器 1.2 选择VMnet8设置,可以使用默认网段52也可以通过点击更改设置对其…

iOS 17.4 Not Installed

iOS15以后,下载了xcode安装好后,并不会自动下载好模拟器,需要手动下载。 有两种下载方式 xcode下载 xcode -> Settings 打开面板 xcode下载虽然方便,但是有个问题是,这里下载如果断网了不会断点续传,…

Rocky Linux - Primavera P6 EPPM 安装及分享

引言 继上一期发布的Redhat Linux版环境发布之后,近日我又制作了基于Rocky Enterprise Linux 的P6虚拟机环境,同样里面包含了全套P6 最新版应用服务 此虚拟机仅用于演示、培训和测试目的。如您在生产环境中使用此虚拟机,请先与Oracle Primav…

Matlab|计及源-荷双重不确定性的虚拟电厂/微网日前随机优化调度

目录 主要内容 1.1 场景生成及缩减 1.2 随机优化调度 程序结果: 主要内容 程序主要做的是一个虚拟电厂或者微网单元的日前优化调度模型,考虑了光伏出力和负荷功率的双重不确定性,采用随机规划法处理不确定性变量,构建了…

vscode插件开发-发布插件

安装vsce vsce是“Visual Studio Code Extensions”的缩写,是一个用于打包、发布和管理VS Code扩展的命令行工具。 确保您安装了Node.js。然后运行: npm install -g vscode/vsce 您可以使用vsce轻松打包和发布扩展: // 打包插件生成name…

欧盟通过全球首个重磅人工智能监管法案,预计5月生效

以下文章来源:华尔街见闻 欧盟的AI法案于周三获得欧盟议会批准,预计将于5月生效。届时,所有的欧盟成员国都将遵守AI法案规定。3月13日周三,欧盟议会批准了AI法案。该法案为AI技术设置严格的规则,旨在确保AI的使用不会侵…

vue插槽的基本使用

1.默认插槽 在Vue.js中&#xff0c;可以通过使用默认插槽来在组件中插入内容。默认插槽允许你在父组件中传递任意内容给子组件&#xff0c;并在子组件中使用这些内容。如果在子组件中的slot中写内容,则为默认内容,父组件未插入值的情况下显示,插入则被覆盖 父组件 <temp…

短视频矩阵系统源头3年技术开发

短视频矩阵系统功能主要包括&#xff1a; &#x1f608;&#x1f608;&#x1f33a;&#x1f33a; 1. 短视频制作&#xff1a;系统支持短视频拍摄、剪辑、特效、标题、音乐等操作&#xff0c;用户可以轻松制作出精美的短视频。 2. 短视频发布&#xff1a;通过系统&#xff0c…
最新文章