消息队列以及Kafka的使用

什么是消息队列

消息队列:一般我们会简称它为MQ(Message Queue)。其主要目的是通讯

ps:消息队列是以日志的形式将数据顺序存储到磁盘当中。通常我们说从内存中IO读写数据的速度要快于从硬盘中IO读写的速度是对于随机的写入和读取。但是对于这种顺序存储的形式,在磁盘和内存中的操作速度是差不多的。

消息队列的作用

消息队列的三个主要作用:异步、削峰、解耦(很重要)。

我们以张三给李四送货物为例来形象的解释一下这三个作用。

在没有引入消息队列之前这个任务需要张三和李四两个人见面并进行货物的提交,引入消息队列之后相当于在两人之间多了一个快递站。张三把货物放到快递站,李四有时间的时候再去快递站取走快递即可。消息队列就相当于上述例子中的快递站。

异步:在没有快递站之前,两人完成货物的提交必须要两人见面,但是在引入快递站(消息队列)后,无需两人必须见面,张三将货物放在快递站后,便可便可认为李四可以接收到货物,李四在一个自己合适的时间去快递站取走货物便可完成货物的提交。

削峰:如果张三一次有很多货物要给李四提交,这会使得李四一次拿走这么多货物的压力很大。但是有了快递站(消息队列)后,李四可以一部分一部分的慢慢拿走货物。

解耦:再引入快递站之前,货物提交的操作对两人的要求是必须约定好时间两人同时到场才能执行,在引入快递站之后。张三可以把货物放下快递站,李四可以选择时间去拿走货物。二者的耦合度降低。

传统的流程设计与采用消息队列后的对比

传统的设计模式如下图,属于经典的串行化调用。这种设计模式的优势在于,代码简单,出现问题时容易定位到问题

但是,我们从高性能,高并发,高可用这三个方面去评价一下这个设计会发现它存在许多劣势。

  • 高性能:由于串行化的设计,业务的处理需要从上到下一步一步执行。假设每次网络传输耗时200ms,业务处理需要20ms,完成上面那些操作需要耗时2s,对于用户来说等待时间过长,用户体验也会很差,如果用户下单后的操作越来越多,耗时只会越来越高。
  • 高并发:

    这些操作都是由一个线程(主线程)去执行这些操作,所以当我们的QPS(系统每秒钟收到的请求)如果很高的话,很容易造成超时。

  • 高可用:这些服务假如有一个服务挂掉(宕机或者网络波动),就意味着我这个请求失败了,这样用户体验会极差,用户会频繁看到支付失败。

在引入消息队列后,流程如下所示

用户下单后,将相关信息放入消息队列当中,其他业务可以同时从消息队列中拿到相关信息进行处理。其中用户下单环节进行消息的生产,被称作生产者(producer)。而右侧调用的各种业务来接收消息,被称作消费者(consumer)

我们接着从高性能,高并发,高可用这三个方面去评价引入消息队列后的设计。

  • 高可用:当我系统里的一个模块宕机了,不会影响到我其他服务。(可以通过数据补偿或者分布式事务来保证数据最终一致性)

  • 高性能:用户下单,将下单所需要的数据都放到消息队列里,就直接返回了,所有耗时相当于就是网络传输所耗时。

  • 高并发:由于消息队列不处理任何业务上的逻辑,所有他支持的并发是百万级别的。假如有100万个用户下单,100万的数据放到消息队列里,连接消息队列的服务慢慢消费即可,也不至于造成瞬间有百万请求进来,将我的服务压垮。

消息队列的优缺点

优点

  1. 解耦:就像高可用里面说的一样,发淘金币服务挂了,关下单什么关系,发淘金币服务挂了,我还是可以正常下单,只不过后期可以数据补偿或者分布式事务去解决这个问题。
  2. 削峰:比如说我平时服务就只能支撑几万的qps,像淘宝京东那种秒杀,那时候服务突然打进来,那服务就会直接被压死了。但是如果采用消息队列,这秒杀进来的所有的请求都不会直接打到具体服务上,都会先打到消息队列里,然后我后面的服务再慢慢消费。(可以看看淘宝京东双11秒杀的时候,是不是有的时候慢是慢了点,但是服务起码没挂。等我秒杀结束之后,服务还能正常运转。)
  3. 异步:连接消息队列的服务可以异步去执行。而且每次多增加一个步骤,我下单的代码是不需要动的,只需要再增加一个消费者即可。

缺点

1,增加了系统复杂性。

所以说如果说你的业务量不大,并发也不高,就没必要使用消息队列。

2,事务问题。

事务问题其实是分布式系统肯定会存在的一个问题,只不过消息队列更严重一些。也就是说用了消息队列就代表接受了不实时性,只需要保证最终一致性就行了。一般解决方案有两种,第一种就是采用分布式事务,这个下单的里涉及的所有服务放到一个事务里面,要么都成功,要么都失败。第二种就是,消费者做好合理的数据补偿措施,比如说,消息重试,人工刷数据等等。

3,可用性

刚才讲了解耦,其实是系统的各个模块之间的解耦,但是这些模块都和消息队列关联,万一消息队列挂了,就真的下不了单了。为了保证可用性,我们可以采用消息队列集群,前端流量限流等。

常见的消息队列

springboot使用kafka

引入依赖

   <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
        </dependency>

配置application.yml文件

  kafka:
    bootstrap-servers: 自己的ip
    consumer:
      group-id: myname

生产者类


@RestController
public class KafkaController {
    @Resource
    private KafkaTemplate kafkaTemplate;

    @GetMapping("/produce")
    public String produce(String message){

        kafkaTemplate.send("order",message);
        return "消息发送成功";
    }
}

消费者类

@Component
public class KafkaListener {

   @org.springframework.kafka.annotation.KafkaListener(topics = {"order"})
    public void listen(ConsumerRecord<String,String> record){
       System.out.println("卡夫卡推送的消息:"+record.value());
       System.out.println("我已经收到消息!!");
   }
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/443171.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

QGridLayout网格布局和QVBoxLayout垂直布局有着非常大的差别

QGridLayout网格布局&#xff1a;1.把这块控件划分成一个个的 单元格 2.把你的控件填充进入 单元格 3.这些有关限制大小的函数接口统统失效 setMaximumWidth&#xff08;&#xff09; setMinimumWidth() setPolicySize()图示&#xff1a;我是用的网格布局&#xff0c;左边放QT…

Vue.js数据绑定解密:深入探究v-model和v-bind的原理与应用

hello宝子们...我们是艾斯视觉擅长ui设计和前端开发10年经验&#xff01;希望我的分享能帮助到您&#xff01;如需帮助可以评论关注私信我们一起探讨&#xff01;致敬感谢感恩&#xff01; Vue.js数据绑定解密&#xff1a;深入探究v-model和v-bind的原理与应用 一、引言 Vue.…

智慧文旅|AI数字人导览:让旅游体验不再局限于传统

AI数字人导览作为一种创新的展示方式&#xff0c;已经逐渐成为了VR全景领域的一大亮点&#xff0c;不仅可以很好的嵌入在VR全景中&#xff0c;更是能够随时随地为观众提供一种声情并茂的讲解介绍&#xff0c;结合VR场景的沉浸式体验&#xff0c;让观众仿佛置身于真实场景之中&a…

音视频学习笔记——c++多线程(二)

✊✊✊&#x1f308;大家好&#xff01;本篇文章是多线程系列第二篇文章&#x1f607;。首先讲解了利用mutex解决多线程数据共享问题&#xff0c;举例更好理解lock和unlock的使用方法&#xff0c;以及错误操作造成的死锁问题&#xff0c;最后讲解了lock_guard与unique_lock使用…

PromptBreeder---针对特定领域演化和发展提示词的方法

原文地址&#xff1a;promptbreeder-evolves-adapts-prompts-for-a-given-domain 论文地址&#xff1a;https://arxiv.org/pdf/2309.16797.pdf 2023 年 10 月 6 日 提示方法分为两大类 硬提示是由人工精心设计的文本提示&#xff0c;包含离散的输入令牌&#xff1b;其缺点…

黑马点评-发布探店笔记

探店笔记 探店笔记类似点评网站的评价&#xff0c;往往是图文结合。 对应的表有两个&#xff1a; tb_blog&#xff1a;探店笔记表&#xff0c;包含笔记中的标题、文字、图片等 tb_blog_comments&#xff1a;其他用户对探店笔记的评价 流程如下&#xff1a; 上传接口&#…

基于SSM框架的动物医疗平台设计与实现

目 录 摘 要 I Abstract II 引 言 1 1 相关技术 3 1.1 Ajax 3 1.2 MVC设计模式 3 1.3 BootStrap 3 1.4 SSM框架 4 1.5 本章小结 4 2 系统分析 5 2.1 需求分析 5 2.1.1 用户需求分析 5 2.1.2 医生需求分析 6 2.1.3 管理员需求分析 7 2.2 用例分析 8 2.3 非功能需求 10 2.4 本章…

解决火狐浏览器访问地址受限制问题(This address is restricted)

问题如下图&#xff1a; This address is restrictedThis address uses a network port which is normally used for purposes other than Web browsing. Firefox has canceled the request for your protection. 此地址受到限制 此地址使用通常用于 Web 浏览以外的目的的网…

sort函数详解

往期文章推荐&#xff1a; [C] 非常实用的知识点-CSDN博客 1.8编程基础之多维数组————14:扫雷游戏地雷数计算-CSDN博客 &#xff08;并不怎么华丽的分割线&#xff09; 前言 话说在C中有这么一类算法&#xff0c;叫做排序算法。 它有许多分支&#xff1a;冒泡排序&a…

激光在SIC晶圆制造中的应用

碳化硅是一种性能优异的第三代半导体材料&#xff0c;具有光学性能良好、化学惰性大、物理特性优良的特点&#xff0c;包括带隙宽、击穿电压高、热导率高和耐高温性能强等优点&#xff0c;常作为新一代高频、高功率器件的衬底材料&#xff0c;广泛应用在高端制造业领域&#xf…

学术论文GPT的源码解读与二次开发:从ChatPaper到gpt_academic

前言 本文的前两个部分最早是属于此旧文的《学术论文GPT的源码解读与微调&#xff1a;从ChatPaper到七月论文审稿GPT第1版》&#xff0c;但为了每一篇文章各自的内容更好的呈现&#xff0c;于是我今天做了以下三个改动 原来属于mamba第五部分的「Mamba近似工作之线性Transfor…

AcWing 1262. 鱼塘钓鱼(每日一题)

目录 暴力枚举法&#xff1a; 贪心&#xff1a; 原题链接&#xff1a;1262. 鱼塘钓鱼 - AcWing题库 有 N个鱼塘排成一排&#xff0c;每个鱼塘中有一定数量的鱼&#xff0c;例如&#xff1a;N5 时&#xff0c;如下表&#xff1a; 鱼塘编号12345第1分钟能钓到的鱼的数量&…

2024年最新指南:如何订阅Midjourney(详尽步骤解析)

前言&#xff1a; Midjourney是一个基于人工智能的图像生成工具&#xff0c;它使用高级算法来创建独特和复杂的图像。这个工具能够根据用户输入的文字描述生成对应的图片。Midjourney的特点在于它能够处理非常抽象或者具体的描述&#xff0c;生成高质量、富有创意的视觉内容。M…

AI跟踪报道第32期-新加坡内哥谈技术-本周AI新闻:超越GPT4的Claude

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

拿捏算法的复杂度

目录 前言 一&#xff1a;算法的时间复杂度 1.定义 2.简单的算法可以数循环的次数&#xff0c;其余需要经过计算得出表达式 3.记法&#xff1a;大O的渐近表示法 表示规则&#xff1a;对得出的时间复杂度的函数表达式&#xff0c;只关注最高阶&#xff0c;其余项和最高阶…

Halcon基本语法

Halcon是什么&#xff1f; Halcon&#xff08;全称为Halcon Imaging Library&#xff09;是由德国MVTec Software GmbH开发的一套功能强大的机器视觉软件库。Halcon提供了丰富的图像处理和机器视觉算法&#xff0c;用于解决各种工业和科学领域中的视觉检测、识别和测量等问题。…

python数据结构--栈

栈简介 栈类似于一个箱子&#xff0c;我们向里面放书&#xff0c;我们最先放进去的书是在最底下的&#xff0c;所以我们想要拿出来就只能最后一个拿出来&#xff0c;每次放和取都只能操作最上面那个。 特点&#xff1a;先进后出 名词概念&#xff1a;进栈&#xff08;放书&a…

掌握Java建造者模式:逐步构建复杂对象的艺术与实践

建造者模式的主要目的是将一个复杂对象的构建过程封装起来&#xff0c;使得客户端代码不需要知道对象创建的细节。这种模式特别适用于那些具有多个组成部分、创建过程复杂、对象属性多且大多数属性可选的场合。 在Java中&#xff0c;建造者模式通常涉及以下几个角色&#xff1…

Day29:安全开发-JS应用DOM树加密编码库断点调试逆向分析元素属性操作

目录 JS原生开发-DOM树-用户交互 JS导入库开发-编码加密-逆向调试 思维导图 JS知识点&#xff1a; 功能&#xff1a;登录验证&#xff0c;文件操作&#xff0c;SQL操作&#xff0c;云应用接入&#xff0c;框架开发&#xff0c;打包器使用等 技术&#xff1a;原生开发&#x…

SLAM|初识SLAM

在空间中&#xff0c;人可以通过固定不动的事物来作为参考系中的参照物。 而这些固定不动的东西可以称之为特征&#xff0c;空间可以理解成特征存在的空间。 而参照物的意义&#xff0c;可以变成是看到某某参照物&#xff0c;就按这个某某参照物进行位置移动。 比如说碰到这个…
最新文章