《深入理解kafka-核心设计与实践原理》

本文是对于《深入理解kafka-核心设计与实践原理》的笔记和提纲整理

主要用于复习和知识点快速复习

第一章:概念

链接:《深入理解kafka-核心设计与实践原理》第一章:概念

第一章:概念

  • [1.1] 基本概念
    • [1.1.1] 基本角色与概念
    • [1.1.2] 其他概念(AR、ISR、OSR、HW、LEO)
  • [1.2] 概念图

第二章:生产者

链接:《深入理解kafka-核心设计与实践原理》第二章:生产者

第二章:生产者

  • [2.1] api使用
    • [2.1.1] 生产者:KafkaProducer
    • [2.1.2] 消息体:ProducerRecord
    • [2.1.3] 序列化器:Serializer
    • [2.1.4] 分区器:Partitioner
    • [2.1.5] 拦截器:Interceptor
  • [2.2] 生产者客户端的原理
    • [2.2.1] 整体架构
    • [2.2.2] 元数据的更新
  • [2.3] 重要的生产者参数
    • [2.3.1] acks
    • [2.3.2] max.request.size
    • [2.3.3] retries和retry.backoff.ms
    • [2.3.4] 其他参数 

第三章:消费者

链接:《深入理解kafka-核心设计与实践原理》第三章:消费者

第三章:消费者

  • [3.1] 消费者与消费组
    • [3.1.1] 消费者(Consumer)
    • [3.1.2] 消费组(Consumer Group)
    • [3.1.3] 消息投递模式
  • [3.2] 客户端开发
    • [3.2.1] 必要的配置参数
    • [3.2.2] 订阅主题与分区
    • [3.2.3] 反序列化
    • [3.2.4] 消费消息
    • [3.2.5] 位移提交
      • [3.2.5.1] offset
      • [3.2.5.2] 消费后的提交方式:自动提交/手动提交
    • [3.2.6] 控制/关闭消费
    • [3.2.7] 指定位移消费
    • [3.2.8] 再均衡(Rebalance)
    • [3.2.9] 消费者拦截器
    • [3.2.10] 多线程实现
  • [3.3] 重要的消费者参数

第四章:主题和分区

链接:《深入理解kafka-核心设计与实践原理》第四章:主题和分区

第四章:主题和分区

  • [4.1] 主题管理
    • [4.1.1] 创建主题
  • [4.2] KafkaAdminClient
  • [4.3] 分区管理
    • [4.3.1] 优先副本的选举
    • [4.3.2] 分区重分配(Partition Reassignment)
    • [4.3.3] 复制限流
    • [4.3.4] 修改副本因子
  • [4.4] 分区和性能的考量因素

补充:一些实际问题的理解

链接:《深入理解kafka》对于实际问题的理解

Q1:消息可靠性(不重不漏)

  • 1.1 如何保证消息不丢
  • 1.2 如何保证消息不重

Q2:积压/消费能力

  • 2.1 线上积压排查思路
  • 2.2 增加消费能力

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/599074.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

牛客网刷题 | BC78 KiKi说祝福语

目前主要分为三个专栏,后续还会添加: 专栏如下: C语言刷题解析 C语言系列文章 我的成长经历 感谢阅读! 初来乍到,如有错误请指出,感谢! 描述 2020年来到了&#…

Optional学习记录

Optional出现的意义 在Java中,我们经常遇到的一种异常情况:空指针异常,在原本的编程中,为了避免这种异常,我们通常会向对象进行判断,然而,过多的判断语句会让我们的代码显得臃肿不堪。 所以在J…

通过mask得到bbox(numpy实现)

在SAM的加持下,我们很容易得到物体的mask,但是物体的bbox信息通常也很有用。那么,我们可以写一个函数,立马可以通过mask得到bbox。 代码如下: import numpy as npdef mask2bbox(mask):nonzero_indices np.nonzero(m…

淤地坝安全监测预警系统解决方案

一、方案背景 淤地坝是黄土高原地区人民群众长期同水土流失斗争实践中创造的一种行之有效的水土保持工程措施,在拦泥保土、减少入黄泥沙、防洪减灾、淤地造田、巩固退耕还林(草)、保障生态安全、促进粮食生产和水资源合理利用及经济社会稳定发…

做抖音小店需要注意什么?这几点很多人不知道,看完防踩坑

大家好,我是电商笨笨熊 抖音小店虽然推出了一段时间,但是依旧有新手玩家陆陆续续加入其中; 对于很多新手来说,只看到了其中红利,但却没有看到其中包含的一些运营小细节,且这些细节决定你店铺未来发展&…

Python-VBA函数之旅-property函数

目录 一、property函数的常见应用场景 二、property函数使用注意事项 三、如何用好property函数? 1、property函数: 1-1、Python: 1-2、VBA: 2、推荐阅读: 个人主页:神奇夜光杯-CSDN博客 一、prop…

信创发展之路

1、什么是信创 信创,即信息技术应用创新,以前也被称为“安可“(安全可控) 1.1、基本概念 信创产业主要包括四大领域: 基础设施,包括芯片(CPU、GPU等)、存储、服务器、云计算等;基础软件,包括操作系统、数据库、中间件等;应用软件,包括基础办公软件、企业管理软件(…

CRM定义是什么?

CRM,即客户关系管理,是一种综合性的管理策略,旨在通过一系列技术手段和业务流程,建立、维护和优化企业与客户之间的关系。它不仅仅是一种技术工具,更是一种以客户为中心商业哲学,是现代企业提升竞争力、实现…

文心一言 VS 讯飞星火 VS chatgpt (254)-- 算法导论18.2 7题

七、假设磁盘硬件允许我们任意选择磁盘页面的大小,但读取磁盘页面的时间是 abt 其中 a 和 b 为规定的常数,t 为确定磁盘页大小后的 B 树的最小度数。请描述如何选择 t 以(近似地)最小化 B 树的查找时间。对 a5ms 和 b10ms ,请给出 t 的一个最…

深度学习之基于Matlab神经网络的活体人脸和视频人脸识别系统

欢迎大家点赞、收藏、关注、评论啦 ,由于篇幅有限,只展示了部分核心代码。 文章目录 一项目简介 二、功能三、系统四. 总结 一项目简介 一、项目背景 人脸识别技术作为生物识别技术的一种,近年来得到了广泛的关注和应用。与传统的身份认证方…

【贪心算法】单源最短路径Python实现

文章目录 [toc]问题描述Dijkstra算法Dijkstra算法的正确性贪心选择性质最优子结构性质 Dijkstra算法应用示例Python实现时间复杂性 问题描述 给定一个带权有向图 G ( V , E ) G (V , E) G(V,E),其中每条边的权是非负实数,给定 V V V中的一个顶点&…

Vue2之路由跳转传参中文问题处理

Vue2之路由跳转传参中文问题处理 文章目录 Vue2之路由跳转传参中文问题处理1. 问题描述1. 当前vue组件2. 跳转到的vue组件3. 出现的错误 2. 解决方法1. 当前vue组件2. 跳转到的vue组件 1. 问题描述 在el-table中的记录列表中放置了一个 操作按钮,点这个按钮时可以新…

Python网络协议socket

01 协议基础 01 网络协议 协议:一种规则 网络协议:网络规则,一种在网络通信中的数据包的数据规则 02 TCP/IP协议 osi模型 tcp/ip协议 03 tcp协议 TCP协议提供了一种端到端的、基于连接的、可靠的通信服务。 三次握手 创建连接 四次挥手…

铜价飙升,慧能泰HUSB332F带你狂飙

铜价,近期涨的很飘,涨到怀疑人生。继黄金后,铜成了另一个疯涨的明星!作为电线电缆生产不可或缺的原材料,铜的身价暴涨直接拉响了成本警报,压缩了企业的利润空间。众多电线电缆制造商面临着严峻的挑战与考验…

LeetCode-DFS-树类-简单难度

关于二叉树的相关深度优先遍历类题目,重点在于掌握最基本的前中后序遍历,大多数题目都在围绕这套逻辑,找到处理节点的时机,以及停止遍历的条件,即可顺利完成。 二叉树前中后序遍历模板 所谓前中后序,指的…

蓝桥杯备赛(填空题)【Python B组】

一、弹珠堆放 问题描述 小蓝有 20230610 颗磁力弹珠,他对金字塔形状尤其感兴趣,如下图所示: (图是盗来的啊,侵权请联系删除) 问题分析 找规律,第一层1个,第二层3个,第…

预定类小程序源码搭建包含各行业+源码开源可二开+详细图文搭建部署教程

在数字化浪潮席卷的今天,各行各业都急需找到与顾客连接的新方式。为了满足这一需求,很多店铺和企业都推出了预定类小程序,分享一款开源版预订类小程序源码,一站式解决方案,覆盖餐饮、旅游、美容、医疗、教育等多个行业…

《架构思维:从程序员到CTO》:通往顶级架构师之路

💂 个人网站:【 摸鱼游戏】【神级代码资源网站】【工具大全】🤟 一站式轻松构建小程序、Web网站、移动应用:👉注册地址🤟 基于Web端打造的:👉轻量化工具创作平台💅 想寻找共同学习交…

让我们把Domino变成SFTP服务器

大家好,才是真的好。 远程共享文件有很多办法,其中值得注意的是SFTP方式。SFTP即SSH文件传输协议,通过使用SSH传输层,SFTP可以通过Internet连接安全地访问和移动大量数据文件。 今天我们就介绍使用Domino中的HTTP OSGI方式来实现…

智慧监测IN!计讯物联筑牢高速滑坡预警“安全锁”

在现代社会,高速公路以其高速、便捷的特性,早已成为连接城市与地区之间的重要纽带,承载着日益增长的车流和人流。然而,随着车流量的激增,高速公路面临的运营压力和安全挑战也随之加大,其中滑坡风险尤为突出…
最新文章