AutoMQ 社区双周精选第七期（2024.01.29~2024.02.09）

本期概要

过去的两周里，社区贡献者@lifepuzzlefun 为 AutoMQ 的 RocketMQ 项目优化了 LogCache 的二分查找性能，消除了不必要的List拷贝。

同时，AutoMQ 的主干动态展示了持续的性能优化和功能增强。在 Kafka 项目中，团队设计了新型文件缓存机制，以支持小数据、反复读和二分查找跳读场景，同时优化了 WAL 恢复速度，使 1GiB 数据恢复时间大幅缩短。此外，Kafka 还新增了 Grafana 用户视图和开发者视图的大盘，以提供更全面的集群监控能力。

这些努力将共同推动 AutoMQ 向更高效、可靠和易用的消息队列服务迈进。

社区贡献者名单

本周新增社区贡献者：@lifepuzzlefun https://github.com/AutoMQ/automq-for-rocketmq/pull/903 该 PR 优化了 LogCache 二分查找时额外的 List 拷贝

AutoMQ 主干动态

事务索引和时间戳索引文件缓存

https://github.com/AutoMQ/automq-for-kafka/pull/740 https://github.com/AutoMQ/automq-for-kafka/pull/743 https://github.com/AutoMQ/automq-for-kafka/pull/745

根据事务索引和时间戳索引的查询特征，设计了更加适合小数据、反复读和二分查找跳读的文件缓存：

缓存空间限制在 200MB，不随着分区数量线性扩展；
索引持久化的同时写入缓存，缓存的空间可以支撑到 S3Stream 的小 Object 合并成大 Object，使得 AutoMQ Kafka 维持高效索引查询效率；
WAL 恢复加速
https://github.com/AutoMQ/automq-for-rocketmq/pull/910

通过 Buffer 读取机制，加速 WAL 的恢复，1GiB 的数据恢复时间从 92.7s 优化到 15.3s

Grafana 用户 & 开发者大盘

https://github.com/AutoMQ/automq-for-kafka/pull/778

新增了 Grafana 用户视图和开发者视图的大盘：

在用户视图，用户可以概览整个集群的运行情况，然后根据需求下钻到 Broker 单机大盘、Topic 大盘和 Group 大盘；
在开发者视图，开发者可以一览 Broker 的 CPU、JVM、请求吞吐 & 耗时和 S3Stream 内部的详细运行情况；

END

关于我们

AutoMQ 是一家专业的消息队列和流存储软件服务供应商。AutoMQ 开源的 AutoMQ Kafka 和 AutoMQ RocketMQ 基于云对 Apache Kafka、Apache RocketMQ 消息引擎进行重新设计与实现，在充分利用云上的竞价实例、对象存储等服务的基础上，兑现了云设施的规模化红利，带来了下一代更稳定、高效的消息引擎。此外，AutoMQ 推出的 RocketMQ Copilot 专家系统也重新定义了 RocketMQ 消息运维的新范式，赋能消息运维人员更好的管理消息集群。

🌟 GitHub 地址：https://github.com/AutoMQ/automq-for-kafka

💻 官网：https://www.automq.com

👀 B站：AutoMQ官方账号

🔍 视频号：AutoMQ

👉 扫二维码加入我们的社区群