Kafka常见指令及监控程序介绍

kafka在流数据、IO削峰上非常有用，以下对于这款程序，做一些常见指令介绍。
140356712_0_final.png
下文使用–bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092
需自行填写各自对应的集群IP和kafka的端口。
该写法 等同
–bootstrap-server localhost:9092

kafka启动
kafka-server-start.sh 
## 以上启动方式会启用$KAFKA_HOME/config下的配置文件

## 如果指定是kraft集群模式启动，需要指定kraft的配置文件路径
kafka-server-start.sh $KAFKA_HOME/config/kraft/server.properties
kafka停止
kafka-server-stop.sh
查看Kafka运行状态
kafka-server-status.sh
kafka主题创建
kafka-topics.sh --create   \
--topic KafkaText    \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092 \
--partitions 3 \
--replication-factor 2

image.png
–create 指定创建主题的关键字
–topic 指定创建主题的主题名称
–bootstrap-server 指定创建主题的kafka集群列表
–partitions 指定分区数量
–replication-factor 指定副本数量

注：在主题名称中使用句点（‘.’）或下划线（‘_’）可能会导致与指标相关的问题。

查看kafka主题列表
kafka-topics.sh --list \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092
查看kafka指定主题详情
kafka-topics.sh --describe \
--topic KafkaText   \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092

image.png
Topic: 主题的名称。
Partition Count: 分区的数量，指定了该主题被分割成的子集数目。
Replication Factor: 复制因子，表示每个分区的副本数量。
In-Sync Replicas (ISR): 在同步的副本数，指的是当前与主副本同步的副本数量。
Leader: 领导者副本，表示当前负责处理读写请求的副本。
Under-replicated Partitions: 未复制完成的分区数，指的是当前尚未达到指定复制因子的分区数量。
Isr Count: 在同步的副本数目，即处于同步状态的副本数。
Configurations: 主题的配置信息，包括一些自定义设置。

删除kafka指定主题
kafka-topics.sh --delete \
--topic KafkaText   \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092
修改主题分区数量
kafka-configs.sh --alter \
--entity-type topics \
--entity-name KafkaText   \
--add-config max.message.bytes=2000000 \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092
## 这里add-config  可以指定相关参数进行重新赋值
这里新加入的参数可以在--describe 执行查看主题详情的时候，在Configurations项中找到。重复执行，会将参数值进行覆盖，相当于修改配置参数

image.png

修主题分区数量
kafka-topics.sh --alter \
  --topic KafkaText \
  --partitions 4 \
  --bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092

这里新的分区数量只能增加、不能减少。
image.png

生产者发送消息
kafka-console-producer.sh --topic KafkaText \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092

会打开交互窗口，可以在交互窗口输入信息，以模拟信息推送

消费者消费信息(相当于查看主题KafkaText的元数据)
kafka-console-consumer.sh --topic  KafkaText  \
--from-beginning \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092

会打开交互窗口，可以在交互窗口输入信息，以模拟信息接收
–from-beginning，它将会接收主题中所有分区的所有消息，包括在你启动消费者之前已发布到主题的消息
在消费组未命名消费组的情况下，每一次都会生成

console-consumer-<random_number>
##后缀增加一个五位数的随机数，以确保唯一。
该消费者的保留时间受到配置参数offsets.retention.minutes 的约束。
查看消费组列表

kafka-consumer-groups.sh --bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092 --list
查看消费者组消费情况
kafka-consumer-groups.sh --describe \
--group console-consumer-72017 \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092

这里–group 需要指定自己的消费组名称

查看特定主题元数据
kafka-console-consumer.sh --topic  KafkaText  \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092
参看配置参数信息
kafka-configs.sh --describe \
--entity-type brokers \
--entity-name 1 \
--bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092 \
grep offsets.topic.retention.minutes

–entity-name 指定kafka集群中节点的broker_id
|grep 后跟着参数名称的关键字

kafka 日志目录含义

在配置参数中log_dir 下默认得日志路径是/tmp/kraft-combined-logs
该路径下会生成很多文件
image.png

bootstrap.checkpoint:该文件与 Kafka 启动过程相关，可能包含有关启动过程状态或进度的信息。该文件为十六进制，使用xxd 进行查看

image.png

cleaner-offset-checkpoint:该文件存储由日志清理器使用的偏移量，表示它已清理的日志段的位置。日志清理器负责从日志段中删除过时的消息。默认情况下每隔10分钟会触发一次checkpoint

__cluster_metadata-0:此目录与集群元数据相关，主要是元数据得flush相关信息

__consumer_offsets-0, __consumer_offsets-12, …:

这些目录用于存储消费者组的偏移量。每个目录代表一个用于存储消费者组偏移量的分区。
KafkaText-0, KafkaText-2, …:

这些目录与 Kafka 主题相关。每个目录代表指定主题（例如，KafkaText）的一个分区，其中包含实际数据/消息的日志段。

log-start-offset-checkpoint:

该文件包含分区中第一条消息的偏移量。它表示从分区中读取消息的起始点。

meta.properties:

该文件包含 Kafka 本broker的属性。

recovery-point-offset-checkpoint:

该文件存储由所有同步副本完全复制并确认的最后一条消息的偏移量。在恢复期间，用于确定复制的起始点。
image.pngimage.png
第一行的 0：
表示 __consumer_offsets 分区 0 的复制状态的起始点。
第二行的 19：
表示 __consumer_offsets 分区 19 的复制状态的恢复点偏移量。即，表示 __consumer_offsets 分区 19 已成功复制并确认的最后一个消息的偏移量。

从第三行开始的内容：
每一行表示一个分区的信息，包括分区名、复制状态的起始点和恢复点偏移量。

例如，__consumer_offsets 30 0 表示 __consumer_offsets 分区 30 的复制状态，起始点偏移量为 0，恢复点偏移量也为 0。

replication-offset-checkpoint:

该文件存储分区的高水位偏移量。它表示最后一条成功复制的消息的偏移量。这些文件和目录对于 Kafka 的正常运行非常重要，它们存储有关主题、消费者组偏移量、日志清理和复制等方面的各种元数据和信息。
image.png
第一行的 0：表示 __consumer_offsets 分区 0 的复制状态的起始点。
第二行的 19：表示 __consumer_offsets 分区 19 的复制状态的高水位偏移量。即，表示 __consumer_offsets 分区 19 已成功复制并确认的最后一个消息的偏移量。

从第三行开始的内容：每一行表示一个分区的复制状态，包括分区名和高水位偏移量。

例如，__consumer_offsets 43 0 表示 __consumer_offsets 分区 43 的复制状态，高水位偏移量为 0。

KafkaText 0 9 表示 KafkaText 分区 0 的复制状态，高水位偏移量为 9。

写了这么多，全是指令代码。大家肯定觉得很麻烦，如果有一款可可视化工具就好了。以下推荐给大家两款软件。

kafka可视化工具
kafka tool

http://www.kafkatool.com/download.html

image.png
目前对于仅支持到kafka3.6版本，必须是zookeeper集群管理下才可以支持，如果使用得kraft集群管理，将无法使用。

kafka-ui-lite

称为史上最轻便好用的kafka ui界面客户端工具，可以在生产消息、消费消息、管理topic、管理group;可以支持管理多个kafka集群
部署简便，可以一键启动，不需要配置数据库、不需要搭建web容器
支持zookeeper ui界面化操作；支持多环境管理
支持redis ui界面化操作；支持多环境管理
支持权限控制，可以自定义不同环境的新增、修改、删除权限；默认分配只读权限，避免用户的误操作

kafka ui

https://github.com/provectus/kafka-ui/releases
是github上的高星开源工具，使用jar打包，可应用在docker环境和非docker环境。
安装kafka-ui ,需要以下依赖

java 17 package or newer
git installed
docker installed

java 17是必备项目
将kafka-ui部署在非kafka集群节点
without docker环境下安装演示

安装JDK17

wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz

解压

tar -zxf jdk-17_linux-x64_bin.tar.gz

替换到当前jdk8文件

[root@vm08 jdk]# ll
total 0
drwxr-xr-x. 9 root root 136 Jan 20 22:31 jdk-17.0.10
drwxr-xr-x. 8   10  143 255 Jul 22  2017 jdk1.8.0_144
drwxr-xr-x. 8 root root 255 Jan 20 22:23 jdk1.8.0_144_bak
[root@vm08 jdk]# rm -rf jdk1.8.0_144
[root@vm08 jdk]# mv jdk-17.0.10/ jdk1.8.0_144
[root@vm08 jdk]# java -version 
java version "17.0.10" 2024-01-16 LTS
Java(TM) SE Runtime Environment (build 17.0.10+11-LTS-240)
Java HotSpot(TM) 64-Bit Server VM (build 17.0.10+11-LTS-240, mixed mode, sharing)

安装kafka-ui

wget https://github.com/provectus/kafka-ui/releases/download/v0.7.1/kafka-ui-api-v0.7.1.jar

创建启动配置文件

vim application.yml

根据个人情况，修改相应的节点信息

kafka:
  clusters:
    - name: kafka_cluster
      bootstrapServers: 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092
      metrics:
        port: 9094
        type: JMX
##配置该集群的 JMX 相关配置，如果没有可省略。（在启动 kafka 时，启动命令行前面添加 JMX_PORT=9094 ）
##使用kraft集群管理，不需要再配置zookeeper信息
##如何管理多套集群，只需在本目录继续增加name不同的kafka相关信息
spring:
  jmx:
    enabled: true
  security:
    user:
      name: vm
      password: vm
##web的登录用户和密码
auth:
  type: LOGIN_FORM #LOGIN_FORM # DISABLED

server:
  port: 10000
##web端口启用端口信息

logging:
  level:
    root: INFO
    com.provectus: INFO
    reactor.netty.http.server.AccessLog: INFO

management:
  endpoint:
    info:
      enabled: true
    health:
      enabled: true
  endpoints:
    web:
      exposure:
        include: "info,health"

配置ip映射

vim /etc/hosts
##加入节点信息
10.0.0.102 vm02
10.0.0.103 vm03
10.0.0.104 vm04

启动kafka-ui

java -Dspring.config.additional-location=/home/hadoop/application.yml \
--add-opens java.rmi/javax.rmi.ssl=ALL-UNNAMED -jar kafka-ui-api-v0.7.1.jar

1705765128073.jpg

出现以上页面说明kafka-ui启动成功

image.png
出现以上页面说明kafka集群链接成功

image.png

使用配置文件中的name/password 进行登录

spring:
  jmx:
    enabled: true
  security:
    user:
      name: vm
      password: vm

登录到对应的页面可以查看相应的broker/topic/consumers/tcl等相关信息。
image.png

该页面可以执行创建topic等相关操作
image.png

image.png

合理使用工具 对于中间组件的学习会事半功倍。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/340402.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

RabbitMQ数据隔离

RabbitMQ数据隔离

1、新建用户 2、登录用户&#xff0c;设置虚拟主机 登录用户只能操作自己的虚拟主机&#xff0c;交换机等&#xff0c;不能操作其他人的&#xff01;&#xff01;&#xff01;
阅读更多...
【立创EDA-PCB设计基础】3.网络表概念解读+板框绘制

【立创EDA-PCB设计基础】3.网络表概念解读+板框绘制

前言&#xff1a;本文对网络表概念解读板框绘制&#xff08;确定PCB板子轮廓&#xff09; 网络表概念解读 在本专栏的上一篇文章【嘉立创EDA-PCB设计指南】2&#xff0c;将设计的原理图转为了PCB&#xff0c;在PCB界面下出现了所有的封装&#xff0c;以及所有的飞线属性&…
阅读更多...
MSI模块应用：可变N进制计数器设计

MSI模块应用：可变N进制计数器设计

将集成组合逻辑电路模块和时序逻辑电路模块结合起来实现某种电路功能&#xff0c;一般多见于译码器、数据选择器和计数器的综合应用&#xff0c;以实现节拍信号发生器或序列信号发生器。本文介绍另一种题型&#xff0c;即数值比较器和计数器的综合应用。&#xff08;典型试题&a…
阅读更多...
最全笔记软件盘点！你要的笔记神器都在这里：手写笔记、知识管理、文本笔记、协作笔记等！

最全笔记软件盘点！你要的笔记神器都在这里：手写笔记、知识管理、文本笔记、协作笔记等！

在当今的信息化社会中&#xff0c;人们对信息的处理速度越来越快&#xff0c;从工作到生活&#xff0c;我们都面临着大量信息的冲击。在这样的环境下&#xff0c;一个能够帮助我们管理、整理和储存信息的好工具显得尤为重要&#xff0c;而笔记软件恰恰可以满足这些需求。 在选…
阅读更多...
在IDEA中使用快捷键让XML注释更加规范

在IDEA中使用快捷键让XML注释更加规范

Setting -> Editor -> Code Style -> XML 取消勾选 Line comment at first column 这样我们在使用ctrl / 快速注释时&#xff0c;就可以让注释符号紧贴注释内容&#xff0c;不出现空格。
阅读更多...
vue+elementUI el-select 中 没有加clearable出现一个或者多个×清除图标问题

vue+elementUI el-select 中 没有加clearable出现一个或者多个×清除图标问题

1、现象&#xff1a;下方截图多清除图标了 2、在全局common.scss文件中加一个下方的全局样式noClear 3、在多清除图标的组件上层div加noClear样式 4、清除图标去除成功
阅读更多...
【C++进阶07】哈希表and哈希桶

【C++进阶07】哈希表and哈希桶

一、哈希概念 顺序结构以及平衡树中 元素关键码与存储位置没有对应关系 因此查找一个元素 必须经过关键码的多次比较 顺序查找时间复杂度为O(N) 平衡树中为树的高度&#xff0c;即O( l o g 2 N log_2 N log2​N) 搜索效率 搜索过程中元素的比较次数 理想的搜索方法&#xff1a…
阅读更多...
知识库是什么：中小型企业都要知道的重要讯息

知识库是什么：中小型企业都要知道的重要讯息

在当今信息爆炸的年代&#xff0c;久而久之&#xff0c;企业可能发现自己沉浸在各种信息、学习资料和数据中。这就使得组织和管理这些信息变得尤为重要。进入我们的视线的就是“知识库”&#xff0c;它其实就像一个企业自己的“小图书馆”&#xff0c;只不过&#xff0c;这个库…
阅读更多...
如何提取3D动画中的模型---模大狮模型网

如何提取3D动画中的模型---模大狮模型网

在现代媒体制作和设计领域&#xff0c;3D动画已经成为一种常见的表达方式。如果您对一部3D动画中的某个特定模型非常感兴趣&#xff0c;并且想要提取出来以便进行后续操作或学习&#xff0c;模大狮将向您介绍一些方法和步骤。 一、选择适当的软件 要提取3D动画中的模型&#x…
阅读更多...
Vue （v-bind指令、el与data的两种写法、理解MVVM、数据代理、V-no事件处理、双向数据绑定V-model、登陆页面实现

Vue （v-bind指令、el与data的两种写法、理解MVVM、数据代理、V-no事件处理、双向数据绑定V-model、登陆页面实现

V-bind指令 el与data两种写法 MVVM 数据代理 V-no事件处理 V-no用于监听DOM对象 双向数据绑定V-model v-model 指令用来在 input、select、textarea、checkbox、radio 等表单控件元素上创建双向数据绑定&#xff0c;根据表单上的值&#xff0c;自动更新绑定的元素的值。 按钮的…
阅读更多...
【MATLAB】ICEEMDAN+FFT+HHT组合算法

【MATLAB】ICEEMDAN+FFT+HHT组合算法

代码基本原理 ICEEMDAN&#xff08;改进的完全经验模态分解与自适应噪声&#xff09;FFT&#xff08;快速傅里叶变换&#xff09;HHT&#xff08;希尔伯特-黄变换&#xff09;组合算法是一种用于信号处理和分析的复杂组合算法。它结合了ICEEMDAN、FFT和HHT三个步骤&#xff0c…
阅读更多...
ChatGLM3报错：No chat template is defined for this tokenizer

ChatGLM3报错：No chat template is defined for this tokenizer

使用官方提供的脚本创建ChatGLM3的DEMO&#xff1a; cd basic_demo python web_demo_gradio.py 出现效果异常问题&#xff1a; conversation [{role: user, content: 你好}, {role: assistant, content: 你好&#xff0c;有什么我可以帮助你的吗&#xff1f;\n\n<|im_end|…
阅读更多...
家用洗地机选什么牌子好?洗地机口碑榜

家用洗地机选什么牌子好?洗地机口碑榜

随着科技的迅猛发展&#xff0c;许多智能家电让我们的生活更加便利和轻松。在这不断迭代更新的产品中&#xff0c;洗地机逐渐取代了传统的扫地机器人和吸尘器&#xff0c;成为一款集多种功能于一身的多功能清洁工具。它不仅继承了扫地机器人的吸尘功能&#xff0c;还能够轻松完…
阅读更多...
算法训练营Day45

算法训练营Day45

#Java #动态规划 Feeling and experiences&#xff1a; 最长公共子序列&#xff1a;力扣题目链接 给定两个字符串 text1 和 text2&#xff0c;返回这两个字符串的最长 公共子序列 的长度。如果不存在 公共子序列 &#xff0c;返回 0 。 一个字符串的 子序列 是指这样一个新…
阅读更多...
Mybatis-Generator-1.4.2

Mybatis-Generator-1.4.2

知道代码自动化原理&#xff0c;可以自己搞的&#xff0c;连客户端js html一起弄掉 Low Code Development Platform(LCDP)_cms lcdp-CSDN博客
阅读更多...
ARM-Linux驱动内核（S3C2440）

ARM-Linux驱动内核（S3C2440）

Linux启动流程 驱动(程序) &#xff1a; 驱使设备行动的程序 1. 启动bootloader---引导操作系统启动的(裸机)程序&#xff0c;为操作系统启动准备环境&#xff0c;并引导操作系统启动 2. 启动kernel---操作系统核心 (俗称的操作系统) 3. 加载根文件系统---一堆文件的集合…
阅读更多...
JanusGraph图数据库的应用以及知识图谱技术介绍

JanusGraph图数据库的应用以及知识图谱技术介绍

目录 JanusGraph介绍 JanusGraph 的主要优势 JanusGraph的应用&#xff1a; JanusGraph 的行业应用&#xff1a; 架构概览 分布式技术应用 横向扩展能力 程序与janus的交互 Janus与图数据库相关概念 结构化存储 图结构存储 实体关系存储 知识存储技术 JanusGraph介…
阅读更多...
无人机航迹规划（四）：七种元启发算法（DBO、LO、SWO、COA、LSO、KOA、GRO）求解无人机路径规划（提供MATLAB代码）

无人机航迹规划（四）：七种元启发算法（DBO、LO、SWO、COA、LSO、KOA、GRO）求解无人机路径规划（提供MATLAB代码）

一、七种算法&#xff08;DBO、LO、SWO、COA、LSO、KOA、GRO&#xff09;简介 1、蜣螂优化算法DBO 蜣螂优化算法&#xff08;Dung beetle optimizer&#xff0c;DBO&#xff09;由Jiankai Xue和Bo Shen于2022年提出&#xff0c;该算法主要受蜣螂的滚球、跳舞、觅食、偷窃和繁殖…
阅读更多...
系统问题排查定位流程

系统问题排查定位流程

1. 系统问题排查范围定义 本次交流中描述的故障&#xff0c;主要是指系统级别的故障&#xff0c;对于某个具体的业务功能的故障&#xff0c;不在本次讨论范围内。下面描述的故障定位、排查&#xff0c;主要是指跨模块、跨项目级别的故障的定位、排查&#xff0c;包括软件、硬件…
阅读更多...
Verilog基础：强度建模与net型信号的多驱动问题（三）

Verilog基础：强度建模与net型信号的多驱动问题（三）

相关阅读 Verilog基础https://blog.csdn.net/weixin_45791458/category_12263729.html?spm1001.2014.3001.5482 四、一般情况下的net型信号的线与组合&#xff08;线网多驱动&#xff09; 在Verilog基础&#xff1a;强度建模与net型信号的多驱动问题&#xff08;二&#xff0…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站