Linux部署Kafka2.8.1

安装Jdk

首先确保你的机器上安装了Jdk，Kafka需要Java运行环境，低版本的Kafka还需要Zookeeper，我此次要安装的Kafka版本为2.8.1，已经内置了一个Zookeeper环境，所以我们可以不部署Zookeeper直接使用。

1、解压Jdk包

tar -zxf jdk-8u351-linux-x64.tar.gz -C /usr/local/
cd /usr/local/
mv jdk1.8.0_351/ jdk1.8

2、配置Java环境变量

vim /etc/profile

追加：

export JAVA_HOME=/usr/local/jdk1.8     #jdk解压目录
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

3、重启配置文件

source /etc/profile

4、验证环境

[root@lavm-61tkivmru7 local]# java -version
java version "1.8.0_351"
Java(TM) SE Runtime Environment (build 1.8.0_351-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.351-b10, mixed mode)

安装Kafka

1、下载地址

Index of /dist/kafka/2.8.1 (apache.org)

2、解压Kafka

tar -zxf kafka_2.12-2.8.1.tgz -C /usr/local/

3、配置Kfaka配置文件

cd /usr/local/kafka_2.12-2.8.1/config/
vim server.properties

4、启动顺序

注意：因为Kafka是依赖Zookeeper服务的，所以需要先启动Zookeeper，再启动Kafka。

5、启动命令

Zookeeper启动命令：

/usr/local/kafka_2.12-2.8.1/bin/zookeeper-server-start.sh -daemon /usr/local/kafka_2.12-2.8.1/config/zookeeper.properties

Kafka启动命令：

/usr/local/kafka_2.12-2.8.1/bin/kafka-server-start.sh -daemon /usr/local/kafka_2.12-2.8.1/config/server.properties

6、验证是否启动成功

多开linux窗口

生产者窗口：

[root@lavm-61tkivmru7 ~]# /usr/local/kafka_2.12-2.8.1/bin/kafka-console-producer.sh --broker-list 172.16.0.3:9092 --topic demo-topic

消费者窗口：

[root@lavm-61tkivmru7 ~]# /usr/local/kafka_2.12-2.8.1/bin/kafka-console-consumer.sh --bootstrap-server 172.16.0.3:9092 --topic demo-topic --from-beginning

生产者发送ABC，消费者接收到ABC启动成功。

注意：启动生产者消费者时ip怎么写在于你在server.properties中配置的地址是内网地址还是127.0.0.1.

7、Kafka相关命令

-- 设置参数
1、bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --entity-name se-xyc-equipmentState --entity-type topics --add-config retention.ms=60000
-- 查询配置
2、bin/kafka-configs.sh --bootstrap-server localhost:9092  --describe --entity-type topics --entity-name se-xyc-equipmentState
-- 查询数量
3、bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group  test-consumer-group 
-- 删除
4、bin/kafka-topics.sh --delete --bootstrap-server localhost:9092 -topic se-xyc-equipmentstate


5. 启动生产者：
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

6. 启动消费者：
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

7. 查看消费者组：
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

8. 查看特定消费者组的消费情况：
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group test-consumer-group

9. 查看broker信息：
bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092

10. 查看kafka版本：
bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092 --version

11. 创建topic
bin/kafka-topics.sh --create --topic test-topic --replication-factor 1 --partitions 1 --bootstrap-server localhost:9092