（四）kafka从入门到精通之安装教程

1、kafka和zookeeper简介

Kafka是一个高性能、低延迟、分布式的分布式数据库，可以在分布式环境中实现数据的实时同步和分发。

Zookeeper是一种开源的分布式数据存储系统，它可以在分布式环境中存储和管理数据库中的数据。它的主要作用是实现数据的实时同步和分发，可以用于实现分布式数据库、分布式文件系统、分布式日志系统等。Zookeeper的设计目标是高可用性、高性能、低延迟，它支持多种客户端协议，包括TCP和HTTP，可以方便地与其他分布式系统进行集成。此外，Zookeeper还支持分布式锁、分布式领导选举等功能，可以用于实现分布式应用程序的管理和协调。总之，Zookeeper是一种非常重要的分布式数据存储系统，它可以在分布式系统中发挥重要作用。

Zookeeper和Kafka是两种常用的分布式数据存储系统，它们的作用和使用场景有所不同，但它们之间有一定的关联。

首先，Zookeeper可以用于存储和管理数据库中的数据，而Kafka可以用于在分布式环境中分发和消费数据。因此，可以将Kafka作为Zookeeper的客户端，使用Zookeeper存储和管理数据，并通过Kafka来在分布式环境中分发和消费数据。

其次，Zookeeper和Kafka都可以使用多种客户端协议，包括TCP和HTTP，这意味着它们可以方便地与其他分布式系统进行集成。因此，可以将Zookeeper和Kafka组合使用，构建一个分布式数据存储系统，可以充分利用这两种数据存储系统的优点。

总之，Zookeeper和Kafka之间有密切的关系，它们可以结合使用，构建一个分布式数据存储系统，用于在分布式环境中存储和管理数据。

2、安装步骤

1. 创建一个Docker Compose.yml文件

在项目根目录下创建一个yml文件，例如Docker Compose.yml，文件内容如下：

version: '3'
services:
  kafka:
    image: wurstmeister/kafka:2.11.0
    ports:
      - "9092:9092"
    environment:
      - "KAFKA_BROKER_ID=my-broker"
      - "KAFKA_ADVERTISED_LISTENERS=LISTENER_1,LISTENER_2"
    volumes:
      - ./data:/data
      - ./logs:/logs
    volumes_from:
      - data
      - logs
  zookeeper:
    image: wurstmeister/zookeeper:3.4.8
    ports:
      - "2181:2181"
    volumes:
      - /var/run/zookeeper/data:/data
      - /var/run/zookeeper/logs:/logs
    environment:
      - "ZOOKEEPER_CLIENT_PORT=2181"
      - "ZOOKEEPER_TICK_TIME=2000"
    command: ["zookeeper-server.sh", "-c", "conf/zookeeper.properties"]

volumes:
  data:
  logs:

compose-file: docker-compose.yml

这个文件定义了一个名为“kafka”的服务，使用Wurstmeister的Kafka镜像，将容器内部的Kafka日志保存到本地的logs目录中，并将Kafka的主题路径设置为“/data”和“/logs”。

同时，定义了一个名为“zookeeper”的服务，使用Wurstmeister的Zookeeper镜像，将容器内部的Zookeeper日志保存到本地的logs目录中，并将Zookeeper的主机路径设置为“localhost:2181”。

2. 运行Docker Compose.yml文件

在项目根目录下创建一个名为Dockerfile.docker的文件，内容如下：

docker-compose up -d

这个命令将在Docker Compose.yml文件中定义的服务启动后自动运行。

3、验证Kafka和Zookeeper集群

你可以使用以下命令来验证Kafka和Zookeeper集群是否已经运行：

bin/kafka-consumer.sh --bootstrap-server <kafka-server-1> --topic my-topic --describe --all-topics
bin/zookeeper-server.sh --server /var/run/zookeeper/zookeeper.server --port 2181 --directory /var/run/zookeeper/data