## 1. kafka安装

### 使用docker-compose方式

提前条件是安装 Docker 和 Docker Compose

```yaml
services:
  kafka:
    image: bitnami/kafka:3.6
    container_name: kafka
    ports:
      - "9092:9092"
    environment:
      - KAFKA_CFG_PROCESS_ROLES=broker,controller
      - KAFKA_CFG_NODE_ID=1
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@localhost:9093
      - KAFKA_CFG_LISTENERS=PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT
      - KAFKA_CFG_INTER_BROKER_LISTENER_NAME=PLAINTEXT
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      - KAFKA_CFG_LOG_DIRS=/opt/kafka-logs
      - KAFKA_CFG_NUM_PARTITIONS=1
      - KAFKA_CFG_DEFAULT_REPLICATION_FACTOR=1
      - KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR=1
      - KAFKA_CFG_TRANSACTION_STATE_LOG_REPLICATION_FACTOR=1
      - KAFKA_CFG_TRANSACTION_STATE_LOG_MIN_ISR=1
      - KAFKA_CFG_MIN_INSYNC_REPLICAS=1
      - ALLOW_PLAINTEXT_LISTENER=yes
    volumes:
      - kafka-data:/opt/kafka-logs
    networks:
      - kafka-network

networks:
  kafka-network:
    driver: bridge

volumes:
  kafka-data:
    name: my-kafka-data
```

#### 启动 Kafka 服务

在包含 `docker-compose.yml` 文件的目录下，运行以下命令启动 Kafka 和 Zookeeper 服务：

```bash
docker-compose up -d
```

#### 验证 Kafka 安装

查看kafka日志

```shell
docker logs kafka
```

如果如下图所示，说明没有日志目录权限，需要授权

<img src="../images/server-common/step15.png" style="border:1px solid #ccc;border-radius:6px;margin:8px 0;" loading="lazy" alt="Kafka日志目录权限截图" />

#### 确认宿主机上挂载的数据卷目录的权限

```sh
sudo ls -ld /var/lib/docker/volumes/my-kafka-data/_data
```

#### 调整宿主机权限

```sh
sudo chown -R 1001:1001 /var/lib/docker/volumes/my-kafka-data/_data
sudo chmod -R 755       /var/lib/docker/volumes/my-kafka-data/_data
```

#### 重启kafka

```sh
docker compose -f docker-compose.yml up -d
```

### 编译方式安装kafka

kafka在JVM环境运行，集群依赖Zookeeper，我们使用的kafka版本最好  >= 2.12  ，版本内置了Zookeeper，不需要额外部署。

下面在Linux环境搭建kafka为例：

```shell
#  使用kafka2.12版本
#  JDK版本 >= 1.8 ，如果还没在Linux安装JDK，需要先安装JDK，这里不做演示

# step1 直接连接下载kafka 或 下载后导入Linux
  $  wget https://archive.apache.org/dist/kafka/3.6.0/kafka_2.12-3.6.0.tgz
```

直接下载访问链接:

[kafka_2.12-3.6.0]: https://archive.apache.org/dist/kafka/3.6.0/kafka_2.12-3.6.0.tgz

```shell
# 解压下载文件
$ tar -xzf  kafka_2.12-3.6.0.tgz
$ cd kafka_2.12-3.6.0
```

目录如下图所示

<img src="../images/kafka-install/to-kafka-01.png" style="border:1px solid #ccc;border-radius:6px;margin:8px 0;" loading="lazy" alt="Kafka编译安装目录截图" />

```shell
# 添加zookeeper日志目录 进入config路径，配置zookeeper.properties
dataDir=/opt/software/kafka/zookeeper   #zookeeper数据目录
dataLogDir=/opt/software/kafka/zookeeper/log #zookeeper日志目录
clientPort=2181
maxClientCnxns=100
tickTimes=2000
initLimit=10
syncLimit=5
```

```shell
# 配置kafka broker参数，进入config路径，配置server.properties

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
port=9092
host.name= 服务器IP地址
listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://服务器IP地址:9092
```

另外为了启动&停止方便，可以额外添加两个脚本

```shell
#  新建一个文件命名为：kafkaStart.sh ，kafka启动脚本，如下内容
   
#keeper
/opt/kafka_2.12-3.6.0/bin/zookeeper-server-start.sh -daemon /opt/kafka_2.12-3.6.0/config/zookeeper.properties

 
sleep 3 #等3秒后执行
 
#启动kafka
/opt/kafka_2.12-3.6.0/bin/kafka-server-start.sh -daemon /opt/kafka_2.12-3.6.0/config/server.properties

sleep 3

echo 'kafka started'

#新建一个文件命名为：kafkaStop.sh ，kafka停止脚本,内容如下

#关闭kafka
/opt/kafka_2.12-3.6.0/bin/kafka-server-stop.sh /opt/kafka_2.12-3.6.0/config/server.properties

sleep 3

#keeper
/opt/kafka_2.12-3.6.0/bin/zookeeper-server-stop.sh /opt/kafka_2.12-3.6.0/config/zookeeper.properties

 
sleep 3 #等3秒后执行
 
echo 'kafka stoped'

```

运行 `kafkaStart.sh` 脚本，启动kafka

### kafka测试

#### 进入 Kafka 容器

```sh
docker exec -it --user root kafka bash

```

#### 创建 Kafka 主题

使用 kafka-topics.sh 命令来创建主题。假设我们创建一个名为 test-topic 的主题：

```sh
kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test-topic --partitions 1 --replication-factor 1
```

#### 查看现有的 Kafka 主题

```sh
kafka-topics.sh --bootstrap-server localhost:9092 --list
```

#### 生产消息到 Kafka 主题

```sh
kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test-topic
```

#### 消费 Kafka 主题

加一个新的终端，再进容器

```sh
docker exec -it --user root kafka bash
```

```sh
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic --from-beginning
```

切换之前的终端，输入任意信息，如果另一个终端能接收，说明测试成功

### 停止 Kafka 服务

如果需要停止 Kafka 和 Zookeeper 服务，可以在包含 `docker-compose.yml` 文件的目录下运行以下命令：

```bash
docker-compose down
```

通过以上步骤，你就可以使用 Docker 快速安装和运行 Kafka。

## 2. kafka可视化

可视化软件下载地址：

[gitlab下载kafka-console-ui](https://github.com/xxd763795151/kafka-console-ui)

[gitlee下载kafka-console-ui](https://gitee.com/xiaodong_xu/kafka-console-ui)

按照官方文档下载后，运行下面的脚本

<img src="../images/server-common/step16.png" style="border:1px solid #ccc;border-radius:6px;margin:8px 0;" loading="lazy" alt="Kafka可视化工具首页截图" />

打开地址 http://localhost:7766/，点击 `运维-> 切换集群 ->新增集群`

<img src="../images/server-common/step17.png" style="border:1px solid #ccc;border-radius:6px;margin:8px 0;" loading="lazy" alt="Kafka可视化工具切换集群截图" />

<img src="../images/server-common/step18.png" style="border:1px solid #ccc;border-radius:6px;margin:8px 0;" loading="lazy" alt="Kafka可视化工具新增集群截图" />

<img src="../images/server-common/step19.png" style="border:1px solid #ccc;border-radius:6px;margin:8px 0;" loading="lazy" alt="Kafka可视化工具集群详情截图" />
