Skip to content Skip to footer

Kafka下载与安装教程(超级详细-实操)

一、下载kafka软件包

1、官网下载

(1)下载地址:Apache Kafka

(2)将下载好的安装包上传到服务器

2、使用wget命令下载

#使用wget方式下载

wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz

二、解压kafka安装包

1、解压到/usr/local/目录下

tar -xzvf kafka_2.12-3.9.0.tgz -C /usr/local

2、创建kafka数据目录

mkdir -p /usr/local/kafka_2.12-3.9.0/data/kafka-logs

3、配置环境变量

查看jdk安装目录命令:

readlink -f $(which java)

#vim /etc/profile

export JAVA_HOME=/usr/local/jdk8u272-b10/bin/java #JDK安装目录

export ZOOKEEPER_HOME=/usr/local/zookeeper/apache-zookeeper-3.9.3-bin/ #zookeeper安装目录

export KAFKA_HOME=/usr/local/kafka_2.12-3.9.0/ #kafka安装目录

export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$KAFKA_HOME/bin

4、使环境变量生效

source /etc/profile

5、编辑kafka配置文件

vim /usr/local/kafka_2.12-3.9.0/config/server.properties

节点1配置 ,注意:broker.id是每个broker在集群中的唯一标识,正整数

# 编辑kafka1 的配置

broker.id=1

# 连接zookeeper的集群地址

zookeeper.connect=10.22.82.31:2181,10.22.82.32:2181,10.22.82.33:2181

advertised.listeners=PLAINTEXT://10.22.82.31:9092

log.dirs=/usr/local/kafka_2.12-3.9.0/data/kafka-logs

节点2配置:

# 编辑kafka2 的配置

broker.id=2

# 连接zookeeper的集群地址

zookeeper.connect=10.22.82.31:2181,10.22.82.32:2181,10.22.82.33:2181

advertised.listeners=PLAINTEXT://10.22.82.32:9092

log.dirs=/usr/local/kafka_2.12-3.9.0/data/kafka-logs

节点3配置:

# 编辑kafka3 的配置

broker.id=3

# 连接zookeeper的集群地址

zookeeper.connect=10.22.82.31:2181,10.22.82.32:2181,10.22.82.33:2181

advertised.listeners=PLAINTEXT://10.22.82.33:9092

log.dirs=/usr/local/kafka_2.12-3.9.0/data/kafka-logs

三、启动kafka服务并验证

#启动kafka服务

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

#集群停止

kafka-server-stop.sh

验证:创建topic 、查看topic、生产数据、消费数据进行测试

1.创建 topic

cd /usr/local/kafka_2.12-3.9.0

./bin/kafka-topics.sh --bootstrap-server broker_host:port --create --topic my_topic_name \

--partitions 20 --replication-factor 3

注 :此命令是在kafka部署目录中操作

kafka-topics.sh --bootstrap-server 10.22.82.33:9092 --create --topic my_topic_name

kafka-topics.sh --bootstrap-server 10.22.82.33:9092 --delete --topic my_topic_name

--列出主题

kafka-topics.sh --list --bootstrap-server 172.18.12.40:9092

my_topic_name

参数 详解 :

--bootstrap-server : kafka集群地址

--create :执行创创建操作

--topic :topic名称

--partitions :topic 的分区数

--replication-factor topic 的副本

--config: 可选,创建 topic指定topic参数 配置

创建生产者生产数据

[root@kafka1 bin]# kafka-console-producer.sh --broker-list 10.22.82.33:9092,10.22.82.33:9092,10.22.82.33:9092 --topic my_topic_name

>这是一个测试

测试消费者是否可以消费数据

[root@kafka2 config]# kafka-console-consumer.sh --bootstrap-server 10.22.82.33:9092 --topic my_topic_name --from-beginning

这是一个测试

Copyright © 2088 世界杯德国巴西_世界杯为什么四年一次 - lynzzx.com All Rights Reserved.
友情链接