基于Docker的Kafka集群搭建

基于Docker的Kafka集群搭建1.pulldocker,在机器上下载最新版本的kafka和zookeeper镜像,这里使用的是wurstmeister的镜像dockerpullwurstmeister/kafkadockerpullwurstmeister/zookeeper2.装好的docker镜像3.启动zk容器Dockerrun–d–namezookeeper–p2181:…

大家好,又见面了,我是你们的朋友全栈君。

1.pull docker ,在机器上下载最新版本的kafka和zookeeper镜像,这里使用的是wurstmeister的镜像

docker pull wurstmeister/kafka

docker pull wurstmeister/zookeeper

2.装好的docker镜像

基于Docker的Kafka集群搭建3.启动zk容器

基于Docker的Kafka集群搭建

Docker run –d –name zookeeper –p 2181:2181 –t wurstmerister/zookeeper

Zk容器命名为zookeeper,端口号2181.

下面先测试一下单节点kafka docker是否好用

4.启动kafka容器

基于Docker的Kafka集群搭建

docker run -d –name kafka1 \

 -p 9092:9092 \

 -e KAFKA_BROKER_ID=0 \

 -e KAFKA_ZOOKEEPER_CONNECT=172.21.3.228:2181 \

 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.21.3.228:9092 \

 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

容器命名为kafka1,指定了broker_id为0,端口号9092,zk地址为本机2181

5.进入kafka容器创建主题

基于Docker的Kafka集群搭建

使用docker exec –ti {$name} /bin/bash来进入指定容器

基于Docker的Kafka集群搭建

创建一个名为test的主题,一个副本一个分区,须指定zk地址

6.收发送消息

基于Docker的Kafka集群搭建

使用kafka-console-producer.sh发送、kafka-console-consumer.sh接收消息。都需要指定broker的地址

测试结果如图所示,单机情况下能够正常收发消息,下面测试基于docker的集群搭建

7.搭建集群

使用docker命令可快速在同一台机器启动多个kafka,只需要改变brokerId和端口即可用于搭建集群

基于Docker的Kafka集群搭建

启动第二个kafka容器命名为kafka2,其zk地址与kafka1一致,broker_id为1,服务端口号为9093

然后进入kafka容器创建第二个topic名为test2,副本数2,分区2

基于Docker的Kafka集群搭建

查询test2主题可以看到,已经是集群环境,可以看到leader机器、副本在分区上的保存情况,和ISR列表成员

8.集群收发消息

测试一下使用kafka1发送消息,kafka2接收消息

基于Docker的Kafka集群搭建

如图所示,可以正常发送和接收

9.关闭kafka2后查看集群状态

基于Docker的Kafka集群搭建

可以看到分区的leader机都变成了broker0(即kafka1),ISR列表中只有broker0

 

除了手动命令行搭建集群,还可以用k8s 配合yml文件快捷的搭建集群

详情见另一篇博文https://blog.csdn.net/playadota/article/details/84784073

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/133015.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Docker 零基础从入门到使用

    Docker 零基础从入门到使用

    2022年2月11日
    46
  • 镜像二十四小时_docker 运行镜像

    镜像二十四小时_docker 运行镜像一、查看当前docker中下载的镜像,如下图,当前我的Docker容器中存在两个镜像,tomcat、mysql二、启动镜像(因启动命令参数过多,同时各种镜像启动时可以增加额外的参数,本次以启动mysql5.6为例)dockerrun-p本机映射端口:镜像映射端口-d–name启动镜像名称-e镜像启动参数镜像名称:镜像版本号参数释义:-p本机端口和容器启动端口映射 -d后台运行 –name…

    2025年12月10日
    4
  • gitlab docker安装_crawl用法

    gitlab docker安装_crawl用法1先给个干货crawlab的官方文档地址https://docs.crawlab.cn/Installation/Docker.htmlgithub说明地址https://github.com/crawlab-team/crawlab/blob/master/README-zh.md2两种安装方式一是通过dockerpull拉取,代码如下dockerpulltikazyq/crawlab:latest二是从github拉取代码,然后使用dockercompose命…

    2025年6月15日
    4
  • docker 离线安装及命令整理[通俗易懂]

    docker 离线安装及命令整理[通俗易懂]1、保存镜像<fontface=’微软雅黑’size=3>将我们的镜像保存为tar压缩文件这样方便镜像转移和保存,然后可以在任何一台安装了docker的服务器上加载这个镜像。(主要考虑到liunx离线部署问题)</font>dockersave镜像名/镜像ID-o镜像保存在哪个位置与名字示例dockersaveoffline-map-o/offlinemap.tar2、加载镜像任何装docker的地方加载镜像保存文件,使其恢复为一

    2022年9月26日
    2
  • docker下载安装教程_docker镜像存储位置

    docker下载安装教程_docker镜像存储位置前言Docker提供轻量的虚拟化,你能够从Docker获得一个额外抽象层,你能够在单台机器上运行多个Docker微容器,而每个微容器里都有一个微服务或独立应用,例如你可以将Tomcat运行在一个D

    2022年7月29日
    4
  • 记录一次docker启动容器后Exited(127)的解决过程[通俗易懂]

    特意强调一下:本人使用的系统为centos6.8本人运行容器的状态为Exited(127),如果你的问题不是127,可能解决不了你的问题问题:安装docker之后,拉取镜像dockerpullredis然后dockerimages查看所有镜像后,开始命令运行redisdockerrun-d–name=myredis-p6379:6379-d7caaqwe22q(镜像id)然后dockerps-a发现:CONTAINERIDIMAGE

    2022年4月15日
    837

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号