基于Docker的Kafka集群搭建

基于Docker的Kafka集群搭建1.pulldocker,在机器上下载最新版本的kafka和zookeeper镜像,这里使用的是wurstmeister的镜像dockerpullwurstmeister/kafkadockerpullwurstmeister/zookeeper2.装好的docker镜像3.启动zk容器Dockerrun–d–namezookeeper–p2181:…

大家好,又见面了,我是你们的朋友全栈君。

1.pull docker ,在机器上下载最新版本的kafka和zookeeper镜像,这里使用的是wurstmeister的镜像

docker pull wurstmeister/kafka

docker pull wurstmeister/zookeeper

2.装好的docker镜像

基于Docker的Kafka集群搭建3.启动zk容器

基于Docker的Kafka集群搭建

Docker run –d –name zookeeper –p 2181:2181 –t wurstmerister/zookeeper

Zk容器命名为zookeeper,端口号2181.

下面先测试一下单节点kafka docker是否好用

4.启动kafka容器

基于Docker的Kafka集群搭建

docker run -d –name kafka1 \

 -p 9092:9092 \

 -e KAFKA_BROKER_ID=0 \

 -e KAFKA_ZOOKEEPER_CONNECT=172.21.3.228:2181 \

 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.21.3.228:9092 \

 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

容器命名为kafka1,指定了broker_id为0,端口号9092,zk地址为本机2181

5.进入kafka容器创建主题

基于Docker的Kafka集群搭建

使用docker exec –ti {$name} /bin/bash来进入指定容器

基于Docker的Kafka集群搭建

创建一个名为test的主题,一个副本一个分区,须指定zk地址

6.收发送消息

基于Docker的Kafka集群搭建

使用kafka-console-producer.sh发送、kafka-console-consumer.sh接收消息。都需要指定broker的地址

测试结果如图所示,单机情况下能够正常收发消息,下面测试基于docker的集群搭建

7.搭建集群

使用docker命令可快速在同一台机器启动多个kafka,只需要改变brokerId和端口即可用于搭建集群

基于Docker的Kafka集群搭建

启动第二个kafka容器命名为kafka2,其zk地址与kafka1一致,broker_id为1,服务端口号为9093

然后进入kafka容器创建第二个topic名为test2,副本数2,分区2

基于Docker的Kafka集群搭建

查询test2主题可以看到,已经是集群环境,可以看到leader机器、副本在分区上的保存情况,和ISR列表成员

8.集群收发消息

测试一下使用kafka1发送消息,kafka2接收消息

基于Docker的Kafka集群搭建

如图所示,可以正常发送和接收

9.关闭kafka2后查看集群状态

基于Docker的Kafka集群搭建

可以看到分区的leader机都变成了broker0(即kafka1),ISR列表中只有broker0

 

除了手动命令行搭建集群,还可以用k8s 配合yml文件快捷的搭建集群

详情见另一篇博文https://blog.csdn.net/playadota/article/details/84784073

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/133015.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • centos7卸载_关闭docker

    centos7卸载_关闭docker一、禁用和停止容器服务systemctldisabledockersystemctlstopdocker二、删除容器服务器yumremovedocker-*三、删除残留文件rm-rf/var/lib/docker/rm-rf/etc/docker/rm-rf/run/dockerrm-rf/var/lib/dockershimrm-rf/usr/libexec/docker/…

    2022年8月30日
  • docker五种特性_k8s docker 关系

    docker五种特性_k8s docker 关系DockerDocker网络–link自定义网络网络连通Docker网络Docker是如何进行网络通讯的?查看本机的网卡和ip地址docker0类似与路由器ip地址一样(x.x.x.1)Dockerdocker run -d -P –name=tomcat03 tomcat:8.0查看容器ip地址docker exec -it a72d4ae634da ip addr1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noque

    2022年8月9日
  • idea打包docker镜像特别慢_把代码和环境做成docker镜像

    idea打包docker镜像特别慢_把代码和环境做成docker镜像1.安装docker插件在plugins中搜索docker安装,完成后重启。

    2022年10月3日
  • Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

    Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?今天打开centos7,由于没设置开机自启,当我启动docker时,发现与docker有关的命令都会报错,百度过,说什么重装docker啥的,我都试过,但是还是解决不了问题,下面我贴出问题集:1.例如我查看版本信息2.重启容器3.systemctlstatusdocker查看docker状态也发现错误:最后解决问题方法是:进入/etc/docker,没有daemon.json文件就自己新建一个:cd/etc/docker编辑daemon.json文件:加入这段代码:

    2022年5月29日
  • docker启动mysql失败(闪退)原因

    docker启动mysql失败(闪退)原因创建好mysql之后容器之后可以连接后来修改了配置发现mysql启动不了dockerps-a查看发现mysql的状态一直是EXISTdockerstartmysql能成功启动(docker返回mysql)但是再查看dockerps发现还是没有启动起来大概可以知道就是docker启动之后又迅速关闭想起Docker容器后台运行,就必须有一个前台进程。否则就会自动关闭,大概推测是docker里的mysql没又起起来。想起刚刚修改了配置,可能是配置错了导致的。一看发现粘贴配置的时候格

    2022年9月2日
  • docker搭建kafka集群

    docker搭建kafka集群docker搭建kafka集群我在M1mbp上使用的以下镜像新建文件zk-kafka-docker-compose.ymlversion:”2″services:zookeeper:user:rootimage:docker.io/zookeeperports:-“12181:2181″environment:-ALLOW_ANONYMOUS_LOGIN=yesvolumes:-zoo

    2022年4月25日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号