基于Docker的Kafka集群搭建

基于Docker的Kafka集群搭建1.pulldocker,在机器上下载最新版本的kafka和zookeeper镜像,这里使用的是wurstmeister的镜像dockerpullwurstmeister/kafkadockerpullwurstmeister/zookeeper2.装好的docker镜像3.启动zk容器Dockerrun–d–namezookeeper–p2181:…

大家好,又见面了,我是你们的朋友全栈君。

1.pull docker ,在机器上下载最新版本的kafka和zookeeper镜像,这里使用的是wurstmeister的镜像

docker pull wurstmeister/kafka

docker pull wurstmeister/zookeeper

2.装好的docker镜像

基于Docker的Kafka集群搭建3.启动zk容器

基于Docker的Kafka集群搭建

Docker run –d –name zookeeper –p 2181:2181 –t wurstmerister/zookeeper

Zk容器命名为zookeeper,端口号2181.

下面先测试一下单节点kafka docker是否好用

4.启动kafka容器

基于Docker的Kafka集群搭建

docker run -d –name kafka1 \

 -p 9092:9092 \

 -e KAFKA_BROKER_ID=0 \

 -e KAFKA_ZOOKEEPER_CONNECT=172.21.3.228:2181 \

 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.21.3.228:9092 \

 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

容器命名为kafka1,指定了broker_id为0,端口号9092,zk地址为本机2181

5.进入kafka容器创建主题

基于Docker的Kafka集群搭建

使用docker exec –ti {$name} /bin/bash来进入指定容器

基于Docker的Kafka集群搭建

创建一个名为test的主题,一个副本一个分区,须指定zk地址

6.收发送消息

基于Docker的Kafka集群搭建

使用kafka-console-producer.sh发送、kafka-console-consumer.sh接收消息。都需要指定broker的地址

测试结果如图所示,单机情况下能够正常收发消息,下面测试基于docker的集群搭建

7.搭建集群

使用docker命令可快速在同一台机器启动多个kafka,只需要改变brokerId和端口即可用于搭建集群

基于Docker的Kafka集群搭建

启动第二个kafka容器命名为kafka2,其zk地址与kafka1一致,broker_id为1,服务端口号为9093

然后进入kafka容器创建第二个topic名为test2,副本数2,分区2

基于Docker的Kafka集群搭建

查询test2主题可以看到,已经是集群环境,可以看到leader机器、副本在分区上的保存情况,和ISR列表成员

8.集群收发消息

测试一下使用kafka1发送消息,kafka2接收消息

基于Docker的Kafka集群搭建

如图所示,可以正常发送和接收

9.关闭kafka2后查看集群状态

基于Docker的Kafka集群搭建

可以看到分区的leader机都变成了broker0(即kafka1),ISR列表中只有broker0

 

除了手动命令行搭建集群,还可以用k8s 配合yml文件快捷的搭建集群

详情见另一篇博文https://blog.csdn.net/playadota/article/details/84784073

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/133015.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • docker 上传本地镜像_不同docker仓库镜像同步

    docker 上传本地镜像_不同docker仓库镜像同步前言之前通过docker搭建过jenkins+python3环境,如果想要在不同的机器上搭建一样的环境,就可以将之前搭建的镜像上传到镜像仓库,这样方便在不同的机器上快速搭建同一套环境。如果公开的话

    2022年7月29日
    19
  • 肝了一晚帮她搭建完个人网站——利用Docker在单节点上实现内外网隔离网站部署(Nginx、WordPress、MySQL)

    肝了一晚帮她搭建完个人网站——利用Docker在单节点上实现内外网隔离网站部署(Nginx、Wordpress、MySQL)目录1、前言2、注册3、重置服务器实例密码4、配置安全规则5、登录服务器6、更新系统7、安装Docker8、创建Docker子网络9、创建子网内的MySQL实例10、创建子网内的WordPress实例11、创建Nginx反向代理实例12、查看状态13、配置WordPress14、发布站点15、访问站点16、Docker命令行日常更新18、总结1、前言  同事小姐姐琦琦毕业后就应聘来到我们公司做项目助理,跟我分在一个项目组。琦琦自身先天条件就很好,长得耐看,身高1.65,偏瘦,整体算中等偏上的水平吧。她平

    2022年5月15日
    66
  • docker mysql日志查看_MySQL查看版本

    docker mysql日志查看_MySQL查看版本查询DockerMySQL的版本号1.查找到当前正在运行的容器#dockerps2.进入mysql容器(命令中不带小括号)#dockerexec-it(mysql的名字,或id)bash3.登录mysql,输入账号密码登录(命令中不带小括号)#mysql-u(root)-p(abcd)登录成功以后,会显示该mysql的详细信息,其中包含版本号…

    2022年9月28日
    3
  • docker部署mysql 实现远程连接[通俗易懂]

    1.dockersearchmysql查看mysql版本2.dockerpullmysql要选择starts最高的那个name进行下载3.dockerimages查看下载好的镜像4.启动mysql实例dockerrun–namedockermysql-p3307:3306-eMYSQL_ROOT_PASS…

    2022年4月11日
    45
  • docker重启后镜像消失_u盘安装iso原版镜像

    docker重启后镜像消失_u盘安装iso原版镜像一、问题引入根据镜像启动容器,执行命令如下:dockerrun–namemycentos-dcentos,通过dockerps查看正在运行中容器,缺找不到mycentos容器。再次通过dockerps-a查看发现,mycentos容器已经处于停止状态了。二、原因Docker容器后台运行,就必须有一个前台进程.容器运行的命令如果不是那些一直挂起的命令(eg.运行…

    2022年9月22日
    2
  • docker入门(三):容器数据卷与DockerFile脚本,使用阿里云镜像仓库[通俗易懂]

    docker入门(三):容器数据卷与DockerFile脚本,使用阿里云镜像仓库[通俗易懂]一、容器数据卷用于数据保存和持久化,简单的理解,就是容器和主机共享的一个公共硬盘,举个例子,原本tomcat部署应用,或者查看日志还需要进入容器,现在将日志文件夹和部署文件夹拿出来挂载到主机,就可以

    2022年8月16日
    8

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号