基于Docker的Kafka集群搭建

基于Docker的Kafka集群搭建1.pulldocker,在机器上下载最新版本的kafka和zookeeper镜像,这里使用的是wurstmeister的镜像dockerpullwurstmeister/kafkadockerpullwurstmeister/zookeeper2.装好的docker镜像3.启动zk容器Dockerrun–d–namezookeeper–p2181:…

大家好,又见面了,我是你们的朋友全栈君。

1.pull docker ,在机器上下载最新版本的kafka和zookeeper镜像,这里使用的是wurstmeister的镜像

docker pull wurstmeister/kafka

docker pull wurstmeister/zookeeper

2.装好的docker镜像

基于Docker的Kafka集群搭建3.启动zk容器

基于Docker的Kafka集群搭建

Docker run –d –name zookeeper –p 2181:2181 –t wurstmerister/zookeeper

Zk容器命名为zookeeper,端口号2181.

下面先测试一下单节点kafka docker是否好用

4.启动kafka容器

基于Docker的Kafka集群搭建

docker run -d –name kafka1 \

 -p 9092:9092 \

 -e KAFKA_BROKER_ID=0 \

 -e KAFKA_ZOOKEEPER_CONNECT=172.21.3.228:2181 \

 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.21.3.228:9092 \

 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

容器命名为kafka1,指定了broker_id为0,端口号9092,zk地址为本机2181

5.进入kafka容器创建主题

基于Docker的Kafka集群搭建

使用docker exec –ti {$name} /bin/bash来进入指定容器

基于Docker的Kafka集群搭建

创建一个名为test的主题,一个副本一个分区,须指定zk地址

6.收发送消息

基于Docker的Kafka集群搭建

使用kafka-console-producer.sh发送、kafka-console-consumer.sh接收消息。都需要指定broker的地址

测试结果如图所示,单机情况下能够正常收发消息,下面测试基于docker的集群搭建

7.搭建集群

使用docker命令可快速在同一台机器启动多个kafka,只需要改变brokerId和端口即可用于搭建集群

基于Docker的Kafka集群搭建

启动第二个kafka容器命名为kafka2,其zk地址与kafka1一致,broker_id为1,服务端口号为9093

然后进入kafka容器创建第二个topic名为test2,副本数2,分区2

基于Docker的Kafka集群搭建

查询test2主题可以看到,已经是集群环境,可以看到leader机器、副本在分区上的保存情况,和ISR列表成员

8.集群收发消息

测试一下使用kafka1发送消息,kafka2接收消息

基于Docker的Kafka集群搭建

如图所示,可以正常发送和接收

9.关闭kafka2后查看集群状态

基于Docker的Kafka集群搭建

可以看到分区的leader机都变成了broker0(即kafka1),ISR列表中只有broker0

 

除了手动命令行搭建集群,还可以用k8s 配合yml文件快捷的搭建集群

详情见另一篇博文https://blog.csdn.net/playadota/article/details/84784073

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/133015.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • docker nginx挂载目录_挂载成功之后如何安装

    docker nginx挂载目录_挂载成功之后如何安装创建目录一般将nginx目录挂载到宿主机方便操作,创建nginx目录:mkdir/home/dockernginxmkdir/home/dockernginx/{conf,html,logs}创建nginx配置文件如下:vim/home/dockernginx/conf/nginx.confnginx默认配置如下:usernginx;worker_processesauto;error_log/var/log/nginx/error.lognotice;pi

    2022年8月20日
    8
  • docker dockerfile详解_进入docker容器命令

    docker dockerfile详解_进入docker容器命令前言Dockerfile是一个用来构建镜像的文本文件,文本内容包含了一条条构建镜像所需的指令和说明。Dockerfile简介Dockerfile是用来构建Docker镜像的构建文件,是由一系列

    2022年7月28日
    9
  • ThingsBoard——Docker重启失败,报错Connection to localhost:5432 refused的解决方法

    ThingsBoard——Docker重启失败,报错Connection to localhost:5432 refused的解决方法一、问题现在还没编译好thingsboard源代码,用的是docker搭建起来的环境。在写自定义节点,要打包好扔到docker里,再重启docker。后来发现经常重启失败,报错的错误也都是这样:2022-03-0508:53:23,164[main]ERRORcom.zaxxer.hikari.pool.HikariPool-HikariPool-1-Exceptionduringpoolinitialization.org.postgresql.util.PSQLExcepti

    2022年6月19日
    60
  • docker 容器内部访问宿主机_docker访问宿主机文件

    docker 容器内部访问宿主机_docker访问宿主机文件在使用Docker部署应用时,Docker推荐的方式是将应用及其所依赖的服务(MySQL,Redis等)均使用Docker部署,并通过link或自定义网络相连接。但是,当应用所依赖的服务被安装在宿主机上时,我们需要让容器中的应用能够访问到部署在宿主机上的服务。本文将介绍实现这一目的的几种方案,并分析其优缺点。首先我们需要了解一些关于Docker网络的基础知识。Docker网络Docker提供…

    2022年8月20日
    64
  • docker部署Kafka_kafka容器部署

    docker部署Kafka_kafka容器部署1.拉取镜像dockerpullwurstmeister/zookeeperdockerpullwurstmeister/kafka2.启动,先启动zookeeperdockerrun-d–namezookeeper-p2181:2181-twurstmeister/zookeeper再启动kafka,中间两个参数的172.17.137.55改为宿主机器的IP地址,如果不这么设置,可能会导致在别的机器上访问不到kafka。使用docker命令可快速在同一台机器搭

    2022年10月18日
    2
  • docker离线安装部署_ubuntu 离线安装docker

    docker离线安装部署_ubuntu 离线安装docker说明使用虚拟机真实模仿离线环境虚拟机系统为CentOS7正文下载Docker二进制文件(离线安装包):下载地址本文使用/x86_64/docker-17.12.1-ce.tgz,注意对应操作系统类型。通过FTP工具将docker-17.12.1-ce.tgz上传到服务器上解压安装包tarzxfdocker-17.12.1-ce.tgz将docker相关命令拷贝到/usr/bin,方便直接运行命令sudocpdocker/*/usr/bin/启动Docke

    2022年9月26日
    4

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号