Kafka集群配置

Kafka集群配置之前一篇博文简单讲述了zookeeper和kafka的单机配置,详细可以参考《Linux(CentOS)中常用软件安装,使用及异常——Zookeeper,Kafka》。本文只要讲述Kafka集群的配置事项,包括zookeeper集群的配置。本文讲述的前提是kafka和zookeeper在单机情况下已正确安装和配置。如有疑问,可以参考《Linux(CentOS)中常用软件安装,使用及异常——Z…

大家好,又见面了,我是你们的朋友全栈君。


欢迎支持笔者新作:《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》,同时欢迎关注笔者的微信公众号:朱小厮的博客。
Kafka集群配置


欢迎跳转到本文的原文链接:https://honeypps.com/mq/kafka-cluster-config/

之前一篇博文简单讲述了zookeeper和kafka的单机配置,详细可以参考《Linux(CentOS)中常用软件安装,使用及异常——Zookeeper, Kafka》。
本文只要讲述Kafka集群的配置事项,包括zookeeper集群的配置。本文讲述的前提是kafka和zookeeper在单机情况下已正确安装和配置。如有疑问,可以参考《Linux(CentOS)中常用软件安装,使用及异常——Zookeeper, Kafka》。

假设集群中有三台机器, ip地址分别为: xx.101.139.1, xx.101.139.2, xx.101.139.3.
zookeeper集群: xx.101.139.1:2181, xx.101.139.2:2181, xx.101.139.3:2181.
kafka broker集群: xx.101.139.1:9092, xx.101.139.2:9092, xx.101.139.3:9092.

配置zookeeper集群

1 修改zookeeper的配置文件,在$ZOOKEEPER_HOME/conf/下的zoo.cfg.(每台机器都需要添加)
在文件末尾添加:

server.0=xx.101.139.1:2888:3888
server.1=xx.101.139.2:2888:3888
server.2=xx.101.139.3:2888:3888

这里简单说明一下:server.A=B:C:D
A是一个数字,表示这个是第几号服务器,B是这个服务器的ip地址
C第一个端口用来集群成员的信息交换,表示的是这个服务器与集群中的Leader服务器交换信息的端口
D是在leader挂掉时专门用来进行选举leader所用

2 创建server id标识
在zoo.cfg下同时还需要配置(单机版时就已经设定,在配置集群时就可不必在设置)

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper/data
dataLogDir/tmp/zookeeper/log
clientPort=2181

在上面可以看到有个dataDir的配置,在配置集群时需要在dataDir配置的/tmp/zookeeper/data下创建一个名称为”myid”的文件,文件里填上serverid号。

vim /tmp/zookeeper/data/myid
之后在其中输入0 (根据上一步的配置,xx.101.139.1配置为0,xx.101.139.2配置为1,依次类推对应起来)
输入:wq保存退出

3 启动各个节点的zookeeper: bin/zkServer.sh start

4 通过bin/zkServer.sh status查看各个节点的状态。

JMX enabled by default
Using config: /root/util/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower (或Leader)

配置kafka集群

1 需要修改$KAFKA_HOME/config下的server.properties文件
修改broker.id的值,比如xx.101.139.1设置为0,xx.101.139.2设置为1,依次类推。(每台kafka broker server必须唯一)
最好将host.name设置为本机的ip地址而不是默认的localhost.
修改zookeeper.connect为zookeeper集群的ip,本例中可以这样设置:
zookeeper.connect=xx.101.139.1:2181,xx.101.139.2:2181,xx.101.139.3:2181

2 在每台机器上启动kafka
bin/kafka-server-start.sh config/server.properties

欢迎跳转到本文的原文链接:https://honeypps.com/mq/kafka-cluster-config/


欢迎支持笔者新作:《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》,同时欢迎关注笔者的微信公众号:朱小厮的博客。
Kafka集群配置


版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/129909.html原文链接:https://javaforall.net

(0)
上一篇 2022年4月25日 下午2:20
下一篇 2022年4月25日 下午2:20


相关推荐

  • java pfx_如何在Java中读取.pfx文件的内容?

    java pfx_如何在Java中读取.pfx文件的内容?我有file.pfx文件,还有一个私钥.如何在Java中读取file.pfx中的证书?我用过这段代码:importjava.security.*;importjava.security.cert.Certificate;importjava.security.cert.X509Certificate;importjava.security.cert.CertificateException…

    2022年6月7日
    78
  • 【我的OpenGL学习进阶之旅】什么是TGA文件以及如何打开TGA文件?「建议收藏」

    什么是TGA文件?具有TGA文件扩展名的文件是Truevision图形适配器图像文件。它也很流行是Targa图形文件,TruevisionTGA或只是TARGA,这意味着Truevision高级栅格图形适配器。您可能会发现普通图像查看器无法打开TGA苍蝇。“Targa图形”格式的图像可能以原始格式或压缩格式存储,这对于图标,线条图和其他简单图像可能是首选。TGA格式通常与视频游戏中使用的图像文件有关。TGA文件可以是未压缩的原始文件,也可以是无损的RLE压缩文件。这种压缩方式对于图标和线条

    2022年4月8日
    82
  • Hive建表语句浅析

    Hive建表语句浅析CREATE EXTERNAL TABLE IFNOTEXISTS table name column namedata type COMMENTcolum comment COMMENTtable comment PARTITIONEDB column namedata type COMMENTcolum comment CLUSTEREDBY column name1 column name2 SOR

    2026年3月17日
    2
  • pytest skipif_pytest不是内部或外部命令

    pytest skipif_pytest不是内部或外部命令前言pytest.mark.skip可以标记无法在某些平台上运行的测试功能,或者您希望失败的测试功能Skip和xfail:处理那些不会成功的测试用例你可以对那些在某些特定平台上不能运行的测试用

    2022年7月30日
    14
  • PyCharm安装配置谷歌浏览器驱动[通俗易懂]

    PyCharm安装配置谷歌浏览器驱动[通俗易懂]PyCharm配置安装Chorme驱动下载驱动查看Chorme的版本这是我的谷歌浏览器版本去网站下载对应的驱动软件下载后进入下载的目录,解压然后把这个文件放入Python的Scripts文件夹(首先你的Python环境变量已经配置过)驱动下载地址:http://chromedriver.storage.proxy.ustclug.org/index.html安装驱动进入设置,按照步骤点击安装selenium包然后会出现安装进程,添加完成之后开始测试驱动测试驱动创建一个Pyth

    2022年5月4日
    607
  • 微信小程序的面试题_小程序面试题汇总

    微信小程序的面试题_小程序面试题汇总小程序面试题简单描述下微信小程序的相关文件类型?一、WXML(WeiXinMarkupLanguage)是框架设计的一套标签语言,结合基础组件、事件系统,可以构建出页面的结构。内部主要是微信自己定义的一套组件。与html差不多。二、WXSS(WeiXinStyleSheets)是一套样式语言,用于描述WXML的组件样式,与css差不多二、js逻辑处理,…

    2022年4月19日
    65

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号