Kafka集群配置[通俗易懂]

Kafka集群配置[通俗易懂]之前一篇博文简单讲述了zookeeper和kafka的单机配置,详细可以参考《Linux(CentOS)中常用软件安装,使用及异常——Zookeeper,Kafka》。本文只要讲述Kafka集群的配置事项,包括zookeeper集群的配置。本文讲述的前提是kafka和zookeeper在单机情况下已正确安装和配置。如有疑问,可以参考《Linux(CentOS)中常用软件安装,使用及异常——Z…

大家好,又见面了,我是你们的朋友全栈君。


欢迎支持笔者新作:《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》,同时欢迎关注笔者的微信公众号:朱小厮的博客。
Kafka集群配置[通俗易懂]


欢迎跳转到本文的原文链接:https://honeypps.com/mq/kafka-cluster-config/

之前一篇博文简单讲述了zookeeper和kafka的单机配置,详细可以参考《Linux(CentOS)中常用软件安装,使用及异常——Zookeeper, Kafka》。
本文只要讲述Kafka集群的配置事项,包括zookeeper集群的配置。本文讲述的前提是kafka和zookeeper在单机情况下已正确安装和配置。如有疑问,可以参考《Linux(CentOS)中常用软件安装,使用及异常——Zookeeper, Kafka》。

假设集群中有三台机器, ip地址分别为: xx.101.139.1, xx.101.139.2, xx.101.139.3.
zookeeper集群: xx.101.139.1:2181, xx.101.139.2:2181, xx.101.139.3:2181.
kafka broker集群: xx.101.139.1:9092, xx.101.139.2:9092, xx.101.139.3:9092.

配置zookeeper集群

1 修改zookeeper的配置文件,在$ZOOKEEPER_HOME/conf/下的zoo.cfg.(每台机器都需要添加)
在文件末尾添加:

server.0=xx.101.139.1:2888:3888
server.1=xx.101.139.2:2888:3888
server.2=xx.101.139.3:2888:3888

这里简单说明一下:server.A=B:C:D
A是一个数字,表示这个是第几号服务器,B是这个服务器的ip地址
C第一个端口用来集群成员的信息交换,表示的是这个服务器与集群中的Leader服务器交换信息的端口
D是在leader挂掉时专门用来进行选举leader所用

2 创建server id标识
在zoo.cfg下同时还需要配置(单机版时就已经设定,在配置集群时就可不必在设置)

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper/data
dataLogDir/tmp/zookeeper/log
clientPort=2181

在上面可以看到有个dataDir的配置,在配置集群时需要在dataDir配置的/tmp/zookeeper/data下创建一个名称为”myid”的文件,文件里填上serverid号。

vim /tmp/zookeeper/data/myid
之后在其中输入0 (根据上一步的配置,xx.101.139.1配置为0,xx.101.139.2配置为1,依次类推对应起来)
输入:wq保存退出

3 启动各个节点的zookeeper: bin/zkServer.sh start

4 通过bin/zkServer.sh status查看各个节点的状态。

JMX enabled by default
Using config: /root/util/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower (或Leader)

配置kafka集群

1 需要修改$KAFKA_HOME/config下的server.properties文件
修改broker.id的值,比如xx.101.139.1设置为0,xx.101.139.2设置为1,依次类推。(每台kafka broker server必须唯一)
最好将host.name设置为本机的ip地址而不是默认的localhost.
修改zookeeper.connect为zookeeper集群的ip,本例中可以这样设置:
zookeeper.connect=xx.101.139.1:2181,xx.101.139.2:2181,xx.101.139.3:2181

2 在每台机器上启动kafka
bin/kafka-server-start.sh config/server.properties

欢迎跳转到本文的原文链接:https://honeypps.com/mq/kafka-cluster-config/


欢迎支持笔者新作:《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》,同时欢迎关注笔者的微信公众号:朱小厮的博客。
Kafka集群配置[通俗易懂]


版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/129912.html原文链接:https://javaforall.net

(0)
上一篇 2022年4月25日 下午12:20
下一篇 2022年4月25日 下午2:00


相关推荐

  • Java代码生成器原理和编写

    Java代码生成器原理和编写代码生成器的原理其实是非常简单的,主要可以分为下面两个步骤: 数据库元数据抓取 模板输出 第一步数据库元数据信息抓取这里给大家提供些简单易于操作的思路,我们找到数据库连接中的information_schema这个库,这个库就是元数据库,保存着其他库以及库表的信息,并且一直维护.我们想要做到根据数据库去动态生成代码,那么就需要拿到生成代码的对应的数据库,表,以及字段等信息.下面给大家提供一下获取数据库,获取数据库表,获取数据库表字段的SQL语句获取连接中的所有数据..

    2022年5月4日
    151
  • kafka多线程消费[通俗易懂]

    kafka多线程消费[通俗易懂]1、zookeeper集群搭建:https://blog.csdn.net/qq_31289187/article/details/809333652、kafka集群搭建:https://blog.csdn.net/qq_31289187/article/details/809552283、kafka生成消息:https://blog.csdn.net/qq_31289187/articl…

    2022年10月14日
    7
  • 即梦ai做建筑效果图

    即梦ai做建筑效果图

    2026年3月13日
    2
  • 倒立摆及其应用//2021-2-23[通俗易懂]

    倒立摆及其应用//2021-2-23[通俗易懂]前言:以前搞电赛的时候搞过Pid平衡小车,倒立摆基本实现方法与平衡小车差不多,有一次刚院跑到实验室唠嗑,问你知不知道倒立摆的应用?我说不知道,他说航天火箭····,你们的这些常识太少了,落下这句话就走了,故为了解这些常识,有此小文。正文:一、倒立摆(invertedpendulum)1.概述倒立摆,InvertedPendulum,是典型的多变量、高阶次(有些还分几阶倒立摆【PID中涉及角度还有角速度这样来看多变量高阶层就不难理解了】),非线性、强耦合、自然不稳定系统。倒…

    2022年8月18日
    11
  • excel内嵌python,PyXLL库 | Excel与Python的完美结合(附使用文档)

    excel内嵌python,PyXLL库 | Excel与Python的完美结合(附使用文档)什么是 PyXLL PyXLL 是一个 Excel 扩展插件 使开发人员可以使用 Python 代码扩展 Excel 的功能 PyXLL 使 Python 成为 Excel 工作表的高效 灵活的后端 并允许您使用熟悉的 Excel 用户界面与信息基础结构的其他部分进行交互 使用 PyXLL 您的 Python 代码可以使用任何常见的 Python 发行版 例如 Anaconda Enthought 的 Canopy 或任何其他从 2 3 到 3 9 的

    2026年3月17日
    2
  • 怎么改变pycharm的背景颜色_pycharm设置成白底

    怎么改变pycharm的背景颜色_pycharm设置成白底进入软件点击File选择Settings点击点击Edito左下角的三角形点击ColorScheme左下角的三角形选择ConsoleFoot点击点击Scheme的选择框选择完毕之后点Ok,会弹出一个选择框,yes代表全部改变,no代表编辑框的背景颜色改变

    2022年8月26日
    10

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号