Linux下kafka集群安装配置

Linux下kafka集群安装配置下载kafkahttps://kafka.apache.org/downloads#2.3.1解压tar-zxvfkafka_2.12-2.3.1.tgz配置server.xmlcd/usr/local/kafka/kafka_2.12-2.3.1/configviserver.xml本次设置三个节点,配置内容如下192.168.0.1broker.id…

大家好,又见面了,我是你们的朋友全栈君。

下载kafka

https://kafka.apache.org/downloads#2.3.1

解压

tar -zxvf kafka_2.12-2.3.1.tgz

置server.xml

cd /usr/local/kafka/kafka_2.12-2.3.1/config

vi server.xml

本次设置三个节点,配置内容如下

192.168.0.1

broker.id=0

listeners=PLAINTEXT://192.168.0.1:9092

host.name=192.168.0.1

zookeeper.connect=192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181

log.dirs=/tmp/kafka-logs1

 

192.168.0.2

broker.id=1

listeners=PLAINTEXT://192.168.0.2:9092

host.name=192.168.0.2

zookeeper.connect=192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181

log.dirs=/tmp/kafka-logs1

 

192.168.0.3

broker.id=2

listeners=PLAINTEXT://192.168.0.3:9092

host.name=192.168.0.3

zookeeper.connect=192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181

log.dirs=/tmp/kafka-logs1

 

配置myid文件

kafka目录下新建zookeeper文件夹,用于放myid文件

cd /usr/local/kafka/kafka_2.12-2.3.1/

mkdir zookeeper

touch myid

vi myid

 

在新创建的zookeeper目录下新建myid文件,每个节点对应的myid内容见下。注意myid不能为0

192.168.0.1

1

192.168.0.2

2

192.168.0.3

3

 

配置zookeeper.properties文件

dataDir=/usr/local/kafka/kafka_2.12-2.3.1/zookeeper

tickTime=2000

initLimit=10

syncLimit=5

server.1=192.168.0.1:2888:3888

server.2=192.168.0.2:2888:3888

server.3=192.168.0.3:2888:3888

 

启动zookeeper

cd /usr/local/kafka/kafka_2.12-2.3.1/\rbin/zookeeper-server-start.sh -daemon config/zookeeper.properties &\r

启动kafka

cd /usr/local/kafka/kafka_2.12-2.3.1/bin\r ./kafka-server-start.sh -daemon ../config/server.properties &\r

 

常用报错处理:

启动报错

nohup: failed to run command `/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.101-3.b13.el6_8.x86_64/bin/java’: No such file or directory

配置jdk/jre路径

vi kafka-run-class.sh

# Which java to use

if [ -z “$JAVA_HOME” ]; then

  JAVA=”java”

else

  JAVA=”/usr/local/java/jdk1.8.0_161/bin/java”

fi

myid如果设值为0则报下面的错误

java.lang.RuntimeException: My id 0 not in the peer list

broke.id冲突

改了节点的broke.id或同一个节点部了两个kafka,可能会报这个错,可以将server.xml中的log.dirs重新指定一下即可,如改成:

log.dirs=/tmp/kafka-logs2

meta.properties的位置示例见

/tmp/kafka-logs/meta.properties

腾讯云节点配置集群需将各个节点加到安全组里面

Linux下kafka集群安装配置

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/141907.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • RPM卸载 (Linux 使用)[通俗易懂]

    RPM卸载 (Linux 使用)[通俗易懂]可以先用rpm-q’xxx’或者rpm-qf’xxx/bin/xxxx.xx’来查询一下所属的rpm包的名字。然后用rpm-e’xxxxxx’来删之。’xxx/bin/xxxx.xx’是一个包中任意的文件’xxxxxx’是查询得到的rpm包的名称rpm-e的时候后面的文件名不用加版本号详细说明:安全地卸载RPM卸载软件包,并不是简单地将原来安

    2022年9月2日
    6
  • php array_map与array_walk使用对比

    php array_map与array_walk使用对比

    2021年10月31日
    42
  • linux查看防火墙有没关闭了,linux查看防火墙是否关闭的实例方法

    linux查看防火墙有没关闭了,linux查看防火墙是否关闭的实例方法linux 查看防火墙是否关闭的实例方法一 service 方式查看防火墙状态 root centos6 serviceiptab 未运行防火墙 推荐教程 linux 教程二 iptables 方式先进入 init d 目录 命令如下 root centos6 cd etc init d root centos6init d 然后查看防火墙状态

    2025年7月16日
    3
  • oracle中更改表名称,oracle中修改表名的几种方式[通俗易懂]

    oracle中更改表名称,oracle中修改表名的几种方式[通俗易懂]answer1:ALTERTABLEold_table_nameRENAMETOnew_table_name;(大写为系统命令)answer2:sql>selecttnamefromtab;@H_404_7@TNAME@H_404_7@——————————@H_404_7@TEST@H_404_7@@H_404_7@sql>…

    2022年5月13日
    52
  • 风控模型及特征的上线部署方法

    风控模型及特征的上线部署方法序言:作为年后的首篇实操干货文章,番茄风控一如既往向业内小伙伴输出相关的干货文章。有实操能落地,有数据可撸码,继续将会是番茄风控提供给各位小伙伴的业内标配内容。近期,我们花费了时间容整理了目前业内各位小伙伴关心的内容,本次文章是其中一个问题就是模型跟规则在现有的风控系统内是如何规范上线的,基于此,我们给大家带来了这样的一篇内容。本次文章内容翔实,章节就有四大部分,内容绝对干货满满,实操性十足。老规矩,文章中提及的更详情(数据集+代码内容)可以直接到知识课堂中下载学习。本文有理论,有方法,有实操,还有数

    2022年5月4日
    72
  • 复变函数—–区域「建议收藏」

    复变函数—–区域「建议收藏」邻域、去心邻域平面上以Z0为中心,δ(任意的正数)为半径的圆:|Z-Z0|<δ内部的点的集合称为Z0的邻域,而称由不等式0<|Z-Z0|<δ所确定的点集为Z0的去心邻域。内点、开集设G为一平面点集,Z0为G中任意一点,如果存在Z0的一个邻域,该邻域内的所有点都属于G,那么称Z0为G的内点。如果G内的每个点都是它的内点,那么称G为开集。区域平面点集D称为一个区域,如果满足下列两个条件:1.D是一个开集;2.D是连通的,就是说D中任何两点都可以用完全属于D的一条折线连

    2022年7月15日
    26

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号