1. 全栈程序员必看首页

Linux下kafka集群安装配置

全栈程序员-站长 • • 未分类 • 阅读 25

Linux下kafka集群安装配置下载kafkahttps://kafka.apache.org/downloads#2.3.1解压tar-zxvfkafka_2.12-2.3.1.tgz配置server.xmlcd/usr/local/kafka/kafka_2.12-2.3.1/configviserver.xml本次设置三个节点，配置内容如下192.168.0.1broker.id…

大家好，又见面了，我是你们的朋友全栈君。

下载kafka

https://kafka.apache.org/downloads#2.3.1

解压

tar -zxvf kafka_2.12-2.3.1.tgz

配置server.xml

cd /usr/local/kafka/kafka_2.12-2.3.1/config

vi server.xml

本次设置三个节点，配置内容如下

192.168.0.1

broker.id=0

listeners=PLAINTEXT://192.168.0.1:9092

host.name=192.168.0.1

zookeeper.connect=192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181

log.dirs=/tmp/kafka-logs1

 

192.168.0.2

broker.id=1

listeners=PLAINTEXT://192.168.0.2:9092

host.name=192.168.0.2

zookeeper.connect=192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181

log.dirs=/tmp/kafka-logs1

 

192.168.0.3

broker.id=2

listeners=PLAINTEXT://192.168.0.3:9092

host.name=192.168.0.3

zookeeper.connect=192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181

log.dirs=/tmp/kafka-logs1

 

配置myid文件

在kafka目录下新建zookeeper文件夹，用于放myid文件

cd /usr/local/kafka/kafka_2.12-2.3.1/

mkdir zookeeper

touch myid

vi myid

 

在新创建的zookeeper目录下新建myid文件，每个节点对应的myid内容见下。注意myid不能为0

192.168.0.1

1

192.168.0.2

2

192.168.0.3

3

 

配置zookeeper.properties文件

dataDir=/usr/local/kafka/kafka_2.12-2.3.1/zookeeper

tickTime=2000

initLimit=10

syncLimit=5

server.1=192.168.0.1:2888:3888

server.2=192.168.0.2:2888:3888

server.3=192.168.0.3:2888:3888

 

启动zookeeper

cd /usr/local/kafka/kafka_2.12-2.3.1/\rbin/zookeeper-server-start.sh -daemon config/zookeeper.properties &\r

启动kafka

cd /usr/local/kafka/kafka_2.12-2.3.1/bin\r ./kafka-server-start.sh -daemon ../config/server.properties &\r

 

常用报错处理：

启动报错

nohup: failed to run command `/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.101-3.b13.el6_8.x86_64/bin/java’: No such file or directory

配置jdk/jre路径

vi kafka-run-class.sh

# Which java to use

if [ -z “$JAVA_HOME” ]; then

  JAVA=”java”

else

  JAVA=”/usr/local/java/jdk1.8.0_161/bin/java”

fi

myid如果设值为0则报下面的错误

java.lang.RuntimeException: My id 0 not in the peer list

broke.id冲突

改了节点的broke.id或同一个节点部了两个kafka，可能会报这个错，可以将server.xml中的log.dirs重新指定一下即可，如改成：

log.dirs=/tmp/kafka-logs2

meta.properties的位置示例见

/tmp/kafka-logs/meta.properties

腾讯云节点配置集群需将各个节点加到安全组里面

Linux下kafka集群安装配置

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/141907.html原文链接：https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长
0 0


相关推荐

  • java8之lamda groupingby多层 嵌套[通俗易懂]

    java8之lamda groupingby多层 嵌套[通俗易懂]

    java8之lamda groupingby多层 嵌套[通俗易懂]@Testpublicvoidr(){List<Person>javaProgrammers=newArrayList<Person>(){{add(newPerson("Elsdon","1","Javaprogrammer","male",43,2000));

    全栈程序员-站长的头像 全栈程序员-站长
    2022年8月20日
    4
  • 金三银四，教你编写一份脱颖而出的简历，从而 offer 手到擒来，要参加校招的同学要提前准备了「建议收藏」

    金三银四，教你编写一份脱颖而出的简历，从而 offer 手到擒来，要参加校招的同学要提前准备了「建议收藏」

    金三银四，教你编写一份脱颖而出的简历，从而 offer 手到擒来，要参加校招的同学要提前准备了「建议收藏」最近一段时间不是金三银四嘛，有不少同学通过CSDN私信的方式把简历发给我，要我给出一些建议。看多了以后，我发现，有些同学根本不知道怎么写简历，格式乱七八糟，填写的个人经历就像是记流水账一样，完全勾不起我的任何兴趣。那，招聘方应该比我更苛刻，所以这样的简历投递出去，石沉大海的几率很大啊。2014年，我从苏州回到了洛阳，那是我最后一次投简历，现在还在招聘网站上挂着——公开的。嗯，在这么多年的时间里，并没有招聘方和猎头通过这份挂出去的简历给我打电话，虽然我的联系方式一直没变。那只能说明一点，我当时写的简历

    全栈程序员-站长的头像 全栈程序员-站长
    2022年5月2日
    33
  • 几款Android 应用自动化测试工具「建议收藏」

    几款Android 应用自动化测试工具「建议收藏」

    简述：本文介绍几款流行的Android应用自动化测试工具。Monkey测试：随机测试，压力测试，运行在模拟器或实际设备中。MonkeyRunner测试：操作简单，可录制测试脚本，可视化操作，主要生成坐标的自动化操作，移植性不强Robotium 测试Ronaorex 测试Appium测试UIAutomator测试Test

    全栈程序员-站长的头像 全栈程序员-站长
    2022年4月11日
    95
  • 双因素身份认证系统的技术特点_mfa多因素认证

    双因素身份认证系统的技术特点_mfa多因素认证

    双因素身份认证系统的技术特点_mfa多因素认证一般的状况下，用户通常使用的网络登录办法为：用户名称＋密码。在密码为静态的状况下，将会产生某些问题，比如为了维护密码安全性，必须严格规定密码的长度、复杂性（例如：中英文数字夹杂，大小写间隔，长度须超过8个字符以上）及定期更换的频率。　　用户为了方便记忆，常常习惯使用特殊的数字，例如家人的生日、自己的生日、身高体重、电话或门牌号码等，此种方法极不安全。　　只要利用黑客工具，如字典攻击法等便能在短时间

    全栈程序员-站长的头像 全栈程序员-站长
    2022年10月24日
    0
  • android项目实战手机安全卫士_恢复2345安全卫士主界面

    android项目实战手机安全卫士_恢复2345安全卫士主界面

    android项目实战手机安全卫士_恢复2345安全卫士主界面主界面的布局文件

    全栈程序员-站长的头像 全栈程序员-站长
    2022年9月23日
    0
  • 1.3 构建简单的用户界面

    1.3 构建简单的用户界面

    1.3 构建简单的用户界面

    全栈程序员-站长的头像 全栈程序员-站长
    2022年3月4日
    49

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号