kafka集群操作命令「建议收藏」

kafka集群操作命令「建议收藏」1.修改kafka配置文件 broker.id=0zookeeper.connect=192.168.1.10:2181,192.168.1.12:2181,192.168.1.13:2181/kafka 说明: 默认Kafka会使用ZooKeeper默认的/路径,这样有关Kafka的ZooKeeper配置就会散落在根路径下面,如果你有其他的应用也在使用ZooKee…

大家好,又见面了,我是你们的朋友全栈君。

1.修改kafka配置文件

 

broker.id=0
zookeeper.connect=192.168.1.10:2181,192.168.1.12:2181,192.168.1.13:2181/kafka

 说明:

 

默认Kafka会使用ZooKeeper默认的/路径,这样有关Kafka的ZooKeeper配置就会散落在根路径下面,如果 你有其他的应用也在使用ZooKeeper集群,查看ZooKeeper中数据可能会不直观,所以强烈建议指定一个chroot路径,直接在 zookeeper.connect配置项中指定。

而且,需要手动在ZooKeeper中创建路径/kafka,使用如下命令连接到任意一台 ZooKeeper服务器:

 

cd ~/zookeeper
bin/zkCli.sh 
create /kafka ''
在ZooKeeper执行如下命令创建chroot路径。
这样,每次连接Kafka集群的时候(使用--zookeeper选项),也必须使用带chroot路径的连接字符串,后面会看到。

 2.创建topic

 

 

bin/kafka-topics.sh --create --zookeeper 192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181/kafka --replication-factor 2 --partitions 3 --topic TEST_123

 说明:

 

上面是创建了一个名为:test-topic的topic,分区数为3,副本数2

3.查看topic

 

bin/kafka-topics.sh --describe --zookeeper 192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181/kafka 

 说明:

 

上面是查看zk集群上,当前所有topic的详细情况,如下图:


kafka集群操作命令「建议收藏」
 
上面Leader、Replicas、Isr的含义如下:

 

    1 Partition: 分区
    2 Leader : 负责读写指定分区的节点
    3 Replicas : 复制该分区log的节点列表
    4 Isr : “in-sync” replicas,当前活跃的副本列表(是一个子集),并且可能成为Leader
    我们可以通过Kafka自带的bin/kafka-console-producer.sh和bin/kafka-console-consumer.sh脚本,来验证演示如果发布消息、消费消息。

4.生产消息命令

 

bin/kafka-console-producer.sh
--broker-list
192.168.1.12:9092,
192.168.1.13:9092,
192.168.1.14:9092
--topic
TEST_123

 说明:

 

在上面的kafka broker上的topic上生产消息

5.消费消息命令

 

bin/kafka-console-consumer.sh --zookeeper 192.168.169.91:2181,192.168.1.12:2181,192.168.169.93:2181/kafka --from-beginning --topic TEST_123

 

 说明:

可以在Producer终端上输入字符串消息行,就可以在Consumer终端上看到消费者消费的消息内容。
也可以参考Kafka的Producer和Consumer的Java API,通过API编码的方式来实现消息生产和消费的处理逻辑。

6.启动集群命令

 

bin/kafka-server-start.sh config/server.properties &

 7.停止集群命令

 

bin/kafka-server-stop.sh

 8.删除一个topic

bin/kafka-topics.sh  --delete --zookeeper 192.168.1.11:2181/kafka  --topic TEST_123

 说明:

(1)配置文件server.properties中必须设置delete.topic.enable=true,否则只会标记为删除,而不是真正删除。

(2)执行此脚本的时候,topic的数据会同时被删除。如果由于某些原因导致topic的数据不能完全删除(如其中一个broker down了),此时topic只会被marked for deletion,而不会真正删除。此时创建同名的topic会有冲突。

9.修改topic

(1)修改分区数量:

bin/kafka-topics.sh --alter  --zookeeper 192.168.1.11:2181/kafka --topic TEST_123 --partitions 4

 (2)增加、修改或者删除一个配置参数:

bin/kafka-topics.sh —alter --zookeeper 192.168.1.11:2181/kafka  --topic TESt_123 --config key=value
bin/kafka-topics.sh —alter --zookeeper 192.168.1.11:2181/kafka  --topic
my_topic_name --deleteConfig key

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/145869.html原文链接:https://javaforall.net

(0)
上一篇 2022年5月16日 下午12:40
下一篇 2022年5月16日 下午1:00


相关推荐

  • Spring Data JPA (Oracle)基础使用「建议收藏」

    Spring Data JPA (Oracle)基础使用「建议收藏」SpringDataJPA基础使用学习了尚硅谷的jpa在线视频教程,结合其他资料后动手实践的成果。 1.环境搭建Maven环境,在pom.xml中加入相关hibernate,spring,jdbc,slf4j-log4j12,json-lib,testng的jar包2.Spring配置文件说明配置文件放置位置,在classpath设定的目录下建个resources文件,放s…

    2022年5月7日
    45
  • mysql 1062_mysql error:1062问题解决方法

    mysql 1062_mysql error:1062问题解决方法我将 id 的 int 类型改成了 bigint 就可以了 其实再改回来可能也会好了 可能是数据库备份的时候出现了错误 开发的网站后台系统在测试过程中出现了这个问题 InvalidQuery Duplicateent 127 forkey1SQLis INSERTINTO kq news Title Author Type Content IsDel A

    2026年3月26日
    2
  • bytebuffer常用方法_bytebuffer.get

    bytebuffer常用方法_bytebuffer.getByteBuffer的心得

    2022年10月2日
    6
  • php+mysql简单小项目

    php+mysql简单小项目前言 非常小白 大佬忽略 之前看见的一个博客没写全的项目 就把它粘下来改了改补全了 至少增删改查这些基础数据库操作加上了 分了一下 mvc 因为我只是刚学四五天的小白 MVC 不是很明确 model 还写不好 于是处理 mysql 的都单独写在了 controller 里面 导致 controller 有些多 就只是入门的 php 在这里我只放用户的增删改查 小组和班级都是依葫芦画瓢 目录准备 1 基础页面 1 页面 2 ind

    2026年3月18日
    1
  • 谷歌CTS测试(cta测试)

    CTS测试简介CTS兼容性测试的主要目的和意义在于使得用户在Android系统的应用过程中,有更好的用户体验,并展现出Android系统的优越特性;使得Android应用程序编写者更容易编写高质量的应用程序;充分展现AndroidMarket的优势,让获得CTS认证的终端得到AndroidMarket的使用许可.测试环境搭建测试包下载一共有两个包需要下载(CompatibilityTe

    2022年4月15日
    526
  • java常量有哪些_JAVA常量介绍「建议收藏」

    java常量有哪些_JAVA常量介绍「建议收藏」常量:在程序执行过程中,其值不发生改变的量;1、分类:字面值常量和自定义常量;1、字面值常量有以下几种:字符串常量、小数常量、整数常量、字符常量、布尔常量(true、false)、空常量(null);2、整数常量的表现形式:二进制:由0、1组成,以0b开头;八进制:由0,1,….7组成,以0开头;十进制:由0,1,……9组成,整数默认是十进制;十六进制:由0,1,….9,…

    2022年7月7日
    40

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号