kafka集群操作命令「建议收藏」

kafka集群操作命令「建议收藏」1.修改kafka配置文件 broker.id=0zookeeper.connect=192.168.1.10:2181,192.168.1.12:2181,192.168.1.13:2181/kafka 说明: 默认Kafka会使用ZooKeeper默认的/路径,这样有关Kafka的ZooKeeper配置就会散落在根路径下面,如果你有其他的应用也在使用ZooKee…

大家好,又见面了,我是你们的朋友全栈君。

1.修改kafka配置文件

 

broker.id=0
zookeeper.connect=192.168.1.10:2181,192.168.1.12:2181,192.168.1.13:2181/kafka

 说明:

 

默认Kafka会使用ZooKeeper默认的/路径,这样有关Kafka的ZooKeeper配置就会散落在根路径下面,如果 你有其他的应用也在使用ZooKeeper集群,查看ZooKeeper中数据可能会不直观,所以强烈建议指定一个chroot路径,直接在 zookeeper.connect配置项中指定。

而且,需要手动在ZooKeeper中创建路径/kafka,使用如下命令连接到任意一台 ZooKeeper服务器:

 

cd ~/zookeeper
bin/zkCli.sh 
create /kafka ''
在ZooKeeper执行如下命令创建chroot路径。
这样,每次连接Kafka集群的时候(使用--zookeeper选项),也必须使用带chroot路径的连接字符串,后面会看到。

 2.创建topic

 

 

bin/kafka-topics.sh --create --zookeeper 192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181/kafka --replication-factor 2 --partitions 3 --topic TEST_123

 说明:

 

上面是创建了一个名为:test-topic的topic,分区数为3,副本数2

3.查看topic

 

bin/kafka-topics.sh --describe --zookeeper 192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181/kafka 

 说明:

 

上面是查看zk集群上,当前所有topic的详细情况,如下图:


kafka集群操作命令「建议收藏」
 
上面Leader、Replicas、Isr的含义如下:

 

    1 Partition: 分区
    2 Leader : 负责读写指定分区的节点
    3 Replicas : 复制该分区log的节点列表
    4 Isr : “in-sync” replicas,当前活跃的副本列表(是一个子集),并且可能成为Leader
    我们可以通过Kafka自带的bin/kafka-console-producer.sh和bin/kafka-console-consumer.sh脚本,来验证演示如果发布消息、消费消息。

4.生产消息命令

 

bin/kafka-console-producer.sh
--broker-list
192.168.1.12:9092,
192.168.1.13:9092,
192.168.1.14:9092
--topic
TEST_123

 说明:

 

在上面的kafka broker上的topic上生产消息

5.消费消息命令

 

bin/kafka-console-consumer.sh --zookeeper 192.168.169.91:2181,192.168.1.12:2181,192.168.169.93:2181/kafka --from-beginning --topic TEST_123

 

 说明:

可以在Producer终端上输入字符串消息行,就可以在Consumer终端上看到消费者消费的消息内容。
也可以参考Kafka的Producer和Consumer的Java API,通过API编码的方式来实现消息生产和消费的处理逻辑。

6.启动集群命令

 

bin/kafka-server-start.sh config/server.properties &

 7.停止集群命令

 

bin/kafka-server-stop.sh

 8.删除一个topic

bin/kafka-topics.sh  --delete --zookeeper 192.168.1.11:2181/kafka  --topic TEST_123

 说明:

(1)配置文件server.properties中必须设置delete.topic.enable=true,否则只会标记为删除,而不是真正删除。

(2)执行此脚本的时候,topic的数据会同时被删除。如果由于某些原因导致topic的数据不能完全删除(如其中一个broker down了),此时topic只会被marked for deletion,而不会真正删除。此时创建同名的topic会有冲突。

9.修改topic

(1)修改分区数量:

bin/kafka-topics.sh --alter  --zookeeper 192.168.1.11:2181/kafka --topic TEST_123 --partitions 4

 (2)增加、修改或者删除一个配置参数:

bin/kafka-topics.sh —alter --zookeeper 192.168.1.11:2181/kafka  --topic TESt_123 --config key=value
bin/kafka-topics.sh —alter --zookeeper 192.168.1.11:2181/kafka  --topic
my_topic_name --deleteConfig key

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/145869.html原文链接:https://javaforall.net

(0)
上一篇 2022年5月16日 下午12:40
下一篇 2022年5月16日 下午1:00


相关推荐

  • python suds_python suds 一坑

    python suds_python suds 一坑当被调用服务的返回xml内容值不是按照wsdl文件描述定义的,就莫名奇妙返回suds.WebFault没有更多详细信息!于是将源码解压,并插入到sys.path[0],通过设置断点的方式找出非标准的返回报文到底在说啥。从而调整对应参数。suds-0.4/suds/bindings/binding.py(246~268)defget_fault(self,reply):”””Extract…

    2025年8月9日
    9
  • 无锡梅里旅游策划方案——中国第一锡宫!

    无锡梅里旅游策划方案——中国第一锡宫!无锡梅里旅游策划方案——中国第一锡宫!熊大寻旅游策划公司/文无锡梅里古都”,位于无锡新区梅村,是吴文化的发祥地。梅村古名梅里,早在三千二百多年前,西周周太王长子泰伯,为达成父王想立三子季历的愿望,偕二弟仲雍托辞采药,夜奔江南,拴马于枯树桩。到清早,见枯枝上梅花朵朵,喜出望外,顿悟此地当为宝地。于是为其取“梅里”之名,定居于此。勾吴之国,由此发端。因泰伯三让两家天下,孔子称其为“至德”,司马迁的…

    2022年6月1日
    38
  • java分布式特点_java分布式架构是什么?分布式架构的优缺点有哪些?

    java分布式特点_java分布式架构是什么?分布式架构的优缺点有哪些?作为目前互联网最流行的技术之一,分布式是当仁不让的,小伙伴们都了解什么是分布式架构吗?它的优缺点又有哪些呢?快听小编为你介绍介绍吧。一、什么是分布式架构?分布式概念要想理解什么是分布式,我们一定要知道以下这些性质:1)、首先,一个分布式系统它一定是由多个节点组成的系统。2)、其次,一般它的节点都是指计算机服务器,并且这些节点通常不会孤立,它们是互通的。3)、最后,它的连通的节点上都会部署我们的节点…

    2022年6月1日
    34
  • java输入与输出的格式已经一些知识点[通俗易懂]

    java输入与输出的格式已经一些知识点[通俗易懂]每个语句的首字母都要大写,每个语句写完以后要打分号;写单词时不需要写完,写几个字母再按alt+/ 可以出现单词供你选择;输出语句:System.out.println(“”);用户输入(编译完成后在Console里面输入):Scannerin=newScanner(System.in);in.nextInt():用户输入的整数型。变量:和C语言一样需要

    2022年7月8日
    19
  • 教你玩转CSDN博客[通俗易懂]

    教你玩转CSDN博客[通俗易懂]我在CSDN博客可以做什么呢?CSDN博客是一个专业IT技术发表的平台。在这里,你可以阅读技术大佬的博文,为他们点赞,评论,收藏;在这里,你也可以发布自己的博文,你可以发布技术分享、面试技巧、程序人生,也可以发布认真或有趣的交流与分享。我该怎么发布文章?点击创作中心即可撰写博文,但是文章内容不得违反法律法规及政策规定哦!原创的文章是自己学习并整理出的结果,所以,如果是翻译或转载的文章,征求原作者同意转载后,发布时点击转载按钮,并在文章显要位置注明原作出处哦。博主在其他平台撰写过10篇以上的

    2022年5月12日
    47
  • 微信公众平台开发-入门教程

    微信公众平台开发-入门教程预备篇 1 申请微信公众账号 微信公众平台地址 https mp weixin com 微信开发官方说明文档 http mp weixin com wiki home 微信开发测试公众账号申请 http mp weixin com debug cgi bin sandbox t sandbox login 打开后点击登录 用自己的微信号扫一扫就会发放一个相应的

    2026年3月19日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号