Kafka查询topic以及消息内容

Kafka查询topic以及消息内容基于 kafka 2 11 0 10 0 1 版本 查看 kafka 的安装目录 find namekafka typed 查看 redis 安装目录 ps ef grepredis 查询所有 group 信息 bin kafka topics shlistzookee 2181 创建 topic paymentmgt download asyn deal bin kafka topics shcreatezook

基于kafka_2.11-0.10.0.1版本:

查看kafka的安装目录

find / -name kafka* -type d

查看redis安装目录:

ps -ef|grep redis

查询所有group信息:

./bin/kafka-topics.sh --list --zookeeper localhost:2181

查询指定topic的详细信息: 

./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic paymentmgt_download_asyn_deal

示例结果: 

Topic:paymentmgt_download_asyn_deal PartitionCount:3 ReplicationFactor:1 Configs: Topic: paymentmgt_download_asyn_deal Partition: 0 Leader: 0 Replicas: 0 Isr: 0 Topic: paymentmgt_download_asyn_deal Partition: 1 Leader: 0 Replicas: 0 Isr: 0 Topic: paymentmgt_download_asyn_deal Partition: 2 Leader: 0 Replicas: 0 Isr: 0

 

创建topic:paymentmgt_download_asyn_deal

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic paymentmgt_download_asyn_deal

topic的名称必须由大小写字母、数字、“.”、“-”、“_”组成,不能为空、不能为“.”、不能为“…”,且长度不能超过249。
topic的命名同样不推荐(虽然可以这样做)使用双下划线“__”开头,因为以双下划线开头的topic一般看作是kafka的内部topic,比如__consumer_offsets和__transaction_state。

查询指定group的topic信息:

./bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group paymentmgt

查询指定topic的消息内容:

./kafka-console-consumer.sh --zookeeper localhost:2181 --topic paymentmgt_download_asyn_deal --from-beginning

查询匹配指定内容的消息内容:

./bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181,127.0.0.1:2182 --topic paymentmgt_download_asyn_deal --from-beginning | grep ""

消息发送:

./bin/kafka-console-producer.sh --broker-list 192.168.1.94:9092 --topic paymentmgt_download_asyn_deal 

消息消费: 

./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic paymentmgt_download_asyn_deal

通过查看消费者组信息如下: CURRENT-OFFSET是指当前偏移量,  LOG-END-OFFSET是指结束的偏移量, LAG是指落后的偏移量.

GROUP                          TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER 


 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/229495.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月16日 下午4:35
下一篇 2026年3月16日 下午4:35


相关推荐

  • pycharm 删除项目_pycharm怎么删除python文件

    pycharm 删除项目_pycharm怎么删除python文件按照网上查找到的方法基本上都是:删除本地项目,重新打开Pycharm。这样做在打算彻底删除时是有效的,但是如果只是打算从pycharm中删除,而不是删除本地项目就出现问题。而且重新建立一个同名文件夹,pycharm中又会出现这个项目。正确的方式应该是:1.在用户\XXX\.Pycharm40\config\options目录下,查找到recentProjectDirectori

    2022年8月25日
    8
  • 风控模型及特征的上线部署方法

    风控模型及特征的上线部署方法序言:作为年后的首篇实操干货文章,番茄风控一如既往向业内小伙伴输出相关的干货文章。有实操能落地,有数据可撸码,继续将会是番茄风控提供给各位小伙伴的业内标配内容。近期,我们花费了时间容整理了目前业内各位小伙伴关心的内容,本次文章是其中一个问题就是模型跟规则在现有的风控系统内是如何规范上线的,基于此,我们给大家带来了这样的一篇内容。本次文章内容翔实,章节就有四大部分,内容绝对干货满满,实操性十足。老规矩,文章中提及的更详情(数据集+代码内容)可以直接到知识课堂中下载学习。本文有理论,有方法,有实操,还有数

    2022年5月4日
    74
  • oracle删除表时索引是否删除_oracle索引类型

    oracle删除表时索引是否删除_oracle索引类型DML性能低下,其中最严重的原因之一是无用索引的存在。所有SQL的插入,更新和删除操作在它们需要在每一行数据被改变时修改大量索引的时候会变得更慢。许多Oracle管理人员只要看见在一个SQL查询的WHERE语句出现了一列的话就会为它分配索引。虽然这个方法能够让SQL运行得更快速,但是基于功能的Oracle索引使得数据库管理人员有可能在数据表的行上过度分配索引。过度分配索引会严重影响关键Oracl…

    2025年8月28日
    7
  • flash打字游戏源代码

    flash打字游戏源代码package importflash display Sprite importflash display MovieClip importflash events MouseEvent importflash display StageAlign importflash display StageScaleMo importflash utils setTimeou

    2026年3月18日
    4
  • 即梦ai动作模仿模板从哪里获得

    即梦ai动作模仿模板从哪里获得

    2026年3月13日
    1
  • 一看你就懂,超详细java中的ClassLoader详解

    一看你就懂,超详细java中的ClassLoader详解本篇文章已授权微信公众号guolin_blog(郭霖)独家发布ClassLoader翻译过来就是类加载器,普通的java开发者其实用到的不多,但对于某些框架开发者来说却非常常见。理解ClassLoader的加载机制,也有利于我们编写出更高效的代码。ClassLoader的具体作用就是将class文件加载到jvm虚拟机中去,程序就可以正确运行了。但是,jvm启动的时候,并不会一次性加载所有的…

    2022年4月27日
    46

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号