KaFuKa简单应用「建议收藏」

KaFuKa简单应用「建议收藏」3.安装:kafka_2.10(scala)0.10.0.1(kafka)a.安装kafka_2.10-0.10.0.1.tgzb.复制至{/home/crx/soft}$>cp/mnt/hgfs/2.安装环境/download/apache-kafka/kafka_2.10-0.10.0.1.tgz/home/crx/soft/c.解压$>tar-zxvfkafka_2.10-0.10.0.1.tgz$>rmkaf

大家好,又见面了,我是你们的朋友全栈君。

3.安装:kafka_2.10(scala)  0.10.0.1(kafka)
   a.安装kafka_2.10-0.10.0.1.tgz
   b.复制至{/home/crx/soft}
      $>cp /mnt/hgfs/2.安装环境/download/apache-kafka/kafka_2.10-0.10.0.1.tgz /home/crx/soft/
   c.解压
      $>tar -zxvf kafka_2.10-0.10.0.1.tgz 
  $>rm kafka_2.10-0.10.0.1.tgz 
      $>ln -s kafka_2.10-0.10.0.1/ kafka
   d.修改环境变量,追加
      $>gedit ~/.bash_profile
	#Kafka install
	export KAFKA_HOME=/home/crx/soft/kafka
	export PATH=$KAFKA_HOME/bin:$PATH
      $>source ~/.bash_profile
   e.安装完成!  (最好重启虚拟机,否则每开启一个.sh前都需要source)

bin目录下:
kafka-topics.sh 分类  kafa-console-consumer.sh 消费者   kafka-console-producer.sh 生产者

单节点–单Broker集群

1.开启zookeeper
  $>zookeeper-server-start.sh /home/crx/soft/kafka/config/zookeeper.properties 
  $>jps
	4264 Jps
	3178 QuorumPeerMain   (在另一个窗口打开查看)
 
自动创建路径
dataDir=/tmp/zookeeper  (原zookeeper在/home/crx/tmp/zookeeper)
clientPort=2181 
maxClientCnxns=0


2.开启Broker
  参照{KAFKA_HOME/config/server.properties}
     broker.id=0                          //必须为整数;brokerID理解为分区号
     log.dirs=/home/crx/tmp/kafka-logs   //【修改】消息存放位置
     zookeeper.connect=localhost:2181      //注册zookeeper
  $>kafka-server-start.sh /home/crx/soft/kafka/config/server.properties
  $>jps
	3424 Kafka  -->【Broker守护进程】
	4264 Jps
	3178 QuorumPeerMain




3.创建主题
	--zookeeper参数设置;
	如果使用了--zookeeper参数,那么consumer的信息将会存放在zk之中 
	查看的方法是使用./zookeeper-client,ls /consumers/[group_id]/

	--bootstrap-server参数设置
	如果使用了--bootstrap-server参数,那么consumer的信息将会存放在kafka之中

  创建主题 分区是1,副本是1:
  $>kafka-topics.sh --create --topic test --zookeeper localhost:2181 --partitions 1 --replication-factor 1
  reated topic "test".
  
  list topic命令查看主题
  $>kafka-topics.sh --list --zookeeper localhost:2181
	test

  zk客户端查看:
  $>zkCli.sh
  [zk: localhost:2181(CONNECTED) 1] ls /brokers/topics
  [test]
  作用:1.在Zookeeper中注册topic节点;
        2.在【broker-->log.dirs属性】目录创建toptic主题
		查看tmp下生成的日志信息,消息是按照主题分类的
		[crx@master tmp]$ ll
		total 28
		drwxrwxr-x. 3 crx crx 4096 Jan 12 15:22 kafka-logs
		
		[crx@master tmp]$ cd kafka-logs/
		[crx@master kafka-logs]$ ls
		recovery-point-offset-checkpoint  replication-offset-checkpoint  test-0


		[crx@master kafka-logs]$ cd test-0/
		[crx@master test-0]$ ls
		00000000000000000000.index  00000000000000000000.log
		
		Segment file组成:由2大部分组成,分别为index file和data file,
		此2个文件一一对应,成对出现,后缀".index"和“.log”分别表示为segment索引文件、数据文件
		
		Segment文件命名规则:
		partion全局的第一个segment从0开始,后续每个segment文件名为上一个segment文件最后一条消息
		的offset值。数值最大为64位long大小,19位数字字符长度,没有数字用0填充。
		
		
		
4.开启生产者producer
  $>kafka-console-producer.sh --topic test --broker-list localhost:9092
  $>jps
	3424 Kafka
	4770 Jps
	4531 ConsoleProducer
	3178 QuorumPeerMain
   作用:开启守护进程ConsoleProducer

5.开启消费者
  $>kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning   注:此处的beginning不加的话会看不到开启此消费者之前的消息
  $>jps
	3424 Kafka
	5521 Jps
	4531 ConsoleProducer
	5270 ConsoleConsumer
	3178 QuorumPeerMain
  作用:开启守护进程ConsoleConsumer

6.在producer(生产者一端)发送消息
   producer>hello world
   consumer>hello world


$>cat 00000000000000000000.log

总结:生产者可以按主题生产数据, 互不干扰 将数据存储到broker中
  消费者没有时候,也可以生产产品,当有消费者时,如订阅号那么会将历史消息, 
  主题消息都能收到 可以重复消费
  kafka消息是主动拉取消息,而不是broker主动发送消息,消费者把消息存在zookeeper中
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/134196.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 初识AvalonDock

    初识AvalonDock前些时间由于工作原因接触了AvalonDock,从中受益匪浅,不敢独享,在此与大家共勉。AvalonDock是WPF做的一个类似VisualStudio中的拖拽功能的控件。想要根据AvalonDock开发WPF项目,首先要下载AvalonDock.dll和AvalonDock.Themes.Aero.dll。 新建WPF项目,将下载的dll文件引用到项目中,在工具箱中引用该dll

    2022年7月20日
    10
  • MongoDB和Mysql区别

    MongoDB和Mysql区别mysql和MongoDB的区别?对应优点?mysql是关系型数据库,MongoDB是非关系型数据库。Mysql的优点:处理复杂事务,批sql(交易系统、订单系统、银行系统)。 MongoDB优点:更高的写入负载:侧重数据写入性能,而非事务安全; 储存对象数据方便,类可以直接序列化成JSON储存到MongoDB中。…

    2022年6月18日
    15
  • Oracle(11g)数据库安装详细图解教程

    Oracle(11g)数据库安装详细图解教程一、下载Oracle11gR2安装包(ForWindows)官网下载百度云盘(提取码:u3xw)下载后的安装包文件如下图所示:同时选中两个压缩包进行解压,解压文件会自动合并到名为database同一文件夹,如下图:进入database目录,双击setup.exe文件进行安装,如下图:首先会弹出黑窗口,不用管它,一会自己就消失了,如下图:…

    2022年7月25日
    12
  • np.astype()

    np.astype()1.作用:就是转换numpy数组的数据类型举个例子arr=np.arange((10))print(arr,arr.dtype,sep=”\n”)===================================[0123456789]int32#可以看到,他的数据类型为int32np.astype()arr=arr.astype(“f…

    2022年6月10日
    46
  • php 中js跳转页面跳转页面,js跳转代码_PHP页面跳转 Js页面跳转代码[通俗易懂]

    php 中js跳转页面跳转页面,js跳转代码_PHP页面跳转 Js页面跳转代码[通俗易懂]摘要腾兴网为您分享:PHP页面跳转Js页面跳转代码,自动刷宝,中信金通,携程抢票,未来屋等软件知识,以及沃金汇,沃行讯通,securecrt.exe,我的世界变形金刚mod,一票通,农场小分队,手电筒,推币机游戏,善行天下,硬盘mhdd,googlekeep,文件批量更名,明星表情包,服装销售软件,进击的巨人日语等软件it资讯,欢迎关注腾兴网。第一部分:JavaScript跳转方法一:…

    2022年8月13日
    1
  • git工具的使用方法[通俗易懂]

    一、SVN与git的区别SVN是“集成式”管理方式,所有的“版本控制器”都在中央服务器上,每个开发人员的的计算机都要连接到中央服务器上才能进行合作开发。开发人员一般只能在公司才能进行开发(因为中央服务器在公司),局限性较大。git是“分布式“管理方式,开放人员的每台计算机上都有一个“版本控制器”,每个开发人员把自己开发的模块的代码都上传到github上(充当一个远程仓库,类似

    2022年4月8日
    120

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号