Flume和Kafka的组合使用

Flume和Kafka的组合使用在Windows系统中打开第1个cmd窗口,执行如下命令启动Zookeeper服务:cdC:\zookeeper\apache-zookeeper-3.7.1-bin.\bin\zkServer.cmd打开第2个cmd窗口,然后执行下面命令启动Kafka服务:cdC:\kafka_2.12-2.4.0\kafka_2.12-2.4.0.\bin\windows\kafka-server-start.bat.\config\server.properties打开第.

大家好,又见面了,我是你们的朋友全栈君。

在Windows系统中打开第1个cmd窗口,执行如下命令启动 Zookeeper服务:

cd C:\zookeeper\apache-zookeeper-3.7.1-bin

.\bin\zkServer.cmd

Flume和Kafka的组合使用

打开第2个cmd窗口,然后执行下面命令启动Kafka服务:

cd C:\kafka_2.12-2.4.0\kafka_2.12-2.4.0

.\bin\windows\kafka-server-start.bat .\config\server.properties

Flume和Kafka的组合使用

 打开第3个cmd窗口,执行如下命令创建一个名为test的Topic:

> cd c:\kafka_2.12-2.4.0

> .\bin\windows\kafka-topics.bat –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test

Flume和Kafka的组合使用

 在Flume的安装目录的conf子目录下创建一个配置文件kafka.conf,内容如下:

# Name the components on this agent

a1.sources = r1 a1.sinks = k1

a1.channels = c1

# source

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost

a1.sources.r1.port = 44444

# sink

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink

a1.sinks.k1.kafka.topic = test

a1.sinks.k1.kafka.bootstrap.servers = localhost:9092

a1.sinks.k1.kafka.flumeBatchSize = 20

a1.sinks.k1.kafka.producer.acks = 1

a1.sinks.k1.kafka.producer.linger.ms = 1

a1.sinks.k1.kafka.producer.compression.type = snappy

# channel

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

打开第4个cmd窗口,执行如下命令启动Flume:

> cd c:\apache-flume-1.9.0-bin

> .\bin\flume-ng.cmd agent –conf ./conf –conf-file ./conf/kafka.conf –name a1 -property flume.root.logger=INFO,console

Flume和Kafka的组合使用

打开第5个cmd窗口,执行如下命令:

> telnet localhost 44444

执行上面命令以后,在该窗口内用键盘输入一些单词(不会显示),比如“hadoop”。 这个单词会发送给Flume,然后,Flume发送给Kafka。 

Flume和Kafka的组合使用

 打开第6个cmd窗口,执行如下命令:

> cd c:\kafka_2.12-2.4.0

> .\bin\windows\kafka-console-consumer.bat –bootstrap-server localhost:9092 –topic test –from-beginning

上面命令执行以后,就可以在屏幕上看到“hadoop”,说明Kafka成功接 收到了数据。

Flume和Kafka的组合使用

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/152365.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Sublime Text 3 快捷键汇总「建议收藏」

    Sublime Text 3 快捷键汇总「建议收藏」SublimeText3非常实用,但是想要用好,一些快捷键不可或缺,所以转了这个快捷键汇总。用惯了vim,有些快捷键也懒得用了,尤其是在win下面,还有图形界面,所以个人觉得最有用的还是搜索类,对于阅读和修改代码来说,非常实用。选择类Ctrl+D选中光标所占的文本,继续操作则会选中下一个相同的文本。Alt+F3 选中文本按下快捷键,即可一次性选择全

    2022年7月27日
    3
  • matlab 循环矩阵_matlab循环输出数组

    matlab 循环矩阵_matlab循环输出数组MATLAB的矩阵求值的循环语句?clc;clearall;closeall;t0=[11];a=[12;34]t=t0;t(1,:)=t0’\an=10;fori=2:nt(i,:)=t(i-1,:)’\a;endtmatlab中的核矩阵for循环问题A(i,:)-A(j,:)表示A矩阵的第i行减去第j行,得到的是一个行向量;norm函数是取2范数,也就是向量的各项平方求和再开方.(因此我觉…

    2022年10月7日
    0
  • sql模糊查询 like[通俗易懂]

    sql模糊查询 like[通俗易懂]like经常与where字句和通配符在一块进行使用,表示像啥啥,模糊查询通配符主要是_和%  %百分号表示零个,一个或多个字符  _下划线表示单个字符**注意:**1、MSAccess使用问号(?)而不是下划线(_)2、百分号和下划线也可以组合使用!   3、可以使用AND或OR运算符组合任意数量的条件语法:select*from表名where字段…

    2022年4月27日
    65
  • oracle绑定变量使用方法总结_绑定变量不存在

    oracle绑定变量使用方法总结_绑定变量不存在Stringsql=“select*fromuserswhereusername=?andpwd=?”;pstat=con.prepareStatement(sql);pstat.setString(1,username);pstat.setString(2,pwd);rs=pstat.executeQuery(sql);//后面发现这句写错了System.ou…

    2022年9月3日
    2
  • 高质量SQL书写的30条建议

    高质量SQL书写的30条建议

    2020年11月9日
    161
  • 什么是CGI、FastCGI、PHP-CGI、PHP-FPM、Spawn-FCGI?

    什么是CGI、FastCGI、PHP-CGI、PHP-FPM、Spawn-FCGI?

    2021年10月25日
    49

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号