Flume和kafka连接测试

Flume和kafka连接测试Flume的配置文件:(和kafka连接的配置文件)#文件名:kafka.properties#配置内容:分别在linux系统里面建两个文件夹:一个文件夹用于存储配置文件(flumetest),一个文件夹用于存储需要读取的文件(flume)a1.sources=s1a1.channels=c1a1.sinks=k1a1.sources.s1.type=netcata1.s…

大家好,又见面了,我是你们的朋友全栈君。

Flume的配置文件:(和kafka连接的配置文件)

#文件名:kafka.properties

#配置内容:

分别在linux系统里面建两个文件夹:一个文件夹用于存储配置文件(flumetest),一个文件夹用于存储需要读取的文件(flume)

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = netcat
a1.sources.s1.bind = 192.168.123.102
a1.sources.s1.port = 44455

a1.channels.c1.type = memory

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = t1
a1.sinks.k1.kafka.bootstrap.servers = 192.168.123.103:9092

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

需要先启动zookeeper。

启动kafka集群:(配置的节点都要启动)

[hadoop@hadoop02 kafka_2.11-1.0.0]$ bin/kafka-server-start.sh config/server.properties

kafka集群需要有 t1 这个 topic

a1.sinks.k1.kafka.topic = t1

启动Flume:

[hadoop@hadoop02 apache-flume-1.8.0-bin]$ flume-ng agent --conf conf --conf-file /home/hadoop/apps/apache-flume-1.8.0-bin/flumetest/kafka.properties --name a1 -Dflume.root.logger=INFO,console

在hadoop03上启动kafka消费的信息:

[hadoop@hadoop03 kafka_2.11-1.0.0]$ bin/kafka-console-consumer.sh --zookeeper hadoop02:2181 --from-beginning --topic t1       
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
ok
aaa

然后在hadoop02上面连接:

[hadoop@hadoop02 kafka_2.11-1.0.0]$ telnet 192.168.123.102 44455  
Trying 192.168.123.102...
Connected to 192.168.123.102.
Escape character is '^]'.
aaa
OK

发送aaa会在hadoop03节点的kafka消费信息中显示。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/152389.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • tikv性能参数调优[通俗易懂]

    tikv性能参数调优[通俗易懂]tiKV最底层使用的是RocksDB(tidb3.0版本中将使用tian存储引擎)做为持久化存储,所以TiKV的很多性能相关的参数都是与RocksDB相关的。TiKV使用了两个RocksDB实例,默认RocksDB实例存储KV数据,RaftRocksDB实例(简称RaftDB)存储Raft数据。TiKV使用了RocksDB的ColumnFamil…

    2022年9月23日
    3
  • js事件防止冒泡

    js事件防止冒泡

    2022年2月1日
    46
  • html从零开始——为网页加入樱花飘落效果[通俗易懂]

    html从零开始——为网页加入樱花飘落效果[通俗易懂]JavaScript代码: varstop,staticx; varimg=newImage(); img.src=”data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAUgAAAEwCAYAAADVZeifAAAACXBIWXMAAACYAAAAmAGiyIKYAAAHG2lUWHRYTUw6Y29tLmFkb2Jl…

    2022年7月12日
    15
  • bwapp详细教程_APP总结报告怎么做

    bwapp详细教程_APP总结报告怎么做bWAPP玩法总结2018-08-082018-08-0815:12:43阅读16K0bWAPP(buggywebApplication)是一个集成了了常见漏洞的web应用程序,目的是作为漏洞测试的演练场(靶机),为web安全爱好者和开发人员提供一个测试平台,与webgoat、dvwa类似。环境搭建bWAPP有两种安装方式,可以单独安装,部署到apache+php+mysql的环境;也可以安装虚拟机版本bee-box,区别在于虚拟机版本能够测试的漏洞更多,比如破壳漏洞

    2022年9月23日
    3
  • 无证书签名简介[通俗易懂]

    无证书签名简介[通俗易懂]前言为什么要提出无证书签名防止公钥替换攻击防止密钥托管问题相关工作方案结构和安全模型方案结构参考:AnEfficientProvably-SecureCertificatelessSignatureSchemeforInternet-of-ThingsDeployment大致分为:Setup、Extract、KeyGen、Sign、Verify安全模型Al-Riyami2003Certificatelesspublickeycryptography提出的

    2022年4月30日
    111
  • msfconsole 控制台使用和操作[通俗易懂]

    msfconsole 控制台使用和操作[通俗易懂]Msfconsole提供了一个一体化的集中控制台。通过msfconsole,你可以访问和使用所有的metasploit的插件,payload,利用模块,post模块等等。Msfconsole还有第三方程序的接口,比如nmap,sqlmap等,可以直接在msfconsole里面使用。在启动MSF终端之后,可以首先输入help命令列出MSF终端所支持的命令列表,包括核心命令集和后端数据库命令集。对于…

    2025年9月27日
    3

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号