kafka集群搭建&zookeeper集群搭建

kafka集群搭建&zookeeper集群搭建1.安装准备jdk-8u162-linux-x64.tarzookeeper-3.4.12.tar.gzkafka_2.11-2.0.0.tgz2.准备至少三台虚拟机192.168.196.128192.168.196.131192.168.196.1323.Java环境安装(略…自行百度)4.搭建zookeeper集群在每台主机下执行以下步骤:移动至/usr/local下:mvzookeeper-3.4.12.tar.gz/usr/local解压,重命名:tar-z

大家好,又见面了,我是你们的朋友全栈君。

1.安装准备
jdk-8u162-linux-x64.tar
zookeeper-3.4.12.tar.gz
kafka_2.11-2.0.0 .tgz

2.准备至少三台虚拟机
192.168.196.128
192.168.196.131
192.168.196.132

3.Java环境安装
(略…自行百度)

4.搭建zookeeper集群
在每台主机下执行以下步骤:

移动至/usr/local下:

mv zookeeper-3.4.12.tar.gz /usr/local

解压,重命名:

tar -zxvf zookeeper-3.4.12.tar.gz
mv zookeeper-3.4.12 zookeeper

配置环境变量:

vim /etc/profile

追加以下内容:

#set zookeeper environment
export ZK_HOME=/usr/local/zookeeper
export PATH=$ZK_HOME/bin:$PATH

保存文件后,使修改生效:

source /etc/profile

打开zookeeper配置文件:

cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg
vim /usr/local/zookeeper/zoo.cfg

修改zookeeper配置文件:

#修改数据文件夹路径
dataDir=/usr/local/zookeeper/data
#在文件末尾添加
server.1=192.168.196.128:2888:3888
server.2=192.168.196.131:2888:3888
server.3=192.168.196.132:2888:3888

创建数据文件夹和myid文件:

mkdir /usr/local/zookeeper/data
touch /usr/local/zookeeper/data/myid

分别在各个机器添加myid信息:

echo "1" > /usr/local/zookeeper/data/myid #kafka-1 192.168.196.128
echo "2" > /usr/local/zookeeper/data/myid #kafka-1 192.168.196.131
echo "3" > /usr/local/zookeeper/data/myid #kafka-1 192.168.196.132

分别在各个机器启动zookeeper:

/usr/local/zookeeper/bin/zkServer.sh start

全部启动后查看状态:

 /usr/local/zookeeper/bin/zkServer.sh status

显示如下则zookeeper集群搭建成功:
在这里插入图片描述在这里插入图片描述在这里插入图片描述
5.搭建kafka集群
在每台主机下执行以下步骤:
移动至/usr/local下:

mv kafka_2.11-2.0.0 .tgz /usr/local

解压,重命名:

tar -zxvf kafka_2.11-2.0.0 .tgz
mv kafka_2.11-2.0.0 kafka

配置环境变量:

vim /etc/profile

追加以下内容:

#set kafka environment
export KAFKA_HOME=/usr/local/kafka
export PATH=${KAFKA_HOME}/bin:$PATH

保存文件后,使修改生效:

source /etc/profile

修改server.properties配置文件:

vim /usr/local/kafka/config/server.properties

在kafka-1主机中:

#修改
broker.id=1
listeners=PLAINTEXT://192.168.196.128:9092
zookeeper.connect=192.168.196.128:2181,192.168.196.131:2181,192.168.196.132:2181
offsets.topic.replication.factor=3

在kafka-2主机中:

#修改
broker.id=2
listeners=PLAINTEXT://192.168.196.131:9092
zookeeper.connect=192.168.196.128:2181,192.168.196.131:2181,192.168.196.132:2181
offsets.topic.replication.factor=3

在kafka-3主机中:

#修改
broker.id=3
listeners=PLAINTEXT://192.168.196.132:9092
zookeeper.connect=192.168.196.128:2181,192.168.196.131:2181,192.168.196.132:2181
offsets.topic.replication.factor=3

在每台机器上分别启动kafka

/usr/local/kafka/bin/kafka-server-start.sh -daemon config/server.properties

(测试)在其中一台机器上创建topic:

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.196.128:2181,192.168.196.131:2181,192.168.196.132:2181 --replication-factor 3 --partitions 3 --topic test-topic

(测试)查看创建的topic信息:

/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.196.128:2181,192.168.196.131:2181,192.168.196.132:2181 --topic test-topic

(测试)选其中一台机器创建生产者:

bin/kafka-console-producer.sh --broker-list 192.168.196.128:9092 -topic test-topic

(测试)另外两台机器创建消费者:

bin/kafka-console-consumer.sh --bootstrap-server 192.168.196.128:9092,192.168.196.131:9092,192.168.196.132:9092 --topic test-topic2 --from-beginning

尝试发送消息,收到则部署成功!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/134087.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • DatabaseMetaData获取数据库信息 .「建议收藏」

    DatabaseMetaData获取数据库信息 .「建议收藏」importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.Statement;importjava.sql.DatabaseMetaData;publicclassDataConn{ publicDataConn(){ } publicstaticvoidma

    2022年6月19日
    44
  • 微信公众平台应用开发实战「建议收藏」

    微信公众平台应用开发实战「建议收藏」微信公众平台应用开发实战微信营销ISBN 9787111438618作者 钟志勇含税价59.0元税后51.3元增值税7.7元卓越价 40.7元(满49元免运费) 有货出版社 机械工业出版社出版日期 2013年08月28日版次 第1版印刷时间2013年08月29日印次第1次装帧平装纸张胶版纸页数 256页语种 

    2022年8月21日
    7
  • kafka和flume区别

    kafka和flume区别Flume更趋向于消息采集系统,Kafka更趋向于消息缓存系统。 kafka:目前项目中主要是用来做消息推送中间件,消息的处理完全由业务方自己定义,请求频次单机吞吐量轻轻松松50W+/s,数据在集群不全挂的情况下是不会丢数据,消费也很灵活,可以指定分区和offset,可以当做成一个数据库。 flume:用来做数据采集和落地,目前使用的是flume-ng,流程是source(kafka)->channel->hdfs相比较kafka比较轻量级,就是一个数据的流通管道,当..

    2022年6月23日
    27
  • Centos7安装-多节点Torque

    Centos7安装-多节点TorqueCentos7安装-多节点Torque1简介PBS(PortableBatchSystem)最初由NASA的Ames研究中心开发,主要为了提供一个能满足异构计算网络需要的软件包,用于灵活的批处理,特别是满足高性能计算的需要,如集群系统、超级计算机和大规模并行系统。PBS的目前包括openPBS,PBSPro和Torque三个主要分支.其中OpenPBS是最早的PBS系统,目前已经没有

    2022年10月8日
    3
  • H3C交换机配置telnet

    H3C交换机配置telnet1、telnet配置方法(常用方法):<H3C>sysSystemView:returntoUserViewwithCtrl+Z.[H3C]telnetserverenable   //使能telnet服务[H3C]user-interfacevty0   //设置telnet[H3C-ui-vty0-4]authentication-modenone[H…

    2022年6月20日
    42
  • 常用的录屏软件_windows10录屏

    常用的录屏软件_windows10录屏什么录屏软件既免费又好用?要用到录屏软件的原因有很多,比如需要:制作产品展示视频、提供技术支持或使用视频通话,但使用电脑的系统录屏软件,可不足以录制高质量的视频。无论你想截取整个屏幕或者部分屏幕,通过高质量的录屏软件都可以实现。关于录屏软件屏幕记录软件可以录制电脑或移动设备的屏幕,包括鼠标点击以及触屏的动作都能被记录下来,还能录制音频。世界上没有两个完全相同的录屏工具。因此,在设备上下载或安装录屏…

    2022年9月1日
    6

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号