kafka集群搭建&zookeeper集群搭建

kafka集群搭建&zookeeper集群搭建1.安装准备jdk-8u162-linux-x64.tarzookeeper-3.4.12.tar.gzkafka_2.11-2.0.0.tgz2.准备至少三台虚拟机192.168.196.128192.168.196.131192.168.196.1323.Java环境安装(略…自行百度)4.搭建zookeeper集群在每台主机下执行以下步骤:移动至/usr/local下:mvzookeeper-3.4.12.tar.gz/usr/local解压,重命名:tar-z

大家好,又见面了,我是你们的朋友全栈君。

1.安装准备
jdk-8u162-linux-x64.tar
zookeeper-3.4.12.tar.gz
kafka_2.11-2.0.0 .tgz

2.准备至少三台虚拟机
192.168.196.128
192.168.196.131
192.168.196.132

3.Java环境安装
(略…自行百度)

4.搭建zookeeper集群
在每台主机下执行以下步骤:

移动至/usr/local下:

mv zookeeper-3.4.12.tar.gz /usr/local

解压,重命名:

tar -zxvf zookeeper-3.4.12.tar.gz
mv zookeeper-3.4.12 zookeeper

配置环境变量:

vim /etc/profile

追加以下内容:

#set zookeeper environment
export ZK_HOME=/usr/local/zookeeper
export PATH=$ZK_HOME/bin:$PATH

保存文件后,使修改生效:

source /etc/profile

打开zookeeper配置文件:

cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg
vim /usr/local/zookeeper/zoo.cfg

修改zookeeper配置文件:

#修改数据文件夹路径
dataDir=/usr/local/zookeeper/data
#在文件末尾添加
server.1=192.168.196.128:2888:3888
server.2=192.168.196.131:2888:3888
server.3=192.168.196.132:2888:3888

创建数据文件夹和myid文件:

mkdir /usr/local/zookeeper/data
touch /usr/local/zookeeper/data/myid

分别在各个机器添加myid信息:

echo "1" > /usr/local/zookeeper/data/myid #kafka-1 192.168.196.128
echo "2" > /usr/local/zookeeper/data/myid #kafka-1 192.168.196.131
echo "3" > /usr/local/zookeeper/data/myid #kafka-1 192.168.196.132

分别在各个机器启动zookeeper:

/usr/local/zookeeper/bin/zkServer.sh start

全部启动后查看状态:

 /usr/local/zookeeper/bin/zkServer.sh status

显示如下则zookeeper集群搭建成功:
在这里插入图片描述在这里插入图片描述在这里插入图片描述
5.搭建kafka集群
在每台主机下执行以下步骤:
移动至/usr/local下:

mv kafka_2.11-2.0.0 .tgz /usr/local

解压,重命名:

tar -zxvf kafka_2.11-2.0.0 .tgz
mv kafka_2.11-2.0.0 kafka

配置环境变量:

vim /etc/profile

追加以下内容:

#set kafka environment
export KAFKA_HOME=/usr/local/kafka
export PATH=${KAFKA_HOME}/bin:$PATH

保存文件后,使修改生效:

source /etc/profile

修改server.properties配置文件:

vim /usr/local/kafka/config/server.properties

在kafka-1主机中:

#修改
broker.id=1
listeners=PLAINTEXT://192.168.196.128:9092
zookeeper.connect=192.168.196.128:2181,192.168.196.131:2181,192.168.196.132:2181
offsets.topic.replication.factor=3

在kafka-2主机中:

#修改
broker.id=2
listeners=PLAINTEXT://192.168.196.131:9092
zookeeper.connect=192.168.196.128:2181,192.168.196.131:2181,192.168.196.132:2181
offsets.topic.replication.factor=3

在kafka-3主机中:

#修改
broker.id=3
listeners=PLAINTEXT://192.168.196.132:9092
zookeeper.connect=192.168.196.128:2181,192.168.196.131:2181,192.168.196.132:2181
offsets.topic.replication.factor=3

在每台机器上分别启动kafka

/usr/local/kafka/bin/kafka-server-start.sh -daemon config/server.properties

(测试)在其中一台机器上创建topic:

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.196.128:2181,192.168.196.131:2181,192.168.196.132:2181 --replication-factor 3 --partitions 3 --topic test-topic

(测试)查看创建的topic信息:

/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.196.128:2181,192.168.196.131:2181,192.168.196.132:2181 --topic test-topic

(测试)选其中一台机器创建生产者:

bin/kafka-console-producer.sh --broker-list 192.168.196.128:9092 -topic test-topic

(测试)另外两台机器创建消费者:

bin/kafka-console-consumer.sh --bootstrap-server 192.168.196.128:9092,192.168.196.131:9092,192.168.196.132:9092 --topic test-topic2 --from-beginning

尝试发送消息,收到则部署成功!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/134087.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 画二元函数即三维图像的函数及matlab代码

    画二元函数即三维图像的函数及matlab代码画二元函数,即两个变量可以得到三维图像,下面通过一个例子进行讲解。首先利用meshgrid函数产生平面区域内的网格坐标矩阵。x=[1,2,3,4,5]y=[2,4,6];[X,Y]=meshgrid(x,y);执行完以后X、Y均为矩阵,其中矩阵X的每一行都是向量x,行数等于向量y的元素的个数,矩阵Y的每一列都是向量y,列数等于向量x的元素的个数,具体则为:接…

    2022年9月6日
    2
  • Object类通过转为JsonObject或Map获取属性值「建议收藏」

    Object类通过转为JsonObject或Map获取属性值「建议收藏」Object类通过转为JsonObject或Map获取属性值简介:在项目使用中,我们经常会遇到object类,如何快速的获取其属性值?在此,不通过反射机制获取,而是将其转为JsonObject类或者Map,获取其对应属性名的属性值。Object类//object使用情景一:Objecto=redisTemplate.opsForHash().get(vehicleMessage,engineCode);//object使用情景二:Objectob=json.get

    2022年5月2日
    70
  • docker(10)上传本地镜像到镜像仓库[通俗易懂]

    docker(10)上传本地镜像到镜像仓库[通俗易懂]前言之前通过docker搭建过jenkins+python3环境,如果想要在不同的机器上搭建一样的环境,就可以将之前搭建的镜像上传到镜像仓库,这样方便在不同的机器上快速搭建同一套环境。如果公开的话

    2022年7月30日
    8
  • Hibernate与 MyBatis的比较

    Hibernate与 MyBatis的比较最近做了一个Hibernate与MyBatis的对比总结,希望大家指出不对之处。第一章     Hibernate与MyBatisHibernate 是当前最流行的O/Rmapping框架,它出身于sf.net,现在已经成为Jboss的一部分。 Mybatis 是另外一种优秀的O/Rmapping框架。目前属于apache的一个子项目。MyBatis 参考资料官网:ht

    2022年10月22日
    0
  • solr删除索引_solr索引迁移

    solr删除索引_solr索引迁移http方式删除某个core下的所有索引其中collection_test是这个core的名称http://127.0.0.1:8983/solr/collection_test/update/?stream.body=*:*&stream.contentType=text/xml;charset=utf-8&commit=true

    2025年7月17日
    1
  • poe交换机跟普通交换机_交换机可以接交换机吗

    poe交换机跟普通交换机_交换机可以接交换机吗POE也被称为基于局域网的供电系统,有时也被简称为以太网供电,这是利用现存标准以太网传输电缆的同时传送数据和电功率的最新标准规范,并保持了与现存以太网系统和用户的兼容性。那么POE交换机和普通交换机之间存在那些不同呢?1.可靠性不同:POE交换机就是支持对网线供电的交换机,和普通交换机相比就是受电终端(比如AP、数字摄像头等)不用再进行电源布线,对整个网络而言可靠性更高。2.功能不同:POE交换机就是除了能提供普通交换机所具有的传输功能,还能给网线的另一端设备提供供电功能。3.优势不同:POE交换机有很多

    2022年10月5日
    1

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号