Kafka集群搭建详细步骤

Kafka集群搭建详细步骤Kafka集群搭建1、Kafka的安装需要java环境,centos7自带java1.6版本,可以不用重新安装,直接使用自带的jdk即可;如果觉得jdk版本太旧,也可以自己重新安装;2、准备好kafka安装包,官网下载地址:http://kafka.apache.org/downloads.html3、下

大家好,又见面了,我是你们的朋友全栈君。

Kafka集群搭建

1、 Kafka的安装需要java环境,cent os 7自带java1.6版本,可以不用重新安装,直接使用自带的jdk 即可;如果觉得jdk版本太旧,也可以自己重新安装;

2、 准备好kafka安装包,官网下载地址:
http://kafka.apache.org/downloads.html

3、 下载好kafka安装包后,将其解压到/usr/local目录下,删除压缩包

4、 目前搭建了三个节点的kafka集群,分别在10.10.67.102,10.10.67.104和10.10.67.106服务器上;

5、 查看配置文件
进入kafka的config的目录:

这里写图片描述

6、 先建立zk集群,直接使用kafka自带的zookeeper建立zk集群,修改zookeeper.properties文件:

这里写图片描述

三个机器上的zookeeper.properties文件配置相同,需要注意的是日志保存的路径,不会自动生成,需要自己手动建立相关的路径, dataLogDir是我自己加的,日志文件太多,把日志文件区分开;

7、 创建myid文件,进入/usr/local/kafka/zookeeper,创建myid文件,将三个服务器上的myid文件分别写入1,2,3,如图:

这里写图片描述
—-myid是zk集群用来发现彼此的标识,必须创建,且不能相同;

8、 进入kafka目录 执行启动zookeeper命令:
./bin/zookeeper-server-start.sh config/zookeeper.properties &
三台机器都执行启动命令,查看zookeeper的日志文件,没有报错就说明zookeeper集群启动成功了。

9、 搭建kafka集群,修改server.properties配置文件:
这里写图片描述

这里写图片描述

server.properties配置文件的修改主要在开头和结尾,中间保持默认配置即可;需要注意的点是broker.id的值三个节点要配置不同的值,分别配置为0,1,2;log.dirs必须保证目录存在,不会根据配置文件自动生成;

10、 启动kafka集群,进入kafka目录,执行如下命令 :
./bin/kafka-server-start.sh –daemon config/server.properties &
三个节点均要启动;启动无报错,即搭建成功,可以生产和消费消息,来检测是否搭建成功。

11、 如何生产和消费消息,请见下一篇博客:
http://blog.csdn.net/zxy987872674/article/details/72493128

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/129986.html原文链接:https://javaforall.net

(0)
上一篇 2022年4月26日 下午11:40
下一篇 2022年4月26日 下午11:40


相关推荐

  • c++ map有序还是无序_hashmap与map的区别

    c++ map有序还是无序_hashmap与map的区别概述简单对比map和unordered_map的性能。map内部是红黑树,在插入元素时会自动排序,而无序容器unordered_map内部是散列表,通过哈希而不是排序来快速操作元素,使得效率更高。当你不需要排序时选择unordered_map的效率更高。测试范例测试代码#include<iostream>#include<string>#in…

    2026年2月21日
    5
  • 经纪xx系统节点VIP案例介绍和深入分析异常

    经纪xx系统节点VIP案例介绍和深入分析异常

    2022年1月11日
    73
  • 处理变长参数的利器——valist

    处理变长参数的利器——valist1 valist 简介 C 语言标准库中头文件 stdarg h 声明了一组能够变长参数的宏 主要有 1 va list 用来声明一个表示参数表中各个参数的变量 2 va start 初始化一个指针来指向变长参数列表的头一个变量 注意 只能出现在参数表的最后 3 va arg 每次调用时都会返回当前指针指向的变量 并将指针挪至下一个位置 参数的类型需要在这个调用的第二个参数来指定 va

    2026年3月18日
    2
  • 数据归一化汇总[通俗易懂]

    数据归一化汇总[通俗易懂]转自http://www.ilovematlab.cn/forum.php?mod=viewthread&tid=74021============外一篇有关mapminmax的用法详解byfaruto==================================几个要说明的函数接口:[Y,PS]=mapminmax(X)[Y,PS]=mapminmax(X,F

    2022年6月23日
    37
  • 高分卫星系列介绍_高分6号卫星参数

    高分卫星系列介绍_高分6号卫星参数celestrak高分卫星系列TLEGAOFEN1,139150U13018A22047.13058851.0000039900000+064218-409992,23915097.8040117.23550018056314.685945.288614.76596516474837GAOFEN2,140118U14049A22047.06986400.0000059700000+084233-409994,240118

    2025年8月2日
    5
  • JavaScript foreach 方法跳出循环

    JavaScript foreach 方法跳出循环通常 在 for 循环中跳出循环可以用 break 或者 continue 来跳出循环 break 跳出循环 continue 跳过当次循环 而有时候需要在 foreach 中跳出循环 该怎么做呢 forEach 方法用于调用数组的每个元素 并将元素传递给回调函数 对于空数组不会执行回调函数 回调函数的参数 function currentValue index arr currentValue 必需 当前元素 index 可选 当前元素的索引值 arr

    2025年12月11日
    9

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号