Kafka集群搭建详细步骤

Kafka集群搭建详细步骤Kafka集群搭建1、Kafka的安装需要java环境,centos7自带java1.6版本,可以不用重新安装,直接使用自带的jdk即可;如果觉得jdk版本太旧,也可以自己重新安装;2、准备好kafka安装包,官网下载地址:http://kafka.apache.org/downloads.html3、下

大家好,又见面了,我是你们的朋友全栈君。

Kafka集群搭建

1、 Kafka的安装需要java环境,cent os 7自带java1.6版本,可以不用重新安装,直接使用自带的jdk 即可;如果觉得jdk版本太旧,也可以自己重新安装;

2、 准备好kafka安装包,官网下载地址:
http://kafka.apache.org/downloads.html

3、 下载好kafka安装包后,将其解压到/usr/local目录下,删除压缩包

4、 目前搭建了三个节点的kafka集群,分别在10.10.67.102,10.10.67.104和10.10.67.106服务器上;

5、 查看配置文件
进入kafka的config的目录:

这里写图片描述

6、 先建立zk集群,直接使用kafka自带的zookeeper建立zk集群,修改zookeeper.properties文件:

这里写图片描述

三个机器上的zookeeper.properties文件配置相同,需要注意的是日志保存的路径,不会自动生成,需要自己手动建立相关的路径, dataLogDir是我自己加的,日志文件太多,把日志文件区分开;

7、 创建myid文件,进入/usr/local/kafka/zookeeper,创建myid文件,将三个服务器上的myid文件分别写入1,2,3,如图:

这里写图片描述
—-myid是zk集群用来发现彼此的标识,必须创建,且不能相同;

8、 进入kafka目录 执行启动zookeeper命令:
./bin/zookeeper-server-start.sh config/zookeeper.properties &
三台机器都执行启动命令,查看zookeeper的日志文件,没有报错就说明zookeeper集群启动成功了。

9、 搭建kafka集群,修改server.properties配置文件:
这里写图片描述

这里写图片描述

server.properties配置文件的修改主要在开头和结尾,中间保持默认配置即可;需要注意的点是broker.id的值三个节点要配置不同的值,分别配置为0,1,2;log.dirs必须保证目录存在,不会根据配置文件自动生成;

10、 启动kafka集群,进入kafka目录,执行如下命令 :
./bin/kafka-server-start.sh –daemon config/server.properties &
三个节点均要启动;启动无报错,即搭建成功,可以生产和消费消息,来检测是否搭建成功。

11、 如何生产和消费消息,请见下一篇博客:
http://blog.csdn.net/zxy987872674/article/details/72493128

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/129986.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • poj 3613 Cow Relays

    poj 3613 Cow Relays

    2022年2月4日
    42
  • 用mysql查询某字段是否有索引

    用mysql查询某字段是否有索引

    2021年10月18日
    47
  • linux的rwx权限,linux权限管理:rwx

    linux的rwx权限,linux权限管理:rwx标签:rwx权限管理简介:r,w,x对文件及目录进行权限管理,从而达到文件及目录管理。1、rwx对于文件而言:r:可读,可以使用类似cat等命令查看文件内容;w:可写,可以编辑或删除此文件;x:可执行,exacutable,可以命令提示符下当作命令提交给内核运行;2、rwx对于目录而言:r:可以对此目录执行ls以列出内部的所有文件;w:可以在此目录创建文件;x:可以使用cd切换进此目录,也可以使用…

    2022年6月10日
    65
  • latex 公式大括号_LaTeX数学符号

    latex 公式大括号_LaTeX数学符号\begin{equation}a(t)=\begin{cases}x=Q(x)=q_{1}&\text{$x\in[minimum,C]$}\\x=Q(x)=q_{2}&\text{$x\in[C,maximum]$}\end{cases}\end{equation}实践证明,latex写大括号公式的时,&符号前面不能有空格!结果如下图:错误方式一:(多了四个$)\begin{equation}a(t)=\begin{cas

    2022年9月25日
    4
  • 在点光源的基础上利用光域网来分布光的传播范围及方向_daiding

    在点光源的基础上利用光域网来分布光的传播范围及方向_daiding在点光源的基础上利用光域网来分布光的传播范围及方向 daiding VRIES 在点光源的基础上利用光域网来分布光的传播范围及方向 来模拟生活中射灯 筒灯 台灯等的真实照明效果 鼠标左键一直拖动一定长度 不要与造型重合 功率 越大越亮 1500 再添加光域网文件 点击目标下边 找到 ies 文件 渲染即可 复制的时候一定要实例复制 IES 文件 加载一张 ies 文件 旋转 XYZ 旋转灯的方向 覆盖图形 就是把 ies 灯变得有形状有体积 这个

    2026年1月24日
    1
  • JavaWeb – GET 请求中 URL 的最大长度限制(附:解决方案)[通俗易懂]

    JavaWeb – GET 请求中 URL 的最大长度限制(附:解决方案)[通俗易懂]今天在写一个PHP相应JSOUP请求的功能时,发现当URL中包含的请求参数过长时会返回414错误。浏览器1、IEIE浏览器(MicrosoftInternetExplorer)对URL长度限制是2083(2K+53),超过这个限制,则自动截断(若是form提交则提交按钮不起作用)。中文字符的话只有2083/9=231个字符。2、Firefoxfi…

    2022年8月24日
    18

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号