关于kafka集群搭建前后

关于kafka集群搭建前后近期搭建了kafka集群服务器,遇到了问题进行记录1.遇到某台服务器网卡出现问题,导致无效,因为网卡是集成的,即是zookeeper组中一个,也是kafka的brokers之一解决办法:重新更换服务器,重装系统,进行安全配置,在配置好zookeeper和kafka,和损坏的服务器一样的配置2.替换服务器后,遇到过了数据量太大,其中替换的服务器磁盘利用率不断增加,达到最大值,导致服务启动

大家好,又见面了,我是你们的朋友全栈君。

近期搭建了kafka集群服务器,遇到了问题进行记录

1.遇到某台服务器网卡出现问题,导致无效,因为网卡是集成的,即是zookeeper组中一个,也是kafka的brokers之一

解决办法:重新更换服务器,重装系统,进行安全配置,在配置好zookeeper和kafka,和损坏的服务器一样的配置

2.替换服务器后,遇到过了数据量太大,其中替换的服务器磁盘利用率不断增加,达到最大值,导致服务启动不了,而其他集群却60%左右

解决办法:将替换服务器的部分历史数据删除,重启zookeeper和kafka服务器,将所有服务器的kafka配置项中的数据保留时间为2小时,(由于下游节点有消费者在不停的消费),并在配置项设置了数据动态平衡,观察结果,发现ok

3.由于数据量比较大,需要扩容两台服务器,有个小失误就是,应该先分区为broker总数量(包括新增的)倍数,再进行扩容

kafka集群调优可参照网址 https://www.iteblog.com/archives/1879.html   今天看完后,发现集群还有更大的优化空间,

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/131285.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 关于AxisFault的说明[通俗易懂]

    关于AxisFault的说明[通俗易懂]copyfrom:http://tenn.iteye.com/blog/94324一般说来,不可避免的WebService的服务中也会出现异常,举个简单的例子,一个服务接受一个SOAP请求消息,获取有效负载后,进行一个数据库更新操作,而在更新操作过程中发生了SQLException,这个时候就需要告诉客户端(调用WebService)出现异常了,Axis2将异常封装成为一个Axis…

    2022年9月13日
    0
  • 一个因MySQL大小写敏感导致的问题[通俗易懂]

    做一个积极的人编码、改bug、提升自己我有一个乐园,面向编程,春暖花开!分享一下大神老师的人工智能教程。零基础!通俗易懂!风趣幽默(偶尔开开车,讲讲黄段子)!大家可以看看是否对自己有帮助,如果你对人工智能感兴趣,希望你也加入到人工智能的队伍中来,点击这里查看【人工智能教程】。接下来进入正文。文章目录00 MYSQL对大小写敏感01 一个表字母大小故事lower_case_file_s…

    2022年2月28日
    40
  • 无线点餐系统服务器源代码,android 无线点餐系统,源码

    无线点餐系统服务器源代码,android 无线点餐系统,源码【实例简介】android无线点餐系统,源码,能直接运行。【实例截图】【核心代码】0jzexo└──无线点餐系统├──server│├──bin││├──clientServer.class││└──com││└──vista││└──Server││├──Selec…

    2022年6月19日
    23
  • rsyslog日志管理[通俗易懂]

    rsyslog日志管理[通俗易懂]文章目录简介基本维护核心概念实例配置客户端日志服务器输出日志到mysql简介rsyslog是一个快速的日志处理系统,具有卓越的性能和出色的安全性,采用模块化设计,他可以从各种数据源中接收输入、转换数据再将结果输出到指定的位置。他不仅适用于企业,也适用于小型系统。rsyslog是一个c/s架构,既可以作为日志客户端上报日志,也可以作为服务端接收日志rsyslog是模块化设计,因此很多功能需要…

    2022年9月24日
    0
  • c++入门教程–-8循环控制语句

    c++入门教程–-8循环控制语句

    2021年3月12日
    142
  • idea怎么远程debug_idea 多线程调试

    idea怎么远程debug_idea 多线程调试1,远程DEBUG的必要性由于部署环境的差异性,相信很多朋友都碰到过开发环境正常测试过的功能在测试环境甚至生产环境下出现bug的情况。一般情况下,生产环境可以采取的手段比较单一,即通过日志的方式获取运行中的环境上下文,分析日志文件并尝试重现bug。这会带来的问题还是不少的,首先,日志的分析是一项比较耗时的工作;其次,现有的日志记录不一定能反映出问题,你可能需要多次重复这个过程(分析日志->猜测问题->加日志->部署->获取日志)来慢慢逼近问题。倘若是测试环境,我们还多了一项可..

    2022年9月11日
    0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号