Ganglia集群监控

Ganglia集群监控介绍 Ganglia 是 UCBerkeley 发起的一个开源集群监视项目 设计用于监控数以千计的节点 Ganglia 主要是用来监控系统性能 如 cpu mem 硬盘利用率 I O 负载 网络流量情况等 通过曲线很容易见到每个节点的工作状态 对合理调整 分配系统资源 提高系统整体性能起到重要作用 Ganglia 的核心包含 gmond gmetad 以及一个 Web 前端 gmond GangliaMonit

介绍

Ganglia是UC Berkeley发起的一个开源集群监视项目,设计用于监控数以千计的节点。Ganglia主要是用来监控系统性能,如:cpu、mem、硬盘利用率,I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源,提高系统整体性能起到重要作用。

data flow
1.管理节点通过gmetad.conf配置文件中的代理节点主机列表地址和代理节点相互通信,大概三分钟轮询一次。
2.管理节点收集每个代理节点的机器运行信息,这些信息是通过XML协议进行传输。
3.管理节点收集到代理节点的XML协议后,解析成管理节点需要的数据格式。
4.再通过管理节点的PHP程序调用rrdtool工具,将数据转换成图形。
5.当用户在浏览器上输入管理节点的url地址就可以看见图形化的数据了。










Hadoop原生的支持ganglia监控,并且可以自己配置metric。

上面的说明中管理节点向代理节点发送多播消息,ganglia当然也支持单播通信。

EPEL

配置gmond

/etc/ganglia/gmond.conf

globals字段里send_metadata_interval设置为10,表示每10秒发送一次数据。如果不使用多播,这个值应设为一个正整数,60秒是一个合理值。 cluster字段里的name标识集群的名字。 udp_send_channel字段里,mcast_join为多播模式,如果是单播模式需要注释掉mcast_join,并添加 host = 127.0.0.1(服务器的IP地址) port = 8649(发送数据的端口) udp_recv_channel { port = 8649  // 接收数据的端口号,如果是用单播模式则要删除mcast_join }

配置gmetad

/etc/ganglia/gmetad.conf

data_source标识一个要监控的集群(一些gmond或另一个gmetad)。格式为: data_source "my cluster" [polling interval] address1:port addreses2:port ... polling interval默认15秒。 端口默认8649。 setuid_username ganglia 设定运行用户 rrd_rootdir “/var/lib/ganglia/rrds” gmetad存储round-robin数据库的位置,要保证这个目录可以被上面设定的用户读写

安装过程

启动

让外部机器也可以访问本机ganglia

修改/etc/httpd/conf/httpd.conf,在文件末尾添加下列信息,并重启httpd服务即可。

 
  
    order deny,allow deny from all allow from all 
   

Hadoop

./etc/hadoop/目录下有两个配置文件:hadoop-metrics.properties和hadoop-metrics2.properties。

组播

参考

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/221987.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月17日 下午4:49
下一篇 2026年3月17日 下午4:49


相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号