HDFS安全模式

HDFS安全模式

1. 安全模式概述
安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求,是一种保护机制,用于保证集群中的数据块的安全性。
在NameNode主节点启动时,HDFS首先进入安全模式,集群会开始检查数据块的完整性。DataNode在启动的时候会向namenode汇报可用的block信息,当整个系统达到安全标准时,HDFS自动离开安全模式。
假设我们设置的副本数(即参数dfs.replication)是5,那么在Datanode上就应该有5个副本存在,假设只存在3个副本,那么比例就是3/5=0.6。在配置文件hdfs-default.xml中定义了一个最小的副本的副本率(即参数dfs.namenode.safemode.threshold-pct)0.999。
我们的副本率0.6明显小于0.99,因此系统会自动的复制副本到其他的DataNode,使得副本率不小于0.999.如果系统中有8个副本,超过我们设定的5个副本,那么系统也会删除多余的3个副本。
如果HDFS处于安全模式下,不允许HDFS客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹,修改副本数等操作。

2. 安全模式配置
与安全模式相关主要配置在hdfs-site.xml文件中,主要有下面几个属性:
dfs.namenode.replication.min: 每个数据块最小副本数量,默认为1. 在上传文件时,达到最小副本数,就认为上传是成功的。
dfs.namenode.safemode.threshold-pct: 达到最小副本数的数据块的百分比。默认为0.999f。当小于这个比例,那就将系统切换成安全模式,对数据块进行复制;当大于该比例时,就离开安全模式,说明系统有足够的数据块副本数,可以对外提供服务。小于等于0意味不进入安全模式,大于1意味一直处于安全模式。
dfs.namenode.safemode.min.datanodes: 离开安全模式的最小可用datanode数量要求,默认为0.也就是即使所有datanode都不可用,仍然可以离开安全模式。
dfs.namenode.safemode.extension: 当集群可用block比例,可用datanode都达到要求之后,如果在extension配置的时间段之后依然能满足要求,此时集群才离开安全模式。单位为毫秒,默认为30000.也就是当满足条件并且能够维持30秒之后,离开安全模式。 这个配置主要是对集群稳定程度做进一步的确认。避免达到要求后马上又不符合安全标准。
总结一下,要离开安全模式,需要满足以下条件:
1)达到副本数量要求的block比例满足要求;
2)可用的datanode节点数满足配置的数量要求;
3) 1、2 两个条件满足后维持的时间达到配置的要求
3. 安全模式命令
手动进入安全模式
hdfs dfsadmin -safemode enter
手动进入安全模式对于集群维护或者升级的时候非常有用,因为这时候HDFS上的数据是只读的。手动退出安全模式可以用下面命令:
hdfs dfsadmin -safemode leave
如果你想获取到集群是否处于安全模式,可以用下面的命令获取:
hdfs dfsadmin -safemode get(也可在web页面查看安全模式状态)

转载于:https://blog.51cto.com/13587708/2298200

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/101378.html原文链接:https://javaforall.net

(0)
上一篇 2021年6月14日 下午3:00
下一篇 2021年6月14日 下午4:00


相关推荐

  • matlab中axis用法_matlab fir1函数用法

    matlab中axis用法_matlab fir1函数用法https://blog.csdn.net/qq_25018077/article/details/87873702

    2022年8月3日
    11
  • android更换开机动画,修改安卓开机动画(除了部分系统 如MIUI等)

    android更换开机动画,修改安卓开机动画(除了部分系统 如MIUI等)该楼层疑似违规已被系统折叠隐藏此楼查看此楼这技术已经很久了,但还是忍不住搬运了一下。出处是百度的,很久很久以前玩手机在百度上学的我这里说的开机动画是指开机的第二屏开机动画可以在下载的rom里修改,也可以刷机后修改(推荐后者,因为比较方便,免签名)前提:手机要ROOT提权,用R.E.管理器粘贴复制首先,开机动画的地址:system\media\bootanimation.zip要修改开机动画就是修…

    2022年5月14日
    64
  • windows ftp 被动模式_通常ftp用主动还是被动模式

    windows ftp 被动模式_通常ftp用主动还是被动模式环境:windowsserver2012R2FTPclientFileZilla3.7.3windowsserver2012服务器搭建完毕后默认为主动式(测试发现windows10搭建完毕默认为被动式)由于开发人员所做视频推流不支持主动式故需要更改为被动式主动式:有客户端N端口发起连接到服务器端21端口传输数据时由服务器端20端…

    2025年10月28日
    5
  • python计算坐标点欧式距离_计算Python Numpy向量之间的欧氏距离实例

    python计算坐标点欧式距离_计算Python Numpy向量之间的欧氏距离实例计算PythonNumpy向量之间的欧氏距离,已知vec1和vec2是两个Numpy向量,欧氏距离计算如下:importnumpydist=numpy.sqrt(numpy.sum(numpy.square(vec1-vec2)))或者直接:dist=numpy.linalg.norm(vec1-vec2)#补充知识:Python中计算两个数据点之间的欧式距离,一个点到数据集中其他点的距离之和#如下所示:#计算数两个数据点之间的欧式距离importn

    2022年6月19日
    56
  • TOP命令详解(TOP10)

    原文http://rockhooray.blog.51cto.com/938613/832621一概述在终端中可以查看top命令的路径和所属软件包。top程序对运行的系统提供一个动态的实时的监控。它能够显示系统的总体信息和一些正被Linux内核管理的任务。它所显示的系统总体信息的样式以及任务信息显示的样式,顺序和大小都是可以由用户配置,而且配置信息可以重启后永久生

    2022年4月11日
    238
  • C语言 二维数组和指针

    C语言 二维数组和指针二维数组可以看成是元素为一维数组的数组 假设有一个三行四列的二维数组 a 它定义为 inta 3 4 1 2 3 4 5 6 7 8 9 10 11 12 a 是二维数组名 a 数组包含 3 行 即 3 个行元素 a 0 a 1 a 2 每个行元素都可以看成含有 4 个元素的一维数组 而且 C 语言规定 a 0 a 1 a 2 分别是这三个一

    2026年3月17日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号