GlusterFS 应用
1. glusterfs 简介
- Glusterfs 是一个开源的分布式文件系统，是 Scale 存储的核心，能够处理千数量级的客户端。
- 是整合了许多存储块（server）通过 Infiniband RDMA 或者 Tcp/Ip 方式互联的一个并行的网络文件系统。
2. 特征 - 容量可以按比例的扩展，且性能却不会因此而降低。
- 廉价且使用简单，完全抽象在已有的文件系统之上。
- 扩展和容错设计的比较合理，复杂度较低
- 适应性强，部署方便，对环境依赖低，使用，调试和维护便利
- 是整合了许多存储块（server）通过 Infiniband RDMA 或者 Tcp/Ip 方式互联的一个并行的网络文件系统。
2. glusterfs 部署
1. 介绍
- 一般在企业中，采用的是分布式复制卷，因为有数据备份，数据相对安全。
- 网络要求全部千兆环境
- gluster 服务器至少有 2 块网卡，1 块网卡绑定供 gluster 使用，剩余一块分配管理网络 IP，用于系统管理。
- 如果有条件购买万兆交换机，服务器配置万兆网卡，存储性能会更好。
- 网络方面如果安全性要求较高，可以多网卡绑定。
- 注意
- GlusterFS 将其动态生成的配置文件存储在 /var/lib/glusterd 中。
- 如果在任何时候 GlusterFS 无法写入这些文件（例如，当后备文件系统已满），它至少会导致您的系统不稳定的行为;
- 或者更糟糕的是，让您的系统完全脱机。建议为 /var/log 等目录创建单独的分区，以确保不会发生这种情况。
2. 安装glusterfs前的环境准备
- 服务规划
操作系统 IP 主机名 硬盘数量（三块） centos 7.4 10.0.0.101 node1 sdb:5G sdc:5G sdd:5G centos 7.4 10.0.0.102 node2 sdb:5G sdc:5G sdd:5G centos 7.4 10.0.0.103 node3 sdb:5G sdc:5G sdd:5G centos 7.4 10.0.0.104 node4 sdb:5G sdc:5G sdd:5G centos 7.4 10.0.0.105 node5-client sda:20G - 首先关闭 iptables 和 selinux，配置 hosts 文件如下（全部 glusterfs 主机）
]# systemctl stop firewalld && systemctl disable firewalld ]# sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config ]# setenforce 0 ]# getenforce ]# ntpdate time.windows.com ]# vim /etc/hosts 192.168.89.1 node01 192.168.89.2 node02 192.168.89.3 node03 192.168.89.4 node04 - 安装 gluterfs 源（全部 glusterfs 主机）
]#wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo ]#yum search centos-release-gluster ================================================ N/S matched: centos-release-gluster ================================================= centos-release-gluster310.noarch : Gluster 3.10 (Long Term Stable) packages from the CentOS Storage SIG repository centos-release-gluster312.noarch : Gluster 3.12 (Long Term Stable) packages from the CentOS Storage SIG repository centos-release-gluster313.noarch : Gluster 3.13 (Short Term Stable) packages from the CentOS Storage SIG repository centos-release-gluster36.noarch : GlusterFS 3.6 packages from the CentOS Storage SIG repository centos-release-gluster37.noarch : GlusterFS 3.7 packages from the CentOS Storage SIG repository centos-release-gluster38.noarch : GlusterFS 3.8 packages from the CentOS Storage SIG repository centos-release-gluster39.noarch : Gluster 3.9 (Short Term Stable) packages from the CentOS Storage SIG repository ]# yum -y install centos-release-gluster312.noarch - 安装 glusterfs (全部 glusterfs 主机)
]# yum -y --enablerepo=centos-gluster*-test install glusterfs-server glusterfs-cli glusterfs-geo-replication - 查看 glusterfs 版本并启动 glusterfs 服务(全部 glusterfs 主机)
]# glusterfs -V glusterfs 3.12.5 ]# systemctl restart glusterd && systemctl enable glusterd ]# systemctl status glusterd ]# netstat -lntup Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 0.0.0.0:24007 0.0.0.0:* LISTEN 2268/glusterd - 格式化磁盘(全部 glusterfs 主机)
]# fdisk -l Disk /dev/sdb: 5368 MB, bytes Disk /dev/sdc: 5368 MB, bytes Disk /dev/sdd: 5368 MB, bytes ]# mkfs.xfs -i size=512 /dev/sdb ]# mkfs.xfs -i size=512 /dev/sdc ]# mkfs.xfs -i size=512 /dev/sdd ]# mkdir -p /data/brick{1..3} ]# echo '/dev/sdb /data/brick1 xfs defaults 0 0' >> /etc/fstab ]# echo '/dev/sdc /data/brick2 xfs defaults 0 0' >> /etc/fstab ]# echo '/dev/sdd /data/brick3 xfs defaults 0 0' >> /etc/fstab ]# mount -a ]# df -h /dev/sdc 5.0G 33M 5.0G 1% /data/brick2 /dev/sdd 5.0G 33M 5.0G 1% /data/brick3 /dev/sdb 5.0G 33M 5.0G 1% /data/brick1
3. 操作
- 将分布式存储主机加入到信任主机池并查看加入的主机状态[node01]
]# gluster peer probe node02 peer probe: success. ]# gluster peer probe node03 peer probe: success. ]# gluster peer probe node04 peer probe: success. ]# gluster peer status Number of Peers: 3 Hostname: node02 Uuid: d-1b46-4e2c-9cdd-c4b3bba47b4b State: Peer in Cluster (Connected) Hostname: node03 Uuid: 147ee557-51f1-43fe-a27f-3dae2880b5d4 State: Peer in Cluster (Connected) Hostname: node04 Uuid: f61af299-b00d-489c-9fd9-b4f6a336a6c7 State: Peer in Cluster (Connected) - 创建 glusterfs 卷
- GlusterFS 五种卷
- Distributed：分布式卷，文件通过 hash 算法随机分布到由 bricks 组成的卷上。
- Replicated: 复制式卷，类似 RAID 1，replica 数必须等于 volume 中 brick 所包含的存储服务器数，可用性高。
- Striped: 条带式卷，类似 RAID 0，stripe 数必须等于 volume 中 brick 所包含的存储服务器数，文件被分成数据块，
- 以 Round Robin 的方式存储在 bricks 中，并发粒度是数据块，大文件性能好。
- Distributed Striped: 分布式的条带卷，volume 中 brick 所包含的存储服务器数必须是 stripe 的倍数（>=2倍），兼顾分布式和条带式的功能。
- Distributed Replicated: 分布式的复制卷，volume 中 brick 所包含的存储服务器数必须是 replica 的倍数（>=2倍），兼顾分布式和复制式的功能。
- 分布式复制卷的 brick 顺序决定了文件分布的位置，一般来说，先是两个 brick 形成一个复制关系，然后两个复制关系形成分布。
- 配置分布式卷[node01]
]# gluster volume create gv1 node01:/data/brick1 node02:/data/brick1 force volume create: gv1: success: please start the volume to access data ]# gluster volume start gv1 volume start: gv1: success ]# gluster volume info gv1 Volume Name: gv1 Type: Distribute Volume ID: -4b48-47d5-b767-d6c6f1e684cc Status: Started Snapshot Count: 0 Number of Bricks: 2 Transport-type: tcp Bricks: Brick1: node01:/data/brick1 Brick2: node02:/data/brick1 Options Reconfigured: transport.address-family: inet nfs.disable: on ]# mount -t glusterfs 127.0.0.1:/gv1 /opt ]# cd /opt/ ]# touch {a..f} ]# ll 总用量 0 -rw-r--r--. 1 root root 0 2月 2 23:59 a -rw-r--r--. 1 root root 0 2月 2 23:59 b -rw-r--r--. 1 root root 0 2月 2 23:59 c -rw-r--r--. 1 root root 0 2月 2 23:59 d -rw-r--r--. 1 root root 0 2月 2 23:59 e -rw-r--r--. 1 root root 0 2月 2 23:59 f node04 ]# mount -t glusterfs 127.0.0.1:/gv1 /opt ]# ll /opt/ 总用量 0 -rw-r--r--. 1 root root 0 2月 2 2018 a -rw-r--r--. 1 root root 0 2月 2 2018 b -rw-r--r--. 1 root root 0 2月 2 2018 c -rw-r--r--. 1 root root 0 2月 2 2018 d -rw-r--r--. 1 root root 0 2月 2 2018 e -rw-r--r--. 1 root root 0 2月 2 2018 f node01 ]# ll /data/brick1/ 总用量 0 -rw-r--r--. 2 root root 0 2月 2 23:59 a -rw-r--r--. 2 root root 0 2月 2 23:59 b -rw-r--r--. 2 root root 0 2月 2 23:59 c -rw-r--r--. 2 root root 0 2月 2 23:59 e node02 ]# ll /data/brick1 总用量 0 -rw-r--r--. 2 root root 0 2月 2 23:59 d -rw-r--r--. 2 root root 0 2月 2 23:59 f - 配置复制卷[node01]
- 注：复制模式，既 AFR, 创建 volume 时带 replica x 数量: 将文件复制到 replica x 个节点中。
- 这条命令的意思是使用 Replicated 的方式，建立一个名为 gv2 的卷(Volume)，存储块(Brick)为2个，分别为 node01:/data/brick2 和 node02:/data/brick2；
- force 为强制创建：因为复制卷在双方主机通信有故障再恢复通信时容易发生脑裂。本次为实验环境，生产环境不建议使用。
]# gluster volume create gv2 replica 2 node01:/data/brick2 node02:/data/brick2 force volume create: gv2: success: please start the volume to access data ]# gluster volume start gv2 volume start: gv2: success ]# gluster volume info gv2 Volume Name: gv2 Type: Replicate Volume ID: 9f33bd9a-7096-4749-8d91-1e6de3b50053 Status: Started Snapshot Count: 0 Number of Bricks: 1 x 2 = 2 Transport-type: tcp Bricks: Brick1: node01:/data/brick2 Brick2: node02:/data/brick2 Options Reconfigured: transport.address-family: inet nfs.disable: on performance.client-io-threads: off node01 ]# mount -t glusterfs 127.0.0.1:/gv2 /mnt ]# df -h 文件系统 容量 已用 可用 已用% 挂载点 /dev/sdc 5.0G 33M 5.0G 1% /data/brick2 /dev/sdd 5.0G 33M 5.0G 1% /data/brick3 /dev/sdb 5.0G 33M 5.0G 1% /data/brick1 127.0.0.1:/gv1 10G 65M 10G 1% /opt 127.0.0.1:/gv2 5.0G 33M 5.0G 1% /mnt #容量是总容量的一半 ]# cd /mnt/ ]# touch {1..6} ]# ll /data/brick2 总用量 0 -rw-r--r--. 2 root root 0 2月 3 01:06 1 -rw-r--r--. 2 root root 0 2月 3 01:06 2 -rw-r--r--. 2 root root 0 2月 3 01:06 3 -rw-r--r--. 2 root root 0 2月 3 01:06 4 -rw-r--r--. 2 root root 0 2月 3 01:06 5 -rw-r--r--. 2 root root 0 2月 3 01:06 6 node02 ]# ll /data/brick2 总用量 0 -rw-r--r--. 2 root root 0 2月 3 01:06 1 -rw-r--r--. 2 root root 0 2月 3 01:06 2 -rw-r--r--. 2 root root 0 2月 3 01:06 3 -rw-r--r--. 2 root root 0 2月 3 01:06 4 -rw-r--r--. 2 root root 0 2月 3 01:06 5 -rw-r--r--. 2 root root 0 2月 3 01:06 6
- 配置条带卷[node01]
]# gluster volume create gv3 stripe 2 node01:/data/brick3 node02:/data/brick3 force volume create: gv3: success: please start the volume to access data ]# gluster volume start gv3 volume start: gv3: success ]# gluster volume info gv3 Volume Name: gv3 Type: Stripe Volume ID: 54c16832-6bdf-42e2-81a9-6b8d7b547c1a Status: Started Snapshot Count: 0 Number of Bricks: 1 x 2 = 2 Transport-type: tcp Bricks: Brick1: node01:/data/brick3 Brick2: node02:/data/brick3 Options Reconfigured: transport.address-family: inet nfs.disable: on ]# mkdir /data01 ]# mount -t glusterfs 127.0.0.1:/gv3 /data01 ]# df -h Filesystem Size Used Avail Use% Mounted on 127.0.0.1:/gv3 10G 65M 10G 1% /data01 ]# dd if=/dev/zero bs=1024 count=10000 of=/data01/10M.file ]# dd if=/dev/zero bs=1024 count=20000 of=/data01/20M.file ]# ll /data01/ -h 总用量 30M -rw-r--r--. 1 root root 9.8M 2月 3 02:03 10M.file -rw-r--r--. 1 root root 20M 2月 3 02:04 20M.file node01 ]# ll -h /data/brick3 总用量 15M -rw-r--r--. 2 root root 4.9M 2月 3 02:03 10M.file -rw-r--r--. 2 root root 9.8M 2月 3 02:03 20M.file node02 ]# ll -h /data/brick3 总用量 15M -rw-r--r--. 2 root root 4.9M 2月 3 02:03 10M.file -rw-r--r--. 2 root root 9.8M 2月 3 02:04 20M.file- 上面可以看到 10M 20M 的文件分别分成了 2 块（这是条带的特点），写入的时候是循环地一点一点在node01和node02的磁盘上.
- 上面配置的条带卷在生产环境是很少使用的，因为它会将文件破坏，比如一个图片，它会将图片一份一份地分别存到条带卷中的brick上。
- 配置分布式复制卷,最少需要 4 台服务器才能创建[生产场景推荐使用此种方式]
- 将原有的复制卷 gv2 进行扩容，使其成为分布式复制卷
]# gluster volume stop gv2 ]# gluster volume add-brick gv2 replica 2 node03:/data/brick1 node04:/data/brick1 force volume add-brick: success ]# gluster volume start gv2 volume start: gv2: success ]# gluster volume info gv2 Volume Name: gv2 Type: Distributed-Replicate Volume ID: 9f33bd9a-7096-4749-8d91-1e6de3b50053 Status: Started Snapshot Count: 0 Number of Bricks: 2 x 2 = 4 Transport-type: tcp Bricks: Brick1: node01:/data/brick2 Brick2: node02:/data/brick2 Brick3: node03:/data/brick1 Brick4: node04:/data/brick1 Options Reconfigured: transport.address-family: inet nfs.disable: on performance.client-io-threads: off- 注意：当你给分布式复制卷和分布式条带卷增加 bricks 时，你增加的 bricks 数目必须是复制或条带数目的倍数
- 例如：你给一个分布式复制卷的 replica 为 2，你在增加 bricks 的时候数量必须为2、4、6、8等。
- 扩容后进行测试，发现文件都分布在扩容前的卷中。
- 配置分布式条带卷
- 将原有的复制卷 gv3 进行扩容，使其成为分布式条带卷
]# gluster volume stop gv3 ]# gluster volume add-brick gv3 stripe 2 node03:/data/brick2 node04:/data/brick2 force ]# gluster volume start gv3 volume start: gv3: success ]# gluster volume info gv3 Volume Name: gv3 Type: Distributed-Stripe Volume ID: 54c16832-6bdf-42e2-81a9-6b8d7b547c1a Status: Started Snapshot Count: 0 Number of Bricks: 2 x 2 = 4 Transport-type: tcp Bricks: Brick1: node01:/data/brick3 Brick2: node02:/data/brick3 Brick3: node03:/data/brick2 Brick4: node04:/data/brick2 Options Reconfigured: transport.address-family: inet nfs.disable: on - 分布式复制卷的最佳实践
- 搭建条件
– 块服务器的数量必须是复制的倍数- 将按块服务器的排列顺序指定相邻的块服务器成为彼此的复制
- 例如，8台服务器：
- 当复制副本为2时，按照服务器列表的顺序，服务器1和2作为一个复制,3和4作为一个复制,5和6作为一个复制,7和8作为一个复制
- 当复制副本为4时，按照服务器列表的顺序，服务器1/2/3/4作为一个复制,5/6/7/8作为一个复制
- 创建分布式复制卷
- 磁盘存储的平衡
- 平衡布局是很有必要的，因为布局结构是静态的，当新的 bricks 加入现有卷，新创建的文件会分布到旧的 bricks 中，所以需要平衡布局结构，使新加入的 bricks 生效。
- 布局平衡只是使新布局生效，并不会在新的布局中移动老的数据，如果你想在新布局生效后，重新平衡卷中的数据，还需要对卷中的数据进行平衡。
- 在 gv2 的分布式复制卷的挂载目录中创建测试文件
]# df -h 127.0.0.1:/gv2 10G 65M 10G 1% /mnt ]# cd /mnt/ ]# touch {x..z} #新创建的文件只在老的brick中有，在新加入的brick中是没有的 node01 ]# ls /data/brick2 1 2 3 4 5 6 x y z node02 ]# ls /data/brick2 1 2 3 4 5 6 x y z node03 ]# ll -h /data/brick1 总用量 0 node04 ]# ll -h /data/brick1 总用量 0 - 从上面可以看到，新创建的文件还是在之前的 bricks 中，并没有分布中新加的 bricks 中
- 下面进行磁盘存储平衡
]# gluster volume rebalance gv2 start ]# gluster volume rebalance gv2 status #查看平衡存储状态 node01]# ls /data/brick2 1 5 y node02]# ls /data/brick2 1 5 y node03]# ls /data/brick1 2 3 4 6 x z node04]# ls /data/brick1 2 3 4 6 x z- 从上面可以看出部分文件已经平衡到新加入的 brick 中了
- 每做一次扩容后都需要做一次磁盘平衡。 磁盘平衡是在万不得已的情况下再做的，一般再创建一个卷就可以了。
- 磁盘存储的平衡
- 移除 brick
- 你可能想在线缩小卷的大小，例如：当硬件损坏或网络故障的时候，你可能想在卷中移除相关的 bricks。
- 注意
- 当你移除 bricks 的时候，你在 gluster 的挂载点将不能继续访问数据，只有配置文件中的信息移除后你才能继续访问 bricks 中的数据。
- 当移除分布式复制卷或者分布式条带卷的时候，移除的 bricks 数目必须是 replica 或者 stripe 的倍数。
- 但是移除 brick 在生产环境中基本上不做的，如果是硬盘坏掉的话，直接换个好的硬盘即可，然后再对新的硬盘设置卷标识就可以使用了，后面会演示硬件故障或系统故障的解决办法。
- 操作
]# gluster volume stop gv2 ]# gluster volume remove-brick gv2 replica 2 node03:/data/brick1 node04:/data/brick1 force ]# gluster volume info gv2 Volume Name: gv2 Type: Replicate Volume ID: 9f33bd9a-7096-4749-8d91-1e6de3b50053 Status: Stopped Snapshot Count: 0 Number of Bricks: 1 x 2 = 2 Transport-type: tcp Bricks: Brick1: node01:/data/brick2 Brick2: node02:/data/brick2 Options Reconfigured: transport.address-family: inet nfs.disable: on performance.client-io-threads: off # 如果误操作删除了后，其实文件还在 /storage/brick1 里面的，加回来就可以了 ]# gluster volume add-brick gv2 replica 2 node03:/data/brick1 node04:/data/brick1 force volume add-brick: success ]# gluster volume info gv2 Volume Name: gv2 Type: Distributed-Replicate Volume ID: 9f33bd9a-7096-4749-8d91-1e6de3b50053 Status: Stopped Snapshot Count: 0 Number of Bricks: 2 x 2 = 4 Transport-type: tcp Bricks: Brick1: node01:/data/brick2 Brick2: node02:/data/brick2 Brick3: node03:/data/brick1 Brick4: node04:/data/brick1 Options Reconfigured: transport.address-family: inet nfs.disable: on performance.client-io-threads: off
- 删除卷
- 一般会用在命名不规范的时候才会删除
]# gluster volume stop gv1 ]# gluster volume delete gv1 - 模拟误删除卷信息故障及解决办法
]# ls /var/lib/glusterd/vols/ gv2 gv3 ]# rm -rf /var/lib/glusterd/vols/gv3 #删除卷gv3的卷信息 ]# ls /var/lib/glusterd/vols/ #再查看卷信息情况如下：gv3卷信息被删除了 gv2 ]# gluster volume sync node02 #因为其他节点服务器上的卷信息是完整的，比如从node02上同步所有卷信息如下： Sync volume may make data inaccessible while the sync is in progress. Do you want to continue? (y/n) y volume sync: success ]# ls /var/lib/glusterd/vols/ #验证卷信息是否同步过来 gv2 gv3 - 模拟复制卷数据不一致故障及解决办法
]# ls /data/brick2 #复制卷的存储位置的数据 1 5 y ]# rm -f /data/brick2/y ]# ls /data/brick2 1 5 ]# ls /data/brick2 1 5 y ]# gluster start gv2 #因为之前关闭了，如果未关闭可以忽略此步。 ]# cat /mnt/y #通过访问这个复制卷的挂载点的数据来同步数据 ]# ls /data/brick2/ #这时候再看复制卷的数据是否同步成功 1 5 y
- 一般会用在命名不规范的时候才会删除
- 搭建条件
- GlusterFS 五种卷
3. glustefs 分布式存储优化
- key 值介绍
Auth_allow #IP访问授权；缺省值（*.allow all）；合法值：Ip地址 Cluster.min-free-disk #剩余磁盘空间阀值；缺省值（10%）；合法值：百分比 Cluster.stripe-block-size #条带大小；缺省值（128KB）；合法值：字节 Network.frame-timeout #请求等待时间；缺省值（1800s）；合法值：1-1800 Network.ping-timeout #客户端等待时间；缺省值（42s）；合法值：0-42 Nfs.disabled #关闭NFS服务；缺省值（Off）；合法值：Off|on Performance.io-thread-count #IO线程数；缺省值（16）；合法值：0-65 Performance.cache-refresh-timeout #缓存校验时间；缺省值（1s）；合法值：0-61 Performance.cache-size #读缓存大小；缺省值（32MB）；合法值：字节 Performance.quick-read: #优化读取小文件的性能 Performance.read-ahead: #用预读的方式提高读取的性能，有利于应用频繁持续性的访问文件，当应用完成当前数据块读取的时候，下一个数据块就已经准备好了。 Performance.write-behind: #先写入缓存内，再写入硬盘，以提高写入的性能。 Performance.io-cache: #缓存已经被读过的 - 优化参数调整方式
- 命令格式：
- gluster volume set
<卷>
<参数>
- gluster volume set
- 例如：
- 打开预读方式访问存储
- gluster volume set gv2 performance.read-ahead on
- 调整读取缓存的大小
- gluster volume set gv2 performance.cache-size 256M
- 打开预读方式访问存储
- 命令格式：
- 监控及日常维护
- 使用 zabbix 自带的模板即可，CPU、内存、磁盘空间、主机运行时间、系统 load。日常情况要查看服务器监控值，遇到报警要及时处理。
- 看下节点有没有在线
- gluster volume status nfsp
- 启动完全修复
- gluster volume heal gv2 full
- 查看需要修复的文件
- gluster volume heal gv2 info
- 查看修复成功的文件
- gluster volume heal gv2 info healed
- 查看修复失败的文件
- gluster volume heal gv2 heal-failed
- 查看主机的状态
- gluster peer status
- 查看脑裂的文件
- gluster volume heal gv2 info split-brain
- 激活 quota 功能
- gluster volume quota gv2 enable
- 关闭 quota 功能
- gulster volume quota gv2 disable
- 目录限制（卷中文件夹的大小）
- gluster volume quota limit-usage /data/30MB –/gv2/data
- quota 信息列表
- gluster volume quota gv2 list
- 限制目录的 quota 信息
- gluster volume quota gv2 list /data
- 设置信息的超时时间
- gluster volume set gv2 features.quota-timeout 5
- 删除某个目录的 quota 设置
- gluster volume quota gv2 remove /data
- 备注：
- quota 功能，主要是对挂载点下的某个目录进行空间限额。
- 如：/mnt/gulster/data 目录，而不是对组成卷组的空间进行限制。
- quota 功能，主要是对挂载点下的某个目录进行空间限额。
- Glusterfs 日常维护及故障处理
- 硬盘故障
- 如果底层做了 raid 配置，有硬件故障，直接更换硬盘，会自动同步数据。
- 一台主机故障
- 问题
- 物理故障，同时有多块硬盘故障，造成数据丢失，系统损坏不可修复
- 解决方法
- 找一台完全一样的机器，至少要保证硬盘数量和大小一致，安装系统，配置和故障机同样的 IP，安装 gluster 软件，
- 保证配置一样，在其他健康节点上执行命令 gluster peer status，查看故障服务器的 uuid
]# gluster peer status Number of Peers: 3 Hostname: mystorage3 Uuid: 36e4c45c-466f-47b0-b829-dcd4a69ca2e7 State: Peer in Cluster (Connected) Hostname: mystorage4 Uuid: c607f6c2-bdcb-4768-bc82-4bc2243b1b7a State: Peer in Cluster (Connected) Hostname: mystorage1 Uuid: 6e6a84af-ac7a-44eb-85c9-50f1f46acef1 State: Peer in Cluster (Disconnected) - 复制代码, 修改新加机器的 /var/lib/glusterd/glusterd.info 和 故障机器一样
]# cat /var/lib/glusterd/glusterd.info UUID=6e6a84af-ac7a-44eb-85c9-50f1f46acef1 operating-version=30712 - 在信任存储池中任意节点执行
- 自动开始同步，但在同步的时候会影响整个系统的性能。
]# gluster volume heal gv2 full - 可以查看状态
]# gluster volume heal gv2 info
- 问题
- 硬盘故障
4. glusterfs 在企业中应用场景
- 理论和实践分析，GlusterFS 目前主要使用大文件存储场景，对于小文件尤其是海量小文件，存储效率和访问性能都表现不佳，海量小文件 LOSF 问题是工业界和学术界的人工难题，GlusterFS 作为通用的分布式文件系统，并没有对小文件额外的优化措施，性能不好也是可以理解的。
- Media
-文档、图片、音频、视频
-云存储、虚拟化存储、HPC（高性能计算）
-日志文件、RFID（射频识别）数据
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/214681.html原文链接：https://javaforall.net
