GlusterFS 集群搭建

一、部署流程

1. 环境部署

• 四台节点均需要添加四块磁盘，不需要太大（需关机状态下添加）
  
  
  

#四台服务器操作 hostname node1 #临时修改主机名 bash systemctl stop firewalld systemctl disable firewalld setenforce 0 ntpdate ntp1.aliyun.com #时间同步 

2. 硬盘分区挂载

vim /opt/fdisk.sh #!/bin/bash echo "the disks exist list:" grep出系统所带磁盘 fdisk -l |grep '磁盘 /dev/sd[a-z]' echo "==================================================" PS3="chose which disk you want to create:" 选择需要创建的磁盘编号 select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit do case $VAR in sda) 本地磁盘就退出case语句 fdisk -l /dev/sda break ;; sd[b-z]) #create partitions echo "n 创建磁盘 p w" | fdisk /dev/$VAR #make filesystem 格式化 mkfs.xfs -i size=512 /dev/${ 
    VAR}"1" &> /dev/null #mount the system mkdir -p /data/${ 
    VAR}"1" &> /dev/null 永久挂载 echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab 使得挂载生效 mount -a &> /dev/null break ;; quit) break;; *) echo "wrong disk,please check again";; esac done chmod +x /opt/fdisk.sh cd /opt/ sh -x fdisk.sh 

3. 配置/etc/hosts文件(所有节点上操作)

echo "192.168.8.13 node1" >> /etc/hosts echo "192.168.8.14 node2" >> /etc/hosts echo "192.168.8.15 node3" >> /etc/hosts echo "192.168.8.16 node4" >> /etc/hosts cat /etc/hosts 

4. 安装、启动GFS

四个节点配置相同

• 把 gfsrepo 压缩包上传至 opt 目录下

unzip gfsrepo.zip 

• 配置 yum 本地源

cd /etc/yum.repos.d/ mkdir repo.bak mv CentOS-* repo.bak vim glfs.repo [glfs] name=glfs baseurl=file:///opt/gfsrepo gpgcheck=0 enabled=1 yum clean all && yum makecache yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma #安装gluster systemctl start glusterd.service #开启gluster服务 systemctl enable glusterd.service systemctl status glusterd.service netstat -antp | grep glusterd 

5. 添加节点并创建集群

添加节点到存储信任池中，只需在 node1 节点上操作

添加节点到存储信任池中(在node1节点上操作) gluster peer probe node1 gluster peer probe node2 gluster peer probe node3 gluster peer probe node4 gluster peer status #在每个节点上查看群集状态 

6. 根据规划创建卷

6.1 创建分布式卷

gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force #创建分布式卷，没有指定类型，默认创建的是分布式卷 gluster volume list #查看类型 gluster volume start dis-volume #开启 gluster volume info dis-volume #查看卷信息 

6.2 创建条带卷

gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force #指定类型为 stripe，数值为2，且后面跟了2个 Brick Server，所以创建的是条带卷 gluster volume start stripe-volume gluster volume info stripe-volume 

6.3 创建复制卷

gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force#指定类型为replica，数值为2，且后面跟了2个Brick Server，所以创建的是复制卷gluster volume start rep-volumegluster volume info rep-volume 

6.4 创建分布式条带卷

gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force#指定类型为stripe，数值为2，而且后面跟了4个Brick Server，是2的两倍，所以创建的是分布式条带卷gluster volume start dis-stripegluster volume info dis-stripe 

6.5 创建分布式复制卷

gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force#指定类型为 replica，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式复制卷gluster volume start dis-repgluster volume info dis-repgluster volume list 

二、Client 客户端部署与测试

1. 部署 Gluster 客户端

在 node1上创建五个卷后，在客户端上把卷挂载在指定的五个目录内，在目录内写入了五个文件，五个文件分别保存在五个目录里面

• 环境部署

systemctl stop firewalldsystemctl disable firewalldsetenforce 0ntpdate ntp1.aliyun.com#将软件包 gfsrepo.zip 传至 opt 目录下cd /optunzip gfsrepo.zip 

• 配置本地 yum 源仓库

cd /etc/yum.repos.d/mkdir repos.bakmv CentOS-* repos.bak/vim glfs.repo[glfs]name=glfsbaseurl=file:///opt/gfsrepogpgcheck=0enabled=1yum clean all && yum makecacheyum install -y glusterfs glusterfs-fuse 

• 创建挂载目录

mkdir -p /test/{ 
    dis,stripe,rep,dis_stripe,dis_rep}ls /test 

• 配置 /etc/hosts 文件

echo "192.168.8.13 node1" >> /etc/hostsecho "192.168.8.14 node2" >> /etc/hostsecho "192.168.8.15 node3" >> /etc/hostsecho "192.168.8.16 node4" >> /etc/hosts 

• 挂载 Gluster 文件系统

mount.glusterfs node1:dis-volume /test/dismount.glusterfs node1:stripe-volume /test/stripemount.glusterfs node1:rep-volume /test/repmount.glusterfs node1:dis-stripe /test/dis_stripemount.glusterfs node1:dis-rep /test/dis_repdf -Th 

• 卷中写入文件

cd /optdd if=/dev/zero of=/opt/demo1.log bs=1M count=40dd if=/dev/zero of=/opt/demo2.log bs=1M count=40dd if=/dev/zero of=/opt/demo3.log bs=1M count=40dd if=/dev/zero of=/opt/demo4.log bs=1M count=40dd if=/dev/zero of=/opt/demo5.log bs=1M count=40#生成一个特定大小的文件给与/opt/demo*.log下，大小为1M，共处理40次ls -lh /optcp demo* /test/discp demo* /test/stripe/cp demo* /test/rep/cp demo* /test/dis_stripe/cp demo* /test/dis_rep/tree /test/ #查看/test/的文件夹/文件的目录树 

2. 验证 gluster 文件系统

gluster 服务器上查看文件分布

• ① 查看分布式文件分布

ls -lh /data/sdb1 #没有被分片，文件分开节点存放 

• ② 查看条带卷文件分布

ls -lh /data/sdc1 #查询数据被分片50% 没副本 没冗余 

• ③ 查看复制卷分布

#复制卷放在了 node3、node4ll -h /data/sdb1 #没有被分片，有副本，有冗余 

• ④ 查看分布式条带卷分布

ll -h /data/sdd1 #文件被分片50%，没副本,没冗余 

• ⑤ 查看分布式复制卷分布

ll -h /data/sde1 #数据没有被分片 有副本 有冗余 

3. 破坏性测试分布式文件系统

#关闭 glusterd 服务 node2 节点来模拟故障[root@node2]#systemctl stop glusterd ls #在客户端上查看文件是否正常#查看卷数据是否正常ls /test/dis #测试分布式是否正常ls /test/rep #测试复制带是否正常ls /test/stripe #测试条带是否正常ll /test/dis_stripe #测试分布式条带是否正常ls /test/dis_rep #测试分布复制带是否正常 

小结：有复制数据功能的卷数据比较安全

三、GFS 文件系统的维护命令

gluster volume list #查看GlusterFS卷gluster volume info #查看所有卷的信息 gluster volume status #查看所有卷的状态gluster volume stop dis-stripe #停止一个卷gluster volume delete dis-stripe #删除一个卷#删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则不能成功删除gluster volume set dis-rep auth.allow 192.168.126.100 #设置卷的访问控制#仅拒绝，设置为IP地址为192.168.8.12的主机禁止访问dis-rep（分布式复制卷）gluster volume set dis-rep auth.allow 192.168.8.*#仅允许，设置为192.168.8.0网段的所有IP地址都能访问dis-rep（分布式复制卷）