GlusterFS分布式文件系统理论

前言

  • 知识拓展
      • 1.Windows中的各个卷
      • 3.GlusterFS特点
      • 4.GlusterFS 术语
      • 5.GlusterFS工作原理
      • 6.弹性HASH算法
  • GlusterFS的卷类型
      • 1.分布式卷
        • 1.1分布式卷的特点与创建
      • 2.条带卷
        • 2.1条带卷的特点以及创建
      • 3.复制卷
        • 3.1复制卷的特点以及创建
      • 4.分布式条带卷
        • 4.1分布式条带卷创建方式
      • 5.分布式复制卷
        • 5.1创建分布式复制卷
  • 实验

知识拓展

以前一开始只有单个磁盘,是多少就用多少,为了解决这个问题,让存储空间更加灵活的应用,我们多了多次盘管理,这种我们简称磁盘阵列
磁盘整列以卷组的方式,如:lvm

目前有两中磁盘格式:MBR
在这里插入图片描述

注意:数据只写在主分区和逻辑分区上,而扩展分区是不写数据的,扩展分区只给你提供一个平台环境让你在上面去做逻辑分区的划分,谁能被格式化,谁才能被写数据

还有一种:GPT,它最多可以有128个分区,某些生产环境就是用的这个

1.Windows中的各个卷

在这里插入图片描述

跨区卷:扩展性强,容量不受限制,想用多少用多少
带区卷:简称条带,读写速度高,数据同时往两块磁盘写,要求两个磁盘容量必须相同 (生产环境叫reid 0)
但是上面两个卷有个问题,只要有一块磁盘损坏,就全都不能使用
镜像卷:可靠性高,安全性高,数据不易丢失,两块磁盘容量必须相同,但是总容量是已有磁盘的一半(生产环境叫raid 1)

多个磁盘演变成网络磁盘:NFS(我的存储空间来自于另外一个存储服务器)

后来,又想远程,还想做磁盘阵列,这个时候GFS就出来了

###2. GlusterFS概述
在这里插入图片描述
依赖于RDMA,或者TCP/IP,相当于通信协议,支持分布式存储
所有的分布式都是通过网关进行管理的,只不过是被隐藏起来你看不见

客户端需要存储空间,会先把请求转发给网关,网关中提供类似NFS,samba的协议,把这个所谓的请求,去转发给相对应的存储空间(很多存储块),也就是各个节点,每个节点提供出一些存储空间,视作一个整体,这中操作依赖于IO

GFS是一个集群,集群中有多个节点,提供多个存储空间,这些节点不需要放一起,只要保证能互相通信就可以了,只要你提供网关,我就可以找你的存储资源,说白了就相当于百度云盘等

在这里插入图片描述
RDMA好处是去中心化

3.GlusterFS特点

扩展性和高性能,可以无限扩展,只要不格子够
高可用
全局统一命名空间
弹性卷管理
基于标准协议:RDMA/TCP

命名空间是什么意思:只要打开里面的名字,名字里面的空间都是指向存储集群,就像局域网,虽然分布在不同位置,但视为一个整体,这个整体就叫做命名空间

4.GlusterFS 术语

Brick存储节点,存储块
Volume卷组
FUSE基本上客服端用的服务
VFS文件系统
Glusterd集群

5.GlusterFS工作原理

在这里插入图片描述

VFS都需要用到
Fuse:客户终端,处理里面的流程,相当于一个设备,管理对应的设备文件
VFS交给fuse,fuse管理对应的设备(/dev/fuse),设备把请求交给client代理端,client直接通过协议对接server

6.弹性HASH算法

弹性HASH算法

通过HASH算法得到一个32位的整数
划分为N个连续的子空间,每个空间对应一个Brick
弹性HASH算法的优点

弹性HASH算法的优点

保证数据平均分布在每一个Brick中
解决了对元数据服务器的依赖,进而解决了单点故障以

GlusterFS的卷类型

1.分布式卷

在这里插入图片描述

什么是分块:一个大文件分成多块去存储
分块处理不是轮询,是随机存储的
常用xfs,其他都会被淘汰,因为xfs能够支持更大的文件存储+
通过Hash知道你文件存去什么位置了

1.1分布式卷的特点与创建

文件分布在不同的服务器,不具备冗余性
更容易和廉价地扩展卷的大小
单点故障会造成数据丢失
依赖底层的数据保护

所以,分布式卷不安全,但是可无线扩容

#创建一个名为dis-volume的分布式卷,文件将根据HASH分布在server1:/dir1、server2:ldir2和server3:/dir3中

#gluster volume create dis-volume server1:/dir1 server2:/dir2 server3:/dir3

2.条带卷

在这里插入图片描述
读写速度高,数据同时往两块磁盘写,要求两个磁盘容量必须相同
条带卷一般用于大文件存储,速度特快,同时存储,相当于raid0

2.1条带卷的特点以及创建

特点

数据被分割成更小块分布到块服务器群中的不同条带区
分布减少了负载且更小的文件加速了存取的速度
没有数据冗余
###创建条带卷###
创建了一个名为Stripe-volume的条带卷,文件将被分块轮询的存储在Server1:/dir1和Server2:/dir2两个Brick中

# gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2

3.复制卷

在这里插入图片描述
木桶效应意思:空间不一致时,以最小问参考,保证数据能够同时有多份
复制卷相当于RAID1

可靠性高,安全性高,数据不易丢失,两块磁盘容量相同,但是总容量是已有磁盘的一半(生产环境叫raid 1)

3.1复制卷的特点以及创建

特点

卷中所有的服务器均保存一个完整的副本
卷的副本数量可由客户创建的时候决定
至少有两个块服务器或更多服务器
具备冗余性
##创建复制卷##
创建名为rep-volume的复制卷,文件将同时存储两个副本,分别在Server1:/dir1和Server2:/dir2两个Brick中

t gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

4.分布式条带卷

在这里插入图片描述

4.1分布式条带卷创建方式

创建分布式条带卷

##创建了名为dis-stripe的分布式条带卷,配置分布式的条带卷时,卷中Brick所包含的存储服务器数必须是条带数的倍数(>=2倍)

# gluster volume create dis-stripe stripe 2transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

5.分布式复制卷

在这里插入图片描述

5.1创建分布式复制卷

##创建分布式复制卷
创建名为dis-rep的分布式条带卷,配置分布式复制卷时,卷中Brick所包含的存储服务器数必须是条带数的倍数(>=2)
# gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

实验

点击此篇博客带你发现新大陆


更多相关内容:请点击查看