分布式文件系统FastDFS实战

1. 分布式文件系统应用场景

互联网海量非结构化数据的存储需求：
1. 电商网站：海量商品图片
2. 视频网站：海量视频文件
3. 网盘：海量文件
4. 社交网站：海量图片

2.FastDFS介绍

https://github.com/happyfish100/fastdfs

2.1简介

FastDFS 是一个开源的高性能分布式文件系统(DFS)。它的主要功能包括:文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件(建议范围:4KB< file_size< 500MB)为载体的在线服务
FastDFS设计是用来存储小文件的，过大的文件处理方案是拆分为小文件，可跟踪小文件的上传情况。如果应用场景都是外理大文件，可以选择其他分布式文件系统方案会更合适。

2.2 特性

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
优点:
1. 文件不分块存储，文件和系统中的文件一一对应。
2. 对文件内容做hash处理，避免出现重复文件，节约磁盘空间。
3. 下载文件支持HTTP协议，可基于内置Web Server或外部Web Server。
4. 支持在线扩容，动态添加卷。
5. 支持文件冗余备份和负载均衡。
6. 存储服务器上可以保存文件属性 (meta-data)。
7. V2.0 网络通信采用libevent，支持高并发访问，整体性能更好。
缺点:
1. 直接按文件存储，可直接查看文件内容，缺乏文件安全性。
2. 数据同步无校验，存在静默IO问题，降低系统可用性。
3. 单线程数据同步，仅适合存储小文件 (4KB到500MB之间)。
4. 备份数根据存储分卷(分组)决定，缺乏文件备份数设置灵活性。
5. 单个挂载点异常会导致整个存储节点下线。
6. 缺乏多机房容灾机制。
7. 静态的负载均衡机制。
优点与缺点并存，但针对中小型系统已经完全足够使用了。

2.3. 角色

Tracker Server: 跟踪服务器，主要做调度工作，起到均衡的作用。负责管理所有的 storage server和 group，每个 storage 在启动后会连接Tracker，告知自己所属 group 等信息，并保持周期性心跳。
Storage Server: 存储服务器，主要提供容量和备份服务;以 group 为单位，每个group 内可以有多台 storage server，数据互为备份。
client: 客户端，上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。
Tracker相当于一个调度中心，上传和下载都通过它来进行分配指定。
Storage cluster部分，由Volume1、Volume2…VolumeK组成，它们称为卷(或者叫做组)，卷与卷之间是平行的关系，可以根据资源的使用情况随时增加，卷内服务器文件相互同步备份，以达到容灾的目的。

2.4. 存储策略:

为了支持大容量，存储节点 (服务器) 采用了分卷 (或分组) 的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。
在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。

2.5. 上传过程：

当服务启动之后，Storage Server会定期的向Tracker Server发送存储信息如果Tracker Server是集群形式，则每个Tracker之间的关系是对等的，客户端上传时选择任意一个Tracker即可。
整体流程：当客户端请求Tracker进行上传操作时，会获取存储服务器相关信息，主要包括IP和端口。根据返回信息上传文件，通过存储服务器写入磁盘，并返回给客户端file_id、路径信息、文件名等信息。
对应流程图如下:

在这里插入图片描述

其中，当Tracker收到客户端上传文件的请求时，会为该文件分配一个可以存储文件的group，当选定了group后就要决定给客户端分配group中的哪一个storage server。
当分配好storage server后，客户端向storage发送写文件请求，storage将会为文件分配一个数据存储目录。然后为文件分配一个fileid最后根据以上的信息生成文件名存储文件。
生成的文件名基本格式如下:
组名：文件上传后所在的 storage 组名称，在文件上传成功后有 storage 服务器返回，需要客户端自行保存。
虚拟磁盘路径：storage 配置的虚拟路径，与磁盘选项 store_path*对应。如果配置了store_path0 则是 M00，如果配置了store_path1则是M01，以此类推。
数据两级目录：storage 服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。
文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

2.6文件同步

写文件时，客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的storage server。
每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步，进度以时间戳的方式进行记录，所以最好能保证集群内所有server的时钟保持同步。
storage的同步进度会作为元数据的一部分汇报到traker上，tracke在选择读storage的时候会以同步进度作为参考。

2.7下载过程

跟上传一样，在下载时客户端可以选择任意Tracker server。
客户端带文件名信息请求Tracker，Tracker从文名中解析出文件的group、大小、创建时间等信息，然后选择一个storage用来服务处理请求，返回对应文件。
对应流程图如下:
如果是基于Web的http请求，此处的Client可以是Nginx代理服务。下面这张图更加形象的描述了相关的流程。

在这里插入图片描述

3.FastDFS环境搭建

3.1环境准备

3.1.1. 使用的系统软件

名称	说明
centos	7.X
libfastcommon	FastDFS分离出的一些公用函数包
FastDFS	FastDFS本体
fastdfs-nginx-module	FastDFS和nginx的关联模块
nginx	nginx-1.16.1

3.1.2. 编译环境：

yum  -y   install git gcc gcc-c++ make automake autoconf 1ibtool pcre pcre-devel zlib zlib-devel openssl-devel  wget  vim

3.1.3. 磁盘目录

说明	位置
所有安装包	/usr/local/soft/
数据存储位置	/data/fastdfs/

3.1.4. 安装libfastcommon

mkdir  /usr/local/soft/
cd   /usr/local/soft
#下载libfastcommon源码包
wget  https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz
tar -xf libfastcommon-1.0.7.tar.gz
cd libfastcommon-1.0.7 
#编译安装：
./make.sh && ./make.sh insta11

3.1.5. 安装FastDFS

cd   /usr/local/soft
#下载fastdfs源码包
wget   https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz
cd fastdfs-5.05/
#编译安装
./make.sh && ./make.sh insta11


#供nginx访问使用
cp -r  /usr/local/soft/fastdfs-5.05/conf/http.conf  /etc/fdfs/
cp -r  /usr/local/soft/fastdfs-5.05/conf/mime.types /etc/fdfs/

3.1.6. 安装fastdfs-nginx-module

fastdfs-nginx-module下载

在这里插入图片描述

#下载nginx模块:
tar -xf fastdfs-nginx-module_v1.16.tar.gz

cp  -r /usr/local/soft/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

3.1.7. 安装nginx

#下载nginx源码
wget  https://nginx.org/download/nginx-1.16.1.tar.gz
tar -xf nginx-1.16.1.tar.gz
cd nginx-1.16.1/
#预编译添加fastdfs-nginx-module模块
./configure --add-module=/usr/local/soft/fastdfs-nginx-module/src/
#编译安装
make && make install

编译时报错如下：

In file included from /usr/local/soft/fastdfs-nginx-module/src//common.c:26:0,
                 from /usr/local/soft/fastdfs-nginx-module/src//ngx_http_fastdfs_module.c:6:
/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h: No such file or directory
 #include "common_define.h"
                           ^
compilation terminated.

在这里插入图片描述

解决方法如下：
将fastdfs-nginx-module/src/config中CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/" 去掉local
修改如下：

vim /usr/local/soft/fastdfs-nginx-module/src/config
...

CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
...

继续安装nginx

cd  /usr/local/soft/nginx-1.16.1
#预编译添加fastdfs-nginx-module模块
./configure --add-module=/usr/local/soft/fastdfs-nginx-module/src/
#编译安装
make && make install

3.2. 单机部署

服务器IP地址：192.168.2.10

#添加域名方便管理
vim /etc/hosts
192.168.2.10   fastdfs.com

3.2.1. tracker配置：

mkdir  -p /data/fastdfs/
cp -r  /etc/fdfs/tracker.conf.sample  /etc/fdfs/tracker.conf
vim  /etc/fdfd/tracker.conf
修改如下：
base_path=/data/fastdfs/

tracker.conf配置文件详解：

disabled=false   #标识是否禁用，这里设置为 false 表示启用

bind_addr=     #绑定地址，留空表示绑定所有可用地址   

port=22122   #监听端口号

connect_timeout=30     #连接超时时间，单位为秒

network_timeout=60     #网络超时时间，单位为秒

base_path=/data/fastdfs/    #存储文件的基本路径

max_connections=256       #最大连接数

accept_threads=1      #接受连接的线程数

work_threads=4     #工作线程数

store_lookup=2     #存储查找方式

store_group=group2   #存储组名

store_server=0      #存储服务器编号
 
store_path=0      #存储路径编号  

download_server=0      #下载服务器编号

reserved_storage_space = 10%    #保留存储空间的百分比

log_level=info    #日志级别，这里设置为 info

run_by_group=      #运行用户组

run_by_user=      #运行用户名

allow_hosts=*     #允许连接的主机，这里设置为全部允许

sync_log_buff_interval = 10    #同步日志缓冲间隔，单位为秒

check_active_interval = 120    #检查活跃状态的间隔时间，单位为秒

thread_stack_size = 64KB    #线程栈大小  

storage_ip_changed_auto_adjust = true       #存储 IP 变化自动调整的开关，这里设置为 true

storage_sync_file_max_delay = 86400   #存储同步文件最大延迟时间，单位为秒

storage_sync_file_max_time = 300   #存储同步文件最大时间，单位为秒

use_trunk_file = false    #是否使用扩展文件

slot_min_size = 256    #槽位最小尺寸

slot_max_size = 16MB   #槽位最大尺寸

trunk_file_size = 64MB   #扩展文件大小

trunk_create_file_advance = false   #是否提前创建扩展文件

trunk_create_file_time_base = 02:00   #扩展文件创建时间的基准，这里设置为凌晨 2 点

trunk_create_file_interval = 86400   #扩展文件创建间隔，单位为秒

trunk_create_file_space_threshold = 20G   #扩展文件空间阈值

trunk_init_check_occupying = false   #初始化检查扩展文件占用情况的开关

trunk_init_reload_from_binlog = false   #是否从 binlog 重载初始化数据

trunk_compress_binlog_min_interval = 0   #扩展文件压缩的最小时间间隔，单位为秒

use_storage_id = false    #是否使用存储 ID

storage_ids_filename = storage_ids.conf    #存储 ID 配置文件名

id_type_in_filename = ip     #文件名中的 ID 类型，这里设置为 IP

store_slave_file_use_link = false   #从节点是否使用链接方式

rotate_error_log = false    #是否轮转错误日志

error_log_rotate_time=00:00    #错误日志轮转时间

rotate_error_log_size = 0     #错误日志轮转大小

log_file_keep_days = 0    #保留日志文件的天数

use_connection_pool = false    #是否使用连接池

connection_pool_max_idle_time = 3600   #连接池最大空闲时间，单位为秒

http.server_port=8080     #HTTP 服务器监听端口号

http.check_alive_interval=30    #检查存活状态的间隔时间，单位为秒

http.check_alive_type=tcp    #检查存活状态的类型，这里设置为 TCP

http.check_alive_uri=/status.html   #检查存活状态的 URI

3.2.2. storage配置

cp -r /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
vim /etc/fdfs/storage.conf
...
port=23000    #storage服务端口，默认23000一般不修改
base_path=/data/fastdfs/  #数据和日志文件存放根目录
store_path0=/data/fastdfs/  #第一存储目录
tracker_server=fastdfs.com:22122  #tracker服务IP和端口号
http.server_port=8888  #http访问文件的端口（默认8888，和nginx保持一致)

配置文件详解：

disabled=false  #标识是否禁用，这里设置为 false 表示启用

group_name=group1  #FastDFS 的分组名称

bind_addr=  #绑定地址，留空表示绑定所有可用地址

client_bind=true  #客户端是否绑定地址的开关，这里设置为 true

port=23000  #监听端口号

connect_timeout=30  #连接超时时间，单位为秒

network_timeout=60  #网络超时时间，单位为秒

heart_beat_interval=30  #心跳间隔时间，单位为秒

stat_report_interval=60  #状态报告间隔时间，单位为秒

base_path=/data/fastdfs/ #存储文件的基本路径

max_connections=256  #最大连接数

buff_size = 256KB  #缓冲区大小

accept_threads=1  #接受连接的线程数

work_threads=4  #工作线程数

disk_rw_separated = true  #磁盘读写是否分离的开关，这里设置为 true

disk_reader_threads = 1  #磁盘读取线程数

disk_writer_threads = 1  #磁盘写入线程数

sync_wait_msec=50  #同步等待时间，单位为毫秒

sync_interval=0  #同步间隔时间，单位为秒

sync_start_time=00:00  #同步开始时间

sync_end_time=23:59  #同步结束时间
write_mark_file_freq=500  #写入标记文件的频率

store_path_count=1  #存储路径个数

store_path0=/data/fastdfs/  #存储路径

subdir_count_per_path=256  #每个存储路径的子目录个数

tracker_server=fastdfs.com:22122  #Tracker 服务器地址

log_level=info  #日志级别，这里设置为 info

run_by_group=  #运行用户组

run_by_user=  #运行用户名

allow_hosts=*  #允许连接的主机，这里设置为全部允许

file_distribute_path_mode=0  #文件分布路径模式

file_distribute_rotate_count=100  #文件分布轮转计数

fsync_after_written_bytes=0  #写入多少字节后执行 fsync

sync_log_buff_interval=10  #同步日志缓冲间隔，单位为秒

sync_binlog_buff_interval=10  #同步二进制日志缓冲间隔，单位为秒

sync_stat_file_interval=300  #同步统计文件间隔，单位为秒

thread_stack_size=512KB  #线程栈大小

upload_priority=10  #上传优先级

if_alias_prefix=  #接口别名前缀

check_file_duplicate=0  #检查文件重复性的开关

file_signature_method=hash  #文件签名方法

key_namespace=FastDFS  #键命名空间

keep_alive=0  #保持连接的时间，单位为秒

use_access_log = false  #是否使用访问日志

rotate_access_log = false  #是否轮转访问日志

access_log_rotate_time=00:00  #访问日志轮转时间

rotate_error_log = false  #是否轮转错误日志

error_log_rotate_time=00:00  #错误日志轮转时间

rotate_access_log_size = 0  #访问日志轮转大小

rotate_error_log_size = 0  #错误日志轮转大小

log_file_keep_days = 0  #保留日志文件的天数

file_sync_skip_invalid_record=false  #是否跳过无效记录进行文件同步的开关

use_connection_pool = false  #是否使用连接池

connection_pool_max_idle_time = 3600  #连接池最大空闲时间，单位为秒

http.domain_name=  #HTTP 服务器的域名

http.server_port=8888  #HTTP 服务器监听端口号

3.2.3. 启动服务

#启动tracker服务：
/usr/bin/fdfs_trackerd  /etc/fdfs/tracker.conf
#启动storage服务：
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf
# 重启storage服务：
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf  restart

3.2.4. client测试：

cp -r /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
...
base_path=/data/fastdfs  #存储文件路径
tracker_server=fastdfs.com:22122  #指定tracker服务IP地址和端口号
...
#测试上传图片,下载一张图片上传至/root/下
ls
anaconda-ks.cfg  pcindex_small.png
#上传图片：
fdfs_upload_file /etc/fdfs/client.conf  /root/pcindex_small.png
group1/M00/00/00/wKgCCmUQWBeAOIRdAAAYqekVITI126.png    --这是存放图片的路径
#查看一下图片：
ls /data/fastdfs/data/00/00/wKgCCmUQWBeAOIRdAAAYqekVITI126.png
/data/fastdfs/data/00/00/wKgCCmUQWBeAOIRdAAAYqekVITI126.png

#删除图片：
fdfs_delete_file /etc/fdfs/client.conf   group1/M00/00/00/wKgCCmUQWBeAOIRdAAAYqekVITI126.png

#查看图片是否存在：
ls /data/fastdfs/data/00/00/

3.2.5. 配置nginx访问

#修改mod_fastdfs.conf
vim /etc/fdfs/mod_fastdfs.conf

tracker_server=fastdfs.com:22122   #Tracker 服务器的地址和端口号
url_have_group_name = true    #URL 是否包含分组名称的开关，设置为 true 表示 URL 包含分组名称
store_path0=/data/fastdfs   #存储路径的配置。FastDFS 是一个分布式文件系统，数据会保存在多个存储路径中。store_path0 表示第一个存储路径，/data/fastdfs 是具体的路径。可以根据实际情况配置多个存储路径，每个存储路径使用不同的 store_pathX 配置项，例如 store_path1=/path/to/another/store

#配置nginx.config
vim /usr/local/nginx/conf/nginx.conf
...
server {
        listen       8888;  #该端口为storage.conf中的http.server_port相同
        server_name  localhost;
        location  ~/group[0-9]/  {
            ngx_fastdfs_module;
        }
#启动nginx
/usr/local/nginx/sbin/nginx
#重启nginx
/usr/local/nginx/sbin/nginx  -s reload
#停止nginx
/usr/local/nginx/sbin/nginx  -s  stop

3.2.6. 测试：

#上传一张图片
fdfs_upload_file /etc/fdfs/client.conf  /root/pcindex_small.png
group1/M00/00/00/wKgCCmUQYGmAC88HAAAYqekVITI560.png

打开浏览器访问：http://192.168.2.10:8888/group1/M00/00/00/wKgCCmUQYGmAC88HAAAYqekVITI560.png

3.3. 集群部署：

集群IP地址：192.168.2.10，192.168.2.20，192.168.2.30

3.3.1. 修改hosts内容和主机名

注意每台服务器都需要修改如下：

vim /etc/hosts

192.168.2.10   fastdfs.com
192.168.2.20   fastdfs2.com
192.168.2.30   fastdfs3.com


#在每台服务器执行如下命令修改主机名，注意不同服务器的网卡不同需要根据现场情况修改：
hostname `cat /etc/hosts|grep $(ifconfig ens33|grep broadcast|awk '{print $2}')|awk '{print $2}'`;su

每台部署Fastdfs，这里就不重新写了，具体怎么部署可以看上面的内容

3.3.2. tracker配置

每台都需要配置

vim /etc/fdfs/tracker.conf
#需要修改的内容如下
port=22122 # tracker服务器端口（默认22122,一般不修改）
base_path=/data/fastdfs # 存储日志和数据的根目录

3.3.3. storage配置

每台都需要配置

vim /etc/fdfs/storage.conf
#需要修改的内容如下
port=23000 # storage服务端口（默认23000,一般不修改）
base_path=/data/fastdfs # 数据和日志文件存储根目录
store_path0=/data/fastdfs # 第一个存储目录
tracker_server=fastdfs.com:22122 # 服务器1
tracker_server=fastdfs2.com:22122 # 服务器2
tracker_server=fastdfs3.com:22122 # 服务器3
http.server_port=8888 # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)

3.3.4. 启动服务

#启动tracker服务：
/usr/bin/fdfs_trackerd  /etc/fdfs/tracker.conf
#启动storage服务：
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf

3.3.4. client 测试：

在任意一台都可以测试：

vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/data/fastdfs
tracker_server=fastdfs.com:22122 # 服务器1
tracker_server=fastdfs2.com:22122 # 服务器2
tracker_server=fastdfs3.com:22122 # 服务器3

# 下载一张图片上传至/root/下
[root@fastdfs ~]# ls
28e70ebf91667f0c9b04be96bc730c49.jpeg  anaconda-ks.cfg  pcindex_small.png

#上传图片
fdfs_upload_file /etc/fdfs/client.conf  /root/28e70ebf91667f0c9b04be96bc730c49.jpeg
group1/M00/00/00/wKgCCmUWboKAJ2IPAAEnsjF1S3g58.jpeg

#任意一台验证：
ls /data/fastdfs/data/00/00/
wKgCCmUQYGmAC88HAAAYqekVITI560.png  wKgCCmUWboKAJ2IPAAEnsjF1S3g58.jpeg

3.3.5. 配置nginx访问

vim /etc/fdfs/mod_fastdfs.conf
#需要修改的内容如下
tracker_server=fastdfs.com:22122 # 服务器1
tracker_server=fastdfs2.com:22122 # 服务器2
tracker_server=fastdfs3.com:22122 # 服务器3
url_have_group_name=true
store_path0=/data/fastdfs

#配置nginx.config
vim /usr/local/nginx/conf/nginx.conf
#添加如下配置
server {
   listen 8888; ## 该端口为storage.conf中的http.server_port相同
   server_name localhost;
   location ~/group[0-9]/ {
       ngx_fastdfs_module;
    }
   error_page 500 502 503 504 /50x.html;
   location = /50x.html {
   root html;
   }
}

#启动nginx
/usr/local/nginx/sbin/nginx -s reload
ngx_http_fastdfs_set pid=25197

3.3.6. 测试刚才上传的图片

打开浏览器访问：http://192.168.2.10:8888/group1/M00/00/00/wKgCCmUWboKAJ2IPAAEnsjF1S3g58.jpeg

3.3. 7. 检测集群：

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
# 会显示会有几台服务器 有3台就会 显示 Storage 1-Storage 3的详细信息

分布式文件系统FastDFS实战

1. 分布式文件系统应用场景

2.FastDFS介绍

2.1简介

2.2 特性

2.3. 角色

2.4. 存储策略:

2.5. 上传过程：

2.6文件同步

2.7下载过程

3.FastDFS环境搭建

3.1环境准备

3.1.1. 使用的系统软件

3.1.2. 编译环境：

3.1.3. 磁盘目录

3.1.4. 安装libfastcommon

3.1.5. 安装FastDFS

3.1.6. 安装fastdfs-nginx-module

3.1.7. 安装nginx

3.2. 单机部署

3.2.1. tracker配置：

3.2.2. storage配置

3.2.3. 启动服务

3.2.4. client测试：

3.2.5. 配置nginx访问

3.2.6. 测试：

3.3. 集群部署：

3.3.1. 修改hosts内容和主机名

3.3.2. tracker配置

3.3.3. storage配置

3.3.4. 启动服务

3.3.4. client 测试：

3.3.5. 配置nginx访问

3.3.6. 测试刚才上传的图片

3.3. 7. 检测集群：

相关文章