FastDFS的安装及使用

news2025/1/28 1:13:01

分布式存储发展历程

前段时间 618 活动火热进行，正是购物的好时机。当我们访问这些电

商网站的时候，每一个商品都会有各式各样的图片展示介绍，这些图

片一张两张可以随便丢在服务器的某个文件夹中，可是电商网站如此

大体量的图片，得分门别类的进行管理。再比如我们平时浏览的各大

视频网站的视频，还有我们现在正在浏览的 CSDN 上的各类文章，都

需要在服务器上分门别类的管理好。

在文件管理早期的时候，由于文件本身的数量和占用空间都比较小，

往往在一台服务器上既有程序在运行，也有文件在存储。随着互联网

的不断发展，现在的程序越做越大，图片的内容和数量也越来越多，

不断的侵蚀服务器有限的资源，进而影响到程序本身运行的稳定性。

于是，越来越多的系统在最初设计，或者升级改造的时候，选择将文

件的存储单独拎出来放在一台专用的文件服务器上。和程序服务器相

互独立，相互不受影响。文件服务器的功能也相对比较单一，只需要

对文件进行管理即可。

随着图片的数量越来越多，单个图片自身占用的空间越来越大，单台

服务器对于图片的承载压力也越来越大，就需要拓宽服务器的数量，

通过更多的图片服务器存储文件。这样虽然解决了文件的存储问题，

但是却产生了一个新的问题：怎么从这么多的机器中快速的找寻到需

要的那张图片？于是便引申出了分布式存储的概念，在众多的机器之

中，如何讲文件放进去，如何讲文件取出来。

常见的分布式存储框架

什么是 FastDFS

FastDFS 是前阿里的一位大神余庆开源的一个轻量级分布式文件系

统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问

（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。

特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS 为互联网量身定制，充分考虑了冗余备份、负载均衡、线性

扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭

建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS 服务端有两个角色：跟踪器（ tracker ）和存储服务器

（ storage ）。跟踪器主要做调度工作，在访问上起负载均衡的作用。

存储服务器存储文件，完成文件管理的所有功能：就是这样的存储、

同步和提供存取接口， FastDFS 同时对文件的 metadata 进行管理。

所谓文件的 metadata 就是文件的相关属性，以键值对（ key value ）

方式表示，如： width=1024 ，其中的 key 为 width ， value 为 1024 。

文件 metadata 是文件属性列表，可以包含多个键值对。

很多人可能不太理解为什么要设计 tracker 这个角色，当存储服务器由

很多个物理机器组成时。客户端要上传 / 下载文件的时候，不知道文件

上传 / 下载到哪个具体的机器。于是客户端会先请求 tracker ， tracker

会返回具体的 group 和 group 中的具体主机信息。客户端拿着这个具

体的主机信息去请求相应的主机进行文件的上传 / 下载。

跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节

点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪

器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加

或减少。

为了支持大容量，存储节点（服务器）采用了分组（或分卷）的组织

方式： group 。存储系统由一个或多个 group 组成， group 与 group 之

间的文件是相互独立的，所有 group 的文件容量累加就是整个存储系

统中的文件容量。一个 group 可以由一台或多台存储服务器组成，一

个 group 下的存储服务器中的文件都是相同的， group 中的多台存储

服务器起到了冗余备份和负载均衡的作用。

在 group 中增加服务器时，同步已有的文件由系统自动完成，同步完

成后，系统自动将新增服务器切换到线上提供服务。当存储空间不足

或即将耗尽时，可以动态添加 group 。只需要增加一台或多台服务器，

并将它们配置为一个新的卷，这样就扩大了存储系统的容量。 FastDFS

中的文件标识分为两个部分：组名和文件名，二者缺一不可。

FastDFS 的安装与部署

FastDFS 开源的地址在 GitHub 上： https://github.com/happyfish10

源码安装要将对应的源码下载后编译运行安装，当然图省事的话可以

直接使用 docker 快速安装。先看使用 docker 的情况下如何快速安

装，毕竟很多人应该对源码编译安装没啥兴趣。

docker 安装

首先，查询 docker 中关于 FastDFS 有哪些可用的镜像： docker

search fastdfs

选择需要的镜像，拉取到本地：docker pull delron/fastdfs

镜像文件并不大，本身只有 400+M

通过 Docker 命令来创建 Tracker 服务：

docker run -d --name tracker --network=host -v

/mydata/fastdfs/tracker:/var/fdfs delron/fastdfs tracker

tracker 服务默认的端口为 22122 ， -v 实现了 docker 中的容器和本地

目录之间的挂载。所以在执行 docker 命令前应手动先将本地的

/mydata/fastdfs/tracker 目录创建好。

Tracker 服务创建成功之后，继续通过 docker 的命令创建 Storage 服

务：

docker run -d --name storage --network=host -e

TRACKER_SERVER=192.168.29.128:22122 -v

/mydata/fastdfs/storage:/var/fdfs -e GROUP_NAME=group1

delron/fastdfs storage

在执行上面命令的时候要注意对应的修改下，其中

TRACKER_SERVER 中的 IP 要修改为你的 Tracker 服务所在的服务

IP 地址。并且同样的，先手动将 / mydata/fastdfs/storage 目录创建

好。

默认情况下在 Storage 服务中是已经预装了 Nginx 服务的，相关的端

口为 8888 ； Storage 自身的端口默认是 23000 。当然如果你发现这些

相关的端口被占用了，或者想要对应的修改端口信息也可以，需要进

入容器中查看下相关的配置文件信息。

进入 Storage 服务的容器中： docker exec -it d4926e8325e3 bash

在容器中的 /etc/fdfs/ 目录下找到 storage.conf 配置文件

可以看到在配置文件的最后一行指定了 http 的端口：

除此之外，还得再来到容器中的 /usr/local/nginx/conf 目录下，将

nginx.conf 配置文件中的 8888 端口一并更改：

Tracker 和 Storage 服务安装完成之后，在服务器的 Storage 本地目录

中放几张用于测试上传的图片。因为之前在启动的时候，已经将本地

目录和 docker 目录进行了一个挂载，所以当进入到 docker 中的

Storage 服务中，依然可以看到本地目录中的测试图片：

使用服务原生的 / usr/bin/fdfs_upload_file 命令进行文件上传：

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf face2face1.jpg

上传成功之后，返回已上传成功的图片信息。这张图片存于 group1 组

中， /M00/00/00 / 目录下，重命名为

wKgggGSD2feAXsv4AER92Sd_dzk072.jpg 。然后拿着这串图片地

址，使用浏览器访问： http://192.168.29.128:8888/group1/M00/00/0

0/wKgggGSD2feAXsv4AER92Sd_dzk072.jpg

可以成功拿到这张上传的图片则说明 FastDFS 服务安装成功。因为

Storage 服务中已经安装了 Nginx 服务，所以访问图片的端口就是

Nginx 监听的 8888 端口，经过 Nginx 的代理拿到上传的那张图片。

注意： 如果无法访问照片的路径，可能是 linux 防火墙的问题，把

Nginx 、 storage 、 tracker 的端口打开，再重启镜像服务就好

springboot整合fastdfs

2.4 测试文件上传

从上图中可以，实现了文件的上传和缩略图的生成。
2.5 文件下载

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2283066.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！