一、DFS
1、简介
最初听到DFS还以为是深度优先遍历,实际上是分布式文件存储服务(Distributed file system)。
FastDFS是一套分布式文件存储服务,Titans将FastDFS提供的接口进行了封装,屏蔽了一些无需关注的操作细节,让用户可以更简便的操作,安全部门提供了FastDFS使用文档,其中包括了:申请流程、接口列表、SDK介绍。备注:有特殊场景的应用,可直接通过SDK和FastDFS交互。
2、使用方法
2.1 申请使用存储服务(申请地址)
2.2 获取调用API的sercret
2.3 提供的Api
2.4 分布式文件系统比较
3、FastDFS优点
- FastDFS为互联网量身定制,适合存储4KB~500MB之间的小文件,如图片网站、短视频网站、文档、下载站等
- FastDFS支持海量文件的存储和读写分离、备份容错、负载均衡、动态扩容、高可用、高并发等特性
- FastDFS的源代码由C语言开发,目前可运行在Linux、FreeBSD、Unix等类操作系统上,不是通用的文件系统,本质上是基于key/value pair的分布式文件存储服务,只能通过API来访问,目前提供C、Java、PHP等客户端
- 众多互联网公司生产环境广泛使用(京东、一号店、唯品会、爱奇艺、UC、支付宝等)
- 针对磁盘IO性能优化点:文件按目录顺序存储(起初按hash方式随机分布到多个目录);采用专门的磁盘IO线程来对磁盘进行读写;通过程序来控制对多块磁盘进行并发读写;将多个小文件合并存储到一个较大文件中;每次尽可能多写入或多读取。也就是说,将程序的读写buffer设置得尽可能大一些;挂载多块独立磁盘,文件名即文件路径。