Journal of Systems Architecture 2022 Paper 分布式元数据论文阅读笔记整理

问题

地理分布式文件系统已被web服务广泛使用，但访问不同地理位置的服务器延迟不同，当用户访问远程服务器时，将出现不可容忍的服务延迟。目前的大多数分布式文件系统，如GFS[6]、HDFS[14]、Lustre[3]、CephFS[17]、IPFS[2]，都没有针对地理距离造成的延迟进行优化[15]。

本文方法

本文提出低延迟元数据服务LoLaMS，是一种广域网络元数据服务，运行在分布在不同地理区域的数据中心，旨在减少服务调用延迟。

基于对用户操作行为的分析，利用延迟感知的动态子树划分和迁移，在附近的元数据服务器中处理更多的元数据服务调用，满足预期的延迟。

本文将LoLaMS部署在不同地区的真实云环境中。实验结果表明，LoLaMS在保证元数据一致性的同时，有效地降低了网络延迟。78%的写入操作的延迟小于50ms，比HDFS好3.36倍。65.6%的读取操作的延迟小于50毫秒，比HDFS好2.66倍。

总结

针对部署在不同地理位置的分布式文件系统，现有方法没有针对地理距离造成的延迟进行优化。本文提出低延迟元数据服务LoLaMS，旨在减少服务调用延迟。核心思想是利用用户访问的局部性，对用户操作行为的分析，对访问延迟超过阈值的元数据进行动态子树划分和迁移，在附近的元数据服务器中处理更多的元数据服务调用，满足预期的延迟。