新闻动态

文件同步服务中数据同步传输消重策略研究

2020-07-07数据同步

文件同步服务

当前全球化的互联网社会带给人们丰富信息的同时,也给带来了管理海量数据的困难。为了高效简介地管理这些海量数据,云存储技术应运而生并蓬勃发展。由于使用广泛和众多厂商跟进,文件同步服务作为个人级别的云存储服务,成为了广大用户信息化时代管理个人数据的一种有效手段,也已成为学术界和工业界研究开发的热点。

重复数据删除技术以其能够利用特定应用数据集内数据高度冗余的特性,高效增加存储空间利用率,降低网络带宽消耗,降低企业IT运营成本等特点,成为了优化云存储系统的关键技术之一;而差量同步算法因其检测网络两端数据间的高度重复而避免传输冗余,提高网络带宽利用率,降低同步操作延迟,同样成为优化云存储系统网络传输的热门技术。

本文在构建了结构完整、界面清晰,具有高效同步功能的文件同步服务软件基础上,着重研究了重复数据删除技术与差量同步算法。本文工作量和创新点主有以下几个方面:

1.参考流行文件同步服务构建模式,与小组一起设计并开发了EaSync文件同步服务软件,并主要完成Client端的设计与同步传输协议的制定。

2.提出了S-Rsync差量同步算法,该算法避免了经典的Rsync算法同步前需要请求服务端文件的分块信息步骤,减少了网络带宽,降低了服务器负载,并提出了一种自适应的差量同步策略。

3.分析、比较了现有的重复数据删除技术和系统,确定了基于应用感知的源端重复数据删除系统是EaSync客户端可以采用的有效重复数据删除技术。

4.提出了DS-dedupe重复数据删除策略,该策略同时结合源端重复数据删除与差量同步传输技术,优化客户端存储空间利用率的同时,进一步将降低网络带宽的消耗,并给出了该策略的详细设计过程和原型系统实现策略。

5.实现了S-Rsync算法与DS-dedupe重复数据删除系统,比较了Rsync,S-dedupe在内的多种数据消重策略,并进行了实验测试。实验结果表明,S-Rsync与DS-dedupe技术在EaSync文件同步服务中能够有效的优化存储空间利用率,降低网络带宽消耗和服务器相应延迟。

本文来源于知网:http://cdmd.cnki.com.cn/article/cdmd-90002-1012020729.htm 作者:张航

本文地址:https://www.raysync.cn/news/post-id-391 ,镭速(Raysync)大文件传输软件,高速传输系统,提供ftp传输加速服务,企业级大文件传输协议,解决大数据传输,跨境传输,跨国大文件传输慢的问题,帮助企业提高传输效率。

上一篇:同步传输和异步传输之间的差别

下一篇:数据同步传输和异步传输的优缺点

关注云语科技

wechat qrcode

微信扫一扫,获取最新资讯