文件同步服务中数据同步传输消重策略研究

当前全球化的互联网社会带给人们丰富信息的同时,也给带来了管理海量数据的困难。为了高效简介地管理这些海量数据,云存储技术应运而生并蓬勃发展。由于使用广泛和众多厂商跟进,文件同步服务作为个人级别的云存储服务,成为了广大用户信息化时代管理个人数据的一种有效手段,也已成为学术界和工业界研究开发的热点。

重复数据删除技术以其能够利用特定应用数据集内数据高度冗余的特性,高效增加存储空间利用率,降低网络带宽消耗,降低企业IT运营成本等特点,成为了优化云存储系统的关键技术之一;而差量同步算法因其检测网络两端数据间的高度重复而避免传输冗余,提高网络带宽利用率,降低同步操作延迟,同样成为优化云存储系统网络传输的热门技术。

本文在构建了结构完整、界面清晰,具有高效同步功能的文件同步服务软件基础上,着重研究了重复数据删除技术与差量同步算法。本文工作量和创新点主有以下几个方面:

1.参考流行文件同步服务构建模式,与小组一起设计并开发了EaSync文件同步服务软件,并主要完成Client端的设计与同步传输协议的制定。

2.提出了S-Rsync差量同步算法,该算法避免了经典的Rsync算法同步前需要请求服务端文件的分块信息步骤,减少了网络带宽,降低了服务器负载,并提出了一种自适应的差量同步策略。

3.分析、比较了现有的重复数据删除技术和系统,确定了基于应用感知的源端重复数据删除系统是EaSync客户端可以采用的有效重复数据删除技术。

4.提出了DS-dedupe重复数据删除策略,该策略同时结合源端重复数据删除与差量同步传输技术,优化客户端存储空间利用率的同时,进一步将降低网络带宽的消耗,并给出了该策略的详细设计过程和原型系统实现策略。

5.实现了S-Rsync算法与DS-dedupe重复数据删除系统,比较了Rsync,S-dedupe在内的多种数据消重策略,并进行了实验测试。实验结果表明,S-Rsync与DS-dedupe技术在EaSync文件同步服务中能够有效的优化存储空间利用率,降低网络带宽消耗和服务器相应延迟。

目前，越来越多的企业内部或者合作企业之间要求各种业务数据能够实时同步共享，大部分重视安全性的企业会将数据存储至云端以防丢失。高需求企业一般都采用基于TCP的文件复制或同步工具的方法来实现数据同步。但是依然存在一些不可预知的问题，由于远距离的传输以及海量文件传输时存在网络堵塞，会导致各种数据延迟和丢包。因此，在性能和效率方面远远达不到企业想要的标准，企业迫切需要找到一种新的数据实时同步方案来彻底解决这些问题。

那么如何实现文件同步呢？

云语科技的镭速具备出色的数据实时同步性能和效率，克服传统数据实时同步工具和文件同步工具的各种局限性，通过WAN与LAN进行快速和安全数据实时同步。

镭速文件同步主要应用场景：

1、企业跨区域数据实时同步

2、企业跨国数据实时同步

3、高频文件更新数据实时同步

4、替代Rsync

现在开始，申请镭速文件同步，可体验超快的文件传输：https://www.raysync.cn/apply

本文地址：https://www.raysync.cn/news/post-id-391 ，镭速传输提供一站式文件传输加速解决方案，旨在为IT、影视、生物基因、制造业等众多行业客户实现高性能、安全、稳定的数据传输加速服务。传统文件传输方式（如FTP/HTTP/CIFS）在传输速度、传输安全、系统管控等多个方面存在问题，而镭速文件传输解决方案通过自主研发、技术创新，可满足客户在文件传输加速、传输安全、可管可控等全方位的需求。