新闻动态

跨国大数据传输瓶颈的解决思路

大数据传输

针对跨国大数据传输遇到的瓶颈的问题,现在整理了一些解决思路,仅供参考。

一、怎么保证数据可靠性? 如果采用的是TCP传输,TCP本身是可靠的,传输过程中不用再设计可靠机制;如果采用的UDP传输,那需要应用层设计可靠机制来保障传输的数据的可靠性。写入存储介质的可靠性:一般是发送方传输的文件计算出一个校验码,接收方写入磁盘后读出来再计算一次校验码,两个校验码一致则认为文件一致。

二、怎么解决超大文件传输、海量文件传输、海量文件夹传输的传输效率问题? ★大文件传输: 一些老的软件及操作系统只支持不超过4G大小的文件,主要原因是32位系统4字节最大能表示4G,设计传输软件的时候用了4字节(跟编程语言的数据类型相关)去设计。断点续传,超大文件意味着更长的传输时间,更长的时间意味着网络更可能异常,没有断点续传功能会让人根本没活下去的勇气。。。

★海量文件传输: 海量文件传输、海量文件夹传输的难点主要是传输小文件,协议多次交互会极大消耗传输性能,优化协议流程减少交互频率或传输之前先把小文件打包成大文件都可以解决协议交互频率的问题;另外一个难点是单线程海量文件的本地读写效率也不高,解决办法是多线程读写。

三、怎么降低跨国网络对传输的影响? 如果采用的是TCP传输,只能去修改TCP的拥塞算法了,对于linux系统,Google的BBR算法表现不错,不过只支持较新的内核;windows修改内核的TCP拥塞算法估计要靠微软了。

如果采用的是UDP传输,可以在UDP的基础上参考BBR的设计思路实现一套应用层的拥塞算法。

本文地址:https://www.raysync.cn/news/post-id-344 ,镭速(Raysync)大文件传输软件,高速传输系统,提供ftp传输加速服务,企业级大文件传输协议,解决大数据传输,跨境传输,跨国大文件传输慢的问题,帮助企业提高传输效率。

上一篇:如何做到大文件数据安全传输?

下一篇:跨国文件传输和大数据传输遇到技术瓶颈

关注云语科技

wechat qrcode

微信扫一扫,获取最新资讯