新闻动态

大文件传输,跨国文件传送都适用的Linux系统

Linux系统

文件是工作生活的日常关键话题,我们经常需要在机器之间传输文件。比如备份,复制数据等等。这个是很常见,也是很简单的。用scp或者rsync就能很好的完成任务。但是如果文件很大,需要占用一些传输时间的时候,怎样又快又好地完成任务就很重要了。

在测试用中,一个最佳的方案比最差的方案,性能提高了10倍。

关于局域网内复制一个文件到另外一台Linux电脑上如果我们是复制一个未压缩的文件。这里走如下步骤: (一). 压缩数据 (二). 发送到另外一台机器上 (三). 数据解压缩 (四). 校验正确性

这样做会很有效率,数据压缩后可以更有效的利用带宽

方法1:使用ZIP+SCP 我们可以通过ZIP+SCP的组合实现这个功能。

gzip -c /home/yankay/data | ssh yankay01"gunzip -c - > /home/yankay/data"

这条命令是将/home/yankay/data经过GZIP压缩,通过ssh传输到yankay01的机器上。

data文件的大小是1.1GB,经过Zip压缩后是183MB,执行上面的命令需要45.6s。平均吞吐量为24.7MB/s

方法2:使用scp命令内置的压缩功能 我们会发现Scp也有压缩功能,所以上面的语句可以写成

scp -C -c blowfish /home/yankay/datayankay01:/home/yankay/data

这样运行效果是相同的,不通之处在于我使用了blowfish算法作为Scp的密匙算法,使用这个算法可以比默认的情况快很多。单单对与scp,使用了blowfish 吞吐量是62MB/s,不使用只有46MB/s。

本文地址:https://www.raysync.cn/news/post-id-340 ,镭速(Raysync)大文件传输软件,高速传输系统,提供ftp传输加速服务,企业级大文件传输协议,解决大数据传输,跨境传输,跨国大文件传输慢的问题,帮助企业提高传输效率。

上一篇:服务器大文件传输的方法

下一篇:跨国文件传输中都遇到了哪些问题

关注云语科技

wechat qrcode

微信扫一扫,获取最新资讯