新闻动态

百亿级别小文件传输,如何解决海量小文件传输慢难题?

2020-07-20小文件传输

百亿级别小文件传输,如何解决海量小文件传输慢难题?

生活中,互联网社交、音频视频、电商、科学实验等各种应用在不断地生产着千万级、亿级甚至百亿级的海量小文件传输。对于海量小文件的理解,通常我们由量化来定义,把大小在1MB以内的文件称为小文件,百万级数量及以上称为海量小文件,LOSF(lots of samll file)。

小文件传输的难点 海量小文件传输与大文件传输有很大差异,传输大文件的性能消耗和瓶颈归结是在带宽上,而海量小文件的传输则不一样。由于海量小文件传输需要频繁打开/关闭文件句柄,但是文件打开后需要读取和写入的内容却极少,故海量小文件的传输瓶颈在IO性能上。

海量小文件传输是科技界公认的难题,众多技术人员一直为之努力,以下为镭速传输——企业级大文件传输的头部品牌给出的两个解题思路。

海量小文件传输解决方案突破点 I/O读写优化技术 I/O输入/输出(Input/Output) ,镭速传输利用的是优异的I/O读写优化技术(可靠、可操作、可升级),支持高达5000个/秒的读写能力,针对海量小文件提供高效支持,提供海量文件高速传输支持服务。

高速传输协议 镭速传输拥有自主研发的raysync高速传输协议,突破传统FTP,HTTP的传输缺陷,能将现有传输效率进行高效提升,达到传统数据传输效率100倍以上,确保海量小文件数据高频,极速传输。

上一篇:企业总部与分支之间如何实现文件同步?

下一篇:应该支持哪种文件传输协议?SFTP,FTP或FTPS

关注云语科技

wechat qrcode

微信扫一扫,获取最新资讯