新闻动态大文件传输

大数据存在于各行各业,一个大数据时代正在到来

2021-04-16大数据传输

以互联网为代表的“信息高速公路” 计划发展20年来,人、机、物三元世界高度融合,颠覆了人类的生产生活方式,引发了数据规模的爆炸式增长。

大数据存在于各行各业,一个大数据时代正在到来

邬贺铨院士在《求是》杂志的载文中指出,1998年全球网民平均每月使用流量是1 MB,2000年是10 MB,2003年是100 MB,2008年是1 GB(1 GB等于1 024 MB),2014年预计达到10 GB。全网流量累计达到1 EB(即1 024 PB)的时间在2001年是一年,在2004年是一个月,在2007年是一周,而在2013年仅需一天。我国网民数居世界之首,每天产生的数据量也位于世界前列。总之,大数据存在于各行各业,一个大数据时代正在到来。

据预测,未来10年全球数据将增加50倍,对数据进行处理分析的服务器数量将增加10倍。对海量数据进行存储、处理和传输,对网络基础设施提出了前所未有的高要求。据预测,未来几年内,数据中心之间的流量将以每年34%的速度增长,到2015年达到1 ZB。

在网络基础设施的建设中,数据中心之间网络的成本占主导地位。增加网络节点交换容量,提高网络资源利用效率成为大数据时代网络技术面临的最大挑战。一个典型的例子,是作为世界上最大的基因研究所华大基因(BGI),目前仍然依赖传统邮寄的方式,而不是网络传输的方式来传递数据。这是因为目前的网络体制是从电信时代建立起来的,无法提供大数据时代的大容量高效传输,成为大数据应用快速发展的一个瓶颈。

在数据量爆炸式增长的同时,由数据交换和文件传输所造成的能源消耗也在不断增加。据统计,2006年仅在美国,数据中心中网络设备一年所消耗的电能为30亿千瓦,并且这个数字在快速地攀升。

到2010年,数据中心所消耗的电能占全球总电能消耗的1.3%,在美国,这个数字为2%。在电交换方式下,如果接口速率从目前的10 Gbit/s 升级到40 Gbit/s,则网络节点接口和交换矩阵能耗将在目前的基础上翻番。

以电分组交换(IP)为基础的网络技术从能耗上来说缺乏大规模扩展的可能性,难以满足大数据时代数据中心内部和数据中心之间的交换和传输的需要,而依靠光电路交换技术来提供大数据流的动态弹性大管道,与IP一起构成跨层的联合交换体制,使大量的小数据流尽可能用IP处理,少量的大数据块尽可能用光交换处理,这样才有可能将数据流的传输能耗降下来。

上一篇:什么软件可以传输大文件?了解一下大文件传输软件

下一篇:大数据时代数据流的传输特征和网络发展机遇

关注云语科技

wechat qrcode

微信扫一扫,获取最新资讯