新闻动态大文件传输

大数据传输:它是什么?你需要了解的大数据传输
现在有大量的模拟和数字数据以数据传输的形式在全球商业网络之间进行传输。 什么是数据传输? 数据传输是将数据从一个数字设备传输到另一个数字设备。这种传输通过点对点数据流或通道进行。这些通道以前可能采用铜线形式,但现在更有可能成为无线网络的一部分。 众所周知,数据传输方法可以指模拟和数字数据,数据传输的有效性在很大程度上取决于载波信道的幅度和传输速度。给定时间段内传输的数据量是数据传输率,它指定网络是否可用于需要复杂的数据密集型应用程序的任务。 网络拥塞、延迟、服务器健康状况和基础设施不足会导致数据传输速率低于标准水平,从而影响整体业务绩效。 高速数据传输速率对于处理在线流媒体和大文件传输等复杂任务至关重要。 内容交付网络在数据传输中的重要性 向全球尽可能多的地点高质量交付网站和应用程序需要基础设施和专业知识来实现低延迟、高性能可靠性和高速数据传输的交付。 专业的 内容交付网络提供多种优势,包括向最终用户无缝、安全地分发内容,无论他们身在何处。内容交付网络通过使用战略性地位于世界各地的复杂节点系统,通过更有效的网络资源利用来交付内容,从而减少了企业中央服务器的负载。 更高的数据速率转换可改善用户体验并提高可靠性。通过使用智能路由,使用自适应措施在网络拥塞的情况下找到最佳和最成功的路径,可以避免瓶颈——表明流入网络资源的数据量太多而无法处理。 更快的数据传输 FTP 和 HTTP 是文件传输的常用方法。例如,FTP 可用于传输文件或访问在线软件档案。HTTP 是用于指示消息如何定义和传输的协议。它还确定 Web 浏览器和服务器为响应各种命令而采取的操作。 HTTP 请求被标识为无状态协议,这意味着它们没有关于先前请求的信息。ISP 为发送和接收数据通信提供有限级别的带宽,这可能导致企业无法承受的过度减速。 作为镭速大数据传输,小文件传输每秒5000个以上,百万数量级文件能在5分钟内完成列表,相同文件秒传速度可达每秒20000个,速度比传统的FTP快100倍以上.
2021-09-09
金融平台遭遇大数据传输挑战,镭速传输专业技术入场破局
随着银行技术与金融科技的高速发展,金融机构与客户的互动正在丰富、加强,银行与各金融机构间的业务往来也越来越频繁。这些过程中产生大量的数据信息为金融行业的发展带去了前所未有的机遇和挑战。 金融平台遭遇大数据传输挑战 随着移动互联网发展,每天金融机构都会产生大量结构化和非结构化数据。以银行为例,中国银联涉及43亿张银行卡,超过9亿的持卡人,超过一千万商户,每天近七千万条交易数据,核心交易数据超过了TB级。金融业务在大数据应用实践中收获颇丰,促使越来越多的数据汇聚在数据中心,数据规模持续扩大,这让金融后台的各种压力也成倍增加,尤其是在数据传输方面: 传统集中式架构,并发量低,无法应对交易浪涌; 数据从采集、加工、应用和分析,由金融大数据服务接口向内部源数据输出,数据层层传输需要人工参与,无法及时响应; 内部源系统众多,数据容灾备份实时性、持续性难度大; 风控仅支持黑名单类的简单实时控制,复杂规则无法实时处理,多以事后处理为主。 (金融大数据) 从企业实际出发,其实也不难发现,大部分的数据传输问题来源是数据量的增加,这也是为什么很多金融机构的架构部署都优先考虑数据量。 如何应对大数据传输挑战,如何保障一个平台可以承载海量数据并让其发挥价值,这是金融企业必须解决的难题。打破技术瓶颈,实现数据高速传输、有效管理,这是现代大文件传输平台发展的源动力。 专业数据传输技术入场破局——镭速传输Raysync 镭速传输金融大数据解决方案,是依据金融机构海量数据采集、存储、查询、分析等整个数据流通路径构建的数据高速传输通路。驱动海量数据流转,帮助金融机构从海量数据信息中挖掘到真正的价值。 镭速传输是深圳云语科技有限公司旗下的一款数据加速传输产品,旨在帮助企业实现高效数据联动。在金融领域,镭速传输凭借优异的数据传输技术与合作伙伴实现金融机构的大数据战略,实现更严格的机房管理,更高的安全容灾和访问控制能力,提供涵盖数据交互、风险控制,数据治理以及数据存储等方面的解决方案。 镭速传输金融大数据解决方案 高性能传输技术 针对金融机构海量数据传输效率低下问题,镭速传输通过提供Raysync超高速传输协议突破数据传输的底层瓶颈,克服传统网络、硬件的限制,充分利用网络带宽,提供超低延时、高速、端到端的输出服务,轻松满足金融机构TB级别大文件多系统高效、稳定、安全的传输需求。 点对点文件直传 镭速传输点对点传输将10种NAT穿透技术组合与Raysync超高速传输协议结合,让企业所有客户端都能建立高速直传通路,实现数据即时传输,信息快速提取。整个点对点传输过程无需经过服务器中转,无需消耗服务器昂贵的存储空间,无需值守自动实现文件的接收,实现金融数据的快速联动,为机房内各服务器之间的数据交互提供便利。 数据同步,安全备份 文件同步可以在同一台计算机上,也可以在不同计算机上,甚至可以是异地、异国间进行。镭速传输采用便捷的网端操作,将本地文件夹与云端文件夹建立智能同步,自动上传和下载,安全备份。同时,为金融机构内部众多源系统打造本地NAS或SAN存储服务器的容灾备份系统的双活容灾备份,预防应用服务器的数据被非法删除,为核心数据开通安全保护。 中央管控平台 镭速传输提供全面完整的管理模式,支持节点机、存储、用户组、审计、外链等众多模块统一维护管理,让运维工作更加简单高效。 随着全球IT产业的飞速发展,金融行业的IT建设逐步成为主导金融企业业务发展的核心驱动力,基于镭速传输构建的高可用金融大数据传输解决方案为其长远发展注入了新动能。镭速传输会将这个解决方案扩展到更多银行和金融机构,推动金融行业发展和开拓创新。
2021-09-03
银行技术与金融科技——镭速传输助力金融大数据平台
什么是金融大数据平台? 基于大数据技术,利用数据驱动价值打造的金融生态体系 构建金融大数据平台,以支撑多种类型的大数据实时分析、交互式分析、极速处理、实时查询等场景,可以让企业从各类繁杂无序的海量数据中发现提高客户粘性的价值,及时洞察和决策新的机会与风险。 1、安全处理数百万笔交易 银行和金融机构必须处理、监控、跟踪和报告多种形式的财务付款,每天数百万笔交易离不开安全监管。金融大数据平台将其支付业务整合至一个单一平台,为特定人员开通单一访问入口,加速客服服务同时具备金融机构所需要的特性:安全性、合规性和连续性,由中央统一管控。 2. 利用数据设计以客户为中心的体验 了解并预测客户的需求及互动来改善客户的体验,培养长期的忠诚度。如果银行着力打造数字银行客户体验,那么通过金融大数据平台对多个来源的数据进行分析,可以帮助做到以客户为中心,以数字化的速度回答客户问题进而达到改善客户体验的效果。 3. 透过数据把控风险 金融机构对于企业风险的把控是一个难点,而数据不断丰富、完善和共享正是破解这一难点比较有效的手段。在难于及时把握市场风险的情况下,建立金融大数据平台,结合多维度数据,可以提升行业的数据采集和风险分析能力,有利于金融机构更高效率地识别、计量和管理金融机构的风险。 4.借助云实现可扩展性和安全永续 现代金融机构现有的许多应用程序都在由本地部署、私有云和公有云组成的多样化生态系统上运行。金融大数据平台采用混合云策略,既可用于建立连接,也可以提供保护,能够在整个生态系统范围内安全连接到各种服务。 金融机构并非数字化领域的原生机构,它们必须经历一个需求分析和技术变革的长期转化过程。推动这个转化前进的动力是各式数据,包括来自企业内管理信息的结构化数据,更多的是存在于多个来源中的非结构化数据或未在公司内部捕获的。 为保障金融大数据平台承载海量数据,并驱动数据高效交互发挥其价值,镭速传输专为银行、金融机构制定一套大数据传输加速解决方案。这套方案可以高效、安全打通金融机构全业务流程,无需投入高额的硬件、人力成本,自身已经具备良好的系统兼容性,可以与企业现有系统无缝集成,快速投入使用。 更多企业级大数据传输加速、同步、备份、迁移等问题,欢迎访问镭速传输官网,专业技术人员将为您制定针对性解决方案。
2021-09-02
金融大数据平台,还差点“速度”
随着银行技术与金融科技的高速发展,金融机构与客户的互动正在丰富、加强,银行与各金融机构间的业务往来也呈越来越频繁。这些过程产生大量数据信息为金融行业的发展带去了前所未有的机遇。 基于丰富的大数据,金融机构可以对客户投资数据进行客户画像,预测客户潜在需求,推出有竞争力的产品;根据客户消费数据,结合场景进行智能推荐、风险预警,提升金融数据服务,打造场景化的金融生态体系。大数据分析不仅改变了单个业务流程,还改变了这个金融服务部门。运用大数据、云计算和高级分析等现代金融科技手段对数据和信息资源加工、处理,为金融领域提供重要的分析机会和发展动力,让越来越多的企业抢占发展先机。 然而,金融市场的复杂程度远比我们想象的要复杂,深挖银行数据资产、加速业务创新、提升客户体验服务,成为近几年来银行、金融机构探索和实践的重要方向。 银行技术与金融科技——金融大数据平台 金融机构并非数字化领域的原生机构,它们必须经历一个需求分析和技术变革的长期转化过程。推动这个转化前进的动力是各式数据,包括来自企业内管理信息的结构化数据,更多的是存在于多个来源中的非结构化数据或未在公司内部捕获的。中小微金融机构征信信息有限,难于授信,大规模金融机构虽然存储大量有价值的数据,但不一定能最大限度挖掘其潜力。 因此,构筑金融大数据平台,以支撑多种类型的大数据实时分析、交互式分析、极速处理、实时查询等场景,可以让企业从各类繁杂无序的海量数据中发现提高客户粘性的价值,及时洞察和决策新的机会与风险。 什么是金融大数据平台? 基于大数据技术,利用数据驱动价值打造的金融生态体系 1、安全处理数百万笔交易 银行和金融机构必须处理、监控、跟踪和报告多种形式的财务付款,每天数百万笔交易离不开安全监管。金融大数据平台将其支付业务整合至一个单一平台,为特定人员开通单一访问入口,加速客服服务同时具备金融机构所需要的特性:安全性、合规性和连续性,由中央统一管控。 2. 利用数据设计以客户为中心的体验 了解并预测客户的需求及互动来改善客户的体验,培养长期的忠诚度。如果银行着力打造数字银行客户体验,那么通过金融大数据平台对多个来源的数据进行分析,可以帮助做到以客户为中心,以数字化的速度回答客户问题进而达到改善客户体验的效果。 3. 透过数据把控风险 金融机构对于企业风险的把控是一个难点,而数据不断丰富、完善和共享正是破解这一难点比较有效的手段。在难于及时把握市场风险的情况下,建立金融大数据平台,结合多维度数据,可以提升行业的数据采集和风险分析能力,有利于金融机构更高效率地识别、计量和管理金融机构的风险。 4.借助云实现可扩展性和安全永续 现代金融机构现有的许多应用程序都在由本地部署、私有云和公有云组成的多样化生态系统上运行。金融大数据平台采用混合云策略,既可用于建立连接,也可以提供保护,能够在整个生态系统范围内安全连接到各种服务。 金融大数据平台的数据传输挑战 随着移动互联网发展,每天金融机构都会产生大量结构化和非结构化数据。以银行为例,中国银联涉及43亿张银行卡,超过9亿的持卡人,超过一千万商户,每天近七千万条交易数据,核心交易数据超过了TB级。金融业务在大数据应用实践中收获颇丰,促使越来越多的数据汇聚在数据中心,数据规模持续扩大,这让金融后台的各种压力也成倍增加,尤其是在数据传输方面: 1、传统集中式架构,并发量低,无法应对交易浪涌; 2、数据从采集、加工、应用和分析,由金融大数据服务接口向内部源数据输出,数据层层传输需要人工参与,无法及时响应; 3、内部源系统众多,数据容灾备份实时性、持续性难度大; 4、风控仅支持黑名单类的简单实时控制,复杂规则无法实时处理,多以事后处理为主。 (金融大数据) 从企业实际出发,其实也不难发现,大部分的数据传输问题来源是数据量的增加,这也是为什么很多金融机构的架构部署都优先考虑数据量。 如何应对大数据传输挑战,如何保障一个平台可以承载海量数据并让其发挥价值,这是金融企业必须解决的难题。 打破技术瓶颈,实现数据高速传输、有效管理,这是现代大文件传输平台发展的源动力。 专业数据传输技术入场破局 镭速传输金融大数据解决方案,是依据金融机构海量数据采集、存储、查询、分析等整个数据流通路径构建的数据高速传输通路。驱动海量数据流转,帮助金融机构从海量数据信息中挖掘到真正的价值。 镭速传输是深圳云语科技有限公司旗下的一款数据加速传输产品,旨在帮助企业实现高效数据联动。在金融领域,镭速传输凭借优异的数据传输技术与合作伙伴实现金融机构的大数据战略,实现更严格的机房管理,更高的安全容灾和访问控制能力,提供涵盖数据交互、风险控制,数据治理以及数据存储等方面的解决方案。 镭速传输金融大数据解决方案 高性能传输技术 针对金融机构海量数据传输效率低下问题,镭速传输通过提供Raysync超高速传输协议突破数据传输的底层瓶颈,克服传统网络、硬件的限制,充分利用网络带宽,提供超低延时、高速、端到端的输出服务,轻松满足金融机构TB级别大文件多系统高效、稳定、安全的传输需求。 点对点文件直传 镭速传输点对点传输将10种NAT穿透技术组合与Raysync超高速传输协议结合,让企业所有客户端都能建立高速直传通路,实现数据即时传输,信息快速提取。整个P2P传输过程无需经过服务器中转,无需消耗服务器昂贵的存储空间,无需值守自动实现文件的接收,实现金融数据的快速联动,为机房内各服务器之间的数据交互提供便利。 数据同步,安全备份 文件同步可以在同一台计算机上,也可以在不同计算机上,甚至可以是异地、异国间进行。镭速传输采用便捷的网端操作,将本地文件夹与云端文件夹建立智能同步,自动上传和下载,安全备份。同时,为金融机构内部众多源系统打造本地NAS或SAN存储服务器的容灾备份系统的双活容灾备份,预防应用服务器的数据被非法删除,为核心数据开通安全保护。 中央管控平台 镭速传输提供全面完整的管理模式,支持节点机、存储、用户组、审计、外链等众多模块统一维护管理,让运维工作更加简单高效。 速度升级为金融发展注入新动能 国内某银行聚焦主责主业,以支农支小服务地方经济建设为主要目标,切实发挥地方法人金融机构经营机制灵活、决策效率高的优势,践行了一条符合自身实际的差异化定位、特色化经营之路。 现阶段高速发展中,遇到文件同步管理难,传输效率低,安全性无法保证等问题,极大的影响了银行的文件管理效率,且存在各服务器之间文件同步难,银行柜台至机房下载文件速度慢等问题,极大影响了银行业务快速展开等问题。 需求分析: 在银行日常运作中,机房内各服务器之间需要进行文件同步、传输文件,银行柜台需要从现有服务器中拿取数据,服务器与日志备份服务器之间需要进行日志备份。 服务器与服务器需要实现数据的自动推送、服务器与服务器直接的文件传输。传输完成需要有事件通知的功能,需要有管理多台服务器的后台、节点管理,后台需要有传输任务日志的记录。 服务器与服务器的日志自动备份功能,备份完的数据能够设置指定的时间自动删除之前的原始文件。 文件传输完成通知、告警通知、自动删除、日志备份需要支持通配符。 银行柜台需要从现有的服务器上拿取数据(征信数据),目前速度慢,需要实现从指定的服务器路径拿取到数据,需压缩后传输到智能备份存储服务器,并事件通知。 镭速传输解决方案 依托强大的文件传输系统及丰富的金融行业解决方案,镭速为该商银行提供了“文件传输系统”解决方案。将镭速管理平台服务端系统部署在机房,机房各服务器和银行柜台客户终端采用客户端方式接入,由服务端集中化管理,统一管理各服务器之间的文件同步,提高柜台至机房服务器下载文件的传输速度,使其部署无需调整现有网络架构,无需新增网络/硬件成本。 方案效果: Raysync超高速传输协议+点对点文件直传,数据高效、稳定传输联动; 机房内服务器数据定时同步,业务数据实现即时更新; 应用服务器预设日志备份,同步收集所有设备操作日志,预防数据被删除; 配备节点机管理,支持对内外网环境下所有节点机管理进行统一管理和监控; 金融级AES-256+SSL加密传输技术,强化内部数据通信安全管控; (架构部署图) 随着全球IT产业的飞速发展,金融行业的IT建设逐步成为主导金融企业业务发展的核心驱动力,基于镭速传输构建的高可用金融大数据传输解决方案为其长远发展注入了新动能。我们会将这个解决方案扩展到更多银行和金融机构,推动金融行业发展和开拓创新。
2021-08-02
走进2021年数博会,看镭速传输如何应对大数据传输挑战
信息技术的不断进步,为企业发展创造了新机遇,同时也向大数据环境下的基础环节——数据传输提出了新挑战。5月26-28日,镭速传输亮相中国国际大数据产业博览会并与众多大数据企业进行了深入交流。大数据传输遇上了哪些难题?企业又当如何应对?镭速传输在展会现场为企业做出了满意解答。 一、数据量剧增,数据传输效率低 大数据时代,GB、TB、PB成为很多企业数据量的基础单位。以往企业可以选择云盘、FTP、QQ、邮件等方式完成数据传输,但面对如今GB级起步的大数据,传统的传输方式难以应对。 镭速传输大文件传输系统搭载云语科技自主研发的Raysync超高速传输协议,可以彻底消除底层瓶颈,克服传统网络、硬件的限制,充分利用网络带宽,传输速率提升近百倍,能够轻松满足TB级别大文件和海量小文件高速传输。 二、数据传输场景复杂,传输阻碍增多 大文件传输,海量小文件传输,跨国传输,数据备份、同步、迁移等数据传输场景越来越复杂;企业的业务开展涉及多方文件联动,这个环节将涉及多个系统和服务器,数据传输的影响因素变多,难度越来越大。 镭速传输支持主流操作系统,提供SDK集成产品,能够与企业现有系统快速集成部署,轻松搭建自动化文件传输网络,单个客户端与服务器之间的传输连接支持10Gbps,通过负载均衡,最大可支持100 Gbps,数据传输效率大大提升;也支持多种常用鉴权方式,可与原有用户鉴权系统进行无缝对接。 三、网络环境复杂,数据丢失、泄露事件层出不穷 结合云计算、大数据将现有的各种硬件、带宽资源和虚拟化技术聚集在一起,促使数据传输环境越来越复杂,暴露的攻击面和攻击路径也远远多于传统网络环境。网络环境中大规模病毒爆发、网络瘫痪的事件层出不穷。 为确保传输数据安全,防止数据泄露、破解、监听等安全问题,镭速传输强化内部数据通信安全性管控,采用金融级AES-256加密技术,传输过程中使用SSL加密传输,有效确保数据传输安全。同时,采用一体化安全管理模式,对于各类文件数据、数据类型、用户行为日志等进行统一管理和监控,全方位分析预警安全隐患,有效进行数据风险管理。 科技飞速发展,市场环境瞬息万变。未来,大数据产业面对的挑战将会越来越多,为更好帮助大数据产业应对挑战,镭速传输将持续不断的强化大文件传输技术。欢迎您关注我们,更多优质产品信息与活动咨询将在镭速传输官网推出。
2021-06-06
预测2021数博会:最新大数据传输技术刷新传输记录
2021年5月26日-28日,第二十八届中国国际大数据产业博览会将于贵阳·国际会议展览中心举办。这是一场专注于大数据领域的综合博览会,预计400余家企业和机构参展,共同分享大数据发展新成果,交流探讨业界新理念、新观念和新思维。 本届数博会,镭速传输带来的最新大数据传输技术将会是一大重头戏,这一技术的到来能不能刷新大数据传输的速度记录?镭速传输会不会是推动大数据产业高速发展的强大力量?W2展馆F03展位,让我们拭目以待。 镭速传输催生于全球新一代信息产业变革,在充满挑战与机遇的全球变局中,凭借自主研发的Raysync超高速传输协议已经为IT、金融、影视、生物基因、制造业等众多领域的2W+企业提供安全、可靠、高效的大数据传输解决方案,解决企业数字化转型难题、打破数据孤岛、数据上云、交互等众多挑战,助力企业数据流动,释放数据价值。在此次数博会中,镭速传输将向各数据产业推送大数据传输系统、镭速Proxy代理加速、镭速RaySSH加速等5个大数据传输加速产品。 Raysync新技术轻松应对大数据传输挑战 Raysync超高速传输协议作为镭速传输核心技术,这一突破性技术不是简单优化或加速数据传输,而是利用突破性传输技术彻底消除底层瓶颈,克服传统网络、硬件的限制,充分利用网络带宽,实现超低延时、高速、端到端的输出服务。 同时针对企业在数据交互、跨平台、提供全方面支持,实现企业内、企业间的传输标准化。镭速智能数据压缩、间歇传输技术也能够有效减轻网络负荷,优异的断点续传、数据校验技术确保数据传输稳定可靠,智能管理系统实现数据交互、同步、备份等企业业务需求。 高集成性能够实现快速集成到企业现有OA、ERP等系统,有效降低企业研发成本,实现各业务系统与操作系统平台间的数据文件联动,解决数据孤岛问题。 与TCP协议传输对比 TCP传输协议在理想条件下可提供可靠的数据传递,但它存在着一个固有吞吐量瓶颈,随着远距离 WAN 上出现的数据包丢失及延迟增加,该瓶颈则变得更加突出且严重。 镭速传输以一种创新方法在应用层实现可靠性,消除了 TCP 的低效率、数据丢失、处理错误以及所导致的传输速率不稳定等障碍。为了保证 100% 的可靠性,镭速传输实施它自己从理论上已证明的最佳机制,该机制可准确识别并转发传输通道上的真正数据包丢失情况。 与FTP传输对比 测试环境:服务端主机为阿里云深圳Linux环境,Centos7.4系统; 客户端主机为深圳阿里云Window环境,WIN2008 R2系统; 内网带宽均为1Gbps; 产品均安装在同一服务端主机与客户端主机上。 大数据传输技术能否刷新大数据传输的速度记录? W2展馆F03展位,镭速传输,敬请期待! 数据为王,速度至上。届时,镭速传输最新的大数据传输技术将以“现场视频演示+应用场景分析+客户案例解读” 的方式在展会现场呈现,镭速专业人员将于现场为到场朋友带来直观的体验并对实际需求做具体分析。更多惊喜,欢迎您莅临现场了解!
2021-05-20
大数据传输与文件同步,海内外加速传输45秒传送1G文件
大数据传输有多烦?邮件限制大小;社交软件QQ、微信不仅限制大小,还限制速度;移动硬盘转移,一次还好,一个公司这怎么整对硬盘“不好”,累啊!大数据传输与文件同步的两个问题:数据体量大,传输速度慢。 大数据传输的解决方向: 数据读写速度、网络带宽利用率、文件传输协议 以上这些方法,或在没有专业技能的条件下,我们如何简单方便的进行大文件传输呢? 找对大文件传输工具,选好文件传输协议! 镭速传输自主研发的Raysync超高速传输协议,该协议是基于云计算、互联网、大数据架构应用,突破传统FTP,HTTP的传输缺陷,传输速率相较于FTP提升100倍,带宽利用率达96%以上,能够轻松满足TB级别大文件和海量小文件极速传输需求。 10GB大文件传输,实测数据如下: 传输实况: 文件传输结果: 跨国大文件传输——10GB文件从纽约传输至北京,实测FTP传输耗时34小时,平均传输速度85KiB/s,镭速传输仅需7分30秒(1G文件传输约为45秒),平均传输速度高达22MB/s ,传输时效提升了272倍。 镭速传输作为一站式大文件传输解决方案提供商,已经为IT、金融、影视、生物基因、制造业等众多领域的2W+企业提供了高性能、安全稳定的大文件传输与加速传输管理服务。更多大文件传输问题,欢迎访问镭速传输官网咨询。
2021-04-27
大数据存在于各行各业,一个大数据时代正在到来
以互联网为代表的“信息高速公路” 计划发展20年来,人、机、物三元世界高度融合,颠覆了人类的生产生活方式,引发了数据规模的爆炸式增长。 邬贺铨院士在《求是》杂志的载文中指出,1998年全球网民平均每月使用流量是1 MB,2000年是10 MB,2003年是100 MB,2008年是1 GB(1 GB等于1 024 MB),2014年预计达到10 GB。全网流量累计达到1 EB(即1 024 PB)的时间在2001年是一年,在2004年是一个月,在2007年是一周,而在2013年仅需一天。我国网民数居世界之首,每天产生的数据量也位于世界前列。总之,大数据存在于各行各业,一个大数据时代正在到来。 据预测,未来10年全球数据将增加50倍,对数据进行处理分析的服务器数量将增加10倍。对海量数据进行存储、处理和传输,对网络基础设施提出了前所未有的高要求。据预测,未来几年内,数据中心之间的流量将以每年34%的速度增长,到2015年达到1 ZB。 在网络基础设施的建设中,数据中心之间网络的成本占主导地位。增加网络节点交换容量,提高网络资源利用效率成为大数据时代网络技术面临的最大挑战。一个典型的例子,是作为世界上最大的基因研究所华大基因(BGI),目前仍然依赖传统邮寄的方式,而不是网络传输的方式来传递数据。这是因为目前的网络体制是从电信时代建立起来的,无法提供大数据时代的大容量高效传输,成为大数据应用快速发展的一个瓶颈。 在数据量爆炸式增长的同时,由数据交换和文件传输所造成的能源消耗也在不断增加。据统计,2006年仅在美国,数据中心中网络设备一年所消耗的电能为30亿千瓦,并且这个数字在快速地攀升。 到2010年,数据中心所消耗的电能占全球总电能消耗的1.3%,在美国,这个数字为2%。在电交换方式下,如果接口速率从目前的10 Gbit/s 升级到40 Gbit/s,则网络节点接口和交换矩阵能耗将在目前的基础上翻番。 以电分组交换(IP)为基础的网络技术从能耗上来说缺乏大规模扩展的可能性,难以满足大数据时代数据中心内部和数据中心之间的交换和传输的需要,而依靠光电路交换技术来提供大数据流的动态弹性大管道,与IP一起构成跨层的联合交换体制,使大量的小数据流尽可能用IP处理,少量的大数据块尽可能用光交换处理,这样才有可能将数据流的传输能耗降下来。
2021-04-16

关注云语科技

wechat qrcode

微信扫一扫,获取最新资讯