新闻动态

大数据的意义,大数据传输技术面对的三大挑战

2020-08-12大数据传输

大数据传输技术

有效利用大数据获取价值的能力归结为组织通常在数据湖中对数据运行分析应用程序的能力。假定解决了容量,速度,多样性和准确性方面的挑战–衡量数据准备情况。

数据准备就绪为预测分析铺平了道路。数据就绪性建立在大数据基础架构的质量上,该基础设施用于为业务和数据科学分析应用程序提供支持。例如,任何现代化的IT基础架构都必须支持与技术升级,集成的系统和应用程序关联的数据迁移,并具有将数据转换成所需格式以及可靠地将数据集成到数据湖或企业数据仓库中的能力。

大数据技术面临的三大挑战 那么,为什么这么多大数据基础架构在实施生命周期的早期就崩溃了?这一切都回到了2011年麦肯锡大数据报价的最后(也是很有说服力的部分):“只要制定了正确的政策和推动因素”。大数据项目无法启动的一些原因如下:

1.缺乏技能 尽管机器学习,人工智能以及无需人工即可运行的应用程序的增加,推动大数据项目和查询的想象力还是数据科学家。麦肯锡(McKinsey)所指的这些“推动者”代表着市场上需求量很大,因此稀有的技能。大数据技术继续影响着招聘市场,在许多情况下,大数据开发人员,工程师和数据科学家都是在职,随学随行的过程。许多高科技公司越来越重视创建和培训更多与数据相关的职位,以利用大数据原则。预计到2020年,将有270万人从事与数据相关的工作,其中700,000个专门针对大数据科学和分析职位的职位指向极具竞争力和昂贵的员工。

2.费用 大数据分析行业的价值将近1,250亿美元,并且预计只会增长。对于大数据实施项目而言,这意味着昂贵的成本,其中包括安装费和定期订阅费。即使随着技术的进步和进入壁垒的降低,大数据的初始成本(尤其是对于中小型企业)也可能使该项目无法实现。投资可能需要传统咨询,外包分析,内部人员配备以及存储和分析软件工具和应用程序。各种成本模型要么太昂贵,要么提供了最低限度可行产品的功能,无法真正提供任何实际结果。但是首先,一家想要适当实施大数据的公司必须优先考虑架构和基础架构

3.数据集成和数据摄取 在执行大数据分析之前,必须先进行数据集成,这意味着需要使用保证安全性的技术对各种数据(旧式,可操作和实时)进行源,移动,转换和置备到大数据存储应用程序中。在整个过程中进行控制。连接系统,应用程序和云技术的现代集成技术可帮助组织产生可靠的数据网关,从而克服数据移动难题。努力进行系统现代化和部署策略以整合来自各种来源的数据的公司应倾向于采用B2B主导的集成策略,该策略通过关注最终推动发展的合作伙伴生态系统,应用程序,数据存储和大数据分析平台来提供更好的商业价值。

上一篇:文件传输速度非常低,WinSCP不会利用所有可用带宽。如何提高传输速度?

下一篇:大数据为何不起作用?揭秘大数据的秘密

关注云语科技

wechat qrcode

微信扫一扫,获取最新资讯