大数据时代的Lambdas

标签:物联网安全转型商业智能存储

访客:9421  发表于:2017-06-08 09:20:53

今天的基础架构正变得越来越智慧——很快人工智能技术就会告诉我们如何实现基础架构的自我生命周期管理。我甚至认为这些人工智能(AI)厂商会在一夜间宣称实现了基于AI技术的基础架构。

今天的我们尤其渴望智能化、更进一步的自动化和自我优化的基础架构——尤其在存储方面——但我不认为存储基础架构会在未来某个时刻实现人机对话功能。当然,存储肯定会以更加实际的方式变得智能化,并且这些变化正在诸如数据中心存储体系架构中逐步发生着。

我欣喜地看到存储发展趋势中所融入的嵌入式机器学习算法,旨在进行关键优化、分类、搜索和模式检测任务。企业数据资产正在不断增长,而与之对应的大数据收集和分析的潜在价值亦是如此。你很难用人工方式挖掘出其中蕴含的价值。随着即将爆发的万物互联(IoT),数据挖掘中将大幅增加高速的数据流传输、实时的设备数据生成,并混合业务运营过程中的交易型数据。

要让我们利用好这些潜在的信息资源,存储厂商已经开始将智能化算法融入到存储层中。通过在数据存储层中整合分析型的处理流程,我们今天可以轻松处理现有的海量信息,并为企业的业务部门提供近乎实时的信息反馈。

数据中心存储体系架构正呈现出某些趋势,使得智能化进展更为迅猛。

Lambda体系架构

一般来说,作为处理日益增多的数据流、流水化信息和面向事件的数据,无服务器,由事件触发的计算服务(例如Amazon Web Services Lambda)变得越来越普及和流行。其中的核心理念就如同是结构化数据库中长期支持的存储过程,或用户自定义函数。

你现在可以直接在全新的、通用型的数据存储中放置、执行由事件驱动的功能编程。例如,自定义计算功能可以在数据被持续访问时将其放置到较低延迟的存储层,并把老化的数据迁移到较慢的存储层。

此外,应用程序与分析计算的融合伴随着大数据同步发展,在此之中存储得以实现横向扩展(例如Hadoop分布式文件系统),而计算亦以节点方式分配到每一块数据。随着内存数据网格使用的增长和全新“通用型”大数据数据库(整合结构化与非结构化数据)的到来,这些都将有助于促成计算与存储的融合。

容器式的存储操作系统

供应商正将新的存储操作系统体系架构开发为容器中的应用,至少在内部实现中使用这种编码方式。这将是所谓软件定义世界大趋势中的一部分,同时也受到另一种理念的驱使,即计算资源最终会完全从底层的硬件中剥离,例如异构集群和动态的混合云。

适合的容器式存储服务可以轻松集成,供最终用户使用,或与第三方应用结合实现存储主机内的某些功能。用于存储的容器体系架构能够按需执行微服务,从而快速响应并动态扩展支持上述Lambda架构所需。

大数据与高级分析

上个世纪中,机器学习通常发生在封闭的环境中,基于历史(离线的)数据集合,使用纵向扩展环境中的算法。而今天,大数据经过十年的发展,我们现在拥有易于使用的机器学习算法库,并为分布式(即并行)的横向扩展应用做好准备,支持日益扩大的存储卷和数据类型。

数据流解决方案

伴随着物联网的出现,我们看到数据中心存储体系架构中所出现的全新的海量数据,其需要以数据流的方式,不间断地进行处理。由于需要实时、并行而高级的内容信息分析来进行处理,而非单纯的传统交易型业务操作,这大大推动了上述发展。

技术的突飞猛进

尽管计算和存储不再像过去那样依赖于硬件,但数据中心存储架构的持续发展将有助于实现超级智能存储。每个月我们都会听到有关内存密度增加、闪存部署和转型,以及新的基于非易失性存储架构的新闻,更强大的处理器、更高的GPU利用率,甚至出现服务大数据应用的定制化可编程阵列(FPGA)。当然,我们亦不应忘记近期出现的持续内存(Persistent Memory)。

综合考虑这些发展,我们很容易看到存储市场是如何得到快速增长,并实现高度智能化的。当然,随着越来越多的功能的整合,有人开始认为它已不再仅仅是存储,这暂且另当别论。现在,存储再次成为数据中心内最有趣的领域。当然,新的智能化将增强传统的数据管理任务,实现信息的全生命周期管理,也可以在另一些方面增强企业存储数据的能力,例如:

社交推荐

本地存储检索

高级信息安全

数据转换(如转码、翻译)

数据获取时分类排序

自动化商业智能分析

机器学习已经可以在数据中心的各个层级中实现:应用程序、增强管理,甚至嵌入在设备中。IT基础架构变得日益智能,其智能化规模和发展速度我们才刚得以一窥。与此同时,我们大部分数据所在的存储中蕴藏着机器学习所需要的一切。虽然存储不会随着时间超越人类的思维认知,但它确实会以更聪明的方式行事。现在,已经开始寻求智能化IT基础架构方案的IT人士将会面对更好的未来。

来源:TechTarget中国

评论(0)

您可以在评论框内@您的好友一起参与讨论!

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");