大数据对Hadoop来说为什么是丰收的一年

标签:技术前沿数据管理

访客:22142  发表于:2012-04-26 16:25:28

从IBM到亚马逊都转向Hadoop来管理需要存储的数据激增的问题。我们的CEO Michael Friendenberg说围绕着Hadoop的嗡嗡声可不是开玩笑的。

CIO – 在今天的商业技术世界里是不可能有不触及到大数据的对话的。

简单的说,这是关于数据集体积、速度和种类方面变得越来越庞大,以至于无法用传统的数据库工具来管理。2011年,我们的全球数据输出估计达到了1.8ZB(zettabytes,1ZB=1亿TB)。更惊人的是广泛的估计来看世界上90%的数据是在过去两年中创建的。

在数据爆炸式增长的背后,当然,这是非结构化数据的世界。在去年的HP探索大会上,Autonomy的CEO兼信息管理部副总裁Mike Lynch谈到了关于非结构化数据一族的巨幅增长。他说IT世界正在渐渐远离结构化的、机器友好的信息(指的是由行和列管理的数据),并且向着来自email和社交媒体等渠道的更加人性化的和非结构化的数据发展,这不仅仅是文字和数字,同时也包括视频、音频和图像。

鉴于大数据的上升,我肯定你已经听到了围绕在Apache Hadoop身边的声音,这是一个可以免费使用的支持数据密集型分布应用的软件框架。它可以让应用系统与数千节点和PB级(1000TB)的数据一起工作。它肯定看起来像管理非结构化数据的圣杯,难怪大家都跳到了这个行列中。一个快速的网络调研显示就在过去的几个月里,一些公司像EMC、微软、IBM、Oracle、Informatica、HP、Dell和Cloudera已经开始采用这个软件框架。

我发现更加值得注意的是一些公司像雅虎、亚马逊、comScore和AOL已经开始用Hadoop来衡量他们的业务和降低存储成本。

根据最近的一些来自Infineta系统的调研,对一个广域网路优化启动来说,传统的数据存储每GB花费5美金,但是使用Hadoop存储同样的数据每GB只需要花费大概25美分。这是一个让任何CIO都会记住的数字。

你为处理大数据存储做了些什么?

这篇文章是由CIO杂志母公司IDG的总裁兼CEO Michael Friendenberg所著

原文链接:http://www.cio.com/article/698750/Why_Big_Data_Means_a_Big_Year_for_Hadoop

评论(0)

您可以在评论框内@您的好友一起参与讨论!

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");