【CTBF2013精彩回顾】Intel Hadoop 助推大数据社会

标签:大数据Hadoop英特尔Intel

访客:33822  发表于:2013-12-12 15:32:35

导语:一看到英特尔三个字,大家首先就会想到CPU,但我想让大家知道,英特尔不光做CPU,不光做硬件,在大数据这个领域,更想建立Hadoop的基础架构,叫Intel Hadoop

         


              Intel 数据中心软件部首席架构师 陈奇

智慧城市、物联网、云计算都会产生巨量数据。这些数据如何存储,如何从数据中挖掘出你所想要的这些东西,最终如何处理……这些命题, 都是Intel Hadoop基础架构可以解决的。

Hadoop可以做什么?

 我们可以详细来看不同的技术趋势和需求为什么需要Hadoop基础架构。

数据社会讨论的大数据主要是怎么存储数据,怎么利用数据。过去只是简单地数据存储,而现在要进行数据挖掘。

城市的城镇化并不仅仅是指土地面积有多大,城市扩展有多大,更重要的是否成为智慧城市。智慧城市也会产生各种各样的数据。例如员工在工厂作业,监控摄像头会产生大量的数据与视频,但企业不可能去招聘几十个人24小时盯着屏幕,这就需要 Intel Hadoop 来帮企业完成实时的分析,预警。

曾经有一家半导体公司,公司领导担心数据被员工恶意外泄,这也需要很好的数据挖掘,也需要Intel Hadoop的开放架构。

大数据在中国已经成为一个战略决策,为了响应这个战略决策,要有一个基础架构,开放式的平台,这个开放式的平台不是以前数据库的平台,更多是Hadoop的平台。

由于人口众多,在电信行业,一般的电信公司每月会产生30T的记录。很多人用3G上网,非常关心手机流量怎么算。如果电信企业可以提供很好的便利手段, 让用户随时随地知道手机流量,同时也让电信公司知道用户的使用习惯与喜好, 这就是个双赢的局面, 非常方便的我们利用开放Hadoop 平台,就能够帮助企业实现这一点。

 Hadoop运营在开放平台上,是开放的分布式的系统,它采用比较廉价的制式,并不昂贵。三年前很多大型企业不知道什么叫Hadoop,但是这几年,包括银行、电信、制造公司等等企业点名说需要这种技术。

 如何优化Hadoop

 Hadoop在IntelCPU上运行,但是因为它是刚刚出现的技术,Intel希望把它做的更好,同时让Intel的硬件更好地发挥作用。IntelHadoop的平台上进行了很大的改进,包括数据的管理、架构上的提速多个方面。Hadoop 是一个很实在的标准开放架构,不光是架构上可以发挥它本身硬件的作用,在更深更广的层面上利用自身的软硬件优势,可以帮助企业实现大数据,更好、更快、更正确的分析数据。

     Intel对 Hadoop进行改进产生的结果是什么?首先用Intel  Hadoop将会有50%的性能提升。其次是Intel在存储上的加速。此外还有Intel在大数据的存储、管理这个方面的改进,特别是利用Intel的硬件可以提高性能。

Hadoop是一个开放的平台,但是原始的平台并没有很好地利用硬件的特性,Intel在硬件的特性上有独特的优势,对现有的平台结合硬件进行了改进。举个例子,处理1T的数据,用原始的开放Hadoop平台,一般是四个小时, 但如果用 Intel Hadoop, 只需要几分钟时间, 这就是Intel 对这种开放平台的贡献, 在Hadoop 平台上贴上了Intel 的标签。

未来主导Hadoop市场

Intel  Hadoop是基于开放架构,Intel利用自己的力量进行了改进,这些改进会放到开源的社区,希望相互的开放式的结构不光是为程序员作贡献,为整个社会也作贡献,数据社会就需要交互。这是Intel在大数据领域,特别是在企业界应用最广的基础。Intel在硬件上是独当一面,在开放架构上Intel Hadoop国内被应用的程度也是最广的。另外,Intel 利用软件和硬件相结合,保证它很可靠的运行。因为这种大的企业,并不是互联网的企业,首先考虑的是数据的安全性、可靠性,然后是性能的提高。

  Intel是一家提倡开方式架构的公司,希望更好的成为开源软件的公司,就是与开源软件相结合。现在Intel牵手更多的合作伙伴,希望当他们研发大数据技术时,或者应用这些大数据工具,他们会首先想到Intel  Hadoop。希望随着Hadoop的应用越来越广泛,Intel版本的Hadoop将会被最广泛的应用。


评论(0)

您可以在评论框内@您的好友一起参与讨论!

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");