Intel Hadoop 助推大数据社会

标签:大数据技术商业热点数据社会中国技术商业论坛及领袖峰会

访客:40550  发表于:2013-11-08 16:32:55

关于更多精彩内容,详见:中国技术商业论坛暨领袖峰会

Intel Hadoop 助推大数据社会

             Intel 数据中心软件部首席架构师 陈奇

大家对英特尔很熟悉。 首先讲到英特尔,他们肯定会想到CPU,它主要是开放架构的。听了我的讲座,你可能就会记住Intel  Hadoop。 英特尔不光会做CPU,不光会做硬件,特别是在大数据这个领域,更想建立Hadoop的基础架构,叫Intel  Hadoop。前面讲的智慧城市,物联网,云计算等等, 都会产生巨量数据。这些数据怎么存储,你怎么从数据中挖掘出你所想要的这些东西,最终怎么解决这些命题, 都是我们今天要讲的基础架构可以帮助实现的。我们前面讲到过各种各样的技术演变,结果就会产生各种各样的价值。我的题目叫Hadoop,可能有的人不熟悉Hadoop,前面有的人也谈到Hadoop,我现在不谈Hadoop做什么,是谈Intel在这个领域是不是可以加上Intel的标签,这个我们在国内已经做了,而且做的很成功。

  我们这个会议主题是数据社会,可能不谈你的数据量有多大,现在谈的更多的是大数据,谈到大数据,就是这些数据怎么存储,怎么被利用。以前就是简单的数据存储,现在这些数据是不是要进行一些挖掘。就是你的数据能不能预测将来,不是说你们的数据能够帮助你预测你的命运,但是我现在要是说的是利用Intel的基础架构,利用我们的技术帮你做一些想要做的事情。我们国家谈论城市的城镇化,城镇化不光是土地面积有多大,城市扩展有多大,更讲得是一个智慧城市。智慧城市也会产生各种各样的数据,我前面提到智慧城市,云计算都离不开数据。前面有位嘉宾提到,比如你在工厂里面做工,老是放着摄象头来监视你。这些摄像头就会产生大量的数据与视频,你不能靠几十个人24小时目不转睛地盯着屏幕看, 这就需要 Intel Hadoop 来帮你完成实时的分析,预警。我上次去一家很大的半导体公司,它关心的是员工会不会把数据偷出去给第三方,这也需要很好的数据挖掘, 也需要我们的开放架构。在我们国家,不管是智慧交通,城市安全监控,我们在硬件上还是做的比较好的,因为我们装了很多摄象头,这些摄象头的数据怎么被利用,政府要关心,我们公民也希望可以享受到它带来的交通便利,智慧管理,这就更需要我今天讲的Intel Hadoop。我之前举了一个例子,像电信业,中国的人口非常多,一般的电信公司每月会产生30T的记录。很多人用3G上网,你的手机流量怎么算,这个年轻人比较关心,是不是到国外去一趟,产生一万块钱的帐单。如果你跟大公司打交道,他们给你提供很好的便利手段, 让你随时随地知道你的手机流量,同时也让公司知道用户的使用习惯与喜好, 这就是个双赢的局面, 是非常方便的。这就是我们正在帮这些公司做的,也很好地利用了我们提供的开放Hadoop 平台。它的数据量很大,首先它存在那儿,这些数据能帮你做什么,我们就提供了各种各样的工具,最重要是我们提供了一个基础架构,这个基础架构是个开源的架构,就是开放的架构,叫 Intel Hadoop。随着互联网的发生,想到大数据就会想到一个重要的架构,就是Hadoop。

  Hadoop运营在开放平台上,是个开放的分布式的系统,它是用比较廉价的制式,而不是价格很贵的制式。我三年前跟他们说Hadoop,很多大型企业不知道什么叫Hadoop,但是这几年,包括银行、电信、制造公司等等这些点名说我们需要用这种技术。大数据在我们国家也成为一个战略决策,当然,要响应这个战略决策,要有一个基础架构,开放式的平台,这个开放式的平台不是以前数据库的平台,更多是Hadoop的平台。

  Hadoop是跑在Intel的CPU上,但是因为它是刚刚出现的技术,Intel希望把它做的更好,同时让Intel的硬件更好的发挥作用。这是一张预测表,就是2017年运行Hadoop的Intel  Xeon处理器的数量。这里讲的是Intel  Hadoop的基础架构。 当讲到你的数据存储时,得考虑到它的安全性,这方面Intel有自己的特点,在Hadoop的平台上进行了很大的改进,然后是数据的管理等等方面的改进。然后就是架构上的提速,Intel提倡的是开放的架构。现在提到大数据,都会想到的是Hadoop,这也是一个实实在在的架构。 不像云计算, 没有统一的架构, 云里雾里。 Hadoop 确实一个很实在的标准开放架构,Intel也希望在这个实实在在的架构里面发挥它的作用。Intel还有各种各样的大数据解决方案,不光是架构上发挥它本身硬件的作用,在更深更广的层面上利用自身的软硬件优势,可以帮助我们实现大数据,更好、更快、更正确的分析这些你想要的东西。

  Intel所做的贡献,它进行改进产生的结果是什么?首先是Intel在CPU上可以说是独当一面,用Intel的CPU可以提升50%的性能,Intel有它自己的技术,把硬件技术结合在软件技术上。所以用Intel  Hadoop将会有50%的性能提升。还有就是Intel在存储上的加速。再有就是Intel在大数据的存储、管理这个方面的改进,特别是利用Intel的硬件可以提高性能。现在市场上有各种各样的技术,谈到大数据的时候你想到的一个标准技术就是Hadoop。Hadoop是一个开放的平台,但是原始的平台并没有很好的利用硬件的特性,Intel在硬件的特性上有独特的优势,对现有的平台结合硬件进行了改进。 举个例子, 处理1T的数据,用原始的开放Hadoop平台,一般是四个小时, 但如果你用 Intel Hadoop, 只需要几分钟时间, 这就是Intel 对这种开放平台的贡献, 在Hadoop 平台上贴上了Intel 的标签。Intel  Hadoop是基于开放架构,Intel利用自己的力量进行了改进,这些改进会放到开源的社区,希望相互的开放式的结构不光是为程序员作贡献,为整个社会也作贡献,数据社会就需要交互,不是封闭的。这个是Intel在大数据领域,特别是在企业界应用最广的基础。Intel在硬件上是独当一面,在开放架构上Intel Hadoop国内被应用的程度也是最广的。另外,Intel 利用软件和硬件相结合,保证它很可靠的运行。因为这种大的企业,并不是互联网的企业,首先考虑的是数据的安全性、可靠性,然后是你性能的提高。

  Intel是一家提倡开方式架构的公司。当然Intel不光是一个软件公司,也是一个硬件公司,Intel希望更好的成为开源软件的公司,就是与开源软件相结合,这张图里面有各种各样的与Intel合作的公司。Intel并不是他自己的力量在做,Intel更多靠的是自己的合作伙伴,这些合作伙伴当他们出去,比如他们研发一些大数据技术,或者应用这些大数据工具,他们会首先想到Intel  Hadoop。我今天基本上讲的是这些,因为讲的不是技术东西,主要让大家知道提到大数据的时候,大家就会想到Hadoop的技术,想到Hadoop的技术,就会想到 Intel Hadoop. Intel在这方面有它的领先优势,对Hadoop的技术进行了很好的改进,然后慢慢就会主导Hadoop的市场,所以说以后你可能看到随着Hadoop的应用越来越广泛,Intel版本的Hadoop将会被最广泛的应用。基本上我们现在活跃度和应用已经非常广了,谢谢大家!

关于更多精彩内容,详见:中国技术商业论坛暨领袖峰会

评论(0)

您可以在评论框内@您的好友一起参与讨论!

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");