大数据能改变什么

标签:CIO大数据专栏

访客:31430  发表于:2012-04-27 15:48:19

大数据也强调商业智能的重要性,但它呈现出来的新特性,正试图超越商业智能的范畴,从而开辟企业进行商业优化的新疆界

时过年中,方凡对“幸福的烦恼”体会逾深。他是北京水晶石数字科技有限公司(下简称水晶石)的CIO,重要的职责就是为这个庞大的“视觉展示制造器”提供源源不断的计算支持。公司自2008年北京奥运会一举成名后,包括上海世博会、深圳大运会和伦敦奥运会在内的大型订单相继而至,“生意最近好的不得了”,他也成为了公司最忙碌的人之一。

此时的水晶石正站在一个临界点上,营业额将由8亿元继续攀升,员工近3300人,经常要承接其他公司所无法拿下的大型订单。同时,一些新的业务模式也正被创造出来。比如,水晶石为万科、SOHO中国等房地产企业打造在线房产服务,顾客在网上浏览时,可以从各个角度考察房源,甚至可以自己动手进行DIY模拟装修。

在方凡看来,水晶石能够成为行业翘楚,多年来在大数据(Big Data)上积累的雄厚实力十分关键。视觉展示行业极度依赖数据,水晶石每年的数据量都要增长上百个PB,背后需要庞大的计算、存储和网络能力的支撑。简单一点来说,渲染一个大型的高清图像,别人需要100个小时,水晶石却可以调动3倍以上的计算资源和人员储备,在10个小时内完成。

“大数据融入企业越深,就越考验企业的投资和储备能力,企业的级别将立判高下。”方凡甚至表示,视觉展示行业已经进入一个为大数据不断烧钱的阶段。

麦肯锡全球研究院对这样的趋势做了专门研究,其发布的《大数据:创新、竞争和生产率提高的前沿领域》报告称,大数据将大幅提升传统行业的运营效率,并催生更多的新型业务应用和商业模式,而有效投资和利用大数据,已经成为了行业领军者的制胜法宝。

多年来,有关海量数据的讨论已让人审美疲劳,现在又提出大数据,究竟有何不同?是否有炒作的嫌疑?一个有趣的现象是,包括IBM、EMC、Oracle、SAP等跨国IT巨头,咨询公司以及欧美企业对大数据的讨论趋于热烈,剔除其中的炒作成分,不乏有价值的技术解决方案和最佳实践,而多位国内CIO坦称也正在关注大数据,但兴趣度不高,还远未到足以改变企业商业形态的地步。

有不少人正在尝试勾勒大数据的面貌,让其由模糊走向清晰。IDC全球存储及大数据研究项目副总裁Benjamin S.Woo一直在研究大数据,他总结了大数据呈现出来的4“V”特性,即Volume(容量)、Variety(多样性)、Velocity(速度)、Value(价值)。简单一点说,大数据不仅仅是海量数据,它更为复杂,更追求数据处理的速度,企业也更注重挖掘其中的价值。

甲骨文大中华区技术总经理喻思成表示,甲骨文在应对“大数据”难题的时候,不仅仅是简单的产品堆砌,而是加入工程化的过程,通过对产品技术的整合与优化,使得集成系统能够做到1+1大于2甚至远远大于2的效果。在甲骨文看来,凭借其在数据库领域原有的绝对优势,不断推出新的Exadata数据仓库产品,包括对目前流行的技术NoSQL、Hadoop以及MapReduce的支持,就可以通过集成优化的系统帮助企业解决问题。

SAP显然不愿意这样看问题。“将数据保存在内存中直接读取,比传统的从磁盘上访问可以极大地提高应用的性能。内存计算非常适合大数据,以及需要实时获得结果的数据,比如可以将一个企业近10年的几乎所有财务、营销、市场等方面的数据一次性地保存在内存里,当企业需要做快速的账务分析,或要对市场进行分析时,内存计算就能够快速地按照需求完成。”SAP解决方案和架构部总经理张志琦认为,内存计算将改变过去企业处理大数据分析时依靠“数据仓库+BI工具”的固定模式。

EMC卓越研发集团技术官陶波从另外的角度做了解读:以前,海量数据多是存储IT厂商在谈论,而大数据则融合了存储、数据挖掘和商业决策等手段,业务应用也更为丰富。

华尔街老兵、IA Ventures投资公司创始人罗杰·依伦伯格(Roger Ehrenberg)最近也撰文畅谈所看到的大数据投资前景:“我们还处在这场由数据驱动的革命的初始阶段。现今,这些机遇已让人兴奋不已,未来,这些机遇所能带来的变革必将超乎我的想象。”

这些判断似乎都能自圆其说,但对于讲求实际效益的商业世界而言,大数据究竟能带来多大的改变?

超越商业智能?

作为中信银行信用卡中心数据仓库室项目总监,顾小波明显感觉到新的挑战正在来临。随着中信银行信用卡用户突破1100万,需要挖掘的数据量正在膨胀,传统利用SPSS统计分析软件建模的方式已经有些力不从心,而如果采用抽样统计分析的方式,有些新的用户行为特征或业务趋势就会被忽略。

更重要的是,随着银行信用卡竞争已经从初期“跑马圈地”进入精细化耕作的新阶段,用户使用行为的数据量增长已经快过新增用户的增速,原先宽松和粗犷的大笔投资已不可能,银行需要将更多的精力放在维护客户和挖掘客户价值上面,以获得更多的收益。

多年前,中信银行率先将信用卡用户分析数据应用于电话销售业务中,坐席人员不再是大海捞针式的忙碌,中信银行的电话保险业务购买率一年内就实现了30%的增长。现在,顾小波正推动信用卡数据仓库部门与更多的业务部门进行对接。

比如,现在中信银行的用户只需刷卡三笔,立刻就能享受到9元购买电影票的优惠。在以前,中信银行的核心业务系统在处理完当天的交易信息后,再过几天,才能被识别出满足促销条件的用户。

同时,顾小波还在对中信信用卡网站的用户使用行为进行分析,这些非结构化数据以前是被忽略的,现在中信已可以及时了解用户在哪一步放弃了哪项业务,从而改正网站业务设计中的不足。

中信银行信用卡部门在大数据中面临的挑战与机遇,几乎大部分的企业都会遇到,这也是大数据与以往所提的数据挖掘与商业智能的不同之处:一是数据量快速攀升,传统的数据挖掘工具已经无法应对全量分析的需求;二是对于数据处理速度的要求越来越高,更快的速度意味着更好的用户体验和更迅即的商业决策;三是非结构化数据的挑战日增,有效的收集和处理将带来更多的业务价值。

在支付宝(alipay),大数据正影响着公司从上到下的决策和业务运作。目前,通过利用“PC服务器集群+开源软件”、采用Greenplum数据库软件等手段,支付宝每天可以对仅300亿条用户交易数据进行查询,结果可以在20毫秒内返回。

这带来了两大好处:一是可以有效控制风险,一旦用户在超乎常规的地点登陆,或者进行超过2000元以上的大额转账,支付宝会根据对用户使用行为的历史分析,进行主动的风险拦截;二是可以进行实时的营销业务推送,比如用户一旦购买了珠宝等高价商品,支付宝会立刻向其推送一个消费红包,马上就可以进行二次消费,以增强用户粘性。

蒋杰认为,做到这一切的秘诀在于支付宝正实现online与offline数据挖掘的融合,这使得商业智能已不仅仅是针对历史数据的分析和报表呈现,而是可以做一些针对大数据的实时处理结果,实现对业务应用的可伸缩性调整。例如,广告营销业务部门可以通过利用支付宝数据库的分析数据,监控营销活动的效果,一旦不为用户接受,就立刻做出调整,而网站UI设计师也可以从用户访问轨迹中,探寻到导致用户放弃购买行为的设计缺陷,从而进行设计优化。

“支付宝已经成为数据化运营的公司,从CEO到业务人员以及数据挖掘分析师,都有利用数据挖掘的场所,可以说是全员数据化,大数据已经成为支付宝最大的财富。”目前,支付宝的用户已超6亿,预计今年年底数据量会增至1.8PB,蒋杰总结出一个定律:支付宝的交易量每年会翻倍,而数据量增长则会增长四倍左右。对于支付宝而言,这将是企业数据化生存的重要机遇。

某种程度上说,大数据也强调商业智能的重要性,但它呈现出来的新特性,正试图超越商业智能的范畴,从而开辟企业进行商业优化的新疆界。

“实时企业”受宠

老牌新闻集团彭博社为何能够在全球传媒格局中屹立不倒?核心的关键在于它所提供的Bloomberg Professional(彭博终端服务),用户缴纳1590美元后,就可以通过Dashboard应用或者API直接接入服务平台,从而获取彭博社搜集和实时处理的大量信息,这为很多用户提供了十分强大的分析工具。彭博终端服务在全球有超过36万用户,每年有超过60亿美元的收入,占到了彭博社总收入的85%,而纯新闻收入仅占10%。

为了用户可以随时随地获取服务,彭博社还提供了“彭博自由行”软件(Bloomberg Anywhere),并大力在iPad等智能终端上大力推广相关应用。实时在线、实时提供数据分析服务,凭借数据整合和处理速度夺取优势,这是崛起中的“实时企业”的制胜法宝,彭博社可谓是最早的受益者之一。

在中国的互联网广告界,北京艾德思奇科技有限公司(下简称adSage)正是这样的一匹黑马。2003年,adSage的前身迈思奇公司还只是专注于企业商业智能领域的业务,而随着搜索引擎营销(SEM)行业的崛起,adSage在2005年果断决定转战该领域,凭借在数据挖掘和商业智能方面的优势,迅速成为中国SEM领域最大的服务商。同时,它还跻身facebook全球十大广告推广合作伙伴之列,通过与facebook网站的API对接,它在全球拥有超过2000家的广告主,其推出的广告投放优化列表工具用户数据全球第一。

“我们帮助广告主找到最符合其品牌诉求的用户,这就必须对海量的互联网用户及其行为特征,进行实时和准确的分析。”adSage首席分析师付增学说,客户在网站上产生的每个点击或购买行为,adSage会立刻抓取并作出反应,并对用户后期的行为进行针对性的推广,“如果他点击了手机类的广告,我们后期会推送给他更多的手机广告”。

目前,adSage每天需要处理的日志数量就有一个亿行记录,这是传统的人工优化SEM无法处理的,而凭借针对大数据的分析工具,adSage可以为广告主提供每天、每半天、每小时乃至每分钟的实时分析数据,并作出优化搜索的调整。以前,新东方在线进行课程的SEM推广时,每投入300元,只能获取200元的回报,而通过adSage的实时优化策略,新东方在线每天的回报率已经稳定在10万元,投入和产出比高达1:6。

今年年初,adSage又瞄准了移动互联网终端的应用广告市场,推出了mobiSage广告平台,这个新型的移动广告联盟(mobiSage)专为应用开发者和企业广告主而设计,目前覆盖的移动终端已突破3000万,包括国内90%的iPad终端。它可以记录移动终端APP用户的使用行为,比如使用时间段、使用频率和使用地点等,实时传送给开发者,以进行及时的广告调整。

“互联网广告营销面对的是庞杂的个体,用户的购买行为也是稍纵即逝,大数据的最核心作用就是实时处理海量数据,做出迅速的调整,从而实现对于广告诉求需求的精确满足。”付增学说。

在电子商务领域,电商们也面临类似的难题:大量网购消费者每天进行的浏览和购买等行为,带来了巨大的非结构化数据的挑战,电商不仅要对其进行分析,还要据此实现实时反应,以促成订单,增强用户粘性。

“eBay每一天的分析工作量,85%以上都是全新而未知的。”eBay分析平台高级总监Oliver Ratzesberger说,每天他要面临50个TB的新增数据,处理约100TB的数据量,分析近10万个数据元素。Oliver Ratzesberger拥有着全球企业最大的存储系统之一,但他需要更新的分析工具,为此,他把Hadoop这种开源分析技术整合进Teradata的数据存储系统中,协助分析海量数据,并将这种新方式命名为“极限分析方法”。

现在,eBay已经可以每秒处理超过5万个商品类别的访问和购买信息。同时,eBay还在搜索栏的纵向设计中进行更准确的细分,比如用户输入disney(迪斯尼),eBay会在搜索栏下拉选择项中给出disney的门票、汽车、DVD、乐园、玩具等细分选项,按照访问量排名,并给出直接访问disney在eBay的专区链接。

Oliver Ratzesberger称,他要做的事情就是在用户每天百万次的查询中,给出最快的回馈速度,相关结果的可用性要达到99.98%,并让eBay保持24×7×365的始终在线状态。

行业变革的可能性

去年10月,北京海淀区稻香湖金融服务区的200亩地被“圈走”,这里将筹建证券行业的行业数据中心,届时,各大券商将把自家数据共享至此,一方面省去了自建灾备中心的投入,另一方面这个数据中心将为整个行业提供全新的增值服务。

民族证券总工程师马光悌参与了该项目的认证和筹划,并将其视为“影响整个行业的大事件”。在他看来,行业数据中心是证券行业应对大数据的有益尝试,凭借其计算能力,证券公司可以对当天的交易数据进行更为迅速的分析,响应速度将获得提升。同时,共享的行业数据可以使得券商拿到更为全面和准确的行业分析结果,这是券商自建数据中心所不能获得的增值服务。

在不久的将来,大数据或许能呈现出改变整个行业的力量。

国家电网公司去年建成了电力云仿真实验室,其中一个重要课题就是如何解决海量数据存储与运算的难题。国网信通公司云计算与信息资源中心主任吴凯峰表示,大数据是国网实现智能电网必须要面临的挑战,一方面,国网在输电线路上布设了大量的监控点,每秒都要传回海量数据,同时,智能电表实现规模推广后,电网公司需要缩短用电数据的收集时间,数据量也将激增。

“这就出现一个难题,就是如何在下一个数据采集高峰期来临之前,将上一次采样结果计算出来。而准确分析用户的用电行为,将为制定阶梯电价,以及达到输电与用电的平衡,提供重要的决策支持。”吴凯峰称,相关解决方案还在测试当中,但有效应对大数据的挑战,将是实现电网互动的关键之一。

不过,国网公司的智能互动尝试并不仅限在电力行业,它正试图推动相关行业的产业变革。在国网对于未来智能电网的蓝图中,已经将版图扩张至电动汽车与充电设施、家庭新能源利用、智能家居和电力光线到户等领域。

为此,国网今年将大力建设67座智能变电站,推广应用5000万具智能电表,并新建173座充换电站和9211个充电桩,完成25个智能小区/楼宇建设。

据业内人士分析,智能电网相关产业要从试点走向快速发展,它们与电网公司的智能对接将是关键,需要实现无缝和实时的数据传输,而这无疑将考验着国网应对大数据的能力。

而在麦肯锡的报告中,仔细分析了美国医疗行业、欧洲政府公共服务、美国零售业、全球制造业以及个人位置信息行业——它们在2010年占据了全球GDP约40%的份额,据称,它们均可借助大数据实现新的行业增值转型。例如,麦肯锡预计,美国医疗健康行业每年可以从海量数据中实现超过3000亿美元的价值,而善于利用大数据的零售商可以提升约60%的利润空间。

不过,在水晶石CIO方凡看来,摆在大数据面前的依然有很多难题。比如在技术层面,企业需要提升计算、存储和网络交换等方面的能力,三者不可偏废。此外,一旦针对大数据的业务需求呈现波峰波谷的巨大落差,企业将面临两难的选择——不投资IT基础设施,将无法应对挑战,而如果做了投资,业务量一旦下滑,前期的投资会打了水漂,这是一个需要仔细拿捏权衡的难题。

“大数据不是一夜之间产生的,CIO的最大任务就是贴近业务的发展需求,用最少的投资满足企业最大限度的发展需求。”方凡称。

评论(1)

您可以在评论框内@您的好友一起参与讨论!

    1. 姜稳 好话题,大数据时代到来了,留给CIO的任务是对这些数据的深度挖掘和分析,这之中CIO们有没有遇到的困难和困惑呢?或许今天的困惑就是明天的改变。

      回复[0] 2012/04/27 17:12

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");