大数据在银行的应用

标签:大数据银行应用

访客:70531  发表于:2014-03-21 09:52:54

主持人:谢谢陈总的分享。下面的嘉宾是来自splunk的侯总,下面有请!

大数据在银行的应用

Splunk销售总监    侯海龙


侯海龙:谢谢主持人,大家早上好!我先做一个小的调查,不知道在座的各位有多少人听说过splunk吗?有,但是很少。所以,在我开始今天演讲之前,先让我给大家讲一个splunK的故事,splunk在这家公司是怎么来的。这两个人,一个胖子,一个瘦子,这个是公司的两个创始人,而这两个创始人来自于一家互联网公司。这家公司是比雅虎、谷歌的最早的美国引擎公司,后来收购了,到了雅虎,负责了雅虎的基础架构,包括财经频道的一些报表的生成。他们突然有一天在想,平常他们的工作也是要出很多的报表,做一些关联分析,他们的平常的做法,要么是全部入库,方便看,但对一些新东西,临时做一些脚步,生成一些报表看。但他们想,为什么不要有一个谷歌一样的东西,输入一个用户体验,就可以找到原因,而不需要原来那么复杂。可能这个周期会花半年甚至更长的时间,为什么没有企业内部的谷歌,基于此,他们创建了splunk的公司,splunk的公司的意思是什么?实际上splunk的公司来自于运动,是洞穴探索。所以,在这个数据里,发觉有价值有意义的事情。

正是基于大家更方便的利用数据,所以splunk创建了百度和谷歌的搜索条,只要输入想要的东西就可以得到想要的结果。这个是splunk的使命,让机器数据对所有人产生价值,并且很容易去访问。

这些是公司发展的里程碑,实际上,公司成立的时候,目前的版本是6.0版本了,可以快速的输入一些关键词,很快地找到你的原因。到第二个阶段的时候,版本4.0的时候,发生了重大变化,因为我们面对企业框架的问题,我们提供的实时性。我们要保证一些用户的体验,所以在这个版本做到了实时,并且提供了关联分析,而不是简单地查找。到今天为止,splunk变得更加开放,可以搜索所有的数据,和很多第三方的报表系统做整合,可以和已经有的SSO做整合,变成一个平台。

所以splunk成立于2004年,总部在旧金山,上市到今天已经超过2年,并且作为大数据行业里,第一个上市的大数据公司,也是标杆。公司在2004年时候,不是一家大数据,创始人目的是让大家方便地使用自己的数据工具。很多华尔街给splunk的评论是:大数据时代的谷歌。公司的营业额超过50%的增长,去年年底在上海成立了第一家中心。公司从单一的产品变成多产品的公司,我们提供云的服务,如果内部没有架构,可以传到splunk的领域上。我们知道,大数据一般会采用技术,但没有数据分析,还有加上十几个东西,最后才能够变成可用系统,splunk可以做好分析和报表的展现。包括公司去年的时候,我们收购了专门做手机客户端的公司,今天在座的人去用移动终端,我们也可以做splunk的分析的来源,给大家提供更好的分析。今天为止,splunk在全球已经超过了7千多个客户,今天很多工作讲大数据,很多公司也讲大数据,但是splunk到目前为止,我们最大的一个客户,每天新增的数据量已经超过了200个TP。所以,splunk被评为了最具创新的公司之一。

splunk进入中国市场,在2011年11月份的时候正式进入中国市场,在三年的时间里,我们已经超过了100多个客户,在北京上海有办事处,在上海我们成立了研发的独资公司,超过30%是银行客户,像交通银行、民生银行,包括苏州银行,都在使用splunk。

什么是机器数据?这个就是机器数据,就像刚才沈总所讲的是三层架构的交易系统,这里是订单、处理系统,下面是客服。这些机器数据人很难看得懂,而且这些可能是你的一些网站,包括你的一些网络设备,包括一些安全生成的数据,但包括了一些重要的信息,交易的ID号,从这里我们可以看到什么?这样一个客户,这个客户,在处理一个时候,可能要等16分钟,如果你处理不好,他会在微博上发一封抱怨的邮件。那这些数据,往往对我们来说非常关联,splunk可以很好地关联,它可以处理所有的数据,只要是文本的数据就可以了,包括程序、交易产生的数据,包括虚拟化的数据都可以扔给splunk,通过搜索数据,可以保存到本地去。我们也可以用hadoop,可以做长期的历史的分析。所以,数据库带来的好处首先不需要做数据的结构化,第二个,也不需要关联,所以splunk支持所有的数据,这些数据不仅仅可以来自标准的产品,甚至是宁波银行我们自己开发的数据,都可以到splunk,可以支持到,我们后台没有关系性的数据库。

这些数据库搜集过来可以做什么?第一个,你可以做安全合规的审计,也可以做应用的分析,也可以做一些运维,也可以做数字智能。今天银行可以通过网上转帐等等,比如我作为某一个银行的客户,今天可能使用网银,明天使用手机做支付,splunk可以把这些数据交叉对比,splunk还可以做到更多的商业分析,比如信用卡的交易量以及更多用户行为的分析,包括像日本大地震之后电力非常的紧张,日本电力公司合理地调配电力资源,用splunk对每个楼宇的电力情况进行分析,从而合理分配电力。

到底可以带来什么样的好处?这个客户是国内大型的商业银行,在使用splunk之前一直找合理的工具,现在银行的业务系统越来越复杂。所以它需要一个一旦出现问题的时候,他需要知道问题到底是出在哪里?这个时候,他需要一个完整的端到端的关联分析,之前出故障的时候都是找工程师分析。如何实时地定位到关联分析找到定位很重要。还有一些关键的业务指标需要实时的交易分析。

这个客户把他所有的新一代系统相关的数据,包括交易系统,网络设备,全部扔给splunk,出来实时的交易系统,反馈代码,最大的交易的笔数,做实时的分析,包括做一些更多的多维度的报表的分析。并且,一旦出现问题的时候,给一线客服人员交易的卡号,下面就有交易类型。通过splunk可以看到,在3月10日8点30分的时候,发现交易量的突发,我们可以发现银行的交易代码,其中发现2003年的交易代码是最大的,点击进去之后,即使03年的交易,在这个时间段也比平常高很多。这个时候,刚好有一个客户打电话投诉这样的问题,就在这个地方,实时地输入流水好之后,splunk自动地到交易开始到结束有20多个关联起来,在这个过程中,大概花了34秒钟,后面是实时的交易记录,可以马上定位到根源因素,不需要人工一个个排除,平常也可以用splunk很方便地生成历史的交易量报表,包括实时的交易分析展现给领导看。

这个也是我们的客户,他总结的一个东西,他有合规的要求,数据保护要不少于半年,要很方便的使用,包括国内国产的,还有国外的,日志格式很难在短时间统一,所以他最后使用了splunk,因为一操作,识别种类齐全。你可以看到,他把所有的安全和相关的设备扔到splunk里,设立一些基准,也可以对突发的情况做一些审计,比如用户的登录等等,包括一些影响交易的审计。用了splunk对业务有了一个全面的了解。

刚才我们讲到了很多风险管理,这个是台湾的一个银行,数字智能把刷卡的信息进行关联的分析之后,通过后台终端,整合到市场计划的营销里,给一些相同的用户群发生促销的短信。

通过和现在的技术的结合,splunk更可以根据交易的数据,定位到位置。这个是美国的公司,专门给别人处理交税等等,通过splunk给客户提供交易的数据。还有很多应用的场景,像交行信用卡中心,用splunk做数据中心的运维,所有的技术架构做运维,还有很多场景,可以做一些用户行为的分析,包括用户忠诚度的程序,从而提高用户的核心竞争力。

这个是我今天的介绍,如果大家有兴趣,有我们的展台,大家可以去我们那里参观,谢谢大家!

评论(0)

您可以在评论框内@您的好友一起参与讨论!

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");