倾听你的IT数据

标签:互联网金融保险年会保险电子商务Splunk

访客:29540  发表于:2014-05-16 10:29:32

崔玥   Splunk北亚区资深售前工程师

崔玥:感谢大家今天有这么好的机会,参加我们这个重构保险电子商务的主题会议。Splunk公司可能对于大家来说是非常新的一个名字,我简单的用一分钟跟大家介绍一下这个公司的背景。Splunk公司其实是一家总部在美国旧金山的,应该说是一个非常典型的硅谷的创业的公司。公司的几位创始人,其实最主要的这两位都是来自于一家搜索引擎出身的公司,大概2000年以前,九几年的时候,大家对互联网有记忆的话,当时是非常早做互联网搜索引擎的公司,后来被雅虎收购。
    Splunk公司创始人,他们其实后来在被雅虎收购之后,也在一段时间里做了一些内部的数据管理、数据分析,包括他们的一些金融频道之类的。后来他们出来创业,一个想法非常简单,就是说既然互联网上可以由像现在我们说很多的搜索引擎类的公司,可以帮我们去抓取互联网很多你感兴趣得数据。反过来对于我们做一些,比如说我的数据中心的管理,我的内部IT基础架构的分析,有没有很好的工具,可以像搜索引擎一样,帮我快速的去抓到我所需要的这种信息的数据,并且做很好的分析。所以最初这样的一个设想很简单,我希望做一个在美国来说,他们最开始公司定位就是说,我是一个谷歌For IT的引擎给大家。
    当然现在来说的话,其实Splunk提供的不仅仅是一个对于IT数据搜索的一个简单的应用,它已经变成了一个我们说对IT数据甚至可以扩大到把它泛称为一种分析的平台。当然你可以在所有的IT数据里面,用简单的搜索的方式,可以去查看你的这里面数据。这是一个Splunk最初的理念。
    现在Splunk公司它的主要定位,就是我希望让所有的机器数据,可以是被所有人使用到,访问到,并且可以产生价值。这里面的机器数据其实包含了我们日常所说的这种IT数据,现在其实也扩展到只要是可以变成一些文本信息的,比如说举例子,刚才大家也提到,比如说物联网、车联网,或者是新能源的数据。它们其实转变成一些文本之后都可以变成Splunk这样的一种数据来源,她们跟IT的数据其实有很大相似的地方。一会儿会跟大家分享一下,Splunk是如何在我们实际的用户里面,去用它的这样一种技术来去解决我们的在对这种IT数据的,更多是非结构化分析的实际的案例。所以Splunk公司,其实很年轻,大概在04年成立,在06年才推出自己第一个产品的版本。后续在后来的几年发展非常的迅猛,每年都是在翻倍的增长。在2012年4月份也是在纳斯达克上市,现在被华尔街认为在大数据领域里面,一个非常有代表性的一家上市公司和软件公司。
    所以公司现在基本上我大概的一个背景就跟大家分享到这里,公司本身是一个很年轻的公司。但是我们在中国来说,其实已经有三年多的时间,也积累了差不多有上百个客户了。在北京、上海都有我们的办事机构,并且我们在上海,目前有一个研发中心是在除美国本土以外的唯一一个研发中心,目前已经在非常快速的做扩张,预计今年应该会达到50到80人左右这样一个一个规模。
    回到我们的主题,Splunk我们面对的叫机器数据,这一类数据跟我们传统的业务数据,其实是相差非常大。机器数据通过来讲是大家看到的这个样子,基本上没有什么特定的规则,或者说它的规则可能只有一些非常专业的IT的这种人员,他懂得背后的这些规则是怎么样。同时来讲,其实我们不管做哪个行业,今天是大家谈论的可能是保险的电子商务和信息化,其实背后都离不开IT的基础设施的支撑。这些系统,每个系统不管是我们的基础架构层面,还是我们在上面开发的自己这些应用,他们都有自己数据的输出,这些数据输出出来,大家不会统一的,没有一个人说放一个数据库里面,很规整的格式,基本都是大家看到的这样一些数据。
    这些数据里面,会包含很多我们很感兴趣或者很有兴趣的点在里面,尤其是我们现在的互联网电子商务非常迅猛发展的阶段,很多的我们的用户的行为的分析,其实都会基于这些数据。所以它在里面有很多很多我们需要去获得的。举个例子,比如当可能我们做一个定单,一个保单的下单的动作,其实到最终,可能进入你的数据库里的,记录的是这个人买了一个什么样的险种,他怎么样一些最基本的信息。但是如果进入互联网商业时代的方面来讲,有可能这个人的交易是在互联网上完成。可能大家随着对保险的业务越来越熟悉,可能会做一个定单的下单。之后可能说,今天我可能下了一个定单,买了一个短期险还是车险或者其他的,但是落到你的数据库里面是一个结果而言,当然前面还有很多的过程,它可能代表了一个是我的整个的IT架构,对整个用户在使用的系统里面的消费习惯是怎么样。它都浏览了哪些内容,甚至现在很多的,可能现在还没有,但是未来我相信很多的会出自己的手机APP。
    在这个时候,现在很多的比如像银行业,基本上大家网银,手机银行大家接受了,很多人,尤其年轻人,他不会去营业网点去排队,没有时间了。基本在网上做所有的转帐,手机一点,或者扫一个码,一个转帐就可以了。这种所有的操作,其实在互联网上,最终都会写出很多很多这样的信息出来,这些信息是相对来说,对我们来说有一定的代表性的,有价值的。后面我们还会看到Splunk的客户,它也是去充分利用这些数据。包括希望更多的甚至拿到更多的一些数据。比如社交网络的数据,希望看到大家在讨论一个什么内容,哪些重点的话题,这些话题可能为我带来一些什么样的潜在的客户,这是他们想做的事情。
    所以Splunk本身就是这样的一个分析这一类IT数据的分析平台。还有什么不一样的,说以前我们要做数据的分析,传统来说,我们用了三十多年数据库,一样要做这些数据分析。只是说Splunk现在把当时互联网的一些技术,把它转化成我们企业内部的工具。也就是说渥堆刚才那些机器数据的分析,可能以后来说,不必在建数据库,做很多的建模才能完成的,可能你把它扔到这个工具里,之后你可以在很短的时间里面,可以完成对你所需要的数据分析的结果,而不需要等待很漫长的开发周期,定制的周期。这个是Splunk可以给到我们,你可以在当今的数据的时代,把很多的这样一些信息数据,扔到Splunk,Splunk帮你去处理它,帮你去建所有的索引,你可以在里面做搜索,可以为你IT的机构架构管理做一些维护,可以对你所有的应用程序去了解它的运行的状态,以及比如说我的销量、访问量等等,所有报表的战前,可以在一个很完整的体系里面去完成它,背后可以由这些最基本的存储的架构,甚至还可以结合很多的大家提到了怎么样对一些大数据的基础的平台,像百度之类的结合,这个其实是可以帮你去做的一个事情,它的最大的一个优点就是说,你不需要再像以前一样做非常复杂数据的清洗、转化,所谓在我们这个术语里面叫做一体的过程,你可快速的把它扔进去。
    所以Splunk它可以做很多的事情,它可以做我们IT的机构加强的,是我们作为一个IT管理人员,我会关心我的整个基础架构里面它的运行的状态,我上了各种各样的辅助的系统,包括现在虚拟化的应用越来越普遍,我怎么样更好的可以去维护这样一个很复杂的基础架构,Splunk可以在这里面帮你分析所有的数据。
    另外在上面,我们会自己开发很多的应用,这些应用它到底运行的好不好,大家都有一定的交易量有多少,整个的运行的过程里面,响应怎么样,是不是经常出现超时的状态。很多可以通过背后应用数据,输出的数据可以得到这些结果。当然可以在其他的,像信息安全也是一样,这些IT是不是很多安全的信息,这些也可以放到Splunk它可以帮你去察看你的安全合规,保监会定义以后有数据合规的要求,一样可以用它做这种事情。后面还有很多的数据,叫做数据智能,大家越来越多互联网,移动互联网的行为,也可以在里面去,它会产生大量的数据,怎么样去处理它,甚至一些物联网的数据。在大概上一个月还是两个月左右的时候,在美国的一个分析师,他也曾经提出这样的一个报道,有可能Splunk会成为物联网的时代里面的其中一个类似像谷歌这样的公司,它可以帮助你把物联网很多的数据,各种的我们刚才提到的GPS,北斗还是各种各样的,比如现在电动汽车,很多的数据它都会传过来。在你汽车驾驶的过程中你的使用习惯。有可能未来会变成我们为车险定制的一个因素在里面。驾驶习惯怎么样,真的有可能变成你的一个定制的。这样的很多数据也是很有意义的。
    下面给大家分享几个我们用户的案例,他们是怎么样使用Splunk。第一个案例是我们的保险的客户,他们在北京的客户。它其实主要做的事情,就是把它现在的一些,有自己的业务系统,它背后有很多的应用输出的这些数据,但这些数据他们希望把它汇总出来,而且是希望它在很多的数据在入库之前就把它拿到,不见得说非要等到我的数据放到数据库里面,放到我的数据仓库里面,以后要通过一些什么样的特定的报表或者BI系统以后再把这些数据拿到。在实时产生的过程中就把它拿到。
    使用Splunk可以得到很快速的,在第一时间就可以看到所有交易的状况,包括这些所有的交易量走势变化,当天比如截止到目前,现在十点钟我就看到十点到九点,可能在开始上班到现在整个所有的交易数据是怎么样的。今天的这一类险种的累计是怎么样,它可以在第一时间就可以看得到,基本是一个T+0的状态。
    另外还提供了很多像地图展示,我后面有一些截图给大家分享一下,像避暑说它的IT的运维人员会很关心,我的应用,比如像云宝通这样的系统,在后台使用的时候到底有没有一些问题,特定错误代码的分布,跟哪些接口,他希望在第一时间发现这些问题,并且给它一些处置。这是运维人员希望在这些应用系统,数据获得非常快速的得到这些内容。
    另外它甚至把一些业务的数据,也拿到。当然这些业务数据不是真的放到它的数据库里面再把它拿出来,其实可以在它入库之前把一些关键的信息已经拿出来了。比如我的交易的金额,险种的代号等等,所以它可以自己在Splunk定义自己的一个展现的仪表板,展现它当天交易的情况,成交量,甚至按照不同的地区,不同的机构来展示。
    这个也是交易量、资金流的展现。比如大家去机场,临时买一个险种之类的,它会之前把所有相关的业务,直接从它的业务输出里面拿出来,然后做一个展现。
    最有意思的是它,在去年的11月我们在11月下旬,21号左右的时候,在北京我们Splunk做了一个叫Splunk Live的应用会,也分享他们的经验,其中有一个内容,他也做了一个在Splunk上,他结合了一个使用的一个展现。在Splunk展现页面上,他把地图的展现拿上来,之后根据他自己的这些机构,因为他的所有的这些机构,背后也会有一些经纬度,一些地理信息在里面,它直接把它放到谷歌地图上展现,它可以在当时演讲的时候他说了这样一个话,我觉得挺意外的,他说双十一的时候他们在搞促销,他们当时也搞了很多促销活动。他说我看马云也有一个大的展览,他双十一的销量,各种各样的展现。他说我不知道马云做了多长时间,但是我们用了一天,使用Splunk把所有的数据放到谷歌地图上做了一个展现,我觉得也很好,很快。非常简洁很快的就可以看到交易实时的展现情况。所以它还可以电极进去,不是一个静态的图片,它可以电极进去,可以做各种各样的抓取。
    还有一个银行类的应用场景,因为银行其实跟保险有很多的相似的地方,其中有一点,它有很多自己开发的业务系统,现在比如说各种各样的业务的交易,然后处理,然后包括对企业,对个人这些网上的银行,各种各样的交易,所以它有很多的系统在里面,我有一个客户在上海的话,他基本上目前第一期把他26套的应用系统的所有输出的应用日志扔到Splunk里面,每天大概会产生将近600-800GB的数据,它从这些数据里面,希望得到什么呢,快速的去了解到他现在整个交易的状况。银行其实也是一样,跟保险业,刚才那个客户讲的一样,它会在第一天里面,不用到第二天。他在现在这个时间点就可以看到过去一个小时,或者过去两个小时里面整个数据交易变化,交易的成功率、失败率,有那些特定的交易,是不是有非常长的延时的状况,他甚至可以引导一些他多维度的分歧,比如按照机构,按照业务的这种流量来定义好一些分析的报表,在Splunk还可以非常方便的定义这样一个应用的视图展现。
    在上面它有20多套不同的自己的应用系统,把这些数据扔到Splunk以后,它也对每个系统定制了自己一个APP的展现,可以看到所有的这些分析结果,包括它给前台一些支持人员业提供帮助台,自助查询的界面,包括非常便利的应用的状况,所以对这个客户来讲他非常高兴,因为以前他有大量的数据他没有办法使用到,也没有办法了解到。他现在有这样的一个Splunk的工具给到他以后,他再也不需要等到第二天才知道前一天完成什么事,现在就可以,这种业务量怎么样,他在两年前刚开始使用Splunk的时候,它的一个个人网银的业务,每天产生的数据量大概在20个G左右,但是到现在来说,同样的系统每天产生的数据量在120G,所以它的业务也在发展。所以他需要快速去了解,追踪到所有的业务相关的给他的影响,他应该怎么去规划,他下一段的内容。生成很多的日报、周报去了解他现在的这些应用运行的状况。
    所以基本上刚才跟大家也是用这点时间,可以快速的分享,其实Splunk本身是一个非常好的落地的工具,希望给大家一个快速的、便捷的IT数据,我今天的主题也是,也希望大家对自己的IT数据有一个非常好的利用的价值。谢谢。

评论(0)

您可以在评论框内@您的好友一起参与讨论!

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");