顺丰搭建大数据日志管理平台的三大秘诀

标签:大数据IT安全安全技术数据库

访客:23397  发表于:2016-05-09 15:19:36

顺丰集团是快递行业以“服务质量”和“速度”著称,这两个关键要素都离不开IT的支持。作为企业核心信息及支撑系统的管理部门,刘新凯带领IT内部审计成为保证IT安全有效运行的根基。采用开源大数据分析技术,顺丰搭建了自有信息安全事件分析平台,对IT基础设备,重点业务应用搭建安全分析预警模型,全面管控业务运行信息安全风险。那么如何搭建大数据日志管理平台?顺丰集团信息安全与内控部副总监刘新凯详细介绍了三大秘诀!

顺丰集团信息安全与内控部副总监刘新凯

据刘新凯介绍,有关于大数据安全事件分析平台搭建有以下几个方面需要注意:

数据源的梳理。在平台搭建中,数据源和数据的质量决定了整个平台最终分析结果有效性,如果数据源不全面,提供的数据不能真实反应系统、用户工作情况,那么建立的模型、最后的结论都是错误的;故正确分析不同的点需要做数据源的输入,提供给系统的数据应该包含的字段和信息,直接决定后期模型和系统能够发现问题的情况。

有关大数据计算平台的搭。针对安全技术的落地,在信息收集、平台搭建、大数据计算以及计算结果的展现方式等方面,是做平台在技术含量最高的一块。

安全模型的建立及分析优化。在不同维度大量数据的情况下,如何提炼出真正关注的内容和问题,是比较大的挑战,安全模型的建立及分析优化是在平台搭建过程中反复关注的方面,要求人员有较强的数学分析能力之外,更多的是对业务的理解,从而能够更好做出有效性的判断与分析。

顺丰大数据日志管理平台架构

顺丰大数据日志管理平台分为四个层面:数据收集层面,从大量的数据源实时采集相应的信息,数据库、文本文件、设备等的信息;离线分析层面,把所有数据收集后放进数据库,做全量的数据模型分析;实时数据分析,利用spark的技术来做流分析,对于用户行为、系统报警行为做系统即时的分析和报警。数据分析结果和展现的层面,为了安全人员发现问题和后续问题的整改,数据的用户交互以及展现的层面。

日志管理的需求和挑战

最后,刘新凯表示:在大数据安全中,如何在企业繁多复杂的应用系统中找到合适的数据源,保证数据的有效性,是最大的挑战和难点,为此顺丰为了使整个系统规范化,做了相应的系统改造。


详细视频请点击http://www.cio.com.cn/jishu2016/view/6 观看!

更多精彩内容尽在http://www.cio.com.cn/practice


评论(0)

您可以在评论框内@您的好友一起参与讨论!

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");