数据意味着决策 数据治理背后的逻辑

标签:大数据数据治理

访客:32773  发表于:2015-01-27 14:30:10

即使在过去,企业也要面对超出其基础设施和流程处理能力的大量数据,更不用说要从数据中挖掘出对制定有效决策有实际价值的情报了。如今,随着种类、数量日益成倍增加的数据从社交媒体及各种在线渠道汹涌而来,而处理上述数据的迫切性也日益加强,企业面临着和以往同样的问题。

  早几年《大数据资产:聪明的企业怎样致胜于数据治理》一书的作者 Tony Fisher 就曾提到,如果基本数据不可靠,大多数企业的大数据计划要么会失败,要么效果会低于预期。造成上述结果的关键原因在于,数据生命周期之中流入了不一致、不准确、不可靠的数据。这些原因可以是多重的:
  大数据计划中的数据识别并不完整:对要获取什么数据、怎样使用这些数据、它们要满足哪些业务目标以及谁有权拥有这些数据等方面并未明确界定。.
  数据的采集与转换并没有规定适当的标准、架构、元数据定义、数据所有权、政策以及数据转换规则。
  数据传输在安全性、业务用户上下文、数据与业务流程的关联等方面并未进行适当的界定。
  在数据领域最流行的一个说法是“更好的数据意味着更好的决策”,这句话从来不假,在当今的大数据时代甚至更为真切,但它之所以成立的基本假定也未改变,那就是“基本数据是准确、可靠、值得信赖的,来龙去脉清楚,并且具有一致性。”—试想,如果没有一个可靠的数据治理计划,我们还能这样假定吗?
  我们都听过诸如此类的说辞“IT 技术融入业务对我们的企业至关重要”、“IT 技术促成各种业务功能的实现”。对企业上下进行实际的评估,能实现上述说辞的情况却是屈指可数。对大多数企业而言,IT 技术与各种业务目标之间仍存在差距,首席信息官及各高级主管仍在努力设法使 IT 技术能配合各种业务目标,从而促进企业战略目标的实现。在对成功企业进行分析后,可以得出一个很明确的结论那就是“有效的数据治理计划”是成功企业的法宝。
  那么大数据治理计划的意义及其所包含的内容是什么呢?数据治理--是指在企业数据生命整个周期(从数据采集到数据使用直至数据存档)制定由业务推动的数据政策、数据所有权、数据监控、数据标准以及指导方针。数据治理的重点在于,要将数据明确作为企业的一种资产看待。数据治理的六大支柱如下图所示,对于任何企业数据治理计划而言,变更管理都是必不可少的核心部分。

数据治理的作用
  简单的定义—大数据是指以不断以从各种渠道以各种格式涌入的大量数据,仅利用传统的数据处理方法和技术无法处理它们,但其中却蕴含着大量商业价值。
大数据集的分类:
  1.非结构化数据—文本、视频、音频和图片
  2.半结构化数据—电子邮件、软件包/模块、电子表格、财务报表
  3.结构化数据—数据仓库(DWH)/BI 数据、传感器/机器数据记录、关系型数据库管理系统(RDBMS)数据
  任何大数据计划都应该考虑到数据的各种特点:数量(大)、种类(多)、模糊性(高)、产生频率(高)以及质量(不可靠),数据架构团队(数据科学家、数据分析师)要完全识别、定义并分析这些数据,就要征询企业各方利益相关方(数据及业务流程拥有者)的意见。这样做的结果就能让包括企业战略拥有者、业务流程/数据拥有者以及 IT 架构专家在内的数据治理部门在上述计划实施的初期就能弥补差距和不足,从而确保大数据集的规划与业务流程一同进退。

数据治理策略
1)数据治理要素

关于大数据治理的研究与分析 物联网世界网


  图3 数据治理要素分析图

2)数据治理策略

第一步:落实合适的人员负责治理。
  任何成功的数据治理计划的第一个步骤就是,要在本企业找到CEO可以授权的人,然后让该人负责项目的具体实施。没有什么能取代强有力的领导人。
  数据治理是涉及人事的一个难题,这需要在许多不同的利益相关者之间达成共识。因而,在本企业里面选定这样的领导人是一项重要工作。治理官员一旦选定下来,就要成立由企业的利益相关者组成的治理委员会,制订监管政策、向CEO及董事会报告进度。
  第二步:调查清楚所处环境。
  一旦选定了领导小组,就要调查当前情形,并清查不同部门在不同领域的当前最佳实践。领导小组需要越过独立系统看待问题,而企业数据治理评估方法对这项工作来说必不可少。这有助于比较本企业的数据治理计划目前处于什么状态,并且提供了一份路线图以便确定以后的目标。
  第三步:制订数据治理策略。

  数据治理评估之后,治理委员会就应当考虑制订远景,希望公司的数据治理实践在接下来的几年达到何种目标,根据这种需求为未来制订远景。委员会应当向后规划,并且制订切合实际的里程碑和项目计划来填补相关的缺口。具体办法就是制订关键绩效指标来跟踪进度,并且向CEO和董事会提交年度报告来证实成果。
  第四步:算出数据价值。
  估算数据价值。要是公司不知道数据的价值,它们就无法提高、保护或者评估数据对账本底线的价值。数据不是一种普通商品,而是像水龙头里出来的水--对生命至关重要,又往往被人们认为是理所当然的。你要是不知道某物的价格,就无法算出它的价值。
  如果你想算出数据的价值,就要根据用户权限和IT服务的效用,为数据建立内部市场。当本企业的每个人都在直接付费获取IT服务和数据时,数据的价值就成了公司价目表上的一部分。
  第五步:算出风险概率。
  知道数据在过去是如何使用和滥用的,这有助于了解数据在将来会如何被危及和披露。每家企业都有一些原因,如一些事件和损失在独立系统、层次体系和商业报告中消失。这些数据已经可供使用,却没有被大多数企业所使用。收集这些数据,与其意义联系起来,并研究长期的损失趋势,这可以帮助任何企业把风险管理转变成基于事实的商业智能方法,从而可分析过去事件,预测未来损失,改变当前的政策要求,成为未来改善风险缓解策略。
  第六步:密切关注控制措施的效果。
  数据治理在很大程度上涉及企业的组织行为。企业每天在变化,因而它们的数据、价值及风险也在迅速变化。遗憾的是,大多数企业每年对自己只评估一次。要是公司无法改变组织控制措施来满足每天或者每周出现的需求,也就谈不上变化治理。
关于大数据治理的研究与分析 物联网世界网

  2.3实施建议


  图4 数据治理实施建议图


附上群里陈其伟就数据治理话题分享的企业数据管理模型


【话唠】上海-谢冬华(18186XXX) 9:13:09 
我想想问问有没有同仁做过数据治理的?
【活跃】陈其伟 9:16:02 
数据架构、数据质量和数据审计等需要多管齐下
【话唠】上海-谢冬华(18186XXX) 9:16:53 
这个首先就要做组织上考虑了,多管齐下,那就得CEO牵头了
【活跃】陈其伟 9:16:02 
数据架构、数据质量和数据审计等需要多管齐下
【话唠】上海-谢冬华(18186XXX) 9:16:53 
这个首先就要做组织上考虑了,多管齐下,那就得CEO牵头了
【传说】应聘CIO-申宏杰(115453XXX) 9:28:44 
数据治理,最好与主数据系统一起部署。
【传说】应聘CIO-申宏杰(11545XXX) 9:33:32 
数据治理,跟是不是大数据没有关系,反而是对结构化数据分析更重要。



话题来自:e行CIO交流群 217877011 申请群备注公司+职级+姓名

评论(0)

您可以在评论框内@您的好友一起参与讨论!

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");