小心!你的企业可能正遭遇着数据质量“现实差距”!

标签:CIO系统信息管理数据质量现实差距

访客:22943  发表于:2012-11-21 14:37:36

    是否数据和系统的管理者对自己数据质量信心满满?这种判断是来源于经验之感还是空穴来风?如果忽略隐藏的数据质量问题,仅仅通过感知和依靠表象来判断,那么你很可能正面临着数据质量的“现实差距”。
    本文探讨了一个实际生活中关于数据质量差距的问题,可能会对企业的财务,运营及决策产生有效的影响。



数据质量错位自信

    大部分数据管理或数据主对于数据质量相关的问题都过于自信。“我们的数据挺好的,没什么问题,也几乎没有报过错。”
    几年前,我结识了一位庞大库存系统的数据主,他的回答就是典型的“自信”:“我们的数据挺棒的,员工从来没有提交过任何错误报告。如果数据质量有问题,是逃不出我们的眼睛的。我很惊讶您要做的检验工作,真是一点意义都没有。”
本来迁移之前,我要给系统做一个关于数据质量的基线评估。但是数据管理者对我的出现感到困惑,甚至有些抵触情绪。因为依照他们的标准,在这个数据主管眼中,数据是完美的。他对数据质量问题的判断依据就是:每周收到投诉电话(或者抱怨)的数量。如果没接到抱怨,那么数据质量就是好的。偶尔的巡视检查和例行维护更是坚定了他的信念:正在进行中的各项工作数据质量十分优秀。
    在很多情况下,他是对的。数据要有的放矢。

局部的数据质量
    工程师访问网站和更新数据的时候,通常遗漏某些重要信息。比如想找某个固定资产的精确位置。凭借多年工作经验,只要知道去哪个仓库、哪个楼层,就能轻易找到了。查询时遗漏某些信息对他们来说无关紧要;再如某些设备的额定功率是多少也没什么关系,因为这与他们的工作没有丝毫联系;独特的设备标识储存成什么格式也无所谓,因为他们只要看一眼已经写好的任意格式的文本,就能快速得将设备与序号一一匹配。有些时候需要的只有知道后三位数字,所以所谓的“三位数”就成为要存储起来的数据。因此,数据管理者没有接到电话是因为没有问题。直到我们检查了数据。

表象之下隐藏着什
    我们在一个网站中发现,一个系统错误已经复制了一个设备达上百次。一种类型标示符,用了超过7000种不同的格式来记录。而关于精度的调查中我们发现,30%设备的记录是不准确的。昂贵的设备不会简单的在数据库里注册一下就完了,而那些被淘汰或转移的设备却是记录在用。所有的这些问题,显然对于未来的迁移过程存在重大影响,而且毫无疑问对企业有着更长久的影响作用。尽管还存在诸多其他问题,但本文的重点还是探究数据质量感知与现实之间的差距。
    导致长期数据缺陷的几个因素有:
    →系统允许任意格式的文本,所以各种格式都可以进入系统;
    →数据质量和业务规则缺乏定位与监督;
    →数据管理员没有采用合适的数据质量度量方法;
    →没有对现场工作者进行数据输入的相关培训;
    →现场工作者在现场或者回到基地的时候,没有一个简单正式且可测量的方法报告数据缺陷;
    →没有奖励措施以鼓励现场工作者提高数据质量水平。相反,他们按照自己的生产力和速度来工作。在工程师眼里,管理琐事实在是没有价值的工作。
    实际上,要在这几方面实施改善需要花费的成本和精力是很少的。
    1.任意格式文本:改变系统,让系统接受一个已定义的格式域,一人天。
    2.数据质量规则:创建一系列的数据质量规则以及针对这个进程的一个简单监控引擎,2天。
    3.针对错误,建立度量标准:在2的基础上,这个问题很容易解决。
    4.培训专业领域工作者:对企业来说,真正关键的只有15个领域。设计专业领域培训课程以及后续评估,对于管理者来说相对容易实现。
    5.缺陷报告:建立一个基于网页的报告简单易行。
    6. 奖励机制=为数据的每一次改动自动生成日志,日志包含工程师名字。这样就能和奖惩挂钩。虽然事后惩罚会起一定作用,但是对于每年已发生的错误引起的巨大资金浪费而言,现金激励更受青睐。最好就是鼓励人们预防和控制错误。
    在此没有贬低管理重要性的意思。让成百上千的现场工程师改变他们的数据习惯并不意味着一定成功(当然这是另一个话题)。本文的主要目的还是关注那些现实差距正在形成的业务领域。
    →支持业务模型的遗留数据有哪些现在没被度量?
    →哪些系统需要退役了,哪些需要迁移?
    哪些领域的员工是在没有经过基本数据质量培训的情况下就开始输入业务关键数据?
    哪些系统没有数据治理或管理,哪些系统采用在过时或不合适的标准来评价的?
    
    数据质量现实差距存在于每个企业里,我们应该去面对接受而不是害怕逃避。这恰如一个金矿有待我们挖掘,为我们提供了改善财务和生产力的机会。
    你的观点是什么?你的企业是否存在数据质量现实差距?你用哪些技术方法去解决?
    MTC新浪微博:@MTC数据质量管理

评论(3)

您可以在评论框内@您的好友一起参与讨论!

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");