同时,《数据资产评估指导意见》中明确了数据资产质量评价对数据资产评估的重要意义。与一般资产评估程序不同,数据资产评估通常需要进行前置的质量评价,从数据资产的基本情况、数据质量等维度进行分析,了解各类要素对数据资产价值的影响。强调了数据资产评估要重视质量因素,包括数据的准确性、一致性、完整性、规范性、时效性和可访问性等,要求采取恰当方式执行数据质量评价程序或者获得数据质量的评价结果,有利于资产评估行业实事求是开展数据资产评估业务,科学合理地形成数据资产评估结论,有效树立数据资产化领域的公信力[2]。然而实际上我们的数据可能存在各种各样的问题,亟需有一套全面、科学、可落地的方法论,指导企业管理数据资产质量。
一、数据完整性问题:数据可能存在缺失、遗漏或不完整的情况。这可能导致数据资产的不完整或不准确,影响数据分析和决策的可靠性。
二、数据准确性问题:数据可能存在错误、误差或不准确的情况。这可能导致数据资产的准确性受到影响,进而影响对数据的分析和决策的可靠性。
三、数据一致性问题:可能涉及多个数据源或多个系统之间的数据集成和整合。在这个过程中,数据一致性可能受到挑战,导致数据资产的一致性受到影响。
四、数据格式和标准问题:不同的数据源可能使用不同的数据格式和数据标准。可能需要将这些不同格式和标准的数据进行转换和整合,这可能会导致数据格式和标准的不一致性问题。
五、数据质量评估问题:需要对数据质量进行评估和监控。然而,数据质量评估可能面临数据量大、复杂度高、评估方法多样、发现问题不及时等挑战。
六、数据质量整改问题:可能需要对原始数据进行清洗和处理,以提高数据的质量和可用性。然而,数据清洗和处理可能面临成本高、员工缺乏动力、难以闭环等挑战。
一、体系规划
数据质量体系规划是数据质量管理体系的战略工具,可以帮助企业明确质量管理目标、实现路径、规避风险和战略保障。让领导对于数据质量体系建设心中有数,运筹帷幄。
二、数据标准
制定一系列数据质量标准,保障“车同轨、书同文、行同伦”。数据标准是数据质量管理的铁轨,只有标准统一并且规范管理,才能使数据质量管理“有法可依”。
三、质量核查
根据数据质量六大评价标准:完整性、有效性、及时性、一致性、准确性和唯一性,建立数据质量管理检核体系,帮助全方位数据质量检查规则,发现数据质量问题。同时需要自动化、智能化的大数据质量管理工具,保证能够及时、准确发现问题,甚至能够达到预警的水平,防患于未然。
四、整改提升
整改提升是整个数据质量管理体系的核心,前面数据标准和质量检查,都是为了发现问题。整改提升根据标准要求,制定整改计划方案,并进行执行,切实改善数据质量。
五、评价机制
评价机制是为了落实责任到位,因为我们发现,往往在数据治理这种牵涉到跨部门的项目中,非常容易出现责任分散、考核主观、动力不足的问题。评价机制采用自动化数据质量统计手段,实现数据质量按部门、按条线、按主题、按规则等维度进行多维评价,考核直接和绩效挂钩,充分调动相关部门和人员的积极性。
六、持续运营
数据质量管理提升不是一蹴而就的工作,需要持续检查、持续改善,需要建立精细化敏捷化的数据质量运营机制,保障高质量数据服务。
3.1整体规划
数据质量体系规划不仅仅是数据质量管理的战略工具,更是企业在数字化时代中取得成功的关键要素之一。通过建立坚实的数据质量体系规划,企业可以实现以下方面的成果:
明确质量管理目标:数据质量体系规划有助于企业明确数据质量的关键指标和目标,这使得企业能够在整个组织范围内共享和理解这些目标,从而形成统一的数据质量文化。
实现路径规划:通过数据质量体系规划,企业可以绘制实现目标的详细路径图,包括需要采取的措施、投资、技术工具和培训等方面的计划。
规避风险:在数据驱动的决策中,低质量的数据可能导致错误的决策和损失。数据质量体系规划有助于企业识别和降低数据质量带来的潜在风险,从而提高业务的可靠性和稳定性,以及数据价值。
战略保障:随着企业不断扩张和数字化转型,数据成为了战略性资产。数据质量体系规划确保了这一宝贵资源的可持续管理和保护,为企业提供了长期的战略保障。
3.2数据标准
制定一系列数据质量标准,保障“车同轨、书同文、行同伦”,是在数字化时代中不可或缺的重要任务。只有当数据标准被广泛采用,并且得到规范管理时,才能确保数据质量管理“有法可依”,进一步展现了其重要性:
保证数据一致性:数据质量标准的制定确保了所有数据在格式、命名约定、单位等方面保持一致。这消除了数据混乱和不一致性,让不同部门和系统的数据能够互通有无,实现了“车同轨”。
提升数据可理解性:数据标准规定了数据的描述和文档化要求,使数据更容易被理解和解释。这有助于确保不同人员在数据解读上达成共识,实现了“书同文”。
简化数据治理:标准化的数据管理过程使数据治理更加高效。这包括数据质量检查、清洗、备份和保护等方面的流程。通过遵循统一的数据标准,企业能够更轻松地监控和管理数据,实现了“行同伦”。
提高决策质量:数据质量标准有助于提高数据的准确性和可靠性,从而提高了决策的质量。领导层和决策者可以更加自信地基于数据做出战略性决策,而不必担心数据质量问题。
加强数据安全:标准化的数据管理和安全措施有助于防止数据泄露和滥用。企业可以更好地保护敏感数据,并遵守相关法规和合规性要求。
3.3质量核查
根据数据质量的六大评价标准:完整性、有效性、及时性、一致性、准确性和唯一性,我们需要建立一个全面的数据质量管理检核体系,以确保数据的高质量和可信度。这一检核体系不仅有助于发现数据质量问题,还可以帮助企业更好地满足业务需求,提高决策质量。
完整性:建立数据质量检核体系时,需要定义和验证数据的完整性规则,以确保数据集不会遗漏任何关键信息。例如,在水务领域,完整性规则可以检查账户信息是否包含必要的字段,如姓名、地址、用户类型、用水性质等。
有效性:在数据质量管理检核体系中,需要定义和验证数据有效性规则,以确保数据的合法性和准确性。例如,在水务领域,有效性规则可以检查用水用户的身份信息是否有效,如身份证号码。
及时性:在检核体系中,需要定义和监测数据更新和刷新的频率,以确保数据始终保持最新。例如,在水务行业,及时性规则可以检查抄表数据是否及时更新,以避免漏抄。
一致性:一致性要求不同数据源或数据集之间的数据保持一致。例如,在跨部门合作的项目中,一致性规则可以检查各部门的组织信息是否一致,以避免冲突和错误。
唯一性:唯一性要求数据中的记录是唯一的,没有重复。例如,唯一性规则可以检查客户信息是否存在重复记录,以避免重复收费。
为了实现高效的数据质量管理,我们还需要依赖自动化和智能化的大数据质量管理工具。这些工具可以加速数据检核过程,自动识别潜在的数据质量问题,并在问题出现时提供及时的警报和修复建议。这不仅有助于提高数据质量,还可以防患于未然,减少潜在的业务风险。
3.4整改提升
整改提升不仅是数据质量管理体系的核心,确保数据质量始终处于最佳状态。关于整改提升可以从以下方面入手:
制定整改计划方案:整改提升的第一步是制定详细的整改计划方案。这个计划方案应该明确问题的性质和严重程度,并提出具体的整改措施和时间表。例如,如果数据完整性出现问题,计划方案可以包括数据完整性验证的流程和工具,并规定了哪些数据需要被修复或更新。
执行整改措施:执行整改计划是整改提升的关键步骤。这包括分配任务、跟踪进度、监督整改过程,并确保整改措施按计划顺利执行。企业可以借助项目管理工具来跟踪整改任务,以确保及时处理数据质量问题。
培训和意识提升:除了整改措施,培训和提升员工的数据质量意识也是关键因素。员工需要明白数据质量对业务的重要性,并具备识别和报告数据质量问题的能力。因此,培训计划和宣传活动也应该是整改提升的一部分。
3.5评价机制
评价机制在数据治理中的作用不可小觑,它不仅仅有助于责任分散问题的解决,还可以提高数据治理项目的透明度、效率和动力。建立评价机制可以从以下方面入手:
落实责任到位:评价机制是确保数据治理项目中责任落实到位的关键工具。通过明确每个部门和个人的责任,可以避免责任模糊和推诿责任的情况。这有助于确保数据治理项目的顺利推进和成功实施。
解决责任分散问题:跨部门的数据治理项目往往容易出现责任分散的问题,因为不同部门可能对数据质量有不同的关注点和优先级。评价机制可以协调各部门的利益,确保他们共同努力提高数据质量,而不是各自为政。
减少主观性评价:通过采用自动化数据质量统计手段,评价机制可以减少主观判断的干扰。这有助于确保评价结果客观公正,不受个人主观意见的影响。这样可以增强评价的可信度和公正性。
多维评价:评价机制不仅关注整体数据质量,还可以按部门、条线、主题、规则等多维度进行评价。这有助于更精细地识别问题和瓶颈,从而有针对性地改进数据质量管理措施。
考核与绩效挂钩:将数据质量评价与绩效考核挂钩可以激励相关部门和个人更积极地参与数据治理。这种激励机制可以通过奖励和惩罚的方式来推动员工和部门积极改进数据质量。
3.6持续运营
数据质量管理的提升是一个长期的过程,不能指望一蹴而就。它需要不断的监测、评估和改进,以确保数据始终保持高质量。为了实现这一目标,必须建立一种精细化和敏捷化的数据质量运营机制,以确保数据服务一直处于高质量的状态。可以从以下方面入手:
持续监测和评估:数据质量管理是一个持续的过程,需要不断监测和评估数据质量。这包括定期进行数据质量检查、报告和分析,以及识别和纠正数据质量问题。通过持续的监测,可以及时发现和解决问题,确保数据保持高水平的质量。
敏捷化的改进:数据质量运营机制应该具备敏捷性,能够迅速适应变化的需求和挑战。当新的数据源、业务流程或技术工具引入时,应该能够快速调整数据质量管理策略和流程,以确保数据质量不受影响。
[1] 中国日报网. 发挥专业优势,促进规范发展——数据资源入表“热”的“冷”思考[EB/OL].(2023-8-30)[2023-12-5]. https://www.163.com/dy/article/IDDCUJAN0514R9KE.html.
[2] 中国会计报. 数据资产价值评估助推数字经济高质量发展[EB/OL].(2023-10-31)[2023-12-5]. https://gzw.fujian.gov.cn/zwgk/gzdt/gzjg/cqgl/202311/t20231109_6293060.htm.
微信扫描下方的二维码阅读本文
您好!请登录