数据质量评估通常从以下六个核心维度（也常被称为“数据质量六性”）展开,这些维度构成了数据治理和数据管理的基础框架：
-
完整性
- 定义：指数据元素中是否存在缺失、空值或未知的状态,它衡量的是数据信息的覆盖程度。
- 评估点：必填字段是否为空？记录数是否达到预期？是否有缺失的数据行？
- 示例：客户表中“手机号”字段有30%为空,则完整性较低。
-
准确性
- 定义：指数据描述的信息是否真实、正确地反映了其对应的客观实体或事件,这是最直观的质量维度。
- 评估点：数据值与真实世界中的事实是否一致？是否包含拼写错误、单位错误或逻辑错误？
- 示例：用户年龄字段显示为“180岁”,属于准确性错误。
-
一致性
- 定义：指同一实体在不同数据源、不同系统或不同存储格式中的表示是否无冲突、无矛盾。
- 评估点：相同的业务概念（如“客户ID”）在不同的表中格式是否一致？同一商品在不同系统中的价格是否相同？
- 示例：CRM系统中客户状态是“已激活”，而财务系统中同一客户状态是“已停用”,则存在不一致。
-
时效性
- 定义：指数据是否在需要的时间点或时间窗口内可用，且反映了当前（或特定历史时点）的真实情况。
- 评估点：数据是否是最新的？数据更新频率是否满足业务需求？数据延迟是否在可接受范围内？
- 示例：每天需要查看前一天的销售报表，但数据刷新延迟了3天,则时效性差。
-
唯一性
- 定义：指同一实体在数据集中不会被重复记录或标识,也称为无冗余性。
- 评估点：是否存在重复的记录？主键值是否唯一？是否存在相同含义的不同表述？
- 示例：同一个客户在客户表中出现了两次，导致其收货地址不一致,则违反了唯一性。
-
有效性
- 定义：指数据是否符合预先定义的业务规则、格式规范或域值范围，它关注的是数据的“合规性”。
- 评估点：数据类型是否正确（如日期字段不能是文本）？数值是否在允许范围内？代码值是否在字典表中？格式是否符合标准（如身份证号长度、邮箱格式）？
- 示例：“性别”字段中出现了“M”和“男”两种取值，而标准定义只允许“男/女”，则“M”无效。
补充维度（部分场景下使用）：
- 可信性：数据来源是否可靠,数据是否被正确收集和传输。
- 可访问性：数据是否能在需要时被授权用户高效地获取。
- 可理解性：数据的元数据（标签、描述）是否清晰,非专业人员是否能看懂。
- 完整性（与业务相关）：有时特指业务所需的全部数据要素是否都具备。
在实践中，评估数据质量时通常不会单独看一个维度，及时录入的数据可能不准确（时效性好但准确性差），而准确的数据可能重复（准确但唯一性差），一个全面的评估需要结合这些维度,并根据具体的业务场景确定各维度的权重。
