Page 107 - 企业标准化生产与质量控制

第四章 基于大数据和人工智能的质量控制

数据质量问题的根本原因，并分析其具体形成和演变过程，及时处理问题数据，
并进行持续跟踪监控，实现对数据质量的持续改进，进而可有效提升数据质量管
理水平。以数据标准不完善为例，当引起数据质量问题时，需要构建科学、系统

的数据标准问题识别、标准修正、现场实施及验证工作流程，解决数据质量问题，
避免引起新的问题，进而持续改进数据质量。
（三）重视并落实元数据管理
元数据的本质是用来表述数据，在开展数据质量管理时，必须加强对元数据

的管理。元数据具体分为管理类、技术类、业务类三种。管理流程、岗位职责等
描述概念、规则、关系的数据，均可视为管理元数据。描述数据结构、处理过程
的数据，则归为技术元数据，贯穿于数据产生和消费的整个过程。业务术语、业

务规则等信息，均归属于业务元数据。在管理数据质量时，必须完善元数据管理，
先构建单一的元数据存储系统，采用集中管理方式对多种类型元数据进行管理，
然后再采用分散管理方式，根据元数据的类型、来源等特点，制定针对性的处理
规则，包括修改规则、合并规则、过滤规则等。然后再对元数据进行差异化批量
处理，确保元数据质量，为大数据的理解和利用提供便利，确保数据质量采集、

分析以及监控等各项工作的顺利进行。
（四）构建大数据质量知识库
大数据质量管理属于一项持续性工作，要想实现数据质量问题的快速处理，

并保证其精度，需要构建大数据质量知识库，不断积累经验及技术。一方面，应
对各类大数据质量问题进行整理和归类，包括诱发原因、形成机理、解决对策等，
然后将其纳入到大数据质量知识库中，通过长期积累来充实和完善知识库。当再
次发生此类数据质量问题时，知识库能够提供最为合理的解决方案，为数据质量
管理工作的开展提供依据和参考，实现数据质量问题的快速、智能处理。另一方

面，应针对数据质量管理参数和规则，加大对训练集自动选取算法的研究力度，
实现大数据知识库的智能、主动学习，对异常数据进行自动检测，尤其是针对越
来越复杂的数据，并在最短时间内加以妥善处理，提高问题处理精度和效率。

（五）注重大数据管理技术的开发
在大数据时代，各种数据越来越复杂，并且非结构化特征越来越明显，再加
上其庞大的数量，给数据质量监测和管理带来了较大困难。传统数据管理技术已
无法满足实际需求，需要加大对大数据管理技术的开发力度，提供先进的技术支

93