一种基于精细化逻辑分类技术的数据质量自动检测系统的制作方法

文档序号:12272548阅读:293来源:国知局

本发明属于数据质量检测领域,尤其涉及一种基于精细化逻辑分类技术的数据质量自动检测系统。



背景技术:

信息数据作为信息产业的挤出和核心,从中发挥着重要的作用,信息数据的质量问题也成为信息产业发展过程汇中急需加以重视和解决的迫切问题。因此,采取有效措施检测并提高信息数据质量,才能够有力的推动信息产业的发展和进步,才能够赋予信息产业新的生命力。



技术实现要素:

本发明的目的在于克服现有技术存在的以上问题,提供一种基于精细化逻辑分类技术的数据质量自动检测系统,能够对信息数据中国存在的数据质量问题进行自动检测并控制,提高信息数据质量。

为实现上述技术目的,达到上述技术效果,本发明通过以下技术方案实现:

一种基于精细化逻辑分类技术的数据质量自动检测系统,包括数据采集模块、数据分类模块、数据评估模块、数据存储模块、数据修正模块、数据传输模块、数据处理模块、数据库模块、异常警示模块、数据显示模块;

所述数据采集模块用于采集用户所需的原始数据,并形成数据集信息发送至数据分类模块;

所述数据分类模块用于接收来自数据采集模块的数据集信号并进行处理,形成分类数据信息发送至数据评估模块;

所述数据评估模块用于接收来自数据分类模块的分类数据信息并进行质量评估,形成数据质量评估信息分别发送至数据存储模块和数据修正模块;

所述数据存储模块用于接收来自数据评估模块的数据质量评估信息并进行寄存;

所述数据修正模块用于接收来自数据评估模块的数据质量评估信息并进行数据修正,形成数据质量修正信息发送至数据传输模块;

所述数据传输模块用于将接收的数据质量修正信息发送至数据处理模块;

所述数据处理模块用于接收来自数据传输模块的数据质量修正模块并进行处理,分别形成数据异常警示信号发送至异常警示模块、形成数据显示信号发送至数据显示模块、形成数据质量修正处理信息发送至数据库模块;

所述异常警示模块用于接收来自数据处理模块的数据异常警示信号,并对外进行警示提醒;

所述数据显示模块用于接收来自数据处理模块的数据显示信号,并对外进行数据质量修正信息显示;

所述数据库模块用于接收来自数据处理模块的数据质量处理信息并进行寄存。

进一步地,所述数据评估模块的质量评估包括对数据重复性、关联性、正确性、完全性、一致性、合规性进行检测。

进一步地,所述异常警示模块设有不同的预警阀值,当接收到数据异常警示信号进行不同的级别的预警提醒和通知。

进一步地,所述数据处理模块还连接有数据质量输出模块,所述数据质量报告输出模块用于打印常用的数据质量报告。

本发明的有益效果是:

本发明通过数据采集模块、数据分类模块、数据评估模块、数据存储模块、数据修正模块、数据处理模块对原始数据依次进行检测、修正、处理,实现对数据质量的自动检测及控制,并进行储存、显示、输出,有效措提高信息的数据质量。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1是本发明的系统结构框图。

具体实施方式

下面将参考附图并结合实施例,来详细说明本发明。

如图1所示的一种基于精细化逻辑分类技术的数据质量自动检测系统,包括数据采集模块、数据分类模块、数据评估模块、数据存储模块、数据修正模块、数据传输模块、数据处理模块、数据库模块、异常警示模块、数据显示模块;

数据采集模块用于采集用户所需的原始数据,并形成数据集信息发送至数据分类模块;

数据分类模块用于接收来自数据采集模块的数据集信号并进行处理,形成分类数据信息发送至数据评估模块;

数据评估模块用于接收来自数据分类模块的分类数据信息并进行质量评估,形成数据质量评估信息分别发送至数据存储模块和数据修正模块;

数据存储模块用于接收来自数据评估模块的数据质量评估信息并进行寄存;

数据修正模块用于接收来自数据评估模块的数据质量评估信息并进行数据修正,形成数据质量修正信息发送至数据传输模块;

数据传输模块用于将接收的数据质量修正信息发送至数据处理模块;

数据处理模块用于接收来自数据传输模块的数据质量修正模块并进行处理,分别形成数据异常警示信号发送至异常警示模块、形成数据显示信号发送至数据显示模块、形成数据质量修正处理信息发送至数据库模块;

异常警示模块用于接收来自数据处理模块的数据异常警示信号,并对外进行警示提醒;

数据显示模块用于接收来自数据处理模块的数据显示信号,并对外进行数据质量修正信息显示;

数据库模块用于接收来自数据处理模块的数据质量处理信息并进行寄存。

其中,数据评估模块的质量评估包括对数据重复性、关联性、正确性、完全性、一致性、合规性进行检测。

其中,异常警示模块设有不同的预警阀值,当接收到数据异常警示信号进行不同的级别的预警提醒和通知。

其中,数据处理模块还连接有数据质量输出模块,数据质量报告输出模块用于打印常用的数据质量报告。

本发明通过数据采集模块、数据分类模块、数据评估模块、数据存储模块、数据修正模块、数据处理模块对原始数据依次进行检测、修正、处理,实现对数据质量的自动检测及控制,并进行储存、显示、输出,有效措提高信息的数据质量。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1