数据挖掘系统及方法与流程

本发明涉及数据挖掘系统及方法，属于数据挖掘技术领域。

背景技术：

数据挖掘（英语：datamining），又译为资料探勘、数据采矿。它是数据库知识发现（英语：knowledge-discoveryindatabases，简称：kdd)中的一个步骤。数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性（属于associationrulelearning）的信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

在人工智能领域，习惯上又称为数据库中的知识发现(knowledgediscoveryindatabase,kdd)，也有人把数据挖掘视为数据库中知识发现过程的一个基本步骤。知识发现过程由以下三个阶段组成：（1）数据准备，（2）数据挖掘，（3）结果表达和解释。数据挖掘可以与用户或知识库交互。数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集；规律寻找是用某种方法将数据集所含的规律找出来；规律表示是尽可能以用户可理解的方式（如可视化）将找出的规律表示出来。

数据挖掘的步骤会随不同领域的应用而有所变化，每一种数据挖掘技术也会有各自的特性和使用步骤，针对不同问题和需求所制定的数据挖掘过程也会存在差异。此外，数据的完整程度、专业人员支持的程度等都会对建立数据挖掘过程有所影响。这些因素造成了数据挖掘在各不同领域中的运用、规划，以及流程的差异性，即使同一产业，也会因为分析技术和专业知识的涉入程度不同而不同，因此对于数据挖掘过程的系统化、标准化就显得格外重要。如此一来，不仅可以较容易地跨领域应用，也可以结合不同的专业知识，发挥数据挖掘的真正精神。

技术实现要素：

本发明的目的在于针对现有技术的缺陷和不足，提供一种数据挖掘系统及方法，数据的收集比较全面，且分领域收集有利于后续的数据筛查；数据按照等级进行划分，按照领域进行划分，后续还按照时间和空间进行隔离存储；系统中可对数据内部整个进行缓冲数据的处理，以及数据补偿处理；前后期军队数据进行筛查分类，便于操作时数据的准确挖掘。

为实现上述目的，本发明采用的技术方案是：所述数据挖掘系统它包含数据采集单元、数据筛选单元、数据分类单元、数据阶段隔离单元、数据重叠处理单元、数据补偿处理单元、缓冲数据清理单元、缓冲数据存储单元、新数据融合单元、新数据替代单元、存储单元、数据统一整合单元、数据输出单元、数据暂存单元；所述数据采集单元通过互联网与各大可公开的共享平台连接；所述数据采集单元与数据暂存单元相互配合；所述数据筛选单元与数据分类单元相互配合；所述数据分类单元分别与数据阶段隔离单元、数据重叠处理单元连接；所述数据阶段隔离单与存储单元相互连接，所述数据阶段隔离单元中设有新数据融合单元、新数据替代单元；所述数据重叠处理单元、数据补偿处理单元相互配合；所述缓冲数据清理单元、缓冲数据存储单元相互配合，且缓冲数据清理单元、缓冲数据存储单元与新数据融合单元、新数据替代单元、存储单元连接；所述数据统一整合单元与数据补偿处理单元和新数据替代单元连接；所述数据输出单元与数据统一整合单元连接。

作为优选，所述数据采集单元与各大可公开的共享平台存储系统连接，在采集数据时，根据各大共享平台的规则进行过滤性数据采集。

作为优选，所述数据筛选单元根据系统需要进行筛查，并将所有数据分为不同的筛选等级，优质数据模块、中级数据模块、低级数据模块、次级数据模块。

作为优选，所述数据分类单元根据类别进行分类，所述类别为不同领域的类别。

作为优选，所述数据阶段隔离单元为时间阶段隔离或区域隔离。

作为优选，所述新数据融合单元、新数据替代单元与缓冲数据清理单元、缓冲数据存储单元相互配合，所述缓冲数据清理单元、缓冲数据存储单元、新数据融合单元、新数据替代单元均与数据阶段隔离单元、数据重叠处理单元连接，且缓冲数据清理单元、缓冲数据存储单元、新数据融合单元、新数据替代单元与数据分类单元连接，数据在更替后通过数据分类单元重新分类，并重新规划等级。

作为优选，所述数据暂存单元为数据替换前后的新旧数据对比存档。

作为优选，所述数据统一整合单元为数据在替换后的全新数据整合模块。

作为优选，所述数据重叠处理单元与数据阶段隔离单元相互配合，且数据重叠处理单元与缓冲数据清理单元、缓冲数据存储单元连接，可以筛掉多余的重复的数据，并将重叠数据存储在缓冲存储单元。

作为优选，所述数据补偿处理单元与数据筛选单元、数据分类单元、数据阶段隔离单元连接，补偿处理是通过筛选、分类或时间空间上的查漏补缺，即从不同的角度去补充得到的数据漏洞。

本发明所述数据挖掘系统的操作方法是：先粗略的收集所有相关数据--将所有数据存储--对数据进行筛选分类--对数据进行阶段隔离存储--重叠和补偿处理相关数据--新数据的融合与替代--缓冲数据的清理与存储--数据统一整合--数据输出。

本发明所述的数据挖掘系统及方法，具有以下有益效果：

1、数据的收集比较全面，且分领域收集有利于后续的数据筛查；

2、数据按照等级进行划分，按照领域进行划分，后续还按照时间和空间进行隔离存储；

3、系统中可对数据内部整个进行缓冲数据的处理，以及数据补偿处理；

4、前后期军队数据进行筛查分类，便于操作时数据的准确挖掘；

5、设计合理，将所有数据优化处理，且在每一数据挖掘阶段均可优化处理，达到较好的数据挖掘准度；

6、适用的领域广泛，便于推广应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的系统框图；

图2是本发明的操作方法流程图；

附图标记说明：

数据采集单元1、数据筛选单元2、数据分类单元3、数据阶段隔离单元4、数据重叠处理单元5、数据补偿处理单元6、缓冲数据清理单元7、缓冲数据存储单元8、新数据融合单元9、新数据替代单元10、存储单元11、数据统一整合单元12、数据输出单元13、数据暂存单元14。

具体实施方式

下面结合附图对本发明作进一步的说明。

参看如图1所示，它包含数据采集单元1、数据筛选单元2、数据分类单元3、数据阶段隔离单元4、数据重叠处理单元5、数据补偿处理单元6、缓冲数据清理单元7、缓冲数据存储单元8、新数据融合单元9、新数据替代单元10、存储单元11、数据统一整合单元12、数据输出单元13、数据暂存单元14；

所述数据采集单元1通过互联网与各大可公开的共享平台连接；所述数据采集单元1与各大可公开的共享平台存储系统连接，在采集数据时，根据各大共享平台的规则进行过滤性数据采集。

所述数据采集单元1与数据暂存单元14相互配合；所述数据筛选单元2与数据分类单元3相互配合；所述数据筛选单元2根据系统需要进行筛查，并将所有数据分为不同的筛选等级，优质数据模块、中级数据模块、低级数据模块、次级数据模块。

所述数据分类单元3根据类别进行分类，所述类别为不同领域的类别；所述数据分类单元3分别与数据阶段隔离单元4、数据重叠处理单元5连接；所述数据阶段隔离单元4与存储单元11相互连接，所述数据阶段隔离单元4为时间阶段隔离或区域隔离；所述数据阶段隔离单元4中设有新数据融合单元9、新数据替代单元10；所述数据重叠处理单元5、数据补偿处理单元6相互配合；所述缓冲数据清理单元7、缓冲数据存储单元8相互配合，且缓冲数据清理单元7、缓冲数据存储单元8与新数据融合单元9、新数据替代单元10、存储单元11连接；所述数据统一整合单元12与数据补偿处理单元6和新数据替代单元10连接；所述数据输出单元13与数据统一整合单元12连接。

其中，所述新数据融合单元9、新数据替代单元10与缓冲数据清理单元7、缓冲数据存储单元8相互配合，所述缓冲数据清理单元7、缓冲数据存储单元8、新数据融合单元9、新数据替代单元10均与数据阶段隔离单元4、数据重叠处理单元5连接，且缓冲数据清理单元7、缓冲数据存储单元8、新数据融合单元9、新数据替代单元10与数据分类单元3连接，数据在更替后通过数据分类单元重新分类，并重新规划等级。

另外，所述数据暂存单元14为数据替换前后的新旧数据对比存档。所述数据统一整合单元12为数据在替换后的全新数据整合模块。所述数据重叠处理单元5与数据阶段隔离单元4相互配合，且数据重叠处理单元5与缓冲数据清理单元7、缓冲数据存储单元8连接，可以筛掉多余的重复的数据，并将重叠数据存储在缓冲存储单元。所述数据补偿处理单元6与数据筛选单元2、数据分类单元3、数据阶段隔离单元4连接，补偿处理是通过筛选、分类或时间空间上的查漏补缺，即从不同的角度去补充得到的数据漏洞。

本具体实施方式采用数据分等级筛选的方法将初步采集的数据依次呈现，另外，数据在分类时，又按照不同数据系统的要求，对数据进行类别划分，以便适用于不同领域的系统，数据通过初步筛选和分类后，可再次进行阶段隔离，这样在后续数据查找时，可根据时间或空间进行筛查，方便很多，另外，本系统的数据还可进行新数据替换，对得到的数据进行重叠处理，对有漏洞的数据进行补偿处理，进一步地完善数据库，数据再处理妥当后方可输出。

参看如图2所示，本具体实施方式所述数据挖掘系统的操作方法是：

a、先粗略的收集所有相关数据；

b、将所有数据存；

c、对数据进行筛选分类；

d、对数据进行阶段隔离存储；

e、重叠和补偿处理相关数据；

f、新数据的融合与替代；

g、缓冲数据的清理与存储；

h、数据统一整合；

i、数据输出。

本具体实施方式所述的数据挖掘系统及方法，数据的收集比较全面，且分领域收集有利于后续的数据筛查；数据按照等级进行划分，按照领域进行划分，后续还按照时间和空间进行隔离存储；系统中可对数据内部整个进行缓冲数据的处理，以及数据补偿处理；前后期军队数据进行筛查分类，便于操作时数据的准确挖掘；设计合理，将所有数据优化处理，且在每一数据挖掘阶段均可优化处理，达到较好的数据挖掘准度。

以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。