一种云机器人平台数据关联规则的挖掘方法和系统与流程

本发明涉及机器人数据处理的，尤其是一种云机器人平台数据关联规则的挖掘方法和系统。

背景技术：

1、传统机器人借助机载电脑，具备一定计算和数据存储能力，达到计算智能层级。能根据编写的程序完成特定任务，借助于人类发出的命令，完成精确指令和任务，当没有对应程序支持的情况下，机器人通常无法对外界突发扰动做出合理反应。随着云计算技术的快速发展,云机器人已成为机器人的重点研究方向之一。云机器人采用云计算与人工智能技术，达到了感知智能层级。云机器人的基本特征是由云上的“大脑”进行控制，位于云端数据中心具有强大存储能力和运算能力的“大脑”，利用人工智能算法和其他先进的软件技术，通过通信网络来控制本地机器人，使云机器人能全面感知环境、相互学习、共享知识，不仅能够降低成本，还会帮助机器人提高自学能力、适应能力，推动其更快更大规模普及。机器人终端构成云机器人平台的数据来源，如何在接入的机器人终端大量随机数据中发现具有实用价值的有效信息，成为亟需解决的问题。

2、在数据挖掘的算法中，apriori算法可以有效地生成符合客户需求的强关联规则，但对apriori算法而言面临着两个制约其发展的致命的性能瓶颈：一是当候选频繁项集ck中的每个元素需要通过验证来决定是否加入频繁项集lk的时候，会导致算法多次扫描数据库，假如数据量较大，将造成i/o操作过多，较低算法效率；二是当事务数据库或者候选项目集规模较大的时候会产生庞大的候选项目集，ck的数量将呈指数增长，将极大地消耗系统的cpu和内存容量。此外，对于数据库过大而最小支持度、最小置信度设置太低的情况，容易导致规则冗余，难以区分利用。因此apriori算法不能直接用于关系数据库的关联规则挖掘，也不适用于海量数据环境下的关联规则挖掘。由于在数据库运行的过程中会产生大量的运行信息，数据容量及其庞大。假如直接应用apriori算法来提取规则，算法将多次扫描数据库，会导致出现i/o操作超过服务器可以承受的范围。同时由于数据库巨大，产生的候选项目集ck将呈指数增长，对系统的cpu和内存容量需求极大

技术实现思路

1、为了解决如何在接入的机器人终端大量随机数据中发现具有实用价值的有效信息的技术问题，以及apriori算法在海量数据环境下的关联规则挖掘时存在的各种问题，本发明提出了一种云机器人平台数据关联规则的挖掘方法和系统，用以解决上述技术问题。

2、在一个方面，本发明提出了一种云机器人平台数据关联规则的挖掘方法，包括：

3、s1：接收机器人终端的随机数据，确定所需数据的类型并构建对应数据类型的数据库；

4、s2：对数据进行预处理和数据变换处理，将不同渠道的数据统一至数据库中；

5、s3：应用dic算法对数据库根据节点数i将数据库分为i个片区，根据sampling算法在每个独立的片区中抽取样本特定子集si，生成项目频繁集cs，验证获得单独片区的频繁集csi，通过对每个片区执行重复算法以获得全局项目频繁集ci，计算置信度由全局项目频繁集ci产生关联规则。

6、优选的，s2中对数据进行预处理具体包括对缺失值、异常值、去重处理和噪音数据的处理；对缺失值的处理包括插补法和建模法；对异常值的处理包括通过基于正态分布的离群点检测；去重处理包括对重复项判断、排序与合并；对噪音数据的处理包括分箱法和回归法。

7、优选的，s2中数据变换处理包括数据标准化、数据平整、差值和比率；数据标准化包括小数缩放、最小-最大标准化和标准差标准化；数据平整包括将数值型的特征作为同一潜在值的随机变差。

8、优选的，s3中的dic算法具体为：在首次扫描数据库时，按照数据库的分区特征将数据库划分为i片表区，统计每个数据片区的局部频繁项目集，形成局部候选项目集；sampling算法具体为：从数据库中随机选取样本集构成数据库的特定子集，利用最小支持度在子集中搜索所有的频繁项目集，并使用数据库中子集的余集验证频繁项目集，修正后获得实际频繁项目集。

9、优选的，还包括s4：对关联规则的挖掘信息进行解释评估，评估方式包括预测准确率、召回率和roc曲线。

10、优选的，还包括告警规则挖掘，导出历史告警数据文件作为规则挖掘学习的数据，并对历史告警数据依次进行如下步骤：

11、数据预处理，读取历史告警数据后，检测所有数据的有效性，筛除其中无效数据，并对告警数据进行编码，导入到告警数据库中；

12、数据聚类，从告警数据库中提取出聚类所需数据关键字段，将数据在时域和地理位置进行划分；

13、规则挖掘，获取聚类结果，同时从告警数据库中提取告警数据，对每一簇告警数据进行关联分析，实现规则挖掘。

14、根据本发明的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述方法。

15、根据本发明的第三方面，提出了一种云机器人平台数据关联规则的挖掘系统，系统包括：

16、数据库构建单元：配置用于接收机器人终端的随机数据，确定所需数据的类型并构建对应数据类型的数据库；

17、数据处理单元：配置用于对数据进行预处理和数据变换处理，将不同渠道的数据统一至数据库中；

18、关联规则挖掘单元：配置用于应用dic算法对数据库根据节点数i将数据库分为i个片区，根据sampling算法在每个独立的片区中抽取样本特定子集si，生成项目频繁集cs，验证获得单独片区的频繁集csi，通过对每个片区执行重复算法以获得全局项目频繁集ci，计算置信度由全局项目频繁集ci产生关联规则。

19、优选的，还包括解释评估单元：配置用于对关联规则的挖掘信息进行解释评估，评估方式包括预测准确率、召回率和roc曲线。

20、优选的，还包括告警规则挖掘单元：配置用于导出历史告警数据文件作为规则挖掘学习的数据，并对历史告警数据依次进行如下步骤：

21、数据预处理，读取历史告警数据后，检测所有数据的有效性，筛除其中无效数据，并对告警数据进行编码，导入到告警数据库中；

22、数据聚类，从告警数据库中提取出聚类所需数据关键字段，将数据在时域和地理位置进行划分；

23、规则挖掘，获取聚类结果，同时从告警数据库中提取告警数据，对每一簇告警数据进行关联分析，实现规则挖掘。

24、本发明提出了一种云机器人平台数据关联规则的挖掘方法和系统，在接入的机器人终端大量随机数据中发现具有实用价值的有效信息，选取目标数据构建数据库，对数据进行预处理后，采用数据挖掘算法挖掘关联规则，并通过解释评估检验挖掘数据在实际应用中是否存在冗余或缺失或无法满足用户的需求，以获得有效信息对用户进行呈现，可为智能决策提供依据。

技术特征：

1.一种云机器人平台数据关联规则的挖掘方法，其特征在于，包括：

2.根据权利要求1所述的云机器人平台数据关联规则的挖掘方法，其特征在于，所述s2中对所述数据进行预处理具体包括对缺失值、异常值、去重处理和噪音数据的处理；对所述缺失值的处理包括插补法和建模法；对所述异常值的处理包括通过基于正态分布的离群点检测；所述去重处理包括对重复项判断、排序与合并；所述对所述噪音数据的处理包括分箱法和回归法。

3.根据权利要求1所述的云机器人平台数据关联规则的挖掘方法，其特征在于，所述s2中数据变换处理包括数据标准化、数据平整、差值和比率；所述数据标准化包括小数缩放、最小-最大标准化和标准差标准化；数据平整包括将数值型的特征作为同一潜在值的随机变差。

4.根据权利要求1所述的云机器人平台数据关联规则的挖掘方法，其特征在于，所述s3中的dic算法具体为：在首次扫描数据库时，按照数据库的分区特征将数据库划分为i片表区，统计每个数据片区的局部频繁项目集，形成局部候选项目集；所述sampling算法具体为：从所述数据库中随机选取样本集构成所述数据库的特定子集，利用最小支持度在所述子集中搜索所有的频繁项目集，并使用所述数据库中子集的余集验证所述频繁项目集，修正后获得实际频繁项目集。

5.根据权利要求1所述的云机器人平台数据关联规则的挖掘方法，其特征在于，还包括s4：对所述关联规则的挖掘信息进行解释评估，评估方式包括预测准确率、召回率和roc曲线。

6.根据权利要求5所述的云机器人平台数据关联规则的挖掘方法，其特征在于，还包括告警规则挖掘，导出历史告警数据文件作为规则挖掘学习的数据，并对所述历史告警数据依次进行如下步骤：

7.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至6中任一项所述的方法。

8.一种云机器人平台数据关联规则的挖掘系统，其特征在于，所述系统包括：

9.根据权利要求8所述的云机器人平台数据关联规则的挖掘系统，其特征在于，还包括解释评估单元：配置用于对所述关联规则的挖掘信息进行解释评估，评估方式包括预测准确率、召回率和roc曲线。

10.根据权利要求8所述的云机器人平台数据关联规则的挖掘系统，其特征在于，还包括告警规则挖掘单元：配置用于导出历史告警数据文件作为规则挖掘学习的数据，并对所述历史告警数据依次进行如下步骤：

技术总结
本发明给出了一种云机器人平台数据关联规则的挖掘方法和系统，包括接收机器人终端的随机数据，确定所需数据的类型并构建对应数据类型的数据库；对数据进行预处理和数据变换处理，将不同渠道的数据统一至数据库中；应用DIC算法对数据库根据节点数I将数据库分为I个片区，根据Sampling算法在每个独立的片区中抽取样本特定子集SI，生成项目频繁集CS，验证获得单独片区的频繁集CSI，通过对每个片区执行重复算法以获得全局项目频繁集CI，计算置信度由全局项目频繁集CI产生关联规则。该方法和系统可在机器人终端大量随机数据中发现具有实用价值的有效信息，为智能决策提供依据。

技术研发人员：林旭,李密,陈旭,陈佳期,唐光铁,曾远强,卢雨畋,周小报
受保护的技术使用者：福建省海峡智汇科技有限公司
技术研发日：
技术公布日：2024/4/29