机器人作业数据分析服务器和机器人作业数据分析方法与流程

本发明涉及大数据分析技术领域，特别是涉及一种机器人作业数据分析服务器。

背景技术：

机器学习以及深度学习的应用主要是在人脸识别以及一些常规物体的检测方面，在这些常规物体的检测和识别方面也有很多比较成熟的数据集可以用来做训练和测试，比如专门用来做人脸识别的数据集lfw、casia-webface等，再比如专门用来做常规物体检测的数据集pascalvoc。

国内外研究机构都十分重视机器学习、深度学习算法以及应用研究。但由于深度学习非常依赖巨量的数据集进行模型的训练，少量数据难以获得好的训练模型。另外因为深度学习算法的编程语言不同，应用场景不同，导致现有的一些算法库使用困难，不利于相关学者或者感兴趣人群的使用。

但现有技术中没有专门用来做电网设备的识别和检测的数据集，也没有对电网设备数据集进行搜集、存储和检测的大数据平台。

综上所述可以看出，如何提供一种可以对电网设备数据集进行搜集、存储和检测的服务器是目前有待解决的问题。

技术实现要素：

本发明的目的是提供一种机器人作业数据分析服务器，以解决现有技术中没有用来对电网设备数据集进行搜集、存储和检测的大数据平台的问题。本发明还提供了一种机器人作业数据分析的方法，具有上述有益效果。

为解决上述技术问题，本发明提供一种机器人作业数据分析服务器，包括：数据采集模块，数据存储模块，数据分析模块；其中，所述数据采集模块用于利用电网机器人采集机器人作业数据；所述数据存储模块用于根据所述机器人作业数据的类别分布式存储所述机器人作业数据；数据分析模块，用于根据用户选择的需要训练的特征及在预先建立的算法库中选择的算法模型，利用完成训练后的算法模型对所述机器人作业数据进行特征分析，得到分析结果。

优选地，所述机器人作业数据包括：结构化数据、文本数据、高清彩图、红外热图、点云和音频数据。

优选地，所述数据存储模块包括数据清洗单元和数据存储单元；

其中，所述数据清洗单元用于对所述数据采集模块采集的机器人作业数据进行清洗，以便消除异常、冗余数据；并对所述机器人作业数据进行格式和维度转换，从而统一所述机器人作业数据的格式和维度；

所述数据存储单元用于利用mongdb分布式存储系统对完成清洗和转换的机器人作业数据中的结构化数据进行存储；并将完成清洗和转换的机器人作业数据中的非结构化数据和压缩数据预存储至hdfs分布式文件存储系统中，经spark分布式计算系统对所述非结构化数据和压缩数据进行处理后，将处理结果存储至所述用mongdb分布式存储系统中。

优选地，所述数据存储单元还用于：

以训练测试集、验证集以及其他数据的形式将所述机器人作业数据输出至所述数据分析模块，以便于所述数据分析模块调用和使用。

优选地，所述数据分析模块具体用于：选择预训练模式或自训练模式完成对所述用户选择的算法模型的训练；

所述预训练模式对利用训练测试集中的机器人作业数据对已预先完成的网络结构和网络参数的设置的算法模型进行训练；

所述自训练模式为用户手动调节在所述算法模型库中选择的算法模型的网络结构，设备算法模型的网格参数得到目标算法模型后，利用所述训练测试集中机器人作业数据对所述目标算法模型进行训练。

优选地，所述数据分析模块还用于：

根据用户选择的需要训练的特征，在所述算法模型库中选择多个与所述特征对应的算法模型，分别利用训练好的算法模型对所述验证集中机器人作业数据中进行特征分析，得出不同的算法训练模型的对验证集数据分析的输出结果。

优选地，还包括：分析可视化模块，用于向用户展示数据存储模块的存储结果和所述数据分析模块的特征分析结果；在自训练模式下调整对所述算法模型的网络参数。

优选地，所述预先建立的算法模型库包括：数据分类算法模型、数据聚类算法模型、数据降维算法模型和数据回归算法模型。

优选地，所述数据分类算法模型包括：支持向量机svn算法和深度神经网络dnn算法的数据分类算法。

本发明还提供了一种机器人作业数据分析的方法，应用于机器人作业数据分析服务器，包括：利用电网机器人采集机器人作业数据；根据所述机器人作业数据的类别分布式存储所述机器人作业数据；根据用户选择的需要训练的特征及在预先建立的算法库中选择的算法模型，利用完成训练后的算法模型对所述机器人作业数据进行特征分析，得到分析结果。

本发明所提供的机器人作业数据分析服务器，包括数据采集模块，数据存储模块以及数据分析模块。所述数据采集模块利用电网机器人采集机器人作业数据，从而建立一个电网设备的数据集。所述数据存储模块根据所述机器人作业数据的类别，分布式存储所述机器人作业数据；因此在所述数据存储模块中，可以对所述机器人作业数据进行横向扩展，并将扩展的数据存储至分布式存储系统内。所述数据分析层用于根据用户选择的需要训练的特征和在预先建立的算法库中选择的算法模型，所述需要训练的特征和在算法库中选择的算法模型对应；利用已经完成训练的算法模型对所述机器人作业数据进行检测，得到检测结果。本发明利用了电网数据的多样性、真实性以及数据量大的特点，构建了机器人作业数据集；利用机器人作业数据集可以对所述算法库中的算法模型进行训练后，获得检测效果好的训练模型对所述机器人作业数据进行检测，提供了检测效率和检测结果的准确性。本发明提供了一个从采集数据、分布式存储数据和分析检测数据的完整的服务器体系架构，为电网设备的识别和检测建立了数据基础。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的一种机器人作业数据分析服务器的结构示意图；

图2为本发明所提供的另一种机器人作业数据分析服务器的结构示意图；

图3为本发明所提供的机器人作业数据分析的方法的一种具体实施例的流程图。

具体实施方式

本发明的核心是提供一种机器人作业数据分析服务器，为电网设备的识别和检测建立了数据基础；本发明还提供了一种机器人作业数据分析的方法，具有上述有益效果。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明所提供的一种机器人作业数据分析服务器的结构示意图。在本实施例中所提供的机器人作业服务器包括：数据采集模块100，数据存储模块200，数据分析模块300；其中，所述数据采集模块用于利用电网机器人采集机器人作业数据；所述数据存储模块用于根据所述机器人作业数据的类别分布式存储所述机器人作业数据；数据分析模块，用于根据用户选择的需要训练的特征及在预先建立的算法库中选择的算法模型，利用完成训练后的算法模型对所述机器人作业数据进行特征分析，得到分析结果。

所述数据采集模块基于电网服务器的物理存储器和高性能处理器设备，利用电网机器人实现机器人作业数据的采集。

在本实施例中，所述电网机器人采集的数据包括结构化数据、文本数据、高清彩图、红外热图、点云、音频数据等，从而获得具有真实性、多样性、应用场景丰富的大量源数据。

所述数据存储模块包括：数据清洗单元和数据存储单元；

所述数据清洗单元对所述数据采集模块采集的机器人作业数据进行清洗，以便消除异常、冗余数据；并对所述机器人作业数据进行格式和维度转换，从而统一所述机器人作业数据的格式和维度。

由于机器人作业数据的复杂性，难以对所有的多源数据进行统一的清洗，因此针对一些较难清洗的数据，可以预留人工手动清洗并上传数据的接口。另外针对格式不统一、维度不统一的数据，系统将集成自动清洗的功能，将格式和维度不统一的数据转换为相同格式维度的数据。

所述数据存储单元为了提高数据吞吐量，降低存储成本，方便用户使用与管理，采用hadoophdfs进行文件存储，针对不同用户不同类型的文件进行分类保存。利用mongdb分布式存储系统对完成清洗和转换的机器人作业数据中的结构化数据进行存储；并将完成清洗和转换的机器人作业数据中的非结构化数据和压缩数据预存储至hdfs分布式文件存储系统中，经spark分布式计算系统对所述非结构化数据和压缩数据进行处理后，将处理结果存储至所述用mongdb分布式存储系统中，以便为获得所述算法分析层在算法模型训练过程中所需要的训练集、测试集和验证集。

在本实施例中，可以根据电网设备不同类别、场景的多源异构数据网络的构建方法，用现场数据描述网络中相关节点代表的类别、场景，研究可扩展、自适应的各类别、场景训练集、验证集和测试集的动态扩展技术，标注图像识别所需的真值，并提供图像真值标注的工具，从而获得所述算法分析层在算法模型训练过程中所需要的训练集、测试集和验证集。

所述数据存储单元以训练测试集、验证集以及其他数据的形式将所述机器人作业数据输出至所述数据分析模块，以便于所述数据分析模块调用和使用。

目前大多数机器学习和深度学习的模式都是采用将数据集下载到本地，然后再利用相应的算法做识别和检测。在本实施例中实现对数据的分布式存储，不仅能够提供下载到本地的结口以便常规训练和测试，而且还提供了caffe-on-spark的模式，直接在分布式存储的数据库中进行训练和测试，提高了所述数据分析模块中深度学习训练和测试的效率。

本发明实施例所提供的数据存储模块通过研究统一的数据分析交互标准，分布式高速数据传输与高速数据全映像等数据交互技术，从顶层设计的角度细化和补充适用于电网公司的机器人作业数据分析交互格式规范；通过研究和设计了算法统一调用接口，满足用户与云环境间的数据交互，促进数据交互共享。通过研究数据组织与图形化建模配置技术，从而得到具有较高易用性的数据交互管理与配置技术。

针对电力机器人作业数据的特点以及不同智能大数据分析方法的适用性，本实施例将建设人工智能分析通用的数据分析模块，以机器学习算法库为基础，为上层应用提供数据分类、数据聚类、数据降维、数据回归四类算法接口。在分类方面，在数据集较少的情况下考虑支持向量机svm算法，在数据集较多的情况下考虑深度神经网络dnn算法；在聚类方面，考虑集成k-means算法、基于密度的方法dbscan算法；在数据降维方面，考虑集成pca、lda等基本降维方法，以及基于深度学习的autoencoder降维；在数据回归预测方面，考虑多元回归分析或者基于神经网络的方法。

如图2所示，在本发明其他的实施例中，所述机器人作业数据分析服务器还可以包括：分析可视化模块400，作为人机交互界面，为向用户展示数据存储模块的存储结果和所述数据分析模块的特征分析结果等。

用户选择需要分析的数据文件时，系统会自动分析出当前数据文件的特征字段，如：字段名，取值类型、分布类型，值域等，将获取的所有相关信息展示在所述分析可视化模块的人机交互界面上，方便用户查看数据文件特征。

对需要训练的数据文件预处理后，可以通过所述交互界面上的增加配置的按钮进入训练配置页面。开始训练之前还需要进行算法类别选择和数据来源设置两个步骤。其中数据来源设置主要是根据用户请求选择需要训练的文件，所有类别的算法模型已经集成在算法分析层，根据需要选择分类，聚类，回归，降维模型。

选择预训练模式或自训练模式完成对所述用户选择的算法模型的训练；所述预训练模式对利用训练测试集中的机器人作业数据对已预先完成的网络结构和网络参数的设置的算法模型进行训练；所述自训练模式为用户手动调节在所述算法模型库中选择的算法模型的网络结构，设备算法模型的网格参数得到目标算法模型后，利用所述训练测试集中机器人作业数据对所述目标算法模型进行训练。预训练模式适合没有较好深度学习经验的工作人员使用和学习，自训练模式针对有一定训练经验的工作人员操作，自己手动调参，生成自己所需要的模型文件。

利用所述预训练模式对所述算法模型进行参数设置，改变机器学习算法构建过于专业化倾向，使非机器学习的研究人员也能利用该框架实现机器学习算法的数据输入、模型选择、参数调优、结果分析等功能，从而降低机器学习在机器人作业大数据领域的应用门槛，促进机器学习算法在该领域的广泛应用。

输出所述算法模型的训练和测试结果，利用训练好的算法模型对验证集中的数据进行检测，并且将结果输入到可视化层，以便用户查看数据检测结果。

在本实施例中，可以根据用户选择的需要训练的特征，在所述算法模型库中选择多个与所述特征对应的算法模型，分别利用训练好的算法模型对所述验证集中机器人作业数据中进行特征分析，得出不同的算法训练模型的对验证集数据分析的输出结果。并将与各个算法模型对应的分析结果展示在所述人机交互界面中，以便于用于对算法分析结果进行比对，通过分析算法模型的准确率、召回率、roc曲线、混淆矩阵结果，实现对所述数据分析模块中的算法模型进行评估。

通过所述交互界面可以选择将训练好的算法模型存储或丢弃，如果选择存储，进行保存，将会指定存储到大数据平台的指定固定位置，方便以后调用模型。

本实施例所提供的分析可视化模块利用可见光、红外线图像的层级展现技术，并实现数据集所需的简单用户交互功能，服务于智能机器人作业流程中涉及到的业务监控、调度、会展演示等多场景使用需求；实现对不同评测算法的有效展示方法。研究不同图像识别算法在相同和不同评价算法下的对比展现方法，同时通过可视化技术发现机器学习中的各类问题，如数据脏乱，过度训练，过度调优，维度灾难等。

本发明实施例中所提供的机器人作业数据分析服务器，结合南方电网公司机器人作业实际场景与应用需求，调研典型机器人作业场景下的视觉数据类型与特点，研究机器人作业数据分析和应用的需求；研究物理上分散的基础设施和计算资源的适配集成技术以及针对物理上分散、多厂商异构的基础设施资源进行适配和集成，形成标准化的采集、存储、分析的系统机器人作业数据分析服务器，为所述机器人作业数据自动、灵活的配置和管理和提高计算资源的利用效率、敏捷性与可靠性提供技术方案。利用结构化与非结构化数据存储技术以及分布式检索等关键技术，实现了大数据索引智能检索与实时分析要求。

本发明实施例所所提供的数据分析模块根据电网机器人作业数据的多种类(可见光、红外、紫外、点云、文本)、多来源(有人机、无人机、机器人、在线监测)的特性，构建了可动态配置的机器学习算法库，提供便捷的数据接入和数据展现服务。利用机器学习算法库的聚类算法、分类算法、回归算法、降维算法，实现了电力设备安全隐患和异常的快速识别、定位、诊断和数字化管理。且本发明实施例所提供的机器人作业数据分析服务器，可以针对不同的机器学习算法，研究并行计算、流式计算等技术适用性，深入研究传统机器学习算法进行并行计算、流式计算改造的方法。

利用本发明实施例所提供的机器人作业数据分析服务器，集成图像智能分析通用机器学习和深度学习算法，为电网作业人员提供友好、便捷的算法配置环境，对大量、多样、场景复杂的电网作业数据进行挖掘分析。

请参考图3，图3为本发明所提供的机器人作业数据分析的方法的第一种具体实施例的流程图；具体操作步骤如下：

步骤s301：利用电网机器人采集机器人作业数据；

步骤s302：根据所述机器人作业数据的类别分布式存储所述机器人作业数据；

步骤s303：根据用户选择的需要训练的特征及在预先建立的算法库中选择的算法模型，利用完成训练后的算法模型对所述机器人作业数据进行特征分析，得到分析结果。

本实施例的机器人作业数据分析的方法用于实现前述机器人作业数据分析服务器，因此机器人作业数据分析的方法中的具体实施方式可见前文中的机器人作业数据分析服务器的实施例部分，在此不再赘述。

以上对本发明所提供的机器人作业数据分析服务器以及机器人作业数据分析的方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。