本发明涉及信号与信息处理技术领域，具体涉及一种电力无人机和机器人图像数据规范化人工智能分析系统。
背景技术：
电力无人机和机器人巡检是电网巡检的重要手段之一，广泛应用于变电站、输电线路，巡检后能回传大量视频和图像数据。然而无人机和机器人巡检拍摄图像存在一定的缺陷，例如大量重复图像，大量低质量图像，大量未配准的红外和可见光图像等，需要特定的图像处理方法后方能利用。同时，大部分无人机和机器人针对变电站与输电线路的视频监控采集系统都是单独对视频图像数据进行简单的存储，并没有进行统一的汇总整理与归类，而且数据保存有时效，超过时间后会对所有数据统一删除，不利于数据的利用。
人工智能和深度学习是先进的自动化领域科学技术手段，近年来各种深度卷积神经网络(如lenet、alexnet、vgg、resnet、xnception等)层出不穷，广泛应用于图像分类、图像去重等计算机视觉领域。电力行业相关业务部门存在迫切的无人机和机器人图像数据规范化和人工智能分析需求，但是目前尚未见针对无人机和机器人图像数据规范化人工智能分析的应用。
为解决现有无人机和机器人巡检数据存在的集中存储和数据规范化智能应用问题，本专利发明提供了一种新的、有效的解决方法。
技术实现要素：
为解决现有技术中的不足，本发明提供一种电力无人机和机器人图像数据规范化人工智能分析系统，以电力无人机和机器人图像、视频数据为对象，通过低质量图像数据清洗、数据去重、数据配准、视频编解码等方法实现数据的规范化，对规范化后的数据进行标签分类的人工智能分析，提出一种基于深度卷积神经网络模型的图像数据清洗算法和标签分类算法，工程实践表明算法有效，准确率高。
为了实现上述目标，本发明采用如下技术方案：一种电力无人机和机器人图像数据规范化人工智能分析系统，其特征在于，包括数据导入模块、数据存储模块、数据规范化模块、标签分类模块、分析算法模块和数据访问模块；外部无人机或机器人平台的图像或视频数据及其关联信息首先经过数据导入模块存入数据存储模块，然后经过数据规范化模块调用分析算法模块提供的低质量图像数据清洗、数据去重、数据配准、视频编解码算法进行规范化处理，根据处理结果更新数据存储模块内的图像或视频数据；将经过数据规范化模块处理的图像和视频数据经过标签分类模块调用分析算法模块提供的标签分类算法打上标签，标签信息存储于数据存储模块；数据访问模块用于检索、查询、下载或展示数据存储模块中的数据，同时供无人机和机器人平台调用。
前述的一种电力无人机和机器人图像数据规范化人工智能分析系统，其特征在于，所述低质量图像数据清洗是指去除无人机或机器人巡检时拍摄的像素过低、运动模糊、光线不足的低质量图像，算法具体步骤包括：
(1)构造低质量图像样本库，样本包括无人机和机器人拍摄的电力图像和其对应的分数，分数按图片质量的好坏定义，从0，1，2，…9共计10类，每类样本数量均等，不少于5000张；清晰的图片为最高分9分，图像像素过低、运动模糊、光线不足，则质量低、分数低，最低分为0分；
(2)构造基于深度卷积神经网络的低质量图像数据清洗的网络模型，网络模型最后一层为均方根误差函数；
(3)输入低质量图像样本到网络第一层，训练该网络模型，直到得到满意的网络模型参数；
(4)具体应用时，输入测试图像到网络模型，得到该测试图像的分数，设定低质量图像分数的阈值，删除分数低于阈值的低质量图像。
前述的一种电力无人机和机器人图像数据规范化人工智能分析系统，其特征在于，所述标签分类是指将经过清洗之后的图像或经过解码转码后的视频打上分类标签，算法的具体步骤为：
(1)构造标签分类图像样本库，样本包括图片和对应的标签；标签指电力图像中主体的内容名称，包括变电站场景下的隔离开关、表计、变压器，输电线路场景下的鸟巢、树木、违建、覆冰导线、锈蚀金具、大型车辆，每类不少于5000张图像；标签分类图像样本库的标签和图像可以根据业务的增加而扩展；
(2)构造一个基于深度卷积神经网络的标签分类网络模型，该网络模型最后一层为交叉熵代价函数；
(3)输入标签分类图像样本到网络第一层，训练网络模型，直到得到满意的网络模型参数；
(4)具体应用时，输入测试图像到网络模型，得到该测试图像的标签。
前述的一种电力无人机和机器人图像数据规范化人工智能分析系统，其特征在于，所述深度卷积神经网络结构具体包括：
第1层为卷积层，步长为1，输入的大小为224×224×3，采用卷积核3×3；
第2层为卷积层，步长为1，输入的大小为224×224×64，采用卷积核3×3；
第3层为最大池化层，步长为2，输入的大小为224×224×64，采用池化核2×2；
第4层为卷积层，步长为1，输入的大小为112×112×64，采用卷积核3×3；
第5层为卷积层，步长为1，输入的大小为112×112×128，采用卷积核3×3；
第6层为最大池化层，步长为2，输入的大小为112×112×128，采用池化核2×2；
第7层为卷积层，步长为1，输入的大小为56×56×128，采用卷积核3×3；
第8层为卷积层，步长为1，输入的大小为56×56×256，采用卷积核3×3；
第9层为最大池化层，步长为2，输入的大小为56×56×256，采用池化核2×2；
第10层为卷积层，步长为1，输入的大小为28×28×256，采用卷积核3×3；
第11层为卷积层，步长为1，输入的大小为28×28×512，采用卷积核3×3；
第12层最大池化层，步长为2，输入的大小为28×28×512，采用池化核2×2；
第13层为卷积层，步长为1，输入的大小为14×14×512，采用卷积核3×3；
第14层为卷积层，步长为1，输入的大小为14×14×512，采用卷积核3×3；
第15层最大池化层，步长为2，输入的大小为14×14×512，采用池化核2×2；
第16层为全连接层，输入的大小为7×7×512，输出的大小为1024；
第17层为全连接层，输入的大小为1024，输出的大小为1024；
第18层为损失函数层，输入的大小为1024，使用均方根误差函数作为低质量图像数据清洗的损失函数，使用交叉熵函数作为标签分类的损失函数。
前述的一种电力无人机和机器人图像数据规范化人工智能分析系统，其特征在于，所述数据导入模块用于导入无人机和机器人拍摄的图像或视频数据以及对应的关联信息。
前述的一种电力无人机和机器人图像数据规范化人工智能分析系统，其特征在于，所述关联信息包括导入时记录上传时间、视图类别、文件来源、专业类型，所述视图类别包括图像或视频，文件来源包括无人机或机器人，专业类型是被拍摄的电力场景，包括变电站、换流站、输电线路。
前述的一种电力无人机和机器人图像数据规范化人工智能分析系统，其特征在于，所述分析算法模块包括低质量图像数据清洗、数据去重、数据配准、视频编解码、标签分类算法的人工智能算法包，以服务形式提供接口供数据规范化模块和标签分类模块调用，算法执行结果也以服务形式通过接口传送给数据规范化模块和标签分类模块。
前述的一种电力无人机和机器人图像数据规范化人工智能分析系统，其特征在于，所述数据去重是指去掉高度相似的图像，针对无人机、机器人巡检拍摄存在大量重复图像的情况，利用基于特征点匹配的重复图像筛选技术，去除冗余的图像数据。
前述的一种电力无人机和机器人图像数据规范化人工智能分析系统，其特征在于，所述数据配准为同一场景下的红外图像和可见光图像配对，利用特征提取、特征匹配、变换模型估计、坐标变换与插值技术将红外光学多传感图像自动配准。
前述的一种电力无人机和机器人图像数据规范化人工智能分析系统，其特征在于，所述视频编解码将上传的原始格式的视频格式转换为标准的h.264格式。
本发明所达到的有益效果：
本发明设计了一套针对电力无人机和机器人采集数据的数据规范化人工智能分析系统，包括针对图像数据的低质量图像数据清洗、数据去重、数据配准、标签分类方法和针对视频数据的视频编解码、标签分类方法，通过人工智能算法的应用可以高效处理无人机和机器人采集的数据，减少人工处理数据的时间和精力；
本发明提出了一种深度卷积神经网络模型用于实现低质量图像数据清洗和标签分类两种算法，该模型由卷积层、最大池化层、全连接层和损失函数层构成，结构简洁明了，算法上易于实现，可满足低质量图像数据清洗和标签分类的功能，在本系统中得到充分利用，取得了良好的算法实施效果；
本发明提出了针对电力无人机和机器人巡检视频图像数据的存储和处理方案，可以实现数据统一集中存储，有利于数据运用，具备工程可操作性。系统中的数据来自外部无人机和机器人平台，外部无人机和机器人平台以服务的方式访问经本系统处理的图像和视频数据，实现数据的有机流通和高效运用；
本发明提出的无人机和机器人图像数据规范化人工智能分析功能，可以解决无人机和机器人采集视频和图像的数据处理问题，减轻人工校核成本，实现初步自动智能化应用，具备较好的应用前景。
附图说明
图1是本发明系统架构框图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本系统中，图像和视频数据为无人机和机器人拍摄的非结构化数据，图像和视频的关联信息为结构化数据，这些关联信息包括导入时记录上传时间、视图类别、文件来源、专业类型。下文提到的非结构化数据等价于图像和视频数据，结构化数据等价于图像和视频的关联信息。视图类别指图像或视频，文件来源指无人机或机器人，专业类型指被拍摄的电力场景，如变电站、换流站、输电线路等。
如图1所示，一种电力无人机和机器人图像数据规范化人工智能分析系统，包括数据导入模块、数据存储模块、数据规范化模块、标签分类模块、分析算法模块和数据访问模块。外部无人机或机器人平台的图像或视频数据及其关联信息首先经过数据导入模块存入数据存储模块，然后经过数据规范化模块调用分析算法模块提供的低质量图像数据清洗、数据去重、数据配准、视频编解码算法进行规范化处理，根据处理结果更新数据存储模块内的图像或视频数据。将经过数据规范化模块处理的图像和视频数据经过标签分类模块调用分析算法模块提供的标签分类算法打上标签，标签信息存储于数据存储模块。数据访问模块用于查询、下载或展示数据存储模块中的数据，同时供无人机和机器人平台调用。
本发明提出一种深度卷积神经网络作为系统的低质量图像数据清洗和标签分类算法的核心，其结构如下所示：
第1层为卷积层，步长为1，输入的大小为224×224×3，采用卷积核3×3；
第2层为卷积层，步长为1，输入的大小为224×224×64，采用卷积核3×3；
第3层为最大池化层，步长为2，输入的大小为224×224×64，采用池化核2×2；
第4层为卷积层，步长为1，输入的大小为112×112×64，采用卷积核3×3；
第5层为卷积层，步长为1，输入的大小为112×112×128，采用卷积核3×3；
第6层为最大池化层，步长为2，输入的大小为112×112×128，采用池化核2×2；
第7层为卷积层，步长为1，输入的大小为56×56×128，采用卷积核3×3；
第8层为卷积层，步长为1，输入的大小为56×56×256，采用卷积核3×3；
第9层为最大池化层，步长为2，输入的大小为56×56×256，采用池化核2×2；
第10层为卷积层，步长为1，输入的大小为28×28×256，采用卷积核3×3；
第11层为卷积层，步长为1，输入的大小为28×28×512，采用卷积核3×3；
第12层最大池化层，步长为2，输入的大小为28×28×512，采用池化核2×2；
第13层为卷积层，步长为1，输入的大小为14×14×512，采用卷积核3×3；
第14层为卷积层，步长为1，输入的大小为14×14×512，采用卷积核3×3；
第15层最大池化层，步长为2，输入的大小为14×14×512，采用池化核2×2；
第16层为全连接层，输入的大小为7×7×512，输出的大小为1024；
第17层为全连接层，输入的大小为1024，输出的大小也为1024；
第18层为损失函数层，输入的大小为1024，输出的大小根据算法适配，使用均方根误差函数作为低质量图像数据清洗的损失函数，使用交叉熵函数作为标签分类的损失函数。
该深度卷积神经网络的主要特点有：
(1)整个网络包含18层，其中卷积层有10层，池化层有5层，全连接层有2层，每2个卷积层后紧跟1个池化层；
(2)网络采用的卷积核大小均为3×3，池化核大小均为2×2；
(3)网络最后的一层即损失函数层具备可适配性，输出的大小根据应用目标适配，使用均方根误差函数作为低质量图像数据清洗的损失函数，使用交叉熵代价函数作为标签分类的损失函数，满足不同的业务需求。
该网络的主要优势有：
(1)结构简洁明了，算法上易于实现；
(2)网络层数不深，卷积核大小较小，既可以学习到深层次的图像特征，又不会占用过多的计算资源；
(3)网络可满足低质量图像数据清洗和标签分类的功能，在本系统中得到充分利用。
低质量图像数据清洗算法的具体步骤为：
(1)构造低质量图像样本库，样本包括无人机和机器人拍摄的电力图像和其对应的分数，分数按图片质量的好坏定义，从0，1，2，…9共计10类，每类样本数量均等，不少于5000张；清晰的图片为最高分9分，图像像素过低、运动模糊、光线不足，则质量低、分数低，最低分为0分；
(2)构造低质量图像数据清洗的网络模型，该网络模型即为上文介绍的深度卷积神经网络，其最后一层为均方根误差函数；
(3)输入低质量图像样本到网络第一层，训练该网络模型，直到得到满意的网络模型参数；
(4)具体应用时，输入测试图像到网络模型，得到该测试图像的分数。设定低质量图像分数的阈值(例如5分)，删除分数低于阈值的低质量图像；
标签分类算法的具体步骤为：
(1)构造标签分类图像样本库，样本包括图片和对应的标签；标签指电力图像中主体的内容名称，包括变电站场景下的隔离开关、表计、变压器，输电线路场景下的鸟巢、树木、违建、覆冰导线、锈蚀金具、大型车辆共计9类，每类不少于5000张图像；标签分类图像样本库的标签和图像可以根据业务的增加而扩展；
(2)构造一个标签分类的网络模型，该网络模型即为上文介绍的深度卷积神经网络，其最后一层为交叉熵代价函数；
(3)输入标签分类图像样本到网络第一层，训练网络模型，直到得到满意的网络模型参数；
(4)具体应用时，输入测试图像到网络模型，得到该测试图像的标签。
数据导入模块，用于导入无人机和机器人拍摄的图像或视频数据。数据导入的内容包括图像和视频数据，以及这些数据对应的非结构化数据，即关联信息。本模块获取无人机和机器人电力系统的原始图像和视频数据及其关联信息，作为后续处理的数据源。导入时记录上传时间、视图类别、文件来源、专业类型，即关联信息，视图类别指图像或视频，文件来源指无人机或机器人，专业类型指被拍摄的电力场景，如变电站、换流站、输电线路等。
数据存储模块，用于存储图像和视频数据以及图像和视频对应的关联信息。
数据规范化模块，处理的数据来自数据导入模块导入的图像或视频，处理流程包括针对图像数据的低质量图像数据清洗、数据去重、数据配准方法，以及针对视频数据的视频编解码方法。数据存储模块更新经过规范化处理后的图像或视频数据。
标签分类模块，将经过数据规范化模块处理的图像和视频数据打上标签信息。该标签信息存储于数据存储模块。
分析算法模块，包括低质量图像数据清洗、数据去重、数据配准、视频编解码、标签分类算法的人工智能算法包，以服务形式提供接口供数据规范化模块和标签分类模块调用，算法执行结果也以服务形式通过接口传送给数据规范化模块和标签分类模块。
数据访问模块，包括数据检索、数据下载和数据展示子功能。
数据检索是指关键词检索和高级检索功能，检索对象为数据存储模块存储的无人机和机器人拍摄的图像和视频数据。关键词检索指单一词汇检索。高级检索指上传时间、视图类别、文件来源、专业类型的单项或多项组合形成的检索条件。
数据下载是指下载数据检索的检索结果到本地，支持批量下载，下载内容包括图像和视频数据及其关联信息。
数据展示是指按照变电站、输电线路、换流站等专业类型展示图像和视频。
低质量图像数据清洗是指去除无人机和机器人巡检时拍摄的像素过低、运动模糊、光线不足的低质量图像。基于上文提到的低质量图像数据清洗算法，过滤低质量无用图像。在本系统执行低质量图像数据清洗功能的步骤为：
(1)选择需要处理的图像；
(2)选择“低质量图像数据清洗”算法，拟定任务名称，设定低质量图像分数的阈值(例如5分)，确认执行任务；
(3)查看任务执行进度，任务执行完毕后查看任务执行结果；
(4)查看算法检测出的低质量图像，勾选需要删除的图像，执行“一键清洗”功能，从数据存储模块中删除。
数据去重是指去掉高度相似的图像。针对无人机、机器人巡检拍摄存在大量重复图像的情况，利用基于特征点匹配的重复图像筛选技术，去除冗余的图像数据。在本系统执行数据去重功能的步骤为：
(1)选择需要处理的图像；
(2)选择“图像去重”算法，拟定任务名称，确认执行任务；
(3)查看任务执行进度，任务执行完毕后查看任务执行结果；
(4)对比原始图像集和算法检测出的重复图像，勾选重复图像，执行“一键清洗”功能，从数据存储模块中删除。
数据配准为同一场景下的红外图像和可见光图像配对，利用特征提取、特征匹配、变换模型估计、坐标变换与插值技术将红外光学多传感图像自动配准。在本系统执行数据配准功能的步骤为：
(1)选择需要处理的图像；
(2)选择“数据配准”算法，拟定任务名称，确认执行任务；
(3)查看任务执行进度，任务执行完毕后查看任务执行结果；
(4)若红外图像和可见光图像配对准确，则确认配对信息，将配对信息存入数据存储模块。
视频编解码将上传的原始格式的视频格式转换为标准的h.264格式(一种数字视频压缩格式)。针对目前无人机、机器人采集的视频数据格式不一、编解码效率低的问题，利用分布式多视频数据流即时解码和转码技术，实现视频编解码，统一视频格式，方便后续分析算法模块使用。在本系统执行视频编解码功能的步骤为：
(1)选择需要处理的视频；
(2)选择“视频编解码”算法，拟定任务名称，确认执行任务；
(3)查看任务执行进度，任务执行完毕后查看任务执行结果；
(4)对比转码前后的视频格式，确认用转码后的视频替代转码前的视频，更新数据存储模块中的视频数据。
标签分类将经过清洗之后的图像或经过解码转码后的视频打上分类标签，由深度学习和图像处理技术支撑。针对无人机巡检的现场大视角、小视角高清采集图像和机器人巡视点图像的特点，基于上文提到的标签分类算法，将图像或视频打上标签。在本系统执行标签分类功能的步骤为：
(1)选择需要处理的图像或视频；
(2)选择“标签分类”算法，拟定任务名称，确认执行任务；
(3)查看任务执行进度，任务执行完毕后查看任务执行结果；
(4)若图像或视频分类准确，则确认接收标签，将标签信息存入数据存储模块。
本发明设计了一套针对电力无人机和机器人采集数据的数据规范化人工智能分析系统，包括针对图像数据的低质量图像数据清洗、数据去重、数据配准、标签分类方法和针对视频数据的视频编解码、标签分类方法，通过人工智能算法的应用可以高效处理无人机和机器人采集的数据，减少人工处理数据的时间和精力。
本发明提出了一种深度卷积神经网络模型用于实现低质量图像数据清洗和标签分类两种算法，该模型由卷积层、最大池化层、全连接层和损失函数层构成，结构简洁明了，算法上易于实现，可满足低质量图像数据清洗和标签分类的功能，在本系统中得到充分利用，实验表明取得了良好的算法实施效果。
本发明提出了针对电力无人机和机器人巡检视频图像数据的存储和处理方案，可以实现数据统一集中存储，有利于数据运用，具备工程可操作性。系统中的数据来自外部无人机和机器人平台，外部无人机和机器人平台以服务的方式访问经本系统处理的图像和视频数据，实现数据的有机流通和高效运用。
本发明提出的无人机和机器人图像数据规范化人工智能分析功能，可以解决无人机和机器人采集视频和图像的数据处理问题，减轻人工校核成本，实现初步自动智能化应用，具备较好的应用前景。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。