一种营销现场作业状态检测方法及系统与流程

1.本发明涉及一种营销现场作业状态检测方法及系统，属于电力计量技术领域。


背景技术：

2.随着泛在电力物联网的建设及智能终端设备的快速发展，智能传感设备、移动终端及视频监控设备在电力系统中得到广泛应用，能够采集到高质量的营销现场作业图像数据。如何从这些海量数据中挖掘有价值的信息且有效利用，给营销现场作业状态检测提出了新的挑战。
3.营销现场作业人员主要从事用电检查、装表接电、业扩勘查等工作。现有营销现场作业存在工作环境不安全、作业不规范等现象，如现场作业人员的穿戴是否符合安全规范，新装计量装置接线是否符合规范等。这些不安全因素和不规范行为得不到及时处理，不仅影响采集系统的抄表成功率等业务，而且工作环境及现场设备均存在安全隐患。
4.传统营销现场作业状态检测采用人工的形式进行检测，工作效率低下、检测质量无法保证。传统机器学习的标注和分类算法挖掘图片信息，性能低下。目前主流的物体检测算法r-cnn、fast r-cnn、faster r-cnn均需要大量的训练数据，且准确率的提升有限，且定位优化能力有效，无法满足营销现场作业状态检测的需求。
5.为进一步提升营销现场作业规范化管理水平及安全管控机制，亟需开展营销现场作业状态自动检测技术，实现营销现场作业图像有效高质量的标注和分类，营销现场作业状态自动检测，提前发现作业现场安全隐患及不规范问题，及时预警。除提升采集系统采集成功率等指标，现场工作人员可以有针对性的进行故障抢修，极大地减少工作量，提升工作效率，避免电力安全事故的发生。


技术实现要素：

6.本发明所要解决的技术问题是克服现有技术的缺陷，提供一种营销现场作业状态检测方法及系统。
7.为解决上述技术问题，本发明提供一种营销现场作业状态检测方法，包括：采集营销现场作业图片；对营销现场作业图片进行图像增强以及降低检测复杂度的预处理；将预处理后的图片输入到预先训练好的基于迁移学习与mask-rcnn算法的检测模型，输出检测预测结果。
8.进一步的，所述基于迁移学习与mask-rcnn算法的检测模型的训练过程，包括：采集历史营销现场作业图片；对历史营销现场作业图片进行图像增强以及降低检测复杂度的预处理；利用数据增强方法对预处理后的历史营销现场作业图片进行数据扩充，得到扩充数据集，对扩充数据集中的营销现场作业图片中的异常信息进行标注，得到json文件格式的营销现场作业不安全、接线不规范特征；
将标注后的json文件转换成mask文件，并扩充数据集按预设比例分成训练集和测试集；基于mask-rcnn物体检测框架，利用迁移学习在coco数据集预训练的基模型上，搭建基于迁移学习与mask-rcnn算法的检测模型；利用转换成mask文件的训练集训练基于迁移学习与mask-rcnn算法的检测模型，并利用转换成mask文件的测试集对训练后的检测模型进行验证，确定训练好的基于迁移学习与mask-rcnn算法的检测模型。
9.进一步的，所述迁移学习与mask-rcnn算法的检测模型包括： resnet 101+ fpn网络和rpn++roialign网络；resnet 101+ fpn网络为检测模型的主干网络，用于提取目标特征，rpn++roialign网络，用于对目标特征进行过滤，获取检测预测数据。
10.进一步的，采用适用于图像分割任务的深度学习图像标注工具labelme对扩充数据集中的营销现场作业图片中的异常信息进行标注。
11.进一步的，所述利用转换成mask文件的训练集训练基于迁移学习与mask-rcnn算法的检测模型，包括：步骤1，将营销现场作业标注过的图片通过mask掩码制作转换成mask图片输入到resnet 101+fpn神经网络中，提取训练样本图片的特征图；步骤2，针对特征图中的每一个点设定预定的兴趣区域roi，得到多个候选roi；步骤3，将步骤2中获得的候选roi送入区rpn进行二值分类和bb回归过滤，过滤掉一部分候选roi；步骤4，对步骤3过滤后剩余的roi进行roialign操作，得到对齐之后的候选roi；步骤5，重复3、4步骤，直至训练完所有样本，得出该训练集下训练得到的检测模型。
12.一种营销现场作业状态检测系统，包括：采集模块，用于采集营销现场作业图片；预处理模块，用于对营销现场作业图片进行图像增强以及降低检测复杂度的预处理；检测模块，用于将预处理后的图片输入到预先训练好的基于迁移学习与mask-rcnn算法的检测模型，输出检测预测结果。
13.进一步的，所述检测模块，包括：检测模型训练单元，用于采集历史营销现场作业图片；对历史营销现场作业图片进行图像增强以及降低检测复杂度的预处理；利用数据增强方法对预处理后的历史营销现场作业图片进行数据扩充，得到扩充数据集，对扩充数据集中的营销现场作业图片中的异常信息进行标注，得到json文件格式的营销现场作业不安全、接线不规范特征；将标注后的json文件转换成mask文件，并扩充数据集按预设比例分成训练集和测试集；基于mask-rcnn物体检测框架，利用迁移学习在coco数据集预训练的基模型上，搭建基于迁移学习与mask-rcnn算法的检测模型；
利用转换成mask文件的训练集训练基于迁移学习与mask-rcnn算法的检测模型，并利用转换成mask文件的测试集对训练后的检测模型进行验证，确定训练好的基于迁移学习与mask-rcnn算法的检测模型。
14.进一步的，所述迁移学习与mask-rcnn算法的检测模型包括： resnet 101+ fpn网络和rpn++roialign网络；resnet 101+ fpn网络为检测模型的主干网络，用于提取目标特征，rpn++roialign网络，用于对目标特征进行过滤，获取检测预测数据。
15.进一步的，所述检测模型训练单元，用于采用适用于图像分割任务的深度学习图像标注工具labelme对扩充数据集中的营销现场作业图片中的异常信息进行标注。
16.进一步的，所述检测模型训练单元，用于利用转换成mask文件的训练集训练基于迁移学习与mask-rcnn算法的检测模型，包括：步骤1，将营销现场作业标注过的图片通过mask掩码制作转换成mask图片输入到resnet 101+fpn神经网络中，提取训练样本图片的特征图；步骤2，针对特征图中的每一个点设定预定的兴趣区域roi，得到多个候选roi；步骤3，将步骤2中获得的候选roi送入区rpn进行二值分类和bb回归过滤，过滤掉一部分候选roi；步骤4，对步骤3过滤后剩余的roi进行roialign操作，得到对齐之后的候选roi；步骤5，重复3、4步骤，直至训练完所有样本，得出该训练集下训练得到的检测模型。
17.本发明所达到的有益效果：本发明考虑基于迁移学习方法与mask-rcnn算法相结合，在预训练模型的基础上，通过营销现场作业训练样本集再进行样本训练，不但可以减少训练人力物力的成本，提升训练效率，而且可以有效提升营销现场作业状态检测模型的整体检测精度及模型性能。
附图说明
18.图1是本发明方法的流程及模型训练架构图。
具体实施方式
19.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
20.如图1所示，一种基于迁移学习与mask-rcnn算法的营销现场作业状态检测方法，包括以下步骤：步骤1，采集营销现场作业图像信息。现场作业人员内网使用营销现场作业app，外网使用i国网、网上国网等app，对现场作业图片、视频进行实时采集。
21.步骤2，图像预处理。由于采集回来的图片会存在曝光过度、低亮度、光照不均等问题，因此本专利首先采用图像增强的方法对采集回来的质量较差的图像进行预处理，以改善图像质量；其次通过颜色、位置、边缘等特征判断现场作业的范围、缩小检测区域，降低检测复杂度。
22.步骤3，图像集标注，特征提取。由于需要将采集回来的营销现场作业状态图像中
的不符合作业规范、不符合安全操作的信息进行特征提取。本专利采用适用于图像分割任务的深度学习图像标注工具labelme对营销现场作业状态图像中的异常信息进行标注，以获取营销现场作业不安全、接线不规范等特征。
23.深度学习图像标注工具labelme是一个在线图像标注的工具，适用于目标检测和图像分类等任务的标注要求。labelme 通过圆形、矩形、多边形、直线和点等多种方式对图像进行标注，以json文件存储标注的信息。与传统图像标注工具相比，其优势在于可随时随地使用，且不需要安装大型数据集。
24.步骤4，数据转换，mask掩码制作。由于labelme标注所保存的是xxx.json文件，而本专利选择mask-rcnn模型进行训练，需要将json文件转换成mask文件。因此需要对图像的异常特征的标注结果进行特征转换。
25.步骤5，数据增强。由于现场收集回来的高质量的图像信息相对较少，本专利运用图像缩放、翻转、裁剪、亮度变换等数据增强方法扩充数据集。同时，在数据增强的过程中对部分图片进行重新标注。
26.步骤6，数据集拆分。将扩充过的图像集按比例拆分成训练集和测试集。其中训练集用于营销现场作业状态监测模型训练；测试集用于对训练后的模型进行验证。
27.步骤7，模型搭建。本专利选择mask-rcnn算法，利用resnet 101+fpn搭建主干网络，构建营销现场作业状态智能检测模型。
28.mask-rcnn沿用faster r-cnn可以快速精准完成目标检测、fcn可以精准进行语义分割的特性，在faster r-cnn算法的基础上增加fcn来产生对应的mask分支，对物体目标进行高质量实例分割。
29.卷积神经网络的特征提取器有很多种，针对不同检测目标的特征属性可以选择不同的特征提取器。本专利检测目标中营销现场作业操作不规范操作、不安全等分布规律、排列方式千差万别。为更好地处理适合自身数据量的训练样本，使训练模型能充分学习到营销现场作业规范操作、安全操作的目标特征，本专利选择mask-rcnn算法，利用resnet 101（101层深度残差网络）+fpn（特征金字塔网络）搭建主干网络来提前目标特征，利用rpn（区域候选网络）+roialign（区域特征对齐）对目标特征进行过滤，大幅度提高网络性能，以高质量地对营销现场作业中的不规范接线、不安全操作进行检测，主要包括以下几个步骤：（1）将营销现场作业已经标注过的图片和mask掩码制作的图片输入到resnet 101fpn神经网络中，提取训练样本图片的特征图；（2）针对特征图中的每一个点设定预定的roi，从而获得多个roi；（3）将这些候选roi送入rpn进行二值分类和bb回归过滤；（4）对剩余的roi进行roialign操作。
30.（5）重复3、4步骤，直至训练完所有样本，得出最终营销现场检测模型。
31.步骤8，模型训练。基于划分出的训练集，本专利在mask-rcnn物体检测框架基础上，利用迁移学习的方法，将营销现场作业状态检测数据集在coco数据集预训练的基模型上，再进行模型训练，用训练后的网络实现复杂现场作业环境下的状态检测。
32.传统的机器学习对训练集和测试集有着很高的要求，即：训练集和测试集必须服从相同的概率分布，且需要有充足的标注数据才可以用于训练模型。如果标记质量不好，会
导致学习模型出现严重的过拟合问题。本专利中营销现场作业状态所采集回来的图像信息受各种条件限制不完全满足条件。
33.迁移学习利用源域数据影响目标域，运用在一个环境中学习到的知识和技能，轻松地应用到不同但是相关领域的新环境中，找到源域和目标域关系之间的纽带，挖掘源域和目标域间不变的结构和特征，进行信息共享和迁移，不需要等到获得同领域足够的标记数据才可以训练，可以有效解决以下几个问题：1）有效解决训练集和测试集概率分布不相同的问题；2）有效解决小数据集问题；3）有效解决个性化问题。
34.因此，本专利考虑基于迁移学习方法，选择专为图像检测、分割人体关键点检测、语义分割而设计的coco预训练模型。以营销现场作业状态为数据源，在主流的tensorflow深度学习框架中，与迁移学习相结合，选择coco与训练集进行多线程迭代训练模型。在预训练模型的基础上，通过营销现场作业训练样本集再进行样本训练，不但可以减少训练人力物力的成本，提升训练效率，而且可以有效提升营销现场作业状态检测模型的整体检测精度及模型性能。
35.步骤9，模型验证。基于训练出来的营销现场作业状态智能检测模型，基于划分出来的测试集，进行预测，自动检测现场作业人员违规操作、作业不安全等问题。
36.步骤10，预测结果转换。对预测出的mask进行转换，转换成可以识别的标记。
37.相应的本发明还提供一种营销现场作业状态检测系统，包括：采集模块，用于采集营销现场作业图片；预处理模块，用于对营销现场作业图片进行图像增强以及降低检测复杂度的预处理；检测模块，用于将预处理后的图片输入到预先训练好的基于迁移学习与mask-rcnn算法的检测模型，输出检测预测结果。
38.所述检测模块，包括：检测模型训练单元，用于采集历史营销现场作业图片；对历史营销现场作业图片进行图像增强以及降低检测复杂度的预处理；利用数据增强方法对预处理后的历史营销现场作业图片进行数据扩充，得到扩充数据集，对扩充数据集中的营销现场作业图片中的异常信息进行标注，得到json文件格式的营销现场作业不安全、接线不规范特征；将标注后的json文件转换成mask文件，并扩充数据集按预设比例分成训练集和测试集；基于mask-rcnn物体检测框架，利用迁移学习在coco数据集预训练的基模型上，搭建基于迁移学习与mask-rcnn算法的检测模型；利用转换成mask文件的训练集训练基于迁移学习与mask-rcnn算法的检测模型，并利用转换成mask文件的测试集对训练后的检测模型进行验证，确定训练好的基于迁移学习与mask-rcnn算法的检测模型。
39.所述迁移学习与mask-rcnn算法的检测模型包括： resnet 101+ fpn网络和rpn++roialign网络；
resnet 101+ fpn网络为检测模型的主干网络，用于提取目标特征，rpn++roialign网络，用于对目标特征进行过滤，获取检测预测数据。
40.所述检测模型训练单元，用于采用适用于图像分割任务的深度学习图像标注工具labelme对扩充数据集中的营销现场作业图片中的异常信息进行标注。
41.所述检测模型训练单元，用于利用转换成mask文件的训练集训练基于迁移学习与mask-rcnn算法的检测模型，包括：步骤1，将营销现场作业标注过的图片通过mask掩码制作转换成mask图片输入到resnet 101+fpn神经网络中，提取训练样本图片的特征图；步骤2，针对特征图中的每一个点设定预定的兴趣区域roi，得到多个候选roi；步骤3，将步骤2中获得的候选roi送入区rpn进行二值分类和bb回归过滤，过滤掉一部分候选roi；步骤4，对步骤3过滤后剩余的roi进行roialign操作，得到对齐之后的候选roi；步骤5，重复3、4步骤，直至训练完所有样本，得出该训练集下训练得到的检测模型。
42.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
43.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
44.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
45.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
46.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。