一种光伏板标记方法、装置、电子设备及存储介质与流程

1.本发明属于图像识别技术领域，具体地说，涉及一种光伏板标记方法、装置、电子设备及存储介质。


背景技术：

2.在光伏电站中，需要对现有的光伏板进行定期的巡检维护，确保能够正常发电。由于部分光伏电站年代久远，有些光伏板会存在热斑，破裂和隐裂现象。目前，许多电站会使用无人机配合双光摄像机检测光伏板的缺陷，前期采集数据标注出缺陷光伏板的特征，并且利用这些特征训练网络模型用于后续检测光伏板。
3.例如，现有专利文献公开了一种基于深度神经网络的光伏板缺陷检测方法，包括以下步骤：(1)采集光伏板图像样本，制作光伏板缺陷检测模型训练集；(2)利用训练集训练光伏板缺陷检测模型；(3)输入待检测光伏板图像样本；(4)使用特征提取网络得到输入图像的抽象卷积特征；(5)将不同尺度的卷积特征图分别输入到不同的区域生成网络，得到锚框的位置修正坐标偏移量和每个候选框中包含缺陷区域的置信度；(6)利用阈值分割和非极大值抑制过滤候选框；(7)将每个候选框对应的特征图区域输入到感兴趣区域池化层和回归网络，得到候选框的坐标修正偏移量，并计算得到检测框；(8)输出最终检测结果；该方法能有效检测光伏板的缺陷区域。
4.然而，目前基于深度学习的目标检测都是采用一个正矩形框绘制，这样的标记方式具有很大的背景干扰，由于无人机在飞行的过程中航线是不断的变换的，飞行的角度变化会带来光伏板在成像中的角度旋转，采用目标检测的通用矩形框来描述数据就会有很大的噪声。因此，亟需开发一种新的光伏板标记方法。


技术实现要素：

5.针对现有的光伏板识别检测过程采用的正矩形的检测框，具有背景干扰问题，本发明提供一种光伏板标记方法，基于目标分割模型特点，结合目标检测的矩形框修改成使用凸四边形替代的方式标记光伏板，能有效的避免因为光伏板旋转角度带来的数据噪声干扰，用于后续的深度学习技术的模型训练，可以提高模型的检测精度。
6.为解决上述问题，本发明采用如下的技术方案。
7.本发明第一方面提供一种光伏板标记方法，所述方法包括如下步骤：
8.获取待标记图像，识别所述待标记图像的目标物图像，所述目标物图像包括光伏板图像；
9.在所述目标物图像中标记多个顶点；
10.根据顶点位置坐标确定闭合的凸四边形区域，将所述凸四边形区域作为检测框用于目标物标记。
11.作为优选方案，在所述目标物图像中标记顶点位置步骤包括：
12.在所述目标物图像中，围绕目标物图像边缘轮廓选取四个顶点，将所述四个顶点
的坐标按照预定规则进行计算，获取最佳的起始点。
13.作为优选方案，将所述四个顶点的坐标按照预定规则进行计算，获取最佳的起始点步骤包括：
14.获取四个顶点的坐标信息，所述四个顶点为描述矩形光伏板四个角点的坐标，计算四个顶点的边界值；
15.构建所述四个顶点坐标排列组合，分别计算四种坐标排列组合到四个顶点的距离，选取距离最小的组合作为最佳起始点。
16.作为优选方案，所述方法还包括：根据最佳起始点选取顺序，将四个顶点的顺序修改成顺时针的标记方式。
17.作为优选方案，所述根据顶点位置坐标确定闭合的凸四边形区域步骤包括：
18.根据目标物的边缘轮廓上的四个顶点以及最佳起始点选取顺序，构建最优矩形框；
19.计算最优矩形框与水平轴的夹角，获得凸四边形区域检测框。
20.作为优选方案，所述构建最优矩形框步骤包括：
21.根据最佳起始点选取顺序以及目标物的边缘轮廓上的四个顶点，获取初始四边形包围框，根据四边形的相邻两个边生成一个平行四边形原则，获取4组平行四边形；
22.计算所述4组四边形的面积，找到面积最小的四边形的组合方式，作为目标平行四边形；
23.将目标平行四边形转换成矩形框，获得最优矩形框。
24.本发明第二方面提供一种基光伏板缺陷检测方法，包括以下步骤：
25.根据上述的光伏板缺陷检测方法，采集光伏板图像样本，获取光伏板缺陷检测模型训练集；
26.将所述光伏板图像训练集输入卷积神经网络，获得光伏板缺陷检测模型；
27.将待测光伏板图像输入光伏板缺陷检测模型，获得对应的识别结果。
28.本发明第三方面提供一种用于光伏板标记装置，所述装置包括：
29.图像接收模块，其用于获取待标记图像，识别所述待标记图像的目标物图像，所述目标物图像包括光伏板图像；
30.顶点标记模块，其用于在所述目标物图像中标记多个顶点；
31.检测框构建模块，其用于根据顶点位置坐标确定闭合的凸四边形区域，将所述凸四边形区域作为检测框用于目标物标记。
32.本发明第四方面提供一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述的方法。
33.本发明第五方面提供一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述的方法。
34.相比于现有技术，本发明的有益效果为：
35.本发明基于目标分割模型特点，结合目标检测的矩形框修改成使用凸四边形替代的方式标记光伏板，并且计算出这个四边形的最小外包矩形和相对于水平轴的旋转角度，
能有效的避免因为光伏板旋转角度带来的数据噪声干扰，用于后续的深度学习技术的模型训练，可以提高模型的检测精度；另外，本方法对于目标物检测容易能够获取目标物的简易特征，使从背景图像中分给的目标更加精准。
附图说明
36.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。附图中：
37.图1为本发明实施例提供的一种光伏板标记方法流程图；
38.图2是本发明实施例提供的一种光伏板标记装置框图；
39.图3是本发明实施例提供的四边形转换成旋转矩形的示意图；
40.图4图示了根据本技术实施例的电子设备的框图。
具体实施方式
41.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
42.示例性方法
43.如图1所示，一种光伏板标记方法，所述方法包括如下步骤：
44.s110：获取待标记图像，识别所述待标记图像的目标物图像，所述目标物图像包括光伏板图像。
45.具体的，本示例待标记图像是指通过无人机拍摄的包含光伏板的图像，一般还包括一些背景图像如草地等；识别的目标物图像主要是指光伏板图像，这里的识别一般指的通过训练的识别器例如yolo模型等进行识别。
46.s120：在所述目标物区域中标记顶点位置；
47.具体的，在所述目标物图像中，围绕目标物图像边缘轮廓选取四个顶点，将所述四个顶点的坐标按照预定规则进行计算，获取最佳的起始点。其中(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，分别表示四个顶点中第一点、第二点、第三点以及第四点的横纵坐标。
48.在每个光伏板图像的外围轮廓中，标记四个顶点描述目标物所在区域，应当理解本示例中光伏板的标记方式不能有交叉的现象，即标记的四个点是需要形成一个闭合区间。本示例中标记定点方式可以人工手动标记的，也可以是用于标记样本训练得到的标记模型获取的，标记模型期需要大量的标定数据用于学习潜在特征。
49.s130：根据顶点位置坐标确定闭合的凸四边形区域，将所述凸四边形区域作为检测框用于目标物标记。
50.具体的，本示例中凸四边形是指数学中的凸四边形，即没有外角度数大于180
°
的四边形。本示例对于目标物检测易获取目标物的简易特征，使从背景图像中分给的目标更加精准
51.在一个示例中，根据顶点位置坐标确定闭合的凸四边形区域包括如下步骤：
52.s131：将所述四个顶点的坐标按照预定规则进行计算，获取最佳的起始点步骤包括：
53.获取四个顶点的坐标信息，所述四个顶点为描述矩形光伏板四个角点的坐标，计算四个顶点的边界值；
54.构建所述四个顶点坐标排列组合，分别计算四种坐标排列组合到四个顶点的距离，选取距离最小的组合作为最佳起始点。
55.具体的，由于标记的时候起始点是任意的，为了找出检测框的最佳起始位置。需要对上述步骤确定的四个顶点的坐标进行计算获取最佳的起始位置点。
56.本示例给出的最佳起始点是左上角的点。具体的计算方式为：
57.获取四个顶点的坐标，其中描述光伏板四个角点的坐标为(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)。
58.计算四个顶点的边界值x
min
＝min(x1,x2,x3,x4)，y
min
＝min(y1,y2,y3,y4)，x
max
＝max(x1,x2,x3,x4)，y
max
＝max(y1,y2,y3,y4)。该步骤目的是获取四个顶点坐标的横纵坐标的最大值和最小值。
59.其中，点[x
min
,y
min
]为点(x1,y1,x2,y2,x3,y3,x4,y4)外包正矩形框的左上角点，点[x
max
,y
min
]为右上角点，点[x
min
,y
max
]为左下角点，点[x
max
,y
max
]为右下角点。应当理解，对于四个顶点只需要依次连接就能形成一个四边形，同样4个起始坐标点就是4个不同的排序。
[0060]
创建四种坐标顺序组合为：
[0061]
分别计算point1～point4的组合到四个点[x
min
,y
min
,x
max
,y
min
,x
ma
x,y
max
,x
min
,y
max
]的距离，选取距离最小的组合即是最佳起始点选取组合。
[0062]
s132：根据最佳起始点选取顺序，将四个顶点的顺序修改成顺时针的标记方式。
[0063]
具体的，经过上述步骤s131，四个顶点能够找到最佳的起始位置点，但是需要将四个点的顺序修改成顺时针的标记方式。这里是为了统一所有的数据标注格式，方便后续计算。
[0064]
本示例给出判断s132中顶点(x1,y1,x2,y2,x3,y3,x4y4)的顺时针标记修改方法，计算方法如下：其中area是指定区域面积，这里计算的面积area如果小于0表示点(x1,y1,x2,y2,x3,y3,x4y4)是按照顺时针的顺序标记，如果面积area大于0则表示逆时针标记顺序，逆时针的时候修改成(x1,y1,x4y4,x3,y3,x2y2)，即为将标记顺序修改成顺时针。
[0065]
如图3所示，本示例中指定区域面积是指使用上述四个顶点确定四边形的2个顶点和水平轴形成的一个梯形面积。将四边形有4个点相邻的2个点做垂线，垂直于水平轴就形成了4个梯形，这4个梯形面积相减就得到了包围的四边形面积，则是指定区域面积area。
[0066]
进一步的，根据顶点位置坐标确定闭合的凸四边形区域步骤包括：
[0067]
s133：根据目标物的边缘轮廓上的四个顶点以及最佳起始点选取顺序，构建最优
矩形框；
[0068]
具体的，根据最佳起始点选取顺序以及目标物的边缘轮廓上的四个顶点，获取初始四边形包围框，根据四边形的相邻两个边生成一个平行四边形原则，获取4组平行四边形。
[0069]
本示例中获得平行四边形能够将光伏板包括在内。如图3中以边ad边的直线方程的斜率k1和点c做直线ec，以为边dc的斜率k2和点a做直线ae形成的平行四边形adce就是其中一种组合。相邻2个边组成平行四边形一共生成4中不同的组合。
[0070]
计算所述4组四边形的面积，找到面积最小的四边形的组合方式，作为目标平行四边形。
[0071]
将目标平行四边形转换成矩形框，获得最优矩形框。
[0072]
具体的，将上述步骤中面积最小的平行四边形的转换成一个矩形框。如图3中的adce是面积最小的平行四边形组合，那么计算经过点e和直线ad的垂线方程。同理计算出经过点d到直线ec的直线方程。本示例给出计算方式，直线ad的斜率为k1，那么直线ad的垂线斜率为-k1，经过点e(xe,ye)的直线方程为其中
[0073]
s134：计算最优矩形框与水平轴的夹角，获得凸四边形区域检测框，将所述凸四边形区域作为检测框用于目标物标记。
[0074]
具体的，以图3为例计算夹角的公式为：θ＝arctan((xg-xe)/(yg-ye))。这样就能得到一个带角度的旋转矩形，也就是凸四边形用来表述的光伏板数据，可以用于后续的深度学习的模型训练。
[0075]
需要说明的是，图3是本示例发明所述的四边形标记转换成旋转矩形的示意图。其中四边形abcd是光伏板在图像中的成像，平行四边形aecd是依据ad和dc边形成的一个外包平行四边形。矩形efdg就是一个外包矩形，其中角θ就是矩形efdg和水平轴的夹角。
[0076]
作为另一个示例，还提供一种基光伏板缺陷检测方法，其特征在于，包括以下步骤：
[0077]
根据上光伏板缺陷检测方法，采集光伏板图像样本，获取光伏板缺陷检测模型训练集；
[0078]
将所述光伏板图像训练集输入卷积神经网络，获得光伏板缺陷检测模型；
[0079]
将待测光伏板图像输入光伏板缺陷检测模型，获得对应的识别结果。
[0080]
示例性装置
[0081]
如图2所示，一种用于光伏板标记装置，所述装置包括：
[0082]
图像接收模块20，其用于获取待标记图像，识别所述待标记图像的目标物图像，所述目标物图像包括光伏板图像；
[0083]
顶点标记模块30，其用于在所述目标物图像中标记多个顶点；
[0084]
检测框构建模块40，其用于根据顶点位置坐标确定闭合的凸四边形区域，将所述凸四边形区域作为检测框用于目标物标记。
[0085]
示例性电子设备下面，参考图4来描述根据本技术实施例的电子设备。该电子设备可以是可移动设备本身，或与其独立的单机设备，该单机设备可以与可移动设备进行通信，以从它们接收所采集到的输入信号，并向其发送所选择的目标决策行为。
[0086]
图4图示了根据本技术实施例的电子设备的框图。
[0087]
如图4所示，电子设备10包括一个或多个处理器11和存储器12。
[0088]
处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
[0089]
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本技术的各个实施例的决策行为决策方法以及/或者其他期望的功能。
[0090]
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入设备13可以包括例如车载诊断系统(obd)、统一诊断服务(uds)、惯性测量单元(imu)、摄像头、激光雷达、毫米波雷达、超声波雷达、车载通信(v2x)等各种设备。该输入设备13还可以包括例如键盘、鼠标等等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0091]
当然，为了简化，图4中仅示出了该电子设备10中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
[0092]
示例性计算机程序产品和计算机可读存储介质
[0093]
除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的决策行为决策方法中的步骤。
[0094]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0095]
此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的决策行为决策方法中的步骤。
[0096]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0097]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中
提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0098]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0099]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0100]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0101]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。