光伏组件热斑检测方法、设备及存储介质与流程

1.本发明属于光伏太阳能光伏组件热斑检测领域，特别涉及一种光伏组件热斑检测方法、设备及存储介质。


背景技术：

2.采用光伏板组件通过太阳能发电是新型能源发电的一种重要模式，然而，一旦光伏板某单元元器件受损无法正常工作，会直接影响到该区域晶元组件的热转换效率，进而在红外热成像中表现出温度明显高于周边区域的异常发热现象。在日常光伏巡检作业中，利用红外热成像对光伏板异常热斑区域进行检测定位，是判断光伏组件各单元元器件是否正常运行的一种有效手段。
3.现有技术中，利用无人机对光伏板进行红外热成像，然后再通过计算机视觉计算来完成对异常热斑的快速自动检测定位，是一种能够显著提升光伏板异常热斑检出效率的重要方案。然而，无人机航拍远距热成像的红外图像分辨率有限，加之异常热斑所占像素尺寸较小，且没有固定形态特征，成像极易受到复杂背景热源杂波干扰，这些因素均给基于无人机红外成像的热斑检测带来了困难，同时，现有的基于热红外图像的光伏电站热斑检测方法还存在检测准确性不高、主干网络对红外热斑类低分辨率目标特征提取不敏感、训练得到的模型对复杂热斑普适性不足、无法确定异常热斑所处哪块光伏板晶元组件等问题。


技术实现要素：

4.本发明要解决的技术问题是为了克服现有技术中存在检测准确性不高、主干网络对红外热斑类低分辨率目标特征提取不敏感、训练得到的模型对复杂热斑普适性不足、无法确定异常热斑所处哪块光伏板晶元组件等缺陷，提供一种光伏组件热斑检测方法、设备及存储介质。
5.本发明是通过下述技术方案来解决上述技术问题：
6.一种光伏组件热斑检测方法，所述检测方法包括：
7.获取预设区域范围内的光伏板红外图像；
8.将所述光伏板红外图像输入训练好的光伏板分割模型，输出多组光伏板数据，每组光伏板数据包括分割得到的每个光伏板的掩膜区域及对应的光伏板的分割质量评分；
9.对分割质量评分高于预设分值的光伏板的掩膜区域进行检测，得到包含异常热斑的异常光伏板及所述异常光伏板的热斑区域。
10.较佳地，所述检测方法中通过以下步骤训练得到所述光伏板分割模型，具体包括：
11.构建光伏板训练样本集，所述光伏板训练样本集包括多个光伏板红外训练图像，每个光伏板红外训练图像中包括每个训练光伏板的实际掩膜区域；
12.以所述光伏板训练样本集为训练数据，训练得到光伏板初始分割模型，并得到每个训练光伏板的预测掩膜区域以及对应的分割置信度；
13.基于所述预测掩膜区域、所述实际掩膜区域和所述分割置信度计算得到每个训练
光伏板的分割质量评分；
14.将所述分割质量评分加入训练数据继续训练，得到所述光伏板分割模型。
15.较佳地，所述基于所述预测掩膜区域、所述实际掩膜区域和所述分割置信度计算得到每个训练光伏板的分割质量评分的步骤具体包括：
16.基于所述预测掩膜区域和所述实际掩膜区域计算得到每个训练光伏板的iou值；
17.基于所述iou值和所述分割置信度的乘积得到所述分割质量评分。
18.较佳地，所述对分割质量评分高于预设分值的光伏板的掩膜区域进行检测，得到包含异常热斑的异常光伏板及所述异常光伏板的热斑区域的步骤具体包括：
19.选取分割质量评分高于预设分值的光伏板为目标光伏板；
20.基于红外图像小目标检测算法对与所述目标光伏板对应的光伏板图像进行检测，得到包含异常热斑的异常光伏板及所述异常光伏板的热斑区域。
21.较佳地，所述基于红外图像小目标检测算法对与所述目标光伏板对应的光伏板图像进行检测，得到包含异常热斑的异常光伏板及所述异常光伏板的热斑区域的步骤具体包括：
22.对与所述目标光伏板对应的光伏板图像进行灰度处理，得到单通道灰度图像；
23.对所述单通道灰度图像进行二值分割，并确定图像像素大于判定阈值的像素区域为热斑区域。
24.较佳地，所述对所述单通道灰度图像进行二值分割的步骤之前，所述检测方法还包括：
25.对所述单通道灰度图像进行预处理，所述预处理包括卷积滤波处理、指数增强操作和噪点滤除操作中的至少一个；
26.其中，所述卷积滤波处理包括对单通道灰度图像内的每个像素点进行高通卷积滤波，所述指数增强操作包括对单通道灰度图像内的每个像素点进行指数增强，所述噪点滤除操作包括对单通道灰度图像内的每个像素点进行高斯低通滤波。
27.较佳地，所述检测方法中通过以下公式确定所述判定阈值，具体包括：
28.ti＝mean(mi)+k
·
std(mi)
29.其中，ti为与第i个目标光伏板对应的判定阈值，mean(mi)表示单通道灰度图像中第i个目标光伏板的掩膜区域mi内所有像素灰度的均值，std(mi)表示单通道灰度图像中第i个目标光伏板的掩膜区域mi内所有像素灰度的标准差，k为标准差权重系数。
30.较佳地，所述对分割质量评分高于预设分值的光伏板的掩膜区域进行检测的步骤之前，所述检测方法还包括：
31.滤除所述光伏板红外图像中分割质量评分不高于预设分值的区域。
32.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的光伏组件热斑检测方法。
33.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的光伏组件热斑检测方法。
34.本发明的积极进步效果在于：本技术采用深度学习图像实例分割与小目标检测相结合，适用于无人机视觉拍摄的典型光伏板红外图像中不同尺度、不同形态的异常热斑；该方法采用了带有分割质量评价能力的深度学习实例分割方法，能够对光伏板区域进行准确
分割并滤除不符合光伏板形状的误分割区域，算法速度快、效率高，在无人机光伏巡检领域具有较强的实用价值。
附图说明
35.图1为本发明实施例1的光伏组件热斑检测方法的流程图。
36.图2为本发明实施例1的光伏组件热斑检测方法中拍摄获取的灰度后的光伏板红外图像示意图。
37.图3为本发明实施例1的光伏组件热斑检测方法中光伏板红外图像分割及相应分割质量评分结果示意图。
38.图4为本发明实施例1的光伏组件热斑检测方法中步骤13的流程图。
39.图5为本发明实施例1的光伏组件热斑检测方法中步骤132的流程图。
40.图6为本发明实施例1的光伏组件热斑检测方法中光伏板分割模型的训练流程图。
41.图7为本发明实施例2的电子设备的结构示意图。
具体实施方式
42.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
43.实施例1
44.一种光伏组件热斑检测方法，如图1所示，所述检测方法包括：
45.步骤11、获取预设区域范围内的光伏板红外图像；
46.其中，参见图2，可以通过无人机按照光伏阵列每行排列方向平行飞行，机载红外热像仪光轴视角为正下视垂直对地，依此收集光伏板红外图像数据。
47.步骤12、将光伏板红外图像输入训练好的光伏板分割模型，输出多组光伏板数据，每组光伏板数据包括分割得到的每个光伏板的掩膜区域及对应的光伏板的分割质量评分；
48.其中，可以采用具有准确分割质量评价能力的mask scoring r-cnn实例分割方法，对网络模型进行训练及优化，得到可用于精确检测分割每块光伏板区域的mask scoring r-cnn实例分割模型网络权参数，并将该模型及对应权参数应用于待检测图像中各个光伏板的检测与分割，输出待检测图像中各个光伏板对应的掩膜区域及每块区域相应的分割质量评分，其中光伏板分割模型的训练，下文中会进一步阐述具体的训练过程。
49.需要说明的是，在分割的过程中，可以根据各个光伏板掩膜区域的外接矩形自动生成每块光伏板对应的外接矩形框(亦可以在模型的训练中进行设置，模型可以直接输出对应的外界矩形框位置)，在后续热斑检测过程中，可以基于外接矩形框获取每块光伏板的区域图像输入后续的热斑检测模型中进行检测。
50.步骤13、滤除光伏板红外图像中分割质量评分不高于预设分值的区域。
51.比如，设定分割质量评分阈值t
mask
，剔除图像中所有s
mask
《t
mask
的检测分割结果，仅保留s
mask
≥t
mask
的区域作为候选光伏板区域得到图像中保留后的光伏板信息集合其中，mi表示第i块光伏板的像素级分割掩膜区域，bi表示mi所对应的外接矩形包围框；
52.步骤14、对分割质量评分高于预设分值的光伏板的掩膜区域进行检测，得到包含
异常热斑的异常光伏板及异常光伏板的热斑区域。
53.具体的，参见图3，示出了光伏板红外图像分割及相应分割质量评分结果示意图，分别对图像中所有候选光伏板区域进行处理，最终得到图像中所有光伏板的异常热斑检测结果。以每块光伏板外接矩形包围框内所含图像块作为输入，结合其对应分割掩膜mi，进一步的采用比如快速视觉显著性滤波的红外小目标检测方法，快速提取该光伏板区域内的异常热斑，并输出异常热斑目标区域。
54.上述方案中，采用了带有分割质量评价能力的深度学习实例分割方法，能够对光伏板区域进行准确分割并滤除不符合光伏板形状的误分割区域，进而再对异常热斑进行检测。
55.本实施例中，如图4所示，步骤13具体包括：
56.步骤131、选取分割质量评分高于预设分值的光伏板为目标光伏板；
57.步骤132、基于红外图像小目标检测算法对与目标光伏板对应的光伏板图像进行检测，得到包含异常热斑的异常光伏板及异常光伏板的热斑区域。
58.上述方案中，考虑到光伏板区域内的热斑区域一般为非常规尺度，因此采用小目标检测算法进行热斑区域的检测以提高检测的敏感度并提升检测精度，具体的，如图5所示，步骤132具体包括：
59.步骤1321、对与目标光伏板对应的光伏板图像进行灰度处理，得到单通道灰度图像；
60.具体的，比如将图像bi转换为单通道灰度图像ii；
61.步骤1322、对单通道灰度图像进行预处理，预处理包括卷积滤波处理、指数增强操作和噪点滤除操作中的至少一个；
62.其中，卷积滤波处理包括对单通道灰度图像内的每个像素点进行高通卷积滤波，指数增强操作包括对单通道灰度图像内的每个像素点进行指数增强，噪点滤除操作包括对单通道灰度图像内的每个像素点进行高斯低通滤波。
63.具体的，采用一个5
×
5的视觉显著性卷积核，对掩膜mi区域范围内的各个像素点进行高通卷积滤波，该卷积核的权参数矩阵为：[-4,-1,0,-1,-4；-1,2,3,2,-1；0,3,4,3,0；-1,2,3,2,-1；-4,-1,0,-1,-4]；卷积后获得光伏板显著图si；然后，采用指数增强方法，对显著图si各像素值进行增强，即通常α取值为1.0～2.0；获得光伏板显著图的增强图像ei；再然后，采用高斯滤波器，设定高斯核参数σ＝1.5，对增强图ei的掩膜mi区域范围内各个像素点进行高斯低通滤波，滤除噪点并突出热斑区域的视觉有效面积；
[0064]
步骤1323、对单通道灰度图像进行二值分割，并确定图像像素大于判定阈值的像素区域为热斑区域。
[0065]
具体的，采用自适应阈值分割方法，对增强图ei的掩膜mi区域范围像素进行二值分割，大于阈值ti的像素区域即为异常热斑目标区域。
[0066]
其中，检测方法具体可以通过以下公式确定判定阈值，具体包括：
[0067]
ti＝mean(mi)+k
·
std(mi)
[0068]
其中，ti为与第i个目标光伏板对应的判定阈值，mean(mi)表示单通道灰度图像中第i个目标光伏板的掩膜区域mi内所有像素灰度的均值，std(mi)表示单通道灰度图像中第i
个目标光伏板的掩膜区域mi内所有像素灰度的标准差，k为标准差权重系数，通常k取值为3.0～5.0。
[0069]
本实施例中，检测方法中通过以下步骤训练得到光伏板分割模型，如图6所示，具体包括：
[0070]
步骤21、构建光伏板训练样本集；光伏板训练样本集包括多个光伏板红外训练图像，每个光伏板红外训练图像中包括每个训练光伏板的实际掩膜区域；
[0071]
具体的，将无人机按照光伏阵列每行排列方向平行飞行，机载红外热像仪光轴视角为正下视垂直对地，依此收集光伏板红外图像数据，并对采集图像进行人工标注，标注内容包括每块光伏板区域的像素级位置(还可以包括外接矩形框位置)，进而构建包含多个光伏板红外训练图像的训练样本集；其中具体标注每块光伏板四个顶点坐标，其连线构成的四边形闭合区域即为该光伏板所占掩膜区域，并根据各个光伏板掩膜区域的外接矩形自动生成每块光伏板对应的外接矩形框位置。
[0072]
步骤22、以光伏板训练样本集为训练数据，训练得到光伏板初始分割模型，并得到每个训练光伏板的预测掩膜区域以及对应的分割置信度；
[0073]
步骤23、基于预测掩膜区域、实际掩膜区域和分割置信度计算得到每个训练光伏板的分割质量评分；
[0074]
其中，步骤23具体包括：
[0075]
基于预测掩膜区域和实际掩膜区域计算得到每个训练光伏板的iou值；
[0076]
基于iou值和分割置信度的乘积得到分割质量评分。
[0077]
步骤24、将分割质量评分加入训练数据继续训练，得到光伏板分割模型。
[0078]
具体的，mask scoring r-cnn实例分割模型是以mask r-cnn实例分割模型网络结构为基础，进一步增加了maskiou head网络分支模块，用于回归计算mask r-cnn模型预测获得的预测掩膜区域和实际掩膜区域的交并比(iou)值s
iou
，并通过将其与mask r-cnn目标检测分支获得的分割置信度s
cls
相乘，得到目标分割质量评分，即s
mask
＝s
cls
×siou
。
[0079]
其中，mask r-cnn主干网络采用经典resnet-50结构并结合fpn(feature pyramid networks)模型架构，网络输入图像尺度为800
×
1333像素，检测锚框基本尺寸为8并分别设置0.5、1.0、2.0共3个高宽比，选取常用的步长分别为4，8、16、32、645的5个特征层用于精细检测分类，fpn的输入通道特征维度为256、512、1024、2048，输出通道特征维度为256。
[0080]
更具体的，上述的mask scoring r-cnn实例分割模型中的maskiou head网络分支模块的具体结构为：将mask r-cnn网络中roialign层输出的多维特征图与预测输出的单维目标分割掩膜mask图拼接组合作为maskiou head网络的输入，maskiou head中包含4个卷积层和3个全连接层组成，maskiou head中包含数个卷积核为3
×
3的卷积层和全连接层，卷积层中卷积核尺度均为3
×
3且输出特征通道维度均为256，全连接层中前2个输出特征通道维度均为1024，最后1个输出特征通道维度为1，其最后一个全连接层的输出即为对光伏板类别分割评分s
mask
值的回归预测。
[0081]
在测试评估实验中，以训练集含128874块光伏板、34462个热斑目标的2994张样本图像进行迭代训练，然后将训练后模型对测试样本集含33242块光伏板、8962个热斑目标的749张样本图像进行测试，最终得到光伏板分割准确率高于97％，异常热斑检测准确率高于70％。
[0082]
本实施例中，采用深度学习图像实例分割与小目标检测相结合，适用于无人机视觉拍摄的典型光伏板红外图像中不同尺度、不同形态的异常热斑；该方法采用了带有分割质量评价能力的深度学习实例分割方法，能够对光伏板区域进行准确分割并滤除不符合光伏板形状的误分割区域，算法速度快、效率高，在无人机光伏巡检领域具有较强的实用价值。
[0083]
实施例2
[0084]
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1所述的光伏组件热斑检测方法。
[0085]
图7为本实施例提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性电子设备90的框图。图7显示的电子设备90仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0086]
如图7所示，电子设备90可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备90的组件可以包括但不限于：至少一个处理器91、至少一个存储器92、连接不同系统组件(包括存储器92和处理器91)的总线93。
[0087]
总线93包括数据总线、地址总线和控制总线。
[0088]
存储器92可以包括易失性存储器，例如随机存取存储器(ram)921和/或高速缓存存储器922，还可以进一步包括只读存储器(rom)923。
[0089]
存储器92还可以包括具有一组(至少一个)程序模块924的程序工具925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0090]
处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理。
[0091]
电子设备90也可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口95进行。并且，电子设备90还可以通过网络适配器96与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备90的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备90使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
[0092]
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
[0093]
实施例3
[0094]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的光伏组件热斑检测方法。
[0095]
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
[0096]
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代
码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1所述的光伏组件热斑检测方法。
[0097]
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
[0098]
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。