基于红外与可见光图像的太阳能光伏组件热斑识别方法

本发明涉及太阳能光伏组件热斑识别领域，尤其是涉及一种基于红外与可见光图像的太阳能光伏组件热斑识别方法。

背景技术：

太阳能光伏发电作为可持续发展的清洁能源，对环境、经济的可持续发展有着巨大作用，热斑是太阳能光伏板的发生故障的一般现象，由于光伏板的电路结构故障会造成太阳能光伏板在进行发电时产生局部异常发热，使用红外成像仪可以发现红外热斑。对于小规模的光伏板可以使用便携式红外仪进行观测，检测热斑位置。但是对大规模太阳光伏能发电厂采用便携式红外仪无法迅速检测，人工手持红外热像仪或者是人工手持红外热像仪借助升降台去检测，这两种检测方式中人力和物力以及时间等方面消耗特别大。太阳能光伏发电作为可持续发展的清洁能源，对环境、经济的可持续发展有着巨大作用，

现有的对于光伏组件热斑的图像分析方法，通常采用红外成像仪拍摄的红外图像进行分析，使用图像处理技术在红外图像中找到热斑的位置。但是现有技术中，智能获取光伏热斑的位置，不能同时分析获取光伏热斑的成因，并且光伏热斑位置的检测精度也不高。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于红外与可见光图像的太阳能光伏组件热斑识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于红外与可见光图像的太阳能光伏组件热斑识别方法，包括以下步骤：

s1：建立光伏板红外图像数据集和光伏板可见光图像数据集；

s2：构建热斑检测模型，使用光伏板红外图像数据集训练热斑检测模型；

s3：构建热斑成因分析模型，使用光伏板可见光图像数据集训练热斑成因分析模型；

s4：获取待识别光伏板的同一位置的红外图像和可见光图像，将红外图像送入热斑检测模型，获取热斑位置并绘制在可见光图像中，利用热斑成因分析模型分析可见光图像的热斑位置中的图像，获取各热斑位置对应的热斑成因。

优选地，所述的步骤s4具体包括：

s41：获取待识别光伏板的同一位置的红外图像和可见光图像；

s42：将待识别光伏板的红外图像送入训练好的热斑检测模型，输出红外图像中热斑的预测框的中心坐标、长宽数据，即获取光伏板的热斑位置；

s43：在可见光图像中绘制热斑预测框，利用热斑成因分析模型分析可见光图像中热斑预测框内热斑的成因，获取热斑位置对应的热斑成因，最终获取光伏板上的热斑位置及每个热斑位置内热斑的热斑成因。

优选地，所述的热斑检测模型为改进fasterr-cnn检测模型，所述的改进fasterr-cnn检测模型的roialign部分前设有特征图模块，所述的roialign中在选定预测框后设置搜索算法。

优选地，所述的特征图模块对送入的特征图进行高斯建模，判断特征图中是否达到设定阈值，该阈值为超参数随训练轮数进行调整，在n维卷积层中采用一个n维列向量对输出的卷积层进行判断，lt用来表示阈值损失，经过迭代调整出一个合适的阈值，其中：

其中，lt为阈值图损失，rd为阈值图的box预测，为特征输出层的位置预测。

优选地，所述的roialign中，选定预测框后设置搜索算法，并分析区域是否存在连续，在预测框中可能存在多个热斑特征区域故需要将预测框划分为若干小预测框，将若干个较小预测框进行筛选后在预测框中找到特征较大值，在较大的特征值中选择位置坐标最大值xmax、ymax和最小值xmin、ymin，重新调整box为仅包含特征最大的多个数值的新box。

优选地，所述的热斑成因分析模型为resnet模型。

优选地，所述的resnet模型的基础框架采用resnet101结构，所述resnet101结构的输入数据为经过预处理得到的光伏板普通图像，输出数据为热斑成因对应的编码，所述的resnet101结构内卷积池化后，通过冗余层不断提取特征，最终经过一层具有1000维的全连接层，以softmax作为激活函数输出结果。

优选地，所述的resnet模型输出结果与实际分类y间的交叉熵损失函数l为：

其中，n为输出层的维度。

优选地，所述的步骤s1还包括对光伏板红外图像数据集中的每一张图像中每个热斑的四个顶点坐标进行标注，获取热斑的坐标、边框、检测信息类别数据，构建光伏板红外图像数据库中图片对应的热斑位置标签。

优选地，所述的步骤s1还包括标注光伏板可见光图像数据集中的每一张图像的热斑成因，构建可见光图像数据集中图片对应的热斑成因标签。

优选地，通过配备双摄像头的无人机对所述待识别光伏板的同一位置的红外图像和可见光图像进行采集，所述的双摄像头分别为红外热像摄像头和可见光摄像头。

与现有技术相比，本发明具有如下优点：

(1)本发明基于热斑检测模型、热斑成因分析模型，能够分别对光伏板的红外图像和可见光图像进行检测，获取红外图像中的热斑位置，并基于热斑位置在可见光图像中分析热斑成因，将热斑识别的位置识别与成因识别有效结合，解决实际环境中红外图像和普通场景无法快速分析热斑成因的问题，同时避免在实际应用场景中会出现检测能力不足的问题，提高识别检测效果，提高识别效率；

(2)本发明的热斑检测模型基于改进maskr-cnn模型，通过设置特征图模块进一步提高maskr-cnn模型对红外图像中热斑位置的识别准确性和识别效率，精准定位到热斑轮廓，并提高后续成因分析的准确性；

(3)本发明采用双数据集、双模型机制，可以使得模型输出特征向量具备更好的训练性能，弥补传统检测中热斑目标识别能力不足的问题，使热斑检测的目标位置更加精确。

附图说明

图1为本发明的流程图；

图2为本发明中改进maskr-cnn模型的结构示意图；

图3为本发明中热斑检测模型、热斑成因分析模型分别为maskr-cnn模型、resnet模型时的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。

实施例

一种基于红外与可见光图像的太阳能光伏组件热斑识别方法，如图1、3所示，包括以下步骤：

s1：建立光伏板红外图像数据集和光伏板可见光图像数据集。

本实施例中，通过配备双摄像头的无人机对所述待识别光伏板的同一位置的红外图像和可见光图像进行采集，获取光伏板红外图像数据集、光伏板可见光图像数据集中的图像，并且光伏板红外图像数据集中的一张红外图像对应光伏板可见光图像数据集中的一张光伏板可见光图像。

并对两个数据集中的图像进行标注，对光伏板红外图像数据集中的每一张图像中每个热斑的四个顶点坐标进行标注，获取热斑的坐标、边框、检测信息类别数据，构建光伏板红外图像数据库中图片对应的热斑位置标签，标注光伏板可见光图像数据集中的每一张图像的热斑成因，构建可见光图像数据集中图片对应的热斑成因标签。

本实施例中，光伏板可见光图像数据集的标注标签是由阴影、尘土、树叶等不同遮挡物作为标签进行标注分类。

本实施例中，构建的光伏板红外图像数据集中的光伏板红外图像按照预设的比例，本实施例中采用4：1的比例，划分至训练集和测试集。

s2：构建热斑检测模型，使用光伏板红外图像数据集训练热斑检测模型。

如图2所示，所述的热斑检测模型为改进fasterr-cnn检测模型，所述的改进fasterr-cnn检测模型的roialign部分前设有特征图模块，所述的roialign中在选定预测框后设置搜索算法。

本发明的改进maskr-cnn检测模型的。在实际检测中，检测目标为红外图像中的光伏组件热斑，虽然光伏组件热斑有分布不均大小不一的特点，但是光伏组件热斑具有像素一致性即热斑区域图像的像素值趋同，且像素值偏高。利用这一特征，针对性的对maskr-cnn模型中roialign进行调整。

具体地，如图2所示，在roialign前对利用特征图模块对特征图进行热斑预估算，特征图模块对送入的特征图进行高斯建模，判断特征图中是否达到设定阈值，该阈值为超参数随训练轮数进行调整，在n维卷积层中采用一个n维列向量对输出的卷积层进行判断，lt用来表示阈值损失，经过迭代调整出一个合适的阈值，其中：

其中，lt为阈值图损失，rd为阈值图的box预测，为特征输出层的位置预测。

将符合条件的特征图继续向roialign继续运行；其次是在roialign中，选定预测框后设置搜索算法，并分析区域是否存在连续，在预测框中可能存在多个热斑特征区域故需要将预测框划分为若干小预测框。将若干个较小预测框进行筛选后在预测框中找到特征较大值，在较大的特征值中选择位置坐标最大值xmax、ymax和最小值xmin、ymin重新调整box为仅包含特征最大的几个值的新box，进行后序流程。

本实施例中，普通图像识别模型resnet对普通光伏组件图像热斑位置现象进行成因分类。resnet模型可以缓解网络深度会导致退化问题，在网络中增加了直连通道。为了提高识别的精度，设置了101层来进行模型设计。热斑成因识别模型的基础框架采用resnet101结构，输入数据为经过预处理得到的光伏板普通图像。输出数据为热斑成因对应的编码。输入数据经过卷积池化后，通过冗余层不断提取特征，最终经过一层具有1000维的全连接层，以softmax作为激活函数输出结果。

使用深度学习模型的输出结果与实际分类间的交叉熵损失函数如下：

其中，n为输出层的维度。

s3：构建热斑成因分析模型，使用光伏板可见光图像数据集训练热斑成因分析模型。

本实施例中，普通图像识别模型resnet对普通光伏组件图像热斑位置现象进行成因分类。resnet模型可以缓解网络深度会导致退化问题，在网络中增加了直连通道。为了提高识别的精度，设置了101层来进行模型设计。热斑成因识别模型的基础框架采用resnet101结构，输入数据为经过预处理得到的光伏板普通图像。输出数据为热斑成因对应的编码。输入数据经过卷积池化后，通过冗余层不断提取特征，最终经过一层具有1000维的全连接层，以softmax作为激活函数输出结果。

所述的resnet模型输出结果与实际分类y间的交叉熵损失函数l为：

本实施例中，对损失函数采用批量梯度下降的方法，优化深度学习模型的权重参数，使得分类的错误率最小。训练过程中各项超参数配置：权值初始化采用正态随机初始化方法，批大小根据训练所使用gpu的性能和内存容量，选取最适当的批大小；学习率采用动态学习率。训练完成后，使用独立的测试集损失函数进行误差评估。

在设置好网络结构并将训练集完成后，使用coco2017数据集分别对双模型进行预训练，将模型在多次迭代中学习网络参数，使模型具有良好的检测性能。

然后使用预训练学习好的红外热斑检测模型maskr-cnn和普通图像识别模型resnet进行迁移学习训练。

图像经预处理后，特征图输入maskr-cnn，然后在输出特征金字塔和中间层特征金字塔上采样，获取预测的目标区域，在预测器中首先经过一个roialign，在n维卷积层中采用一个n维列向量对输出的卷积层进行判断，用来表示阈值损失，经过迭代调整出一个合适的阈值。将符合条件的特征图继续向roialign继续运行。最终网络输出预测框的中心坐标和长宽数据和预测框的类型。

s4：获取待识别光伏板的同一位置的红外图像和可见光图像，将红外图像送入热斑检测模型，获取热斑位置并绘制在可见光图像中，利用热斑成因分析模型分析可见光图像的热斑位置中的图像，获取各热斑位置对应的热斑成因。

所述的步骤s4具体包括：

s41：获取待识别光伏板的同一位置的红外图像和可见光图像，本实施例中采用配备双摄像头的无人机对所述待识别光伏板的同一位置的红外图像和可见光图像进行采集。

s42：将待识别光伏板的红外图像送入训练好的热斑检测模型，输出红外图像中热斑的预测框的中心坐标、长宽数据，即获取光伏板的热斑位置；

s43：在可见光图像中绘制热斑预测框，利用热斑成因分析模型分析可见光图像中热斑预测框内热斑的成因，获取热斑位置对应的热斑成因，最终获取光伏板上的热斑位置及每个热斑位置内热斑的热斑成因。

上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。