一种基于深度学习的光伏故障检测方法与流程

1.本发明涉及光伏发电领域，尤其涉及一种基于深度学习的光伏故障检测方 法。


背景技术：

2.近年来，能源与环境问题制约着我国经济社会的发展，光伏发电为开发新 能源带来了契机。随着光伏装机容量的增多，光伏组件故障问题日益凸显。一 旦光伏组件发生故障(如异物、脏污、裂痕、热斑等)，不仅会影响发电量，增加 光伏场站的运维成本，还存在许多风险和安全隐患。
3.现有的光伏故障是通过以下方法进行检测的：
4.基于电气(i-v)特征进行光伏组件故障检测故障检测。计算光伏阵列i-v 曲线中v
oc
、i
sc
、v
mpp
、i
mpp
、p
mpp
等外特征参数和其内特征参数的差异性，再通过设 定阈值和智能算法实现故障诊断。
5.融合深度神经网络和ssd、faster-rcnn、vgg16-ssd、eca-ssd等目标 检测方法对光伏组件图像进行故障检测。利用无人机航拍产生大量的光伏板图 像数据，辅以ssd目标检测算法、eca注意力机制等深度学习算法进行光伏组 件故障识别。
6.利用物理检测方法。通过识别红外热成像图的亮点实现故障诊断或对阵列 输入特征信号，通过检测响应信号情况以实现故障诊断。
7.采用时序电压电流法进行故障检测。通过信号分解或自编码等算法实现故 障特征提取，再通过设定阈值或智能算法实现故障诊断。
8.但是，利用光伏组件的i-v曲线特征进行故障检测虽然能够识别较多的故障 类型，但是该技术对照度仪安装角度要求严格，需要将光伏阵列断网运行，造 成功率损失。同时，i-v曲线测量周期较长，无法实现实时的故障诊断，采用传 统的ssd、faster-rcnn等目标检测算法对于小目标故障的检测效率很低，例如 ssd对输入图像进行预处理后，经过较深的卷积层后，对于本身比较小的目标 可能已经丢失。并且只能对故障图片进行目标检测，难以对无人机拍摄视频直 接进行检测，采用物理方法进行故障检测，面临在低照度或者低失配比情况下 难以检测故障的问题。仅能用于检测光伏组件是否存在故障，或检测指定类别 的故障，需要特定的仪器，成本较高，无法大规模使用。学习光伏组件的时序 电流、电压特征进行故障检测无法检测到老化故障，难以检测高阻故障。此外， 光伏组件运行情况复杂，时序电流、电压变化情况十分复杂，检测准确率较低， 存在的难点较多。现需要一种基于深度学习的光伏故障检测方法，针对光伏组 件在可见光环境下存在的异物、脏污、裂痕以及红外光环境下存在的热斑等故 障进行检测。


技术实现要素：

9.本发明提供了一种基于深度学习的光伏故障检测方法，具备无需人工干预， 降低复杂性，提高实用性的优点，解决了原有故障检测人工干预复杂的问题。
10.根据本技术实施例提供的一种基于深度学习的光伏故障检测方法，包括以 下步
骤：
11.通过无人机搭载摄像头巡检拍摄获取光伏板的视频数据；
12.获得可见光和红外光下的光伏组件故障视频；
13.采用opencv将视频转化为图像；
14.对于红外光下故障图像进行色度变化处理，并采用图像扰动、改变亮度、 随机缩放方法进行数据增强；针对可见光图像数据，通过锐化处理，提高图像 的清晰度，并采用随机裁剪、翻转、旋转方法扩充数据集；
15.利用resnet50神经网络实现可见光和红外光两种环境下图像自动分类；
16.利用labelimg软件对红外光下热斑故障目标进行标签标记，利用深度学习 目标检测算法训练色度变化处理后的红外光光伏组件图像，获得红外光热斑故 障检测模型；
17.利用labelimg软件对可见光下异物、脏污、裂痕故障目标进行标签标记， 利用深度学习目标检测算法训练锐化处理后的可见光光伏组件图像，获得可见 光下异物、脏污、裂痕故障检测模型；
18.基于yolov5目标检测算法实现光伏组件可见光和红外光环境下故障进行检 测，通过对比yolov5模型不同版本(yolov5l、yolov5l6、yolov5x6)的检测效果， 并在网络结构中添加小目标检测层增强对小目标故障的检测效果。yolov5模型 经前期训练后可直接对视频进行检测。
19.优选地，获得红外光故障检测模型和可见光故障检测模型后，利用预测时 间较短的efficient-b0神经网络和resnet50神经网络实现图像或视频分类。
20.优选地，所述yolov5网络结构包括以下步骤：
21.在输入端进行数据增强和数据预处理，预设故障目标的预选框；
22.对输入图片进行切片处理，并在主网络中借鉴cspnet网络结构加入csp 结构；
23.通过fpn结构与pan结构相融合，并在fpn结构后添加自底向上的特征 金子塔，实现图片深层特征的学习，并利用上采样对特征进行融合；
24.在输出端定义ciou_loss损失函数，权衡预测框和目标框的重叠面积、中心 点的距离以及长宽比。
25.本技术实施例提供的技术方案可以包括以下有益效果：
26.本发明可实现可见光和红外光两种环境下的光伏组件故障检测，实时返回 故障位置信息，及时辅助一线运维人员进行故障检测，极大地降低企业的维修 成本，提升发电量。
27.本发明利用resnet50神经网络实现光伏组件可见光和红外光数据自动分类， 无需人工费时费力进行分类，并且分类准确率可达到100％。在实际应用中能够 对无人机巡检数据(视频或图像)进行自动分类，自动输入各自的yolov5故障 目标检测模型中。
28.本发明通过yolov5目标检测算法分别建立可见光和红外光两种环境下各自 的目标检测模型，充分对比yolov5模型不同版本，并添加小目标检测层，提高 故障检测准确率。此外，相较于传统的ssd、fasterr-cnn等目标检测算法只能 对图片进行检测，yolov5经前期训练后可实现直接对视频进行检测，将光伏组 件无人机巡检视频直接输入网络后，直接对视频中的故障进行检测，无需再将 视频转化为图片，提高检测效率，可做到对光伏组件故障实时检测。
附图说明
29.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
30.图1为本发明流程结构示意图；
31.图2为本发明可见光下异物故障示意图；
32.图3为本发明红外光下热斑故障示意图；
33.图4为本发明热斑与噪声对比示意图；
34.图5为本发明红外图像色度变化处理示意图；
35.图6为本发明labelimg标记可见光图像故障目标示意图；
36.图7为本发明labelimg标记红外光图像故障目标示意图；
37.图8为残差单元结构示意图；
38.图9为本发明另一流程结构示意图；
39.图10为本发明yolov5网络结构示意图；
40.图11为本发明fpn+pan的结构示意图；
41.图12为本发明模型训练流程示意图；
42.图13为本发明模型预测流程示意图；
43.图14为本发明efficient-b0神经网络训练结果示意图；
44.图15为本发明resnet50网络分类结果示意图；
45.图16为本发明红外光热板故障检测效果示意图；
46.图17为本发明可见光异物故障检测效果示意图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部 的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳 动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施 例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使 用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该
”ꢀ
意在包括复数形式。
49.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包 括这些组合。
50.请参阅图1，本发明提供一种基于深度学习的光伏故障检测方法10，包括以 下步骤：
51.步骤s1：通过无人机搭载摄像头巡检拍摄获取光伏板的视频数据；
52.步骤s2：获得可见光和红外光下的光伏组件故障视频；
53.步骤s3：采用opencv将视频转化为图像；
54.步骤s4：对于红外光下故障图像进行色度变化处理，并采用图像扰动、改 变亮度、
随机缩放方法进行数据增强；针对可见光图像数据，通过锐化处理， 提高图像的清晰度，并采用随机裁剪、翻转、旋转方法扩充数据集。
55.步骤s5：resnet50神经网络实现可见光和红外两种环境下图像自动分类。
56.步骤s6：利用labelimg软件对红外光下热斑故障目标进行标签标记，利用 深度学习目标检测算法对色度变化处理后的红外光光伏组件图像，获得红外光 热斑故障检测模型；
57.步骤s7：利用labelimg软件对可见光下异物、脏污、裂痕故障目标进行标 签标记，利用深度学习目标检测算法训练锐化处理后的可见光光伏组件图像， 获得可见光下异物、脏污、裂痕故障检测模型；
58.步骤s8：基于yolov5目标检测算法实现光伏组件可见光和红外光环境下故 障进行检测，通过对比yolov5模型不同版本(yolov5l、yolov5l6、yolov5x6)的检 测效果，并在网络结构中添加小目标检测层增强对小目标故障的检测效果。 yolov5模型经前期训练后可直接对视频进行检测。
59.具体地，针对光伏组件在可见光环境下存在的异物、脏污、裂痕以及红外 光环境下存在的热斑等故障，本发明利用resnet50神经网络实现可见光下数据 和红外光下数据的自动分类，并分别训练改进的yolov5目标检测算法实现两种 环境故障的实时检测。经过本发明的模型训练，在实际应用中可自动区分无人 机巡检数据(图像或视频)是来自可见光环境还是红外光环境，并自动调用各自的 yolov5目标检测模型进行故障实时检测，无需人工干预，降低复杂性，提高实 用性。
60.请参阅图2和图3，为实现光伏组件可见光和红外光环境下故障的实时检测， 本发明采用的技术手段如下：
61.1、数据获取
62.在某地厂房屋顶平铺式光伏板上方，利用搭载高像素、高分辨率的广角摄 像头和红外镜头的无人机按照固定路线进行巡航，拍摄可见光和红外光下的光 伏组件巡检视频，记录光伏组件表面故障情况，并实时传回服务器进行下一步 数据处理。
63.2、图像数据预处理
64.利用opencv对无人机传回视频进行抽帧处理，将视频转化为图片。为了进 一步提高故障目标检测模型精度，需要扩充原始图像数据集，进行相应的数据 增强处理，并消除噪声对模型的影响。
65.红外光下图像数据预处理：
66.红外光环境下的图像存在大量的太阳反光，与热斑的对比度较低。同时噪 声的边缘较模糊，造成噪声的像素值会更加接近热斑故障的像素值。请参阅图4， 通过对比红外图像中热斑与噪声，发现虽然噪声的颜色与热斑比较相似，但是 大部分噪声与热斑具有亮度差异，多数情况下热斑的亮度明显高于噪声的亮度， 于是通过改变图像色度但保留亮度值的方法对图像进行预处理。
67.请参阅图5，色度变化处理是将图像的rgb色彩空间转换为hsv色彩空间从 而改变图像的颜色，可以很好的保留图像中的亮度值等其他有价值的特征，使 得噪声更接近于背景色，提高噪声与热斑的对比度，达到消除噪声的目的，红 外图像经过色度变化处理的效果如图5所示，左图为未处理，右图为已处理。此 外，本发明还进行图像扰动、改变亮度、改
变对比度、随机缩放、随机裁剪、 旋转等数据增强操作来扩充数据集。
68.可见光下图像预处理：
69.可见光下的图像数据，由于异物等故障目标较小，本发明采用锐化处理以 突出小目标故障特征。通过锐化处理增强图像的边缘，让模糊的图像变得清晰， 以增强小目标的特征。同时，采用改变亮度、改变对比度、随机缩放、随机裁 剪、旋转等几何处理以及进行图像扰动来评估模型的鲁棒性。
70.3、图像数据标签化处理
71.利用yolov5目标检测模型前需要对光伏组件图像数据中的故障目标进行标 记，通过开源工具labelimg对可见光和红外光下的图像数据进行标注(如图6、图 7)，生成含有标注信息的.json，随后将其转化为.txt文件。
72.4、红外光和可见光环境下数据分类模型
73.在获得红外光故障检测模型和可见光故障检测模型后，利用预测时间较短 的efficient-b0神经网络和resnet50神经网络实现图像或视频分类。为避免两种 环境下的故障图像数据共用一个目标检测模型而导致误报率较高的情况，本发 明为可见光下数据和红外光下数据分别训练一套目标检测模型，因此需要将红 外光和可见光下图像数据进行分类。本发明创新性地利用预测时间较短的 efficient-b0神经网络和resnet50神经网络实现图像或视频分类，在实施例中对 比两个神经网络的分类准确率和稳定性，最终选择分类性能较好、稳定性高的 分类模型。
74.efficient-b0神经网络是对卷积神经网络中深度、宽度和输入图片分辨率三 个维度的缩放，使用尺度变化方法协同控制这三个维度的变化，利用复合缩放 系数φ均匀缩放神经网络的深度、宽度和分辨率三个维度，成功解决单一维度加 深导致网络出现梯度爆炸和网络分类精度上限问题，进一步提升网络的分类准 确率。efficient-b0神经网络所利用的基本原理如下：
75.yi＝fi(x)《hi,wi,ci》
ꢀꢀꢀ
(1)
76.n＝fk⊙…
f2⊙
f1(x1)＝
⊙
j＝1，2，
…
，kfj
(x1)
ꢀꢀꢀ
(2)
[0077][0078][0079]
其中，公式(1)中的fi表示神经网络的一系列操作，如卷积、池化等；xi表 示输入到卷积神经网络中图片的尺寸大小；
⊙
表示内积运算；公式(2)中的n表示 经过卷积操作后的输出(特征图)。而我们利用efficient-b0就是为了达到(4)式 的目标，通过调整网络的深度、宽度和图片的分辨率来提高分类网络的准确率。 与此同时，为了防止单个维度的变化
所造成的网络精度提升受限，efficient-b0 神经网络使用复合缩放系数φ来协调控制网络深度、宽度和分辨率三个维度的变 化(如公式(5)所示)。
[0080][0081]
其中，公式(5)中的α、β、γ可以通过网格搜索确定。在efficient-b0网络中， φ为0，用于控制模型的缩放。α、β、γ则协调控制网络的宽度、深度和分辨率三 个特征。efficient-b0网络平衡了卷积神经网络多维度协同变化且在准确率和计 算量方面进行了优化，是一个移动端的网络架构。efficient-b0神经网络相比于 其他传统的神经网络会具有高的准确率，参数量较少，计算速度较快。
[0082]
与efficient-b0神经网络的作用相似，resnet系列网络也是为了解决随着 网络结构的加深，因为过度提取特征而导致模型的准确率下降，无法继续加深 网络的问题。残差网络就是将前若干层的某一层数据直接跳过多层卷积层引入 后面的输入部分，这意味着后面特征层学习到的内容包含之前的信息，其结构 如图8所示。
[0083]
请参阅图9，所述yolov5网络结构包括以下步骤：
[0084]
步骤s11：在输入端进行数据增强和数据预处理，预设故障目标的预选框；
[0085]
步骤s12：对输入图片进行切片处理，并在主网络中借鉴cspnet网络结构加 入csp结构；
[0086]
步骤s13：通过fpn结构与pan结构相融合，并在fpn结构后添加自底向上 的特征金子塔，实现图片深层特征的学习，并利用上采样对特征进行融合；
[0087]
步骤s14：在输出端定义ciou_loss损失函数，权衡预测框和目标框的重叠面 积、中心点的距离以及长宽比。
[0088]
具体地，本发明主要使用改进的yolov5算法实现光伏组件可见光和红外光 环境下的故障目标检测。相较于fasterr-cnn、ssd等传统的目标检测算法，yolo 系列算法在保证检测准确率的情况下，检测速度更快，能够做到实时检测。请 参阅图10，yolov5算法的网络结构，从结构图可以看出，yolov5网络结构主要 由输入端、backbone、neck、prediction四部分组成。在输入端进行数据增强和 数据预处理，预设故障目标的预选框；backbone部分主要由focus和csp两大结 构组成，对输入图片进行切片处理，并在主网络中借鉴cspnet网络结构加入csp 结构；yolov5的第三大部分为neck结构，通过fpn结构与pan结构相融合(见图11)，并在fpn结构后添加自底向上的特征金子塔，实现图片深层特征的学习， 并利用上采样对特征进行融合；在输出端定义ciou_loss损失函数，权衡预测框 和目标框的重叠面积、中心点的距离以及长宽比。
[0089]
在实施例中，本发明分别训练可见光环境下和红外光环境下的故障目标检 测模型。针对红外光下的yolov5目标检测模型，对比yolov5l、yolov5l6、yolov5x6 三个版本对热斑等故障的检测效果，通过迭代次数、精度、召回率和 map@0.5:0.95等指标选取检测效果最好的版本(见表1)，最终选择yolov5l作为红 外光下故障检测模型。
[0090]
表1 红外光下yolov5模型版本对比结果
[0091][0092]
针对可见光环境下的故障目标检测，通常yolov5对于小目标的检测效果对 不好，其中一个原因是yolov5上采样的倍数比较大，在较深的特征图中很难学 习带小目标有用的特征信息。因此，本发明创造性地在yolov5网络中添加小目 标检测层，并将交浅的特征图与较深的特征图进行拼接，最大限度的让模型学 习到更多故障小目标。事实也证明增加小目标检测层后，对分辨率较大的光伏 组件图像中异物等故障的检测效果更好(见表2)。
[0093]
表2 增加小目标层yolov5效果
[0094][0095]
请参阅图12和图13，图12为本发明模型训练流程，图13为本发明模型预 测流程。
[0096]
借助于合作公司利用搭载高分辨率、高像素的无人机在某地厂房上空按照 固定路线巡航，拍摄可见光和红外光下的光伏组件故障视频，并上传至服务器 进行后续处理。采用opencv将视频转化为图像，对于红外光下故障图像进行 色度变化处理，并采用图像扰动、改变亮度、随机缩放等方法进行数据增强； 针对可见光图像数据，通过锐化处理，提高图像的清晰度，并采用随机裁剪、 翻转、旋转等方法扩充数据集。
[0097]
请参阅图14和图15，通过上述数据预处理和数据增强后，本发明将可见光 和红外光图片进行混合得到混合数据集(共2790张图片)，使用开源的labelimg 软件为故障图像打标签。由于神经网络对0附近的值更为敏感，因此对图像数 据进行标准化处理。将数据集按照8:2划分为训练集和测试集，借助tensorflow 搭建efficient-b0网络和resnet50网络，将混合数据集输入两个网络中。在训 练过程中，迁移学习imagenet数据库的训练权重作为网络的初始权重，并通过 回调函数实现若连续5次模型对测试集的准确率没有提升则将学习率下降一半， 若连续15次对测试集的准确率没有提升，将提前中断模型，防止过拟合。最终， efficient-b0网络和resnet50网络的分类准确率均可达到100％(见图14、图15)， 但是resnet50神经网络在迭代2次时准确率便达到100％(见图15)，收敛速度 更快，时间成本更低。
[0098]
为了进一步提高可见光和红外光环境下故障目标检测的准确率，分类训练 不同环境下的yolov5目标检测模型。本发明基于pytorch搭建yolov5网络结构。 针对yolov5系列的不同版本选择与数据集最匹配的结构。将分类后的可见光和 红外光数据集按照8:2随机划分为训练集和测试集，如果在训练过程中 map@0.5:0.95值都没有提升则提前终止训练，并保留迭代过程中效果最好的权 重。map@0.5:0.95值常用来衡量单目标检测模型的准确率表示在不同iou阈值 (从0.5到0.95，步长为0.05)上的平均map。map综合考虑了模型的检测精度 (precision)和召回率(recall)。
[0099]
针对红外光下的yolov5故障目标检测模型，本发明充分比对了yolov5系列 的不同版本yolov5l、yolov5l6、yolov5x6(见表1)，还验证了不同预处理方法对 模型检测效果
的影响(见表3)，进一步证明相较于灰度处理等方法，对图像进行 色度变化处理更能提高模型的检测精度，减少噪声对模型的干扰。
[0100]
表3 红外光图像不同预处理方法效果对比
[0101][0102]
最终红外光下光伏组件热板故障的效果检测如图16所示(图像标注数值为 iou值)，并可返回故障位置信息：
[0103]
由于可见光下数据分辨率较大(3840
×
2160)，若直接将整个图片输入网络进 行训练则会消耗大量的时间，因此本发明采用将一张原始图像拆分程多张图片 送入网络进行训练的方法，对比多种尺寸输入(320、640、1280)，并选取其中效 果最好的一种输入尺寸(见表4)。通过对比yolov5系列的不同版本(见表5)，最 终选择检测效果最好的yolov5l作为可见光故障检测模型。但是由于yolov5系 列对于小目标的检测效果并不好，因此本发明在yolov5l网络结构的基础上创造 性的添加了小目标检测层，对大分辨率的故障目标检测效果更好(见表2)。
[0104]
表4 图片输入尺寸对模型精度的影响
[0105][0106]
表5 可见光下yolov5模型对比
[0107][0108]
最终添加小目标检测层的yolov5l模型对可见光下异物故障的检测效果如 图17所示，并可准确地返回故障位置信息。
[0109]
经过本发明的模型训练，在实际使用过程中可直接在检测模块输入无人机 巡检视频，实现红外光和可见光数据自动分类，并自动输入到各自的yolov5故 障目标检测模型中，直接对视频中的故障目标进行检测，无需再转化为图像输 入网络，可进一步提高本发明的时效性和实际应用性。
[0110]
本技术实施例提供的技术方案可以包括以下有益效果：
[0111]
本发明可实现可见光和红外光两种环境下的光伏组件故障检测，实时返回 故障位置信息，及时辅助一线运维人员进行故障检测，极大地降低企业的维修 成本，提升发电量。
[0112]
本发明利用resnet50神经网络实现光伏组件可见光和红外光数据自动分类， 无需人工费时费力进行分类，并且分类准确率可达到100％。在实际应用中能够 对无人机巡检数据进行自动分类，自动输入各自的yolov5故障目标检测模型中。
[0113]
本发明通过yolov5目标检测算法分别建立两种环境下各自的目标检测模型， 充分对比yolov5模型不同版本，并添加小目标检测层，提高故障检测准确率。 此外，相较于传统的ssd、fasterr-cnn等目标检测算法只能对图片进行检测， yolov5经前期训练后可实现直接对视频进行检测，将光伏组件无人机巡检视频 直接输入网络后，直接对视频中的故障进行检测，无需再将视频转化为图片， 提高检测效率，可做到对光伏组件故障实时检测。
[0114]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到 各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。 因此，本发明的保护范围应以权利要求的保护范围为准。