一种面向太阳能电池生产缺陷的细粒度检测方法

本发明涉及计算机视觉，具体涉及一种面向太阳能电池生产缺陷的细粒度检测方法。

背景技术：

1、太阳能电池作为发电载体被广泛应用。然而，在太阳能电池生产过程中，由于人工，药液污染以及在太阳能电池片存入花篮中时等多种因素可能会导致太阳能电池片断栅、隐裂、划伤和脏污等多种缺陷。这些缺陷对电池的效率和寿命产生负面影响，甚至可能威胁到整个光伏发电系统的稳定性。因此，对太阳能电池片的缺陷检测显得尤为重要。

2、然而，在现有的太阳能电池片的缺陷检测方法中，对太阳能电池片缺陷的细粒度检测方面多存在以下问题：1)相似缺陷类别难以区分；2)并未同时考虑到通道、空间和位置三种信息，但这些对于精确、高效的多尺度检测至关重要；3)缺陷和背景间对比度较低，现有的对比度增强算法可能会导致图像在某些地方出现过度增强或放大噪声。

技术实现思路

1、本发明目的在于提供一种面向太阳能电池生产缺陷的细粒度检测方法，用于解决现有技术中对太阳能电池片缺陷的细粒度检测方面存在的问题。具体技术方案如下：

2、一种面向太阳能电池生产缺陷的细粒度检测方法，包括：

3、步骤s1、获取太阳能电池板图像，先对其进行自适应直方图均衡化对比度增强，获得多个自适应直方图均衡化小块；再对所有的自适应直方图均衡化小块进行中值滤波操作，去除噪声，保留边缘信息，从而得到中值滤波处理后的图像imf(x)；

4、步骤s2、采用swin transformer对图像imf(x)进行特征提取，输出n层特征图fl，其中，fl＝backbone(imf(x))，b表示第l层的特征图fl的批量大小，cl表示第l层的特征图fl的通道数，hl表示第l层特征图fl的高度，wl表示第l层特征图fl的宽度；

5、步骤s3、构建分层双线性池化金字塔，为特征金字塔网络中的每一层均添加双线性池化模块，将提取的多层特征图fl转化为高阶的双线性特征金字塔，用于学习张量交互以改善相似缺陷的细粒度特征识别；

6、构建路径聚合注意力金字塔，对双线性特征金字塔中的每一层特征添加scc注意力机制，增强对双线性特征金字塔中自下而上的特征传输，得到突出的不同尺度下缺陷的细粒度特征；

7、步骤s4、采用检测层对缺陷的细粒度特征进行准确定位和分类。

8、可选的，在步骤s1中进行自适应直方图均衡化的过程包括：

9、步骤s1.1、设定太阳能电池板图像满足其中，h代表太阳能电池板图像的高度，w代表太阳能电池板图像的宽度，c代表太阳能电池板图像的通道数；

10、将太阳能电池板图像分割成m×n个小块，每个小块的大小为h×w，每个小块采用bij表示；其中，bij＝x[ih:(i+1)h，jw:(j+1)w]，i∈{0，1，...，m-1}，j∈{0，1，...，n-1}，h为每个小块bij的高度，w为每个小块bij的宽度；

11、步骤s1.2、对每个小块bij计算出对应的直方图hij；对直方图hij进行均衡化，得到均衡化直方图heij；

12、步骤s1.3、若定义太阳能电池板图像在坐标(x,y)处的像素值为i(x,y)，采用均衡化直方图heij和插值系数αij(x,y)处理i(x,y)，得到自适应直方图均衡化的图像iclahe(x,y)，其采用式(1)表示：

13、

14、在式(1)中，插值系数αij(x,y)取值的大小依据像素值i(x,y)所在的小块与周围小块bij的距离确定，若距离越近，则插值系数αij(x,y)取值越大。

15、可选的，在步骤s1中进行中值滤波操作的过程包括：

16、步骤s1.4、将图像iclahe(x,y)按照滤波器的大小划分为若干个局部区域，分别对每个局部区域中包含的像素值从小到大排序，取中间的像素值作为该局部区域的输出，得到中值滤波处理后的图像imf(x)；其中，中值滤波处理采用式(2)表示：

17、

18、在式(2)中，medianfilter(x)表示中值滤波操作，m表示滤波器大小。

19、可选的，在步骤s3中的双线性池化模块采用tensor sketch方法，通过找到低维投影函数，使得多层特征图fl投影后的空间中特征向量的内积能够近似于原空间中的多项式核函数，具体过程包括：

20、需要找到一个对应第l层特征图fl的投影函数满足内积计算后维度为即满足内积表达式(3)：

21、<φl(x),φl(y)>≈kl(x,y)   (3)

22、在式(3)中，<φl(x),φl(y)>表示对应第l层特征图fl的投影函数φl(x)和φl(y)的内积，kl(x,y)表示特征金字塔网络中的第l层的核函数。

23、可选的，在步骤s3中构建分层双线性池化金字塔的过程包括：

24、步骤s3.1、确定降维映射位置

25、采用随机采样降维的方式，随机生成两组随机数组和其中，pk(l)表示pk中的元素，其从{1，2，...，cl}中均匀抽取；qk(l)表示qk中的元素，其从{+1，-1}中均匀抽取；k＝1，2；l∈{0，1，...，|cl|-1}；|cl|表示cl的长度；

26、采用pk(l)和qk(l)权重决定第l层特征图fl中每个元素在低维空间的位置；

27、步骤s3.2、映射到低维特征空间

28、定义草图函数其中，j用作索引，(qfl)j代表草图函数中第j个元素，t表示索引位置，pt表示在t索引位置的p数组的值，qt表示在t索引位置的q数组的值；采用草图函数以随机的方式将输入的第l层特征图fl中每个元素在低维空间的位置进行重排和加权，得到低维特征(qfl)j；

29、步骤s3.3、定义其中，⊙表示元素级乘法；满足

30、对采用1×1卷积，得到双线性特征金字塔。

31、可选的，在步骤s3中构建路径聚合注意力金字塔的过程包括：

32、对双线性特征金字塔采用1×1卷积构建具有自下而上路径聚合架构的路径聚合注意力金字塔。

33、可选的，在步骤s3中采用的scc注意力机制包括空间注意力，采用表示第l层的空间注意力，其中，采用式(4)表示：

34、

35、在式(4)中，σ表示sigmoid函数；vc表示卷积核；*表示反卷积；pl表示路径聚合注意力金字塔中第l层特征。

36、可选的，在步骤s3中采用的scc注意力机制还包括通道注意力，采用表示第l层的通道注意力，其中，采用式(5)表示：

37、

38、在式(5)中，gap(pl)表示全局平均池化操作；relu表示整流线性单元激活函数，用于增加非线性；w1和w2表示两个全连接层的权重矩阵，这两个全连接层均是用1x1的卷积操作来实现的，w1用于降维，w2用于恢复到原始的通道数；

39、gap(pl)采用式(6)表示：

40、

41、在式(6)中，pl(m′,n′)表示第l层路径聚合注意力金字塔在(m′,n′)位置的像素值；m′表示pl高度方向的索引；n′表示pl宽度方向的索引；w′表示pl的总宽度；h表示pl的总高度。

42、可选的，在步骤s3中采用的scc注意力机制还包括坐标注意力，采用表示坐标注意力，其获取过程包括：

43、对每一层特征图pl分别进行高度和宽度方向的全局平均池化，其中，在高度方向的全局平均池化采用式(7)表示，在宽度方向的全局平均池化采用式(8)表示；

44、xh＝gaph(pl)   (7)

45、xw＝gapw(pl)   (8)

46、将式(7)和式(8)得到的全局平均池化的结果沿着通道方向的进行拼接，将拼接后的特征图采用式(9)通过一维卷积，批量层和硬sigmoid激活函数进行处理，得到处理后的特征图：

47、y＝σh(bn(conz1×1(concatenate(xh,xw))))   (9)

48、在式(9)中，σh表示硬sigmoid激活函数，其采用式(10)表示：

49、σh＝relu6(x+bias)/scale   (10)

50、在式(10)中，bias表示硬sigmoid激活函数的输出范围的偏移量；scale表示硬sigmoid激活函数的输出范围的缩放因子；

51、将处理后的特征图分裂为高度和宽度两部分，并通过1×1卷积fh和fw以及sigmoid函数σ处理，得到最终的坐标注意力权重：ah＝σ(fh(y))，aw＝σ(fw(y))；

52、将pl与坐标注意力权重进行元素乘积操作，得到式(11)所示的坐标注意力后的特征图：

53、

54、可选的，将scc注意力机制中的空间注意力通道注意力和坐标注意力组合作用于双线性特征金字塔，得到突出的不同尺度下缺陷的细粒度特征al，采用式(12)表示al：

55、在式(12)中，αl表示第l层空间注意力的权重；βl表示第l层通道注意力的权重；γl表示第l层坐标注意力的权重；表示广播加法；al表示第l层缺陷的细粒度特征。

56、应用本发明的技术方案，至少具有以下有益效果：

57、(1)本发明提供了一种面向太阳能电池生产缺陷的细粒度检测方法，采用步骤s1-s4组合使用，将分层双线性池化金字塔、路径聚合注意力金字塔无缝地融入特征金字塔网络中，能够改善现有技术中相似缺陷类别难以区分的问题，以及多尺度检测问题，进而提高对细粒度检测的准确性。具体的，在步骤s3中，采用分层双线性池化金字塔对特征提取网络得到的每一层特征都添加双线性池化模块，这种机制学习特征提取网络不同级别之间的高阶张量关系，捕获来自不同尺度的缺陷细节特征表示，准确抓取具有判别性的高阶特征信息，改善现有技术中相似缺陷类别难以区分的问题；采用路径聚合注意力金字塔，有效地捕获局部细节和全局上下文，提高特征区分能力；路径聚合注意力金字塔通过自下而上的路径，将特征从底层传输到最高层，并通过注意力使网络在处理低层纹理和高维语义特征过程中更精准把控细粒度特征所在的通道、空间、位置信息，以此改善现有技术中的多尺度检测问题。

58、(2)本发明中在步骤s1中得到自适应直方图均衡化的图像iclahe(x，y)，能够增强缺陷和背景之间的对比度，提高网络对噪声数据的抗干扰能力和缺陷特征与背景的区分能力，并缓解现有对比度增强技术容易过度增强和放大噪声的问题。

59、除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。