技术特征：
1.一种显示屏复杂画面的缺陷检测方法，包括以下步骤：s1、对多类显示屏复杂画面进行2类缺陷图像及对应标注图的模拟生成，其中，线缺陷采用要素集排列组合及区域随机排布方式，异常点缺陷采用多阈值分割及点集随机聚类方式，得到模拟缺陷训练数据集；s2、每次训练中，将模拟缺陷与对应正常检测图像并行输入多级孪生卷积网络，得到多尺度孪生特征图，按对应尺度在通道维度进行拼接，得到多尺度孪生特征对；s3、下一级尺度孪生特征对上采样后，与上一级尺度的孪生特征对拼接，经过多级非线性点卷积层对通道特征进行重加权；将重加权后的通道特征经过一组空洞率为0/1/2的3
×
3空洞卷积以在不同局部空间范围进行特征融合，得到孪生多尺度融合特征；s4、对孪生多尺度融合特征，分别从水平、垂直与通道三个方向生成加权向量，并将加权向量经过多级全连接与relu激活层，得到最终的三维加权向量；此三个加权向量分别与孪生多尺度融合特征的三个维度重加权，然后将重加权特征图经过1
×
1卷积层降维为二通道，经过softmax进行归一化为二通道概率图，得到表示缺陷与正常区域的二值图；s5、计算输出二通道概率图与模拟标注图的交叉熵损失，并利用梯度反向传播最小化该损失，修正孪生卷积网络参数；s6、以步骤s2-s5的方式遍历模拟数据集中所有样本，得到可用于未知形态复杂显示屏的缺陷检测模型；s7、输入待检显示屏缺陷图像及对应正常检测图像，实现孪生对比的未知形态复杂显示屏缺陷检测，输出代表缺陷与正常区域的二值预测图。2.根据权利要求1所述的一种显示屏复杂画面的缺陷检测方法，其特征在于，步骤s1具体基于10类复合检测画面模拟生成线和异常点缺陷及相应的模拟标注二值图，二值图上1和0分别代表缺陷及正常区域，包括以下子步骤：s11：线缺陷通过要素集随机组合及区域随机排布方式生成，其要素集包括线的宽度(3-30个像素间隔为3，共10种)、颜色(黑/白/红/黄/蓝，共5种)、透明度(0％-50％间隔10％，共5种)、数量(1-5根线)，当生成k条线时将画面划分为k部分，每根线在区域内进行随机位置排布；s12：异常点缺陷采用多阈值分割及点集随机聚类方式生成，以间隔为5设定50-200共30个灰度级分割阈值，然后对正常检测画面以随机选取的某个阈值进行二值化分割，得到二值分割图；取二值分割图的边缘点集，利用k均值随机聚类将边缘点集划分为10个子点集，每个子点集随机赋予某种rgb颜色，得到最终的异常缺陷颜色及位置点集；s13、将生成的线与异常点缺陷，进行高斯模糊后，叠加到被施加偏差干扰的正常检测画面，其中，偏差干扰包括亮度、对比度、饱和度各10％以内，rgb三通道色偏20个灰度级以内，iso颜色噪声0.01-0.03，强度噪声0.1-0.3，所有偏差数值选取满足均匀分布。3.根据权利要求2所述的一种显示屏复杂画面的缺陷检测方法，其特征在于，在步骤s2中：所使用的孪生多级网络可为任意的深度卷积神经网络并选取中间3级作为输出，在使用时并行地接收两张图像输入，进行一次代价函数计算及网络参数更新；每次训练时，将缺陷图像(not good,ng图)与对应的正常检测图像(ok图)并行输入到多级孪生卷积网络，得到多尺度孪生特征图ng1/ng2/ng3以及ok1/ok2/ok3，并将对应尺度的孪生特征图并按通道维度进行拼接，即
其中，θ(
·
)表示两个1
×
1卷积及relu激活层串联，w
c
、w
h
、w
w
分别为通道、垂直、水平三个方向的注意力加权向量，r
h
×
w
×1表示实数域中高为h，宽为w，通道数为1的张量，r
h
×
w
×2则为相应的2通道张量，表示矩阵按元素相乘，输出为一个宽与高为h
×
w的二通道特征图f
out
，将该特征图进一步使用softmax函数将每个点映射到0-1区间内，得到二通道概率图p，即其中，k的取值为0或1，f
out
(i,j,k)二通道特征图上第k个通道的i行j列，p(i,j,k)表示二通道概率图第k个通道的i行j列；当第一通道大于第二通道，表示属于正常区域概率更大，反之表示为缺陷区域概率更大，按此规则比较每个点的概率大小，输出二值图，即7.根据权利要求6所述的一种显示屏复杂画面的缺陷检测方法，其特征在于，步骤s5中采用交叉熵损失函数作为代价函数的计算方法为：loss(i,j)＝-gt(i,j)logp(i,j,0)-(1-gt(i,j))logp(i,j,1)其中，logp(i,j,0)为二通道概率图的第一个通道，表示第i行j列为缺陷的概率，取值范围在0-1之间的连续数值，logp(i,j,1)为第二通道，表示第i行j列为正常的概率，gt(i,j)为模拟标注图上的第i行j列，取值为1表示有缺陷，否则为正常区域。
技术总结
本发明公开了一种显示屏复杂画面的缺陷检测方法，具体基于规则进行大量模拟数据生成来驱动孪生深度卷积网络模型，将缺陷建模为与正常检测画面的区别而不对缺陷形态进行直接建模，通过孪生特征的多级融合与三维注意力解码，从而得到了一个能检测与正常画面不同区域的网络模型，用于未知形态的复杂显示屏缺陷像素级检测。本发明的方法解决了显示屏复杂画面的缺陷细粒度检测问题，且不需要实际缺陷样本及标注，具有未知形态缺陷检测的泛化性。具有未知形态缺陷检测的泛化性。具有未知形态缺陷检测的泛化性。
技术研发人员：陈怀新 刘壁源
受保护的技术使用者：电子科技大学
技术研发日：2022.04.27
技术公布日：2022/7/29