屏幕检测和屏幕检测模型训练方法、装置及设备与流程

文档序号:26142454发布日期:2021-08-03 14:27阅读:来源:国知局

技术特征:

1.一种屏幕检测方法,其特征在于,包括:

获取第一图像中每个像素点的特征向量,所述第一图像为拍摄待检测屏幕得到的图像;

根据所述第一图像中每个像素点的特征向量对所述第一图像中的像素点进行分类,根据分类结果得到所述待检测屏幕的检测结果。

2.根据权利要求1所述的方法,其特征在于,获取第一图像中每个像素点的特征向量,包括:

根据所述第一图像,确定多个三维特征图像,所述第一图像在横向包括m个像素点,所述第一图像在纵向包括n个像素点,各所述三维特征图像在横向包括m个像素点,各所述三维特征图像在纵向包括n个像素点,各所述三维特征图像的通道数为c,所述c为预设类别数;

根据所述多个三维特征图像,获取第一图像中每个像素点的特征向量。

3.根据权利要求2所述的方法,其特征在于,根据所述第一图像,确定多个三维特征图像,包括:

对所述第一图像进行多次特征提取处理,得到所述多个三维特征图像;

其中,每两次特征提取处理中包括的特征提取操作的次数不同,所述特征提取操作包括卷积操作和采样操作。

4.根据权利要求3所述的方法,其特征在于,针对任意一次特征提取处理,对所述第一图像进行特征提取处理,得到所述三维特征图像,包括:

对所述第一图像执行卷积操作和下采样操作,得到k个下采样特征图像,第i个下采样特征图像的尺寸为所述i依次取1,2,……,k;

根据所述k个下采样特征图像执行卷积操作和上采样操作,得到所述三维特征图像。

5.根据权利要求4所述的方法,其特征在于,对所述第一图像执行卷积操作和下采样操作,得到k个下采样特征图像,包括:

对所述第一图像执行卷积操作,得到第一个下采样特征图像;

对所述第一个下采样特征图像依次执行i次第一操作,得到第i+1个下采样特征图像,所述i依次取1,2,……,k-1,所述第一操作包括下采样操作和卷积操作。

6.根据权利要求4或5所述的方法,其特征在于,根据所述k个下采样特征图像执行卷积操作和上采样操作,得到所述三维特征图像,包括:

对所述第k个下采样特征图像进行下采样操作、卷积操作和上采样操作,得到第k个上采样特征图像;

对第i个上采特征样图像和第i个下采样特征图像依次进行合并操作、卷积操作和上采样操作,得到第i-1个上采样特征图像,所述i依次取k,k-1,……,2;

对第一个上采样图像进行卷积操作,得到所述三维特征图像。

7.根据权利要求2-6任一项所述的方法,其特征在于,根据所述多个三维特征图像,获取第一图像中每个像素点的特征向量,包括:

根据每个三维特征图像中像素点的像素值,确定目标三维特征图像,所述目标三维特征图像在横向包括m个像素点,所述目标三维图像在纵向包括n个像素点,所述目标三维特征图像的通道数为所述c;

根据所述目标三维特征图像中各像素点的像素值,确定第一图像中每个像素点的特征向量。

8.根据权利要求7所述的方法,其特征在于,根据每个三维特征图像中像素点的像素值,确定目标三维特征图像,包括:

根据每个三维特征图像中第x个通道的m*n个像素的像素值,确定所述目标三维特征图像的第x个通道的m*n个像素的像素值,所述x依次取1,2,……,c;

其中,所述目标三维特征图像的第x个通道中的第(a,b)个像素点的像素值为:所述多个三维特征图像的第x个通道中的第(a,b)个像素点的像素值中的最大值,所述a为小于或等于m的正整数,所述b为小于或等于n的正整数。

9.根据权利要求8所述的方法,其特征在于,针对所述第一图像中第(a,b)个像素点,根据所述目标三维特征图像中各像素点的像素值,确定第一图像中第(a,b)个像素点的特征向量,包括:

根据所述目标三维特征图像的c个通道中第(a,b)个像素点的值,确定所述第一图像中第(a,b)个像素点的特征向量。

10.根据权利要求1所述的方法,其特征在于,获取第一图像中每个像素点的特征向量,包括:

将所述第一图像输入至特征提取模型,得到所述第一图像中每个像素点的特征向量,其中,所述特征提取模型是对多组第一样本学习得到的,每组第一样本包括第一样本图像和所述第一样本图像中的像素点的特征向量,所述第一样本图像为拍摄第一样本屏幕得到的图像。

11.根据权利要求2-10任一项所述的方法,其特征在于,根据所述第一图像中每个像素点的特征向量对所述第一图像中的像素点进行分类,根据分类结果得到所述待检测屏幕的检测结果,包括:

将所述第一图像中的像素点的特征向量输入至预设模型,得到所述第一图像中每个像素点的类别,其中,所述预设模型是对多组第二样本学习得到的,每组第二样本包括第二样本图像上像素点的特征向量和标注信息,所述第二样本图像为拍摄第二样本屏幕得到的图像,所述标注信息为标注了所述第二样本图像上的像素点的类别的信息,所述第一图像中的任意像素点的类别为预设类别中的一个,预设类别数为c;

根据所述第一图像中每个像素点的类别,得到所述待检测屏幕的检测结果。

12.根据权利要求11所述的方法,其特征在于,将所述第一图像中的像素点的特征向量输入至预设模型,得到所述第一图像中每个像素点的类别,包括:

将所述第一图像中的像素点的特征向量输入至所述预设模型,得到c-1张第一输出图像和一张第二输出图像,其中,每张第一输出图像指示一个缺陷类别,每张第一输出图像i中的第(c,d)个像素点的灰度值用于指示所述第一图像上的第(c,d)个像素点的缺陷类别为所述第一输出图像i指示的缺陷类别的概率,所述第二输出图像中的第(c,d)个像素点的灰度值用于指示所述第一图像上的第(c,d)个像素点的类别为正常的概率,所述c为小于或等于m的正整数,所述d为小于或等于n的正整数;

根据所述c-1张第一输出图像上每个像素点的灰度值、以及所述第二输出图像上每个像素点的灰度值,得到所述第一图像中每个像素点的类别。

13.根据权利要求12所述的方法,其特征在于,根据所述c-1张第一输出图像上每个像素点的灰度值、以及所述第二输出图像上每个像素点的灰度值,得到所述第一图像中每个像素点的类别,包括:

针对所述第一图像中的第(c,d)个像素点,获取在c-1张第一输出图像中每张第一输出图像上的第(c,d)个像素点的灰度值以及所述第二输出图像上的第(c,d)个像素点的灰度值;

根据每张第一输出图像上的第(c,d)个像素点的灰度值以及所述第二输出图像上的第(c,d)个像素点的灰度值,确定灰度值最大的像素点;

若所述灰度值最大的像素点所在的图像为所述第二输出图像,则确定所述第一图像中的第(c,d)个像素点的类别为正常;

否则,将所述灰度值最大的像素点所在的第一输出图像指示的缺陷类别确定为所述第一图像中第(c,d)个像素点的类别。

14.一种屏幕检测模型训练方法,其特征在于,包括:

获取训练样本,所述训练样本中包括样本图像和所述样本图像中的像素点的标注信息,所述样本图像中的像素点的标注信息为标注了所述样本图像中的像素点的类别的信息;

将所述样本图像输入至屏幕检测模型,得到所述样本图像中的像素点的训练输出类别;

根据所述样本图像中的像素点的训练输出类别和所述样本图像中的像素点的标注信息,调整所述屏幕检测模型的参数,直至所述样本图像中的像素点的训练输出类别和所述样本图像中的像素点的标注信息之间的误差小于等于预设误差时,得到训练完成的屏幕检测模型。

15.根据权利要求14所述的方法,其特征在于,所述屏幕检测模型包括特征提取网络和分类网络;将所述样本图像输入至屏幕检测模型,得到所述样本图像中的像素点的训练输出类别,包括:

根据所述特征提取网络对所述样本图像进行特征提取处理,得到多个样本三维特征图像,所述样本图像在横向包括m个像素点,所述样本图像在纵向包括n个像素点,各所述样本三维特征图像在横向包括m个像素点,各所述样本三维特征图像在纵向包括n个像素点,各所述样本三维特征图像的通道数为c,所述c为对所述样本图像中的像素点进行分类的类别数;

根据所述分类网络对所述多个样本三维特征图像进行处理,得到所述样本图像中的像素点的训练输出类别。

16.根据权利要求15所述的方法,其特征在于,根据所述特征提取网络对所述样本图像进行特征提取处理,得到多个样本三维特征图像,包括:

根据所述特征提取网络对所述样本图像进行多次特征提取处理,得到所述多个样本三维特征图像;

其中,每两次特征提取处理中包括的特征提取操作的次数不同,所述特征提取操作包括卷积操作和采样操作。

17.根据权利要求16所述的方法,其特征在于,所述特征提取网络包括卷积层、池化层和上采样层;针对任意一次特征提取处理,根据所述特征提取网络对所述样本图像进行特征提取处理,得到所述样本三维特征图像,包括:

根据所述卷积层和所述池化层对所述样本图像执行卷积操作和下采样操作,得到k个样本下采样特征图像,第i个样本下采样特征图像的尺寸为所述i依次取1,2,……,k;

根据所述卷积层和所述上采样层对所述k个样本下采样特征图像执行卷积操作和上采样操作,得到所述样本三维特征图像。

18.根据权利要求17所述的方法,其特征在于,根据所述卷积层和所述池化层对所述样本图像执行卷积操作和下采样操作,得到k个样本下采样特征图像,包括:

根据所述卷积层对所述样本图像执行卷积操作,得到第一个样本下采样特征图像;

根据所述卷积层和所述池化层对所述第一个样本下采样特征图像依次执行i次第一操作,得到第i+1个样本下采样特征图像,所述i依次取1,2,……,k-1,所述第一操作包括下采样操作和卷积操作。

19.根据权利要求17或18所述的方法,其特征在于,根据所述卷积层和所述上采样层对所述k个样本下采样特征图像执行卷积操作和上采样操作,得到所述样本三维特征图像,包括:

根据所述池化层、所述卷积层和所述上采样层对所述第k个样本下采样特征图像进行下采样操作、卷积操作和上采样操作,得到第k个样本上采样特征图像;

根据所述卷积层和所述上采样层对第i个样本上采特征样图像和第i个样本下采样特征图像依次进行合并操作、卷积操作和上采样操作,得到第i-1个样本上采样特征图像,所述i依次取k,k-1,……,2;

根据所述卷积层对第一个样本上采样图像进行卷积操作,得到所述样本三维特征图像。

20.一种屏幕检测装置,其特征在于,包括:

获取模块,用于获取第一图像中每个像素点的特征向量,所述第一图像为拍摄待检测屏幕得到的图像;

分类模块,用于根据所述第一图像中每个像素点的特征向量对所述第一图像中的像素点进行分类,根据分类结果得到所述待检测屏幕的检测结果。

21.根据权利要求20所述的装置,其特征在于,所述获取模块具体用于:

根据所述第一图像,确定多个三维特征图像,所述第一图像在横向包括m个像素点,所述第一图像在纵向包括n个像素点,各所述三维特征图像在横向包括m个像素点,各所述三维特征图像在纵向包括n个像素点,各所述三维特征图像的通道数为c,所述c为预设类别数;

根据所述多个三维特征图像,获取第一图像中每个像素点的特征向量。

22.根据权利要求21所述的装置,其特征在于,所述获取模块具体用于:

对所述第一图像进行多次特征提取处理,得到所述多个三维特征图像;

其中,每两次特征提取处理中包括的特征提取操作的次数不同,所述特征提取操作包括卷积操作和采样操作。

23.根据权利要求22所述的装置,其特征在于,针对任意一次特征提取处理,所述获取模块具体用于:

对所述第一图像执行卷积操作和下采样操作,得到k个下采样特征图像,第i个下采样特征图像的尺寸为所述i依次取1,2,……,k;

根据所述k个下采样特征图像执行卷积操作和上采样操作,得到所述三维特征图像。

24.根据权利要求23所述的装置,其特征在于,所述获取模块具体用于:

对所述第一图像执行卷积操作,得到第一个下采样特征图像;

对所述第一个下采样特征图像依次执行i次第一操作,得到第i+1个下采样特征图像,所述i依次取1,2,……,k-1,所述第一操作包括下采样操作和卷积操作。

25.根据权利要求23或24所述的装置,其特征在于,所述获取模块具体用于:

对所述第k个下采样特征图像进行下采样操作、卷积操作和上采样操作,得到第k个上采样特征图像;

对第i个上采特征样图像和第i个下采样特征图像依次进行合并操作、卷积操作和上采样操作,得到第i-1个上采样特征图像,所述i依次取k,k-1,……,2;

对第一个上采样图像进行卷积操作,得到所述三维特征图像。

26.根据权利要求21-25任一项所述的装置,其特征在于,所述获取模块具体用于:

根据每个三维特征图像中像素点的像素值,确定目标三维特征图像,所述目标三维特征图像在横向包括m个像素点,所述目标三维图像在纵向包括n个像素点,所述目标三维特征图像的通道数为所述c;

根据所述目标三维特征图像中各像素点的像素值,确定第一图像中每个像素点的特征向量。

27.根据权利要求26所述的装置,其特征在于,所述获取模块具体用于:

根据每个三维特征图像中第x个通道的m*n个像素的像素值,确定所述目标三维特征图像的第x个通道的m*n个像素的像素值,所述x依次取1,2,……,c;

其中,所述目标三维特征图像的第x个通道中的第(a,b)个像素点的像素值为:所述多个三维特征图像的第x个通道中的第(a,b)个像素点的像素值中的最大值,所述a为小于或等于m的正整数,所述b为小于或等于n的正整数。

28.根据权利要求27所述的装置,其特征在于,针对所述第一图像中第(a,b)个像素点,所述获取模块具体用于:

根据所述目标三维特征图像的c个通道中第(a,b)个像素点的值,确定所述第一图像中第(a,b)个像素点的特征向量。

29.根据权利要求20所述的装置,其特征在于,所述获取模块具体用于:

将所述第一图像输入至特征提取模型,得到所述第一图像中每个像素点的特征向量,其中,所述特征提取模型是对多组第一样本学习得到的,每组第一样本包括第一样本图像和所述第一样本图像上像素点的特征向量,所述第一样本图像为拍摄第一样本屏幕得到的图像。

30.根据权利要求21-29任一项所述的装置,其特征在于,所述分类模块具体用于:

将所述第一图像中的像素点的特征向量输入至预设模型,得到所述第一图像中每个像素点的类别,其中,所述预设模型是对多组第二样本学习得到的,每组第二样本包括第二样本图像上像素点的特征向量和标注信息,所述第二样本图像为拍摄第二样本屏幕得到的图像,所述标注信息为标注了所述第二样本图像上的像素点的类别的信息,所述第一图像中的任意像素点的类别为预设类别中的一个,预设类别数为c;

根据所述第一图像中每个像素点的类别,得到所述待检测屏幕的检测结果。

31.根据权利要求30所述的装置,其特征在于,所述分类模块具体用于:

将所述第一图像中的像素点的特征向量输入至所述预设模型,得到c-1张第一输出图像和一张第二输出图像,其中,每张第一输出图像指示一个缺陷类别,每张第一输出图像i中的第(c,d)个像素点的灰度值用于指示所述第一图像上的第(c,d)个像素点的缺陷类别为所述第一输出图像i指示的缺陷类别的概率,所述第二输出图像中的第(c,d)个像素点的灰度值用于指示所述第一图像上的第(c,d)个像素点的类别为正常的概率,所述c为小于或等于m的正整数,所述d为小于或等于n的正整数;

根据所述c-1张第一输出图像上每个像素点的灰度值、以及所述第二输出图像上每个像素点的灰度值,得到所述第一图像中每个像素点的类别。

32.根据权利要求31所述的装置,其特征在于,所述分类模块具体用于:

针对所述第一图像中的第(c,d)个像素点,获取在c-1张第一输出图像中每张第一输出图像上的第(c,d)个像素点的灰度值以及所述第二输出图像上的第(c,d)个像素点的灰度值;

根据每张第一输出图像上的第(c,d)个像素点的灰度值以及所述第二输出图像上的第(c,d)个像素点的灰度值,确定灰度值最大的像素点;

若所述灰度值最大的像素点所在的图像为所述第二输出图像,则确定所述第一图像中的第(c,d)个像素点的类别为正常;

否则,将所述灰度值最大的像素点所在的第一输出图像指示的缺陷类别确定为所述第一图像中第(c,d)个像素点的类别。

33.一种屏幕检测模型训练装置,其特征在于,包括:

训练模块,用于获取训练样本,所述训练样本中包括样本图像和所述样本图像中的像素点的标注信息,所述样本图像中的像素点的标注信息为标注了所述样本图像中的像素点的类别的信息;

处理模块,用于将所述样本图像输入至屏幕检测模型,得到所述样本图像中的像素点的训练输出类别;

调整模块,用于根据所述样本图像中的像素点的训练输出类别和所述样本图像中的像素点的标注信息,调整所述屏幕检测模型的参数,直至所述样本图像中的像素点的训练输出类别和所述样本图像中的像素点的标注信息之间的误差小于等于预设误差时,得到训练完成的屏幕检测模型。

34.根据权利要求33所述的装置,其特征在于,所述屏幕检测模型包括特征提取网络和分类网络;所述处理模块具体用于:

根据所述特征提取网络对所述样本图像进行特征提取处理,得到多个样本三维特征图像,所述样本图像在横向包括m个像素点,所述样本图像在纵向包括n个像素点,各所述样本三维特征图像在横向包括m个像素点,各所述样本三维特征图像在纵向包括n个像素点,各所述样本三维特征图像的通道数为c,所述c为对所述样本图像中的像素点进行分类的类别数;

根据所述分类网络对所述多个样本三维特征图像进行处理,得到所述样本图像中的像素点的训练输出类别。

35.根据权利要求34所述的装置,其特征在于,所述处理模块具体用于:

根据所述特征提取网络对所述样本图像进行多次特征提取处理,得到所述多个样本三维特征图像;

其中,每两次特征提取处理中包括的特征提取操作的次数不同,所述特征提取操作包括卷积操作和采样操作。

36.根据权利要求35所述的装置,其特征在于,所述特征提取网络包括卷积层、池化层和上采样层;针对任意一次特征提取处理,所述处理模块具体用于:

根据所述卷积层和所述池化层对所述样本图像执行卷积操作和下采样操作,得到k个样本下采样特征图像,第i个样本下采样特征图像的尺寸为所述i依次取1,2,……,k;

根据所述卷积层和所述上采样层对所述k个样本下采样特征图像执行卷积操作和上采样操作,得到所述样本三维特征图像。

37.根据权利要求36所述的装置,其特征在于,所述处理模块具体用于:

根据所述卷积层对所述样本图像执行卷积操作,得到第一个样本下采样特征图像;

根据所述卷积层和所述池化层对所述第一个样本下采样特征图像依次执行i次第一操作,得到第i+1个样本下采样特征图像,所述i依次取1,2,……,k-1,所述第一操作包括下采样操作和卷积操作。

38.根据权利要求36或37所述的装置,其特征在于,所述处理模块具体用于:

根据所述池化层、所述卷积层和所述上采样层对所述第k个样本下采样特征图像进行下采样操作、卷积操作和上采样操作,得到第k个样本上采样特征图像;

根据所述卷积层和所述上采样层对第i个样本上采特征样图像和第i个样本下采样特征图像依次进行合并操作、卷积操作和上采样操作,得到第i-1个样本上采样特征图像,所述i依次取k,k-1,……,2;

根据所述卷积层对第一个样本上采样图像进行卷积操作,得到所述样本三维特征图像。

39.一种屏幕检测设备,其特征在于,包括:存储器和处理器,所述存储器存储有计算机程序,所述处理器运行所述计算机程序执行如权利要求1-13任一项所述的屏幕检测方法。

40.一种屏幕检测模型训练设备,其特征在于,包括:存储器和处理器,所述存储器存储有计算机程序,所述处理器运行所述计算机程序执行如权利要求14-19任一项所述的屏幕检测模型训练方法。

41.一种屏幕检测系统,其特征在于,包括图像采集设备和屏幕检测设备,其中:

所述图像采集设备用于拍摄待检测屏幕,得到第一图像,并向所述屏幕检测设备发送所述第一图像;

所述屏幕检测设备用于根据权利要求1-13任一项所述的方法对所述第一图像进行处理,得到所述待检测屏幕的检测结果。

42.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机程序,所述计算机程序在被一个或多个处理器执行时实现权利要求1-13任一项所述的屏幕检测方法,或者,所述计算机程序在被一个或多个处理器执行时实现权利要求14-19任一项所述的屏幕检测模型训练方法。


技术总结
本申请实施例提供一种屏幕检测和屏幕检测模型训练方法、装置及设备,该屏幕检测方法包括:获取第一图像中每个像素点的特征向量,所述第一图像为拍摄待检测屏幕得到的图像;根据所述第一图像中每个像素点的特征向量对所述第一图像中的像素点进行分类,根据分类结果得到所述待检测屏幕的检测结果。本申请实施例提供的方案,可用于屏幕的生产制造中,或带屏设备的屏幕组装环节前后等各个场景中,对这些场景下的屏幕进行缺陷检测和质量控制,提高屏幕检测的准确率。

技术研发人员:叶磊;王靓伟
受保护的技术使用者:华为技术有限公司
技术研发日:2020.01.15
技术公布日:2021.08.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1