屏幕检测和屏幕检测模型训练方法、装置及设备与流程
本申请涉及图像处理技术领域，尤其涉及一种屏幕检测和屏幕检测模型训练方法、装置及设备。
背景技术：
在各电子设备屏幕的生产过程中，由于组装工艺或其他原因可能会对屏幕造成影响，使得屏幕上出现缺陷。
目前，主要是通过人工检测或者各种屏幕检测算法，对屏幕上的缺陷进行检测。然而，通过人工检测或屏幕检测算法对屏幕上的缺陷进行检测时，针对较小的屏幕缺陷检测的准确率较低，较难检测出仅包括几个像素点的微小缺陷。
技术实现要素：
本申请实施例提供一种屏幕检测和屏幕检测模型训练方法、装置及设备，提高屏幕中微小缺陷检测的准确率。
第一方面，本申请实施例提供一种屏幕检测方法，当需要对屏幕进行检测时，可以首先获取第一图像中每个像素点的特征向量，并根据第一图像中每个像素点的特征向量对第一图像中的像素点进行分类，根据分类结果得到待检测屏幕的检测结果，其中，第一图像为拍摄待检测屏幕得到的图像。
在上述过程中，在对待检测屏幕拍摄得到第一图像后，获取的是第一图像中每个像素点的特征向量，然后根据像素点的特征向量将第一图像中的像素点进行分类，得到待检测屏幕的检测结果，检测的过程是针对第一图像中的像素点进行的，基于每个像素点的特征向量进行独立的判别，能够实现对第一图像的像素级分割，因此能够检测出待检测屏幕中像素级的微小屏幕缺陷，提高屏幕缺陷检测中针对微小缺陷的检测准确率。
在一种可能的实现方式中，可以通过如下方式来获取第一图像中每个像素点的特征向量：根据第一图像，确定多个三维特征图像，第一图像在横向包括m个像素点，第一图像在纵向包括n个像素点，各三维特征图像在横向包括m个像素点，各三维特征图像在纵向包括n个像素点，各三维特征图像的通道数为c，c为预设类别数；根据多个三维特征图像，获取第一图像中每个像素点的特征向量。
在一种可能的实现方式中，可以通过如下方式来确定多个三维特征图像：对第一图像进行多次特征提取处理，得到多个三维特征图像；其中，每两次特征提取处理中包括的特征提取操作的次数不同，特征提取操作包括卷积操作和采样操作。
在上述过程中，通过对第一图像进行特征提取处理，得到多个三维特征图像，其中，每次特征提取处理中的特征提取操作次数不同，得到的多个三维特征图像反映了第一图像中不同层次的特征，根据多个三维特征图像得到的第一图像中像素点的特征向量更有利于后续对像素点的分类。
在一种可能的实现方式中，针对任意一次特征提取处理，对第一图像进行特征提取处理，得到三维特征图像，包括：对第一图像执行卷积操作和下采样操作，得到k个下采样特征图像，第i个下采样特征图像的尺寸为
在一种可能的实现方式中，可以通过如下方式来得到k个下采样特征图像：对第一图像执行卷积操作，得到第一个下采样特征图像；对第一个下采样特征图像依次执行i次第一操作，得到第i+1个下采样特征图像，i依次取1,2，……，k-1，第一操作包括下采样操作和卷积操作。
在上述过程中，针对任意一次特征提取处理，通过对第一图像执行一次卷积操作和下采样操作后，会得到一个尺度不同的下采样特征图像。在对第一图像执行卷积操作得到第一个下采样特征图像后，通过对第一个下采样特征图像执行不同次数的第一操作，得到不同尺度下的下采样特征图像，从而提取到第一图像在不同尺度下的特征。
在一种可能的实现方式中，可以通过如下方式来得到三维特征图像：对第k个下采样特征图像进行下采样操作、卷积操作和上采样操作，得到第k个上采样特征图像；对第i个上采特征样图像和第i个下采样特征图像依次进行合并操作、卷积操作和上采样操作，得到第i-1个上采样特征图像，i依次取k，k-1，……，2；对第一个上采样图像进行卷积操作，得到三维特征图像。
在上述过程中，通过对上采样特征图像进行下采样操作、卷积操作和上采样操作，上采样操作之前能够将第i个下采样特征图像和第i个上采样特征图像进行合并，从而使得第i个下采样特征图像中的特征尽可能多的保留到下一层。
在一种可能的实现方式中，可以通过如下方式来获取第一图像中每个像素点的特征向量：根据每个三维特征图像中像素点的像素值，确定目标三维特征图像，目标三维特征图像在横向包括m个像素点，目标三维图像在纵向包括n个像素点，目标三维特征图像的通道数为c；根据目标三维特征图像中各像素点的像素值，确定第一图像中每个像素点的特征向量。
在一种可能的实现方式中，可以通过如下方式来确定目标三维特征图像：根据每个三维特征图像中第x个通道的m*n个像素的像素值，确定目标三维特征图像的第x个通道的m*n个像素的像素值，x依次取1，2，……，c；其中，目标三维特征图像的第x个通道中的第(a，b)个像素点的像素值为：多个三维特征图像的第x个通道中的第(a，b)个像素点的像素值中的最大值，a为小于或等于m的正整数，b为小于或等于n的正整数。
在一种可能的实现方式中，针对第一图像中第(a，b)个像素点，可以通过如下方式来确定第一图像中第(a，b)个像素点的特征向量：根据目标三维特征图像的c个通道中第(a，b)个像素点的值，确定第一图像中第(a，b)个像素点的特征向量。
在上述过程中，通过每个三维特征图像中像素点的像素值得到第一图像中每个像素点的特征向量，其中根据每个三维特征图像得到目标三维特征图像，每个三维特征图像和目标三维特征图像的尺寸均为m*n，每个三维特征图像和目标三维特征图像的通道数均为c，目标三维特征图像中任一通道上的像素点的像素值即为每个目标三维特征图像的对应通道上相同位置的像素点中的最大值。通过目标三维特征图像上每个像素点在c个通道上的像素值，能够得到第一图像中每个像素点的特征向量。
在一种可能的实现方式中，可以通过如下的另一种方式获取第一图像中每个像素点的特征向量：将第一图像输入至特征提取模型，得到第一图像中每个像素点的特征向量，其中，特征提取模型是对多组第一样本学习得到的，每组第一样本包括第一样本图像和第一样本图像上像素点的特征向量，第一样本图像为拍摄第一样本屏幕得到的图像。
通过多组第一样本的训练，特征提取模型能够具备提取图像中像素点的特征向量的功能，此时将第一图像输入至特征提取模型，能够得到特征提取模型输出的第一图像中每个像素点的特征向量。
在一种可能的实现方式中，可以通过如下的方式对第一图像中的像素点进行分类，并根据分类结果得到待检测屏幕的检测结果：将第一图像中的像素点的特征向量输入至预设模型，得到第一图像中每个像素点的类别，其中，预设模型是对多组第二样本学习得到的，每组第二样本包括第二样本图像上像素点的特征向量和标注信息，第二样本图像为拍摄第二样本屏幕得到的图像，标注信息为标注了第二样本图像上的像素点的类别的信息，第一图像中的任意像素点的类别为预设类别中的一个，预设类别数为c；根据第一图像中每个像素点的类别，得到待检测屏幕的检测结果。
在上述过程中，预设模型为预先训练得到的模型，其中，预设模型是对多组第二样本学习得到的，每组第二样本包括第二样本图像上像素点的特征向量和标注信息，第二样本图像为拍摄第二样本屏幕得到的图像，标注信息为标注了第二样本图像上的像素点的类别的信息，像素点的类别为c个预设类别中的一个。根据对第二训练样本的学习，预设模型能够具备对图像中的像素点进行分类的功能，此时将第一图像中的像素点的特征向量输入至预设模型，能够得到预设模型输出的第一图像中每个像素点的类别。进一步的，若第一图像中每个像素点的特征向量为根据特征提取模型来获取的，此时也可以将特征提取模型和预设模型作为一个模型的两个部分，对该总的模型进行训练。训练完成后，将第一图像输入总的模型后，总的模型先提取第一图像中每个像素点的特征向量，然后根据每个像素点的特征向量对第一图像中的像素点进行分类，实现对待检测屏幕中的缺陷检测。
在一种可能的实现方式中，可以通过如下方法得到第一图像中每个像素点的类别：将第一图像中的像素点的特征向量输入至预设模型，得到c-1张第一输出图像和一张第二输出图像，其中，每张第一输出图像指示一个缺陷类别，每张第一输出图像i中的第(c，d)个像素点的灰度值用于指示第一图像上的第(c，d)个像素点的缺陷类别为第一输出图像i指示的缺陷类别的概率，第二输出图像中的第(c，d)个像素点的灰度值用于指示第一图像上的第(c，d)个像素点的类别为正常的概率，c为小于或等于m的正整数，d为小于或等于n的正整数；根据c-1张第一输出图像上每个像素点的灰度值、以及第二输出图像上每个像素点的灰度值，得到第一图像中每个像素点的类别。
在一种可能的实现方式中，可以通过如下方法得到第一图像中每个像素点的类别：针对第一图像中的第(c，d)个像素点，获取在c-1张第一输出图像中每张第一输出图像上的第(c，d)个像素点的灰度值以及第二输出图像上的第(c，d)个像素点的灰度值；根据每张第一输出图像上的第(c，d)个像素点的灰度值以及第二输出图像上的第(c，d)个像素点的灰度值，确定灰度值最大的像素点；若灰度值最大的像素点所在的图像为第二输出图像，则确定第一图像中的第(c，d)个像素点的类别为正常；否则，将灰度值最大的像素点所在的第一输出图像指示的缺陷类别确定为第一图像中第(c，d)个像素点的类别。
在上述过程中，示出了第一图像中的像素点类别的判定方法。预设模型输出了c张图像，每张输出图像的尺寸均为m*n，每张第一输出图像指示一个缺陷类别，第一输出图像中每个像素点的灰度值指示第一图像中相同位置的像素点为该第一输出图像指示的缺陷类别的概率，第二输出图像指示正常像素，第二输出图像中每个像素点的灰度值指示第一图像中相同位置的像素点为正常像素的概率。得到了c-1张第一输出图像和一张第二输出图像后，能够确定第一图像中每个像素点的类别。
第二方面，本申请实施例提供一种屏幕检测模型训练方法，包括：获取训练样本，训练样本中包括样本图像和样本图像中的像素点的标注信息，样本图像中的像素点的标注信息为标注了样本图像中的像素点的类别的信息；将样本图像输入至屏幕检测模型，得到样本图像中的像素点的训练输出类别；根据样本图像中的像素点的训练输出类别和样本图像中的像素点的标注信息，调整屏幕检测模型的参数，直至样本图像中的像素点的训练输出类别和样本图像中的像素点的标注信息之间的误差小于等于预设误差时，得到训练完成的屏幕检测模型。
在上述过程中，通过训练样本对屏幕检测模型进行训练，在屏幕检测模型对样本图像进行处理，得到样本图像中像素点的训练输出类别后，根据训练输出类别和样本图像中像素点的实际类别来对屏幕检测模型中的参数进行调整，直至两者之间的误差较小时，模型训练完成，此时训练完成的屏幕检测模型能够对输入的图像进行像素点的分类。
在一种可能的实现方式中，屏幕检测模型包括特征提取网络和分类网络；可以通过如下方法得到样本图像中的像素点的训练输出类别：根据特征提取网络对样本图像进行特征提取处理，得到多个样本三维特征图像，样本图像在横向包括m个像素点，样本图像在纵向包括n个像素点，各样本三维特征图像在横向包括m个像素点，各样本三维特征图像在纵向包括n个像素点，各样本三维特征图像的通道数为c，c为对样本图像中的像素点进行分类的类别数；根据分类网络对多个样本三维特征图像进行处理，得到样本图像中的像素点的训练输出类别。
在一种可能的实现方式中，可以通过如下方法得到多个样本三维特征图像：根据特征提取网络对样本图像进行多次特征提取处理，得到多个样本三维特征图像；其中，每两次特征提取处理中包括的特征提取操作的次数不同，特征提取操作包括卷积操作和采样操作。
在上述过程中，通过对样本图像进行特征提取处理，得到多个样本三维特征图像，其中，每次特征提取处理中的特征提取操作次数不同，从而提取到了样本图像中不同层次的特征。
在一种可能的实现方式中，特征提取网络包括卷积层、池化层和上采样层；针对任意一次特征提取处理，可以通过如下方法得到样本三维特征图像：根据卷积层和池化层对样本图像执行卷积操作和下采样操作，得到k个样本下采样特征图像，第i个样本下采样特征图像的尺寸为
在一种可能的实现方式中，可以通过如下方法得到k个样本下采样特征图像：根据卷积层对样本图像执行卷积操作，得到第一个样本下采样特征图像；根据卷积层和池化层对第一个样本下采样特征图像依次执行i次第一操作，得到第i+1个样本下采样特征图像，i依次取1,2，……，k-1，第一操作包括下采样操作和卷积操作。
在上述过程中，针对任意一次特征提取处理，通过对样本图像执行一次卷积操作和下采样操作后，会得到一个尺度不同的样本下采样特征图像。在对样本图像执行卷积操作得到第一个样本下采样特征图像后，通过对第一个样本下采样特征图像执行不同次数的第一操作，得到不同尺度下的样本下采样特征图像，从而提取到样本图像在不同尺度下的特征。
在一种可能的实现方式中，可以通过如下方法得到样本三维特征图像：根据池化层、卷积层和上采样层对第k个样本下采样特征图像进行下采样操作、卷积操作和上采样操作，得到第k个样本上采样特征图像；根据卷积层和上采样层对第i个样本上采特征样图像和第i个样本下采样特征图像依次进行合并操作、卷积操作和上采样操作，得到第i-1个样本上采样特征图像，i依次取k，k-1，……，2；根据卷积层对第一个样本上采样图像进行卷积操作，得到样本三维特征图像。
在上述过程中，通过对样本上采样特征图像进行下采样操作、卷积操作和上采样操作，上采样操作之前能够将第i个样本下采样特征图像和第i个样本上采样特征图像进行合并，从而使得第i个样本下采样特征图像中的特征尽可能多的保留到下一层。
第三方面，本申请实施例提供一种屏幕检测装置，包括：
获取模块，用于获取第一图像中每个像素点的特征向量，所述第一图像为拍摄待检测屏幕得到的图像；
分类模块，用于根据所述第一图像中每个像素点的特征向量对所述第一图像中的像素点进行分类，根据分类结果得到所述待检测屏幕的检测结果。
在一种可能的实现方式中，所述获取模块具体用于：
根据所述第一图像，确定多个三维特征图像，所述第一图像在横向包括m个像素点，所述第一图像在纵向包括n个像素点，各所述三维特征图像在横向包括m个像素点，各所述三维特征图像在纵向包括n个像素点，各所述三维特征图像的通道数为c，所述c为预设类别数；
根据所述多个三维特征图像，获取第一图像中每个像素点的特征向量。
在一种可能的实现方式中，所述获取模块具体用于：
对所述第一图像进行多次特征提取处理，得到所述多个三维特征图像；
其中，每两次特征提取处理中包括的特征提取操作的次数不同，所述特征提取操作包括卷积操作和采样操作。
在一种可能的实现方式中，针对任意一次特征提取处理，所述获取模块具体用于：
对所述第一图像执行卷积操作和下采样操作，得到k个下采样特征图像，第i个下采样特征图像的尺寸为
根据所述k个下采样特征图像执行卷积操作和上采样操作，得到所述三维特征图像。
在一种可能的实现方式中，所述获取模块具体用于：
对所述第一图像执行卷积操作，得到第一个下采样特征图像；
对所述第一个下采样特征图像依次执行i次第一操作，得到第i+1个下采样特征图像，所述i依次取1,2，……，k-1，所述第一操作包括下采样操作和卷积操作。
在一种可能的实现方式中，所述获取模块具体用于：
对所述第k个下采样特征图像进行下采样操作、卷积操作和上采样操作，得到第k个上采样特征图像；
对第i个上采特征样图像和第i个下采样特征图像依次进行合并操作、卷积操作和上采样操作，得到第i-1个上采样特征图像，所述i依次取k，k-1，……，2；
对第一个上采样图像进行卷积操作，得到所述三维特征图像。
在一种可能的实现方式中，所述获取模块具体用于：
根据每个三维特征图像中像素点的像素值，确定目标三维特征图像，所述目标三维特征图像在横向包括m个像素点，所述目标三维图像在纵向包括n个像素点，所述目标三维特征图像的通道数为所述c；
根据所述目标三维特征图像中各像素点的像素值，确定第一图像中每个像素点的特征向量。
在一种可能的实现方式中，所述获取模块具体用于：
根据每个三维特征图像中第x个通道的m*n个像素的像素值，确定所述目标三维特征图像的第x个通道的m*n个像素的像素值，所述x依次取1，2，……，c；
其中，所述目标三维特征图像的第x个通道中的第(a，b)个像素点的像素值为：所述多个三维特征图像的第x个通道中的第(a，b)个像素点的像素值中的最大值，所述a为小于或等于m的正整数，所述b为小于或等于n的正整数。
在一种可能的实现方式中，针对所述第一图像中第(a，b)个像素点，所述获取模块具体用于：
根据所述目标三维特征图像的c个通道中第(a，b)个像素点的值，确定所述第一图像中第(a，b)个像素点的特征向量。
在一种可能的实现方式中，所述获取模块具体用于：
将所述第一图像输入至特征提取模型，得到所述第一图像中每个像素点的特征向量，其中，所述特征提取模型是对多组第一样本学习得到的，每组第一样本包括第一样本图像和所述第一样本图像上像素点的特征向量，所述第一样本图像为拍摄第一样本屏幕得到的图像。
在一种可能的实现方式中，所述分类模块具体用于：
将所述第一图像中的像素点的特征向量输入至预设模型，得到所述第一图像中每个像素点的类别，其中，所述预设模型是对多组第二样本学习得到的，每组第二样本包括第二样本图像上像素点的特征向量和标注信息，所述第二样本图像为拍摄第二样本屏幕得到的图像，所述标注信息为标注了所述第二样本图像上的像素点的类别的信息，所述第一图像中的任意像素点的类别为预设类别中的一个，预设类别数为c；
根据所述第一图像中每个像素点的类别，得到所述待检测屏幕的检测结果。
在一种可能的实现方式中，所述分类模块具体用于：
将所述第一图像中的像素点的特征向量输入至所述预设模型，得到c-1张第一输出图像和一张第二输出图像，其中，每张第一输出图像指示一个缺陷类别，每张第一输出图像i中的第(c，d)个像素点的灰度值用于指示所述第一图像上的第(c，d)个像素点的缺陷类别为所述第一输出图像i指示的缺陷类别的概率，所述第二输出图像中的第(c，d)个像素点的灰度值用于指示所述第一图像上的第(c，d)个像素点的类别为正常的概率，所述c为小于或等于m的正整数，所述d为小于或等于n的正整数；
根据所述c-1张第一输出图像上每个像素点的灰度值、以及所述第二输出图像上每个像素点的灰度值，得到所述第一图像中每个像素点的类别。
在一种可能的实现方式中，所述分类模块具体用于：
针对所述第一图像中的第(c，d)个像素点，获取在c-1张第一输出图像中每张第一输出图像上的第(c，d)个像素点的灰度值以及所述第二输出图像上的第(c，d)个像素点的灰度值；
根据每张第一输出图像上的第(c，d)个像素点的灰度值以及所述第二输出图像上的第(c，d)个像素点的灰度值，确定灰度值最大的像素点；
若所述灰度值最大的像素点所在的图像为所述第二输出图像，则确定所述第一图像中的第(c，d)个像素点的类别为正常；
否则，将所述灰度值最大的像素点所在的第一输出图像指示的缺陷类别确定为所述第一图像中第(c，d)个像素点的类别。
第四方面，本申请实施例提供一种屏幕检测模型训练装置，包括：
训练模块，用于获取训练样本，所述训练样本中包括样本图像和所述样本图像中的像素点的标注信息，所述样本图像中的像素点的标注信息为标注了所述样本图像中的像素点的类别的信息；
处理模块，用于将所述样本图像输入至屏幕检测模型，得到所述样本图像中的像素点的训练输出类别；
调整模块，用于根据所述样本图像中的像素点的训练输出类别和所述样本图像中的像素点的标注信息，调整所述屏幕检测模型的参数，直至所述样本图像中的像素点的训练输出类别和所述样本图像中的像素点的标注信息之间的误差小于等于预设误差时，得到训练完成的屏幕检测模型。
在一种可能的实现方式中，所述屏幕检测模型包括特征提取网络和分类网络；所述处理模块具体用于：
根据所述特征提取网络对所述样本图像进行特征提取处理，得到多个样本三维特征图像，所述样本图像在横向包括m个像素点，所述样本图像在纵向包括n个像素点，各所述样本三维特征图像在横向包括m个像素点，各所述样本三维特征图像在纵向包括n个像素点，各所述样本三维特征图像的通道数为c，所述c为对所述样本图像中的像素点进行分类的类别数；
根据所述分类网络对所述多个样本三维特征图像进行处理，得到所述样本图像中的像素点的训练输出类别。
在一种可能的实现方式中，所述处理模块具体用于：
根据所述特征提取网络对所述样本图像进行多次特征提取处理，得到所述多个样本三维特征图像；
其中，每两次特征提取处理中包括的特征提取操作的次数不同，所述特征提取操作包括卷积操作和采样操作。
在一种可能的实现方式中，所述特征提取网络包括卷积层、池化层和上采样层；针对任意一次特征提取处理，所述处理模块具体用于：
根据所述卷积层和所述池化层对所述样本图像执行卷积操作和下采样操作，得到k个样本下采样特征图像，第i个样本下采样特征图像的尺寸为
根据所述卷积层和所述上采样层对所述k个样本下采样特征图像执行卷积操作和上采样操作，得到所述样本三维特征图像。
在一种可能的实现方式中，所述处理模块具体用于：
根据所述卷积层对所述样本图像执行卷积操作，得到第一个样本下采样特征图像；
根据所述卷积层和所述池化层对所述第一个样本下采样特征图像依次执行i次第一操作，得到第i+1个样本下采样特征图像，所述i依次取1,2，……，k-1，所述第一操作包括下采样操作和卷积操作。
在一种可能的实现方式中，所述处理模块具体用于：
根据所述池化层、所述卷积层和所述上采样层对所述第k个样本下采样特征图像进行下采样操作、卷积操作和上采样操作，得到第k个样本上采样特征图像；
根据所述卷积层和所述上采样层对第i个样本上采特征样图像和第i个样本下采样特征图像依次进行合并操作、卷积操作和上采样操作，得到第i-1个样本上采样特征图像，所述i依次取k，k-1，……，2；
根据所述卷积层对第一个样本上采样图像进行卷积操作，得到所述样本三维特征图像。
第五方面，本申请实施例提供一种屏幕检测设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器运行所述计算机程序执行如第一方面任一项所述的屏幕检测方法。
第六方面，本申请实施例提供一种屏幕检测模型训练设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器运行所述计算机程序执行如第二方面任一项所述的屏幕检测模型训练方法。
第七方面，本申请实施例提供一种屏幕检测系统，包括图像采集设备和屏幕检测设备，其中：
所述图像采集设备用于拍摄待检测屏幕，得到第一图像，并向所述屏幕检测设备发送所述第一图像；
所述屏幕检测设备用于根据第一方面任一项所述的方法对所述第一图像进行处理，得到所述待检测屏幕的检测结果。
第八方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序在被一个或多个处理器执行时实现第一方面任一项所述的屏幕检测方法，或者，所述计算机程序在被一个或多个处理器执行时实现第二方面任一项所述的屏幕检测模型训练方法。
本申请实施例提供的屏幕检测和屏幕检测模型训练方法、装置及设备，首先获取第一图像中每个像素点的特征向量，然后根据第一图像中每个像素点的特征向量对第一图像中的像素点进行分类，得到分类结果。由于第一图像为拍摄待检测屏幕得到的图像，因此根据分类结果，能够得到待检测屏幕的检测结果。检测的过程是针对第一图像中的像素点进行的，基于每个像素点的特征向量进行独立的判别，能够实现对第一图像的像素级分割，因此能够检测出待检测屏幕中像素级的微小屏幕缺陷，提高屏幕缺陷检测的准确率。
附图说明
图1为本申请实施例提供的混合像元示意图；
图2为现有技术提供的一种屏幕检测示意图一；
图3为现有技术提供的一种屏幕检测示意图二；
图4为本申请实施例提供的一种屏幕检测方法的应用场景示意图；
图5为本申请实施例提供的一种获取像素点的特征向量方法的流程示意图；
图6为本申请实施例提供的特征提取处理示意图；
图7为本申请实施例提供的卷积操作示意图；
图8为本申请实施例提供的下采样操作示意图；
图9为本申请实施例提供的上采样操作示意图；
图10为本申请实施例提供的确定目标三维特征图像示意图；
图11为本申请实施例提供的另一种获取像素点的特征向量方法的流程示意图；
图12为本申请实施例提供的第一图像中的像素点分类的流程示意图；
图13为本申请实施例提供的输出图像示意图；
图14为本申请实施例提供的像素点的缺陷类别检测示意图一；
图15为本申请实施例提供的像素点的缺陷类别检测示意图二；
图16为本申请实施例提供的屏幕检测方法的流程示意图；
图17为本申请实施例提供的屏幕检测模块示意图；
图18为本申请实施例提供的屏幕检测模型训练方法的流程示意图；
图19为本申请实施例提供的训练样本示意图；
图20为本申请实施例提供的屏幕检测模型的结构示意图；
图21为本申请实施例提供的一次特征提取示意图；
图22为本申请实施例提供的第一图像；
图23a为本申请实施例提供的线缺陷检测示意图；
图23b为本申请实施例提供的点缺陷检测示意图一；
图23c为本申请实施例提供的点缺陷检测示意图二；
图24为本申请实施例提供的屏幕检测装置的结构示意图；
图25为本申请实施例提供的屏幕检测模型训练装置的结构示意图；
图26为本申请实施例提供的屏幕检测系统的结构示意图；
图27为本申请实施例提供的屏幕检测设备的硬件结构示意图；
图28为本申请实施例提供的屏幕检测模型训练设备的硬件结构示意图。
具体实施方式
首先对本申请涉及的概念进行说明。
tft：thinfilmtransistor，薄膜晶体管。
lcd：liquidcrystaldisplay，液晶显示器，是一种通过tft驱动的有源矩阵液晶显示器。
oled：organiclight-emittingdiode，有机发光二极管。
屏幕缺陷(screendefect)：显示器屏幕通常是由粘合在一起的多个材料和基底层组成，几乎不可能每次都以绝对的精度将所有这些层粘合起来，各种接缝、迁移物、污染物、气泡或其他瑕疵可能会被引入，举例来说，lcd上的缺陷可能包含：液晶基质中的杂质或杂质颗粒，lcd基质在制造过程中分布不均匀，tft厚度不均匀，基底之间的间距不均匀，背光光源的亮度分布不均匀，lcd面板瑕疵等等。上述因素都可能会导致光线穿过显示器时出现不一致，对使用者造成不便，这种现象即为屏幕缺陷。
图像分割(imagesegmentation)：图像分割指将数字图像细分为多个图像子区域(像素点的集合)的过程。
缺陷检测(defectinspection,defectdetection)：通常是指对物品缺陷的定位与分类，本申请中的缺陷检测针对的是屏幕上的缺陷检测。
mura缺陷：mura缺陷是tft-lcd中的一种常见视觉缺陷，是指显示屏亮度不均匀造成的各种痕迹的现象，表现为低对比度、非均匀亮度区域，边缘模糊，mura缺陷的区域通常大于1个像素点。
像元：又称为像素点或像元点，是组成数字化影像的最小单元。
混合像元：传感器获得的图像信号是以像元为单位记录的，如果一个像元内仅包含一种物质类型，称为纯像元，然而，多数情况下，一个像元内往往包含多种物质类型，这种像元就是混合像元。例如，针对液晶显示器，其成像的原理是由于激活了不同亮度的液晶，每个液晶对应液晶显示器中的一个像元。当采用相机拍摄液晶显示器时，得到的图像中每个像素点包括液晶显示器中的几个液晶，即对应液晶显示器中的多个像素点，这多个像素点即为相机拍摄的图像中一个像元内包含的多种物质类型。下面，将结合图1对混合像元进行介绍。
图1为本申请实施例提供的混合像元示意图，如图1所示，包括待检测屏幕的第一成像11和相机的第二成像12。在第一成像11中，每个方框为待检测屏幕的一个像元，即一个像素点。为了便于说明，图1中对第一成像11中的每个像元进行了不同的填充。
在第二成像12中，每个方框为相机的一个像元，即一个像素点。由于待检测屏幕有自身的分辨率，相机也有自身的分辨率，在待检测屏幕和相机的分辨率不同时，在相同的成像尺寸下，待检测屏幕中包括的像素点数量和相机的成像中包括的像素点数量是不同的。
采用相机对待检测屏幕进行拍照，得到图像13，可以看到，在待检测屏幕和相机的分辨率不同时，在图像13中的一个像素点对应有第一成像11中的多个像素点。以图像13中处于中心的像素点14为例，像素点14中对应有第一成像11中四个像素点的成像，即，图像13中的一个像元内包含了多个物质类型，这种情况即为混合像元问题。
精度：精度用来衡量检测出来的屏幕缺陷是真正缺陷的比例。
召回：召回用来衡量真正的屏幕缺陷被检测出来的比例。
halcon：一种算法库，提供各种屏幕检测算法。
由于在屏幕生产的过程中，工艺复杂，产量极大，难以避免有不良品流入手机、电视等设备中。同时，在手机、电视等带屏设备生产的屏幕组装过程中，由于组装工艺的原因，也有较大可能会对屏幕进行误伤，因此，在手机、电视等设备制造过程中，屏幕组装完成前后，都需要对屏幕进行缺陷检测，测试通过的成品流入下一道工序，防止不良品流入下一道工序。如果不及时检测出这些问题屏幕，使得劣质屏幕随着手机、电视等设备成品流入市场，对各种设备的使用会造成较大的影响。
图2为现有技术提供的一种屏幕检测示意图一，如图2所示，由于缺陷像素点与周围像素点的灰度不均匀，因此，采用的是计算梯度来进行缺陷像素点的分割。具体的，先输入图像，对输入的图像进行预处理，然后进行梯度图像计算，寻找连通域和连通面积，最后与预设的阈值进行比较，从而来判断各像素点是否属于缺陷像素点。
图2示例的方案的主要缺点包括：首先，缺陷像素点与周围像素点的差异，有时候可能并不大，很难寻找合适的阈值来保证检测的高精度与召回；其次，不同缺陷类别的联通面积差异巨大，小至1-2个像素点的缺陷，大到数千像素点的刮擦或贯穿线，即使是同一类缺陷(如刮擦、线缺陷等)，所占面积也无法确定，很难找到合适的阈值，保证精度和召回都比较高。
图3为现有技术提供的一种屏幕检测示意图二，如图3所示，采用的方案是通过比较正常图像与缺陷图像的差异来对屏幕进行检测。具体的，首先输入图片，然后进行傅里叶变换，将输入的图像转换到频率域。由于缺陷往往是高频噪声，通过频率域滤波，可以将噪声滤掉，然后再利用傅里叶反变换进行非缺陷图像重建，通过比较输入图像和非缺陷图像的差异进而找到缺陷，其中包括点状mura缺陷、区域状mura缺陷和线状mura缺陷。
由于近年来屏幕分辨率越来越高，液晶屏的液晶排布越来越复杂，检测用的相机分辨率一般大于液晶大小，成像时容易造成混合像元问题，使得同一块屏幕呈现出明显的纹理特征，缺陷像素点只表现为局部的非均匀，与其他正常区域的像素点灰度相差可能并不大，从频率域也很难将缺陷分离出来。因此，该方案的屏幕检测准确率也较低，不能满足生产要求。
由于生产工艺和对超高分辨率、超高画质的追求，因此对屏幕的质量需要严格把关。目前的屏幕检测方案依旧存在准确率不高的问题，错检和漏检率都比较高，为了不影响产品质量不得不增加人工检验，而人工检验不仅影响生产效率，还存在主观性强，标准不一，成本增加等缺点。
为克服上述缺点，提高自动检验的准确率和召回率，本申请实施例提出一种屏幕检测方法，实现对屏幕缺陷的自动检测，并对缺陷位置进行定位与分类标注。
下面结合图4介绍本申请实施例的一种应用场景。
图4为本申请实施例提供的一种屏幕检测方法的应用场景示意图，如图4所示，包括传送带41、屏幕42、视觉相机43、机械臂44和客户端45，其中，屏幕42放置于传送带41上，随着传送带41的移动而移动。
视觉相机43用于给屏幕42拍照，当屏幕42随着传送带41移动到了预定的位置后，视觉相机43拍摄屏幕42的图像，然后将拍摄得到的图像发送给客户端45。客户端45根据视觉相机43发送的图像，对屏幕42上的缺陷进行检测。在检测到屏幕42上有缺陷时，认定该屏幕为不良品，并控制机械臂44将有缺陷的屏幕拦截下来，避免有缺陷的屏幕进入下一流程。如果客户端检测到屏幕42上没有缺陷，则不向机械臂44发送控制指令来拦截屏幕42。
在图4示例的场景中，视觉相机43和客户端45为两个独立的设备，在一些场景中，视觉相机43和客户端45可以设置于一个设备中，该设备为具备摄像功能和足够的处理运算能力的设备。
由于需要对屏幕42进行缺陷检测，因此视觉相机43需要对屏幕42拍摄得到相应的图像。当视觉相机43拍摄到的图像除了包括屏幕42对应的区域外，还包括其他区域时，需要对该图像进行预处理，去除其他区域仅保留屏幕42对应的区域，然后对预处理后的图像进行分析处理，判断屏幕42上是否存在屏幕缺陷。
图4示例的应用场景可应用于屏幕的生产制造过程中，或带屏设备的屏幕组装环节前后，从而对屏幕的质量进行把控。其中，在屏幕组装前对屏幕的缺陷进行检测，能够检测出由于工艺问题造成的缺陷屏幕。在屏幕组装前将检测到的有缺陷的屏幕拦截后，对未检测出缺陷的屏幕进行组装，在组装完成后可再一次对屏幕进行缺陷检测。对于屏幕组装前未检测出缺陷而在屏幕组装后检测出缺陷的屏幕，可确定为屏幕组装过程中出现的缺陷。
在对屏幕42进行缺陷检测时，屏幕42可能处于灭屏状态，也可能处于亮屏状态。当屏幕42处于灭屏状态时，屏幕42中的液晶分子未被激活，此时主要针对屏幕42上是否有划痕进行检测。当屏幕42处于亮屏状态时，屏幕42中的液晶分子被激活，此时能够根据视觉相机43拍摄屏幕42的图像，对屏幕42中的点缺陷、线缺陷、漏光缺陷等一一进行检测。本申请后续实施例中，均以视觉相机43拍摄屏幕42时、屏幕42处于亮屏状态时为例说明。
下面，通过具体实施例对本申请所示的技术方案进行详细说明。需要说明的是，下面几个实施例可以独立存在，也可以相互结合，对于相同或相似的内容，在不同的实施例中不再重复说明。
为了便于理解，首先介绍两种获取第一图像中每个像素点的特征向量的方式。图5-图10所示的实施例为一种获取像素点的特征向量的方式，图11所示的实施例为另一种获取像素点的特征向量的方式。
图5为本申请实施例提供的一种获取像素点的特征向量方法的流程示意图，如图5所示，该方法可以包括：
s51，根据第一图像，确定多个三维特征图像。
第一图像为拍摄待检测屏幕得到的图像。可选的，当拍摄得到的第一图像中拍摄到除待检测屏幕外的其他区域时，可对拍摄得到的第一图像进行预处理，仅保留待检测屏幕相关的图像区域。
第一图像的尺寸为m*n，即第一图像在横向包括m个像素点，第一图像在纵向包括n个像素点，m和n均为大于0的正整数。多个三维特征图像中，每个三维特征图像在横向也包括m个像素点，在纵向也包括n个像素点，且每个三维特征图像的通道数均为c，其中，c为预设类别数。预设类别数c为一个预先设置的数值，在后续对第一图像中的像素点进行分类后，第一图像中的任意像素点的类别为c个预设类别中的一个。
可选的，可通过对第一图像进行多次特征提取处理，来得到多个三维特征图像，其中，每两次特征提取处理中包括的特征提取操作的次数不同，特征提取操作包括卷积操作和采样操作。
对第一图像进行不同次数的特征提取处理，能够提取到第一图像在不同尺度下的特征，对第一图像进行特征提取处理的次数可根据实际需要设定，本申请对此不作特别限定。下面将对一次特征提取处理进行说明。
对第一图像进行特征提取处理的次数可根据实际需要确定，例如可以对第一图像进行1次、2次、3次特征提取，其中，针对任意一次特征提取处理，具体操作是，对第一图像执行卷积操作和下采样操作，得到k个下采样特征图像，第i个下采样特征图像的尺寸为
下面将结合图6对特征提取处理进行举例说明。
图6为本申请实施例提供的特征提取处理示意图，如图6所示，首先，对第一图像执行卷积操作，得到第一个下采样特征图像。
然后，对第一个下采样特征图像执行i次第一操作，得到第i+1个下采样特征图像，i依次取1,2，……，k-1，第一操作包括下采样操作和卷积操作。在图6中，首先对第一个下采样特征图像执行1次下采样操作得到第一个尺度图像，然后对第一个尺度图像执行卷积操作，得到第二个下采样特征图像；然后再对第二个下采样特征图像执行1次下采样操作，得到第二个尺度图像，对第二个尺度图像执行1次卷积操作，得到第三个下采样特征图像。图6中，k＝3，第一个下采样特征图像的尺寸与第一图像的尺寸相同，为m*n，第二个下采样特征图像的尺寸为
在得到k个下采样特征图像后，对第k个下采样特征图像进行下采样操作、卷积操作和上采样操作，得到第k个上采样特征图像。如图6中所示，对第三个下采样特征图像执行下采样操作得到第三个尺度图像，对第三个尺度图像执行卷积操作，得到第四个下采样特征图像，对第四个下采样特征图像执行上采样操作，得到第三个上采样特征图像。
对第i个上采特征样图像和第i个下采样特征图像依次进行合并操作、卷积操作和上采样操作，得到第i-1个上采样特征图像，i依次取k，k-1，……，2。如图6中所示，将第三个上采样特征图像和第三个下采样特征图像进行合并操作和卷积操作，得到第二个卷积合并图像，然后对第二个卷积合并图像进行上采样操作，得到第二个上采样特征图像。其中，对第三个下采样特征图像和第三个上采样特征图像执行合并操作即为将第三个下采样特征图像和第三个上采样特征图像拼接起来。例如，若第三个下采样特征图像的尺寸为x*y*c1，第三个上采样特征图像的尺寸为x*y*c2，则执行合并操作后的图像的尺寸为x*y*(c1+c2)。
然后将第二个下采样特征图像和第二个上采样特征图像进行合并操作和卷积操作，得到第一个卷积合并图像，然后对第一个卷积合并图像进行上采样操作，得到第一个上采样特征图像。
对第一个上采样图像进行卷积操作，得到三维特征图像。如图6中所示，最后将第一个下采样特征图像和第一个上采样特征图像进行合并操作和卷积操作，得到一个三维特征图像。
在图6中，涉及对图像的卷积操作和采样操作，下面将结合图7-图9对图像的卷积操作和采样操作分别进行说明。
图7为本申请实施例提供的卷积操作示意图，如图7所示，包括左边的第一图像和右边的卷积核，其中，图7的示例中的第一图像为一个三通道的图像，包括rgb三个通道，第一图像的尺寸为8*8*3，其中8*8为第一图像的长和宽，表示第一图像的横向和纵向均包括8个像素点，3表示第一图像的三个通道，第一图像上的每个像素点在三个通道上均有相应的像素值，图7中仅示出了第一图像的一个通道上的左上角的9个像素值。
图7的示例中的卷积核的尺寸为3*3*3，表示卷积核的长和宽均为3，深度也为3，其中，在对第一图像进行卷积操作时的卷积核的深度需要和第一图像的通道数相等。
根据卷积核对第一图像进行卷积处理，如图7中所示，卷积核包括3个3*3的权值矩阵，其中一个为
由于第一图像中左上角的像素点周边没有像素，因此可以在该像素点周边填充像素值为0的像素点，然后根据卷积核中这个权值矩阵的中心与第一图像中左上角的像素点正对，对应位置上的元素相乘之后相加，即可得到该第一图像在这个通道上卷积处理后的值。
例如，在图7中，以权值矩阵
0*1+0*0+0*(-1)+0*1+2*0+3*(-1)+0*1+3*0+1*(-1)＝-4。
图7中示例了根据卷积核中的一个权值矩阵对第一图像中的一个像素点进行的处理，当第一图像中包括多个通道时，可以根据卷积核中的权值矩阵对第一图像中每个通道的像素点进行类似处理，得到第一个下采样特征图像。需要说明的是，在图7中，第一图像中的像素点的像素值和卷积核中的权值矩阵均为举例，并不构成对第一图像中像素点的像素值以及卷积核的限定。
可选的，卷积操作中对第一图像进行卷积处理的卷积核可以包括一个或多个，若卷积核为一个，则得到的第一个下采样特征图像的通道数为1，若卷积核为多个，则得到的第一个下采样特征图像的通道数为多个，第一个下采样特征图像的通道数与卷积核的数量相等。
图7中示例了对第一图像进行卷积操作得到第一个下采样特征图像的过程，当对其他图像进行卷积操作时，过程与图7中的示例类似。对不同的图像进行卷积操作时，选择的卷积核可以不同，卷积核的数目也可以不同。
图8为本申请实施例提供的下采样操作示意图，如图8所示，包括第一个下采样特征图像81，其中第一个下采样特征图像81为对第一图像进行卷积操作得到的，图8仅以该第一个下采样特征图像81的下采样操作为例来说明。
第一个下采样特征图像81为一个8*8的图像，共包括64个像素点，各个像素点的像素值在图8中已标示。在图8中，仅标示了第一个下采样特征图像81中每个像素点一个通道的像素值，若第一个下采样特征图像81包括多个通道，对每个通道的像素值均作相同的处理即可。
对第一个下采样特征图像81进行一次下采样操作，在图8中，第一个下采样特征图像81的每4个像素点转换为第一个尺度图像82中的一个像素点。在进行下采样操作时，第一个尺度图像82中的像素点的像素值可以由第一个下采样特征图像81中的每四个像素点的像素值得到。例如，可以对第一个下采样特征图像81中的每四个像素点求取均值，得到第一个尺度图像82中的一个像素点的像素值；也可以将第一个下采样特征图像81中的每四个像素点中的最大值作为第一个尺度图像82中对应像素点的像素值。图8中示例的是将第一个下采样特征图像81中的每四个像素点中的最大值作为第一个尺度图像82中对应像素点的像素值，得到第一个尺度图像82。
例如，在图8中，第一个下采样特征图像81的左上角的四个像素点的像素值依次为100、120、210和110，四个像素点的像素值中的最大值为210，则此时在第一个尺度图像82中对应的左上角的像素点的像素值为210。
根据上述方法，得到第一个尺度图像82中的每个像素点的像素值，均在图8中标示。可以看到，第一个下采样特征图像81为8*8的图像，经过上述转换后得到的第一个尺度图像82为4*4的图像。
图8中示例了对第一个下采样特征图像进行下采样操作得到第一个尺度图像的过程。在得到第一个尺度图像后，对第一个尺度图像进行卷积处理，即可得到第二个下采样特征图像，卷积过程与图7中示例的卷积操作类似。在得到第二个下采样特征图像后，根据第二个下采样特征图像得到第三个下采样特征图像、直至得到k个下采样特征图像的过程，与根据第一个下采样特征图像得到第二个下采样特征图像的过程类似，此处不再赘述。
图9为本申请实施例提供的上采样操作示意图，如图9所示，包括第一个卷积合并图像91和第一个上采样特征图像92，第一个上采样特征图像92是对第一个卷积合并图像91进行上采样操作得到的。第一个卷积合并图像91为一个2*2的图像，每个小方框代表一个像素点，各像素点的像素值如图9所示。以第一个卷积合并图像91左上角的像素点为例，该像素点的像素值为5。
在对第一个卷积合并图像91进行上采样操作后，第一个卷积合并图像91上的左上角的像素点对应第一个上采样特征图像92的左上角的四个像素点，且第一个上采样特征图像92的左上角的四个像素点的像素值与第一个卷积合并图像91上的左上角的像素点的像素值相关。
例如，一种可能的实现方式是，第一个上采样特征图像92的左上角的四个像素点的像素值均与第一个卷积合并图像91上的左上角的像素点的像素值相等，均为5，如图9所示，根据该方式，可以得到第一个上采样特征图像92上各个像素点的像素值。
需要说明的是，图9示例的上采样操作后的像素点的像素值的求取方式仅仅为一种示例，实际的求取方式可根据需要确定。图9中示例了对第一个卷积合并图像进行上采样操作得到第一个上采样特征图像的过程，根据第i个卷积合并图像进行上采样操作得到第i个上采样特征图像的过程与图9的示例类似，此处不再赘述。
s52，根据多个三维特征图像，获取第一图像中每个像素点的特征向量。
具体的，首先根据每个三维特征图像中像素点的像素值，确定目标三维特征图像，该目标三维特征图像在横向包括m个像素点，该目标三维图像在纵向包括n个像素点，该目标三维特征图像的通道数为c。然后，根据目标三维特征图像中各像素点的像素值，确定第一图像中每个像素点的特征向量。
图10为本申请实施例提供的确定目标三维特征图像示意图，如图10所示，包括3个三维特征图像，分别是三维特征图像101、三维特征图像102和三维特征图像103，每个三维特征图像的通道数均为3，每个三维特征图像在横向包括5个像素点，在纵向包括4个像素点。
根据每个三维特征图像中第x个通道的m*n个像素的像素值，确定目标三维特征图像的第x个通道的m*n个像素的像素值，x依次取1，2，……，c；
其中，目标三维特征图像的第x个通道中的第(a，b)个像素点的像素值为：多个三维特征图像的第x个通道中的第(a，b)个像素点的像素值中的最大值，a为小于或等于m的正整数，b为小于或等于n的正整数。
如图10所示，以第一个通道上的第(1,1)个像素点为例，三维特征图像101的第一个通道上的第(1,1)个像素点的像素值为2，三维特征图像102的第一个通道上的第(1,1)个像素点的像素值为73，三维特征图像103的第一个通道上的第(1,1)个像素点的像素值为33，三个像素值中最大值为73，则在目标三维特征图像104中的第一个通道上的第(1,1)个像素点的像素值为73。根据图10示例的方式，得到目标三维特征图像104的每一个通道上的每个像素点的像素值，从而确定了该目标三维特征图像。
在得到目标三维特征图像后，可根据目标三维特征图像中各像素点的像素值，确定第一图像中每个像素点的特征向量。具体的，针对第一图像中第(a，b)个像素点，根据目标三维特征图像的c个通道中第(a，b)个像素点的值，确定第一图像中第(a，b)个像素点的特征向量。例如，要得到第一图像中第(1,1)个像素点的特征向量，则获取目标三维特征图像的每个通道中的第(1,1)个像素点的像素值。例如，目标三维特征图像包括3个通道，3个通道中的第(1,1)个像素点的像素值依次为73、86、46，则第一图像中第(1,1)个像素点的特征向量为(73，86，46)。
图5-图10示例了一种获取像素点的特征向量的方法，下面将介绍另一种方法。
图11为本申请实施例提供的另一种获取像素点的特征向量方法的流程示意图，如图11所示，该方法可以包括：
s111，获取特征提取模型。
本申请实施例中的特征提取模型为对多组第一样本学习得到的，每组第一样本包括第一样本图像和第一样本图像中的像素点的特征向量。其中，第一样本图像是对第一样本屏幕拍摄得到的图像，若拍摄得到的图像中除第一样本屏幕对应的区域外还包括其他的区域，则需要对第一样本图像进行预处理，使得第一样本图像中仅包括第一样本屏幕对应的区域。
s112，将第一图像输入至特征提取模型，得到第一图像中每个像素点的特征向量。
在对特征提取模型训练后，特征提取模型具备获取图像的像素点的特征向量的功能，此时将第一图像输入至特征提取模型，即可得到特征提取模型输出的第一图像中每个像素点的特征向量。
在得到第一图像中每个像素点的特征向量后，需要根据第一图像中的像素点的特征向量，对第一图像中的像素点进行分类，下面将结合图12对该过程进行说明。
图12为本申请实施例提供的第一图像中的像素点分类的流程示意图，如图12所示，该方法可以包括：
s121，将第一图像中的像素点的特征向量输入至预设模型，得到第一图像中每个像素点的类别。
其中，预设模型是对多组第二样本学习得到的，每组第二样本包括第二样本图像和标注信息，第二样本图像为拍摄第二样本屏幕得到的图像，标注信息为标注了第二样本图像上的像素点的类别的信息。第二样本图像和第一样本图像可以是相同的图像，也可以是不同的图像。
本申请实施例中，像素点的类别有多种，例如可以为正常类别，也可以是点缺陷类别、线缺陷类别、漏光缺陷类别等等。点缺陷指的是屏幕上区域较小、涉及几个像素点的缺陷；线缺陷指的是屏幕上狭长形的缺陷，等等。
在对预设模型进行训练过程中，为了使得预设模型具备识别待检测屏幕上各种不同缺陷类型的功能，需要采用包含不同缺陷类型的样本来进行训练。其中，第二样本图像中需要包括点缺陷、线缺陷等不同类别的像素点，还需要包括正常类别的像素点。预设模型中像素点的类别数目为c，c即为预设类别数。
在确定得到多组第二样本后，可以将多组第二样本输入至预设模型，预设模型可以对多组第二样本进行学习。由于多组第二样本中包括多个第二样本图像，多个第二样本图像中包括正常的像素点和不同缺陷类别的异常像素点，因此，预设模型可以学习得到正常像素点的特征和各种缺陷类别像素点的特征。同时，由于样本中包括对不同缺陷类别的标注信息，因此根据学习到的正常像素点的特征和各种缺陷类别像素点的特征，能够将像素点进行分类。
在预设模型对多组第二样本进行学习之后，预设模型具有对像素点进行分类的功能。其中，根据不同像素点的特征，实现对像素点的分类。在将预设模型训练完成后，将第一图像中的像素点的特征向量输入至预设模型，即可得到预设模型输出的第一图像中每个像素点的类别，其中，每个像素点的类别为c个预设类别中的一种。
具体的，将第一图像中的像素点的特征向量输入至预设模型，得到c-1张第一输出图像和一张第二输出图像，其中，每张第一输出图像指示一个缺陷类别，每张第一输出图像i中的第(c，d)个像素点的灰度值用于指示第一图像上的第(c，d)个像素点的缺陷类别为第一输出图像i指示的缺陷类别的概率，第二输出图像中的第(c，d)个像素点的灰度值用于指示第一图像上的第(c，d)个像素点的类别为正常的概率，c为小于或等于m的正整数，d为小于或等于n的正整数；然后，根据c-1张第一输出图像上每个像素点的灰度值、以及第二输出图像上每个像素点的灰度值，得到第一图像中每个像素点的类别。
本申请实施例中，在将第一图像中的像素点的特征向量输入至预设模型后，会得到c-1张第一输出图像和一张第二输出图像，其中，c为预设类别数，c-1张第一输出图像中的每张第一输出图像指示一个缺陷类别，每张第一输出图像中的像素点的灰度值用于指示第一图像上相应位置的像素点的缺陷类别为该第一输出图像指示的缺陷类别的概率，第二输出图像中的像素点的灰度值用于指示第一图像上相应位置的像素点的类别为正常的概率。然后，根据c-1张第一输出图像上每个像素点的灰度值、以及第二输出图像上每个像素点的灰度值，得到第一图像中每个像素点的类别。
屏幕中像素点的缺陷类型例如包括点缺陷、线缺陷和漏光缺陷，点缺陷中还包括黑点缺陷和白点缺陷等等。针对要检测的缺陷类型，在进行预设模型的训练时，首先会将样本中的样本图像上不同的缺陷类型进行不同的标示。在预设模型训练完成后，将第一图像中每个像素点的特征向量输入至预设模型，得到c-1张第一输出图像和一张第二输出图像，其中，c为预设类别数。例如，根据预设模型仅检测第一图像中的线缺陷，像素点类别包括正常和线缺陷类别，则c等于2；例如，根据预设模型检测第一图像中的白点缺陷、黑点缺陷、线缺陷和漏光缺陷，像素点类别包括正常、白点缺陷、黑点缺陷、线缺陷和漏光缺陷，则c等于5。在预设模型训练完成后，c为一个定值。
每张第一输出图像中的各个像素点与第一图像中的各个像素点均是一一对应的，第二输出图像中的各个像素点与第一图像中的各个像素点也均是一一对应的。本申请实施例中，对第一输出图像和第二输出图像进行了一定的处理，每张第一输出图像中各个像素点的灰度值均反映该像素点的缺陷类别为该第一输出图像指示的缺陷类别的概率，第二输出图像中各个像素点的灰度值均反映该像素点为正常像素点的概率。
下面将结合图13对该过程进行说明。
图13为本申请实施例提供的输出图像示意图，如图13所示，包括三张第一输出图像和一张第二输出图像，即第一输出图像131、第一输出图像132、第一输出图像133和第二输出图像134。在图13的示例中，是针对线缺陷、点缺陷和漏光缺陷进行举例说明的。线缺陷为待检测屏幕上的狭长型区域的缺陷，可能涉及多个像素点的异常，例如，若屏幕上有5*200区域的像素点的异常，则该区域为一个线缺陷。点缺陷为待检测屏幕上的小区域的缺陷，可能涉及几个或几十个像素点的异常。漏光缺陷通常发生在屏幕的边缘部分，其中，一种造成漏光缺陷的可能的原因是，屏幕在组装时，边缘部分没有压紧，造成漏光缺陷的产生。若实际中还包括其他类型的缺陷，也可进行相应的处理。
在图13中，第一输出图像131是针对线缺陷进行检测得到的输出图像，第一输出图像131上的每个像素点的灰度值用于指示像素点的缺陷类别为线缺陷的概率；第一输出图像132是针对点缺陷进行检测得到的输出图像，第一输出图像132上的每个像素点的灰度值用于指示像素点的缺陷类别为点缺陷的概率；第一输出图像133是针对漏光缺陷进行检测得到的输出图像，第一输出图像133上的每个像素点的灰度值用于指示像素点的缺陷类别为漏光缺陷的概率；第二输出图像134是针对正常像素点进行检测得到的输出图像，第二输出图像134上的每个像素点的灰度值用于指示像素点为正常像素点的概率。
由于像素点的灰度值的范围在0-255之间，一种可能的实施方式是，根据像素点在第一输出图像或第二输出图像上所属类别的概率，确定像素点在第一输出图像或第二输出图像上的灰度值。例如，某个像素点为线缺陷的概率为0.8，为点缺陷的概率为0.06，为漏光缺陷的概率为0.06，为正常像素点的概率为0.08，则该像素点在第一输出图像131上的灰度值为：
0.8*255＝204；
该像素点在第一输出图像132上的灰度值为：
0.06*255＝15.3；
该像素点在第一输出图像133上的灰度值为：
0.06*255＝15.3；
该像素点在第二输出图像134上的灰度值为：
0.08*255＝20.4。
可选的，还可以将上述计算得到的灰度值进行取整处理，得到实际输出图像上的灰度值。
图14为本申请实施例提供的像素点的缺陷类别检测示意图一，如图14所示，包括第一图像140以及第一输出图像131、第一输出图像132、第一输出图像133和一张第二输出图像134，其中为了方便说明，图14中的每个方框代表一个像素点，第一图像140中像素点的颜色不表示第一图像中像素点的灰度，第一输出图像131、第一输出图像132、第一输出图像133和一张第二输出图像134中像素点的颜色表示像素点的灰度。
具体的，针对第一图像中的第(c，d)个像素点，获取在c-1张第一输出图像中每张第一输出图像上的第(c，d)个像素点的灰度值以及第二输出图像上的第(c，d)个像素点的灰度值。然后，根据每张第一输出图像上的第(c，d)个像素点的灰度值以及第二输出图像上的第(c，d)个像素点的灰度值，确定灰度值最大的像素点。
以第一图像140中的四个像素点为例，要确定第一图像140上各像素点的类别，首先找到三张第一输出图像和一张第二输出图像中对应的像素点。如图14所示，现需要对第一图像140中的像素点a、b、c和d的缺陷类别进行检测。首先分别根据a、b、c和d在第一图像140中的位置，确定第一输出图像131中的对应像素点a1、b1、c1和d1，第一输出图像132中的对应像素点a2、b2、c2和d2，第一输出图像133中的对应像素点a3、b3、c3和d3，和第二输出图像134中的对应像素点a4、b4、c4和d4。
若灰度值最大的像素点所在的图像为第二输出图像，则确定第一图像中的第(c，d)个像素点的类别为正常；否则，将灰度值最大的像素点所在的第一输出图像指示的缺陷类别确定为第一图像中第(c，d)个像素点的类别。
图15为本申请实施例提供的像素点的缺陷类别检测示意图二，如图15所示，针对像素点a，其在输出图像中对应的四个像素点分别为a1、a2、a3和a4，这四个像素点的灰度值依次为200、12、15、28。四个像素点的灰度值中，a1的灰度值最高，a1为第一输出图像131上的像素点，第一输出图像131为针对线缺陷进行检测得到的输出图像，因此像素点a为线缺陷的概率最大，确定像素点a的类别为线缺陷。
同样的，针对像素点b，其在输出图像中对应的四个像素点分别为b1、b2、b3和b4，这四个像素点的灰度值依次为20、196、10、24。四个像素点的灰度值中，b2的灰度值最高，b2为第一输出图像132上的像素点，第一输出图像132为针对点缺陷进行检测得到的输出图像，因此像素点b为点缺陷的概率最大，确定像素点b的类别为点缺陷。
针对像素点c，其在输出图像中对应的四个像素点分别为c1、c2、c3和c4，这四个像素点的灰度值依次为5、10、216、24。四个像素点的灰度值中，c3的灰度值最高，c3为第一输出图像133上的像素点，第一输出图像133为针对漏光缺陷进行检测得到的输出图像，因此像素点c为漏光缺陷的概率最大，确定像素点c的类别为漏光缺陷。
针对像素点d，其在输出图像中对应的四个像素点分别为d1、d2、d3和d4，这四个像素点的灰度值依次为5、10、20、220。四个像素点的灰度值中，d4的灰度值最高，d4为第二输出图像134上的像素点，第二输出图像134为针对正常类型像素点进行检测得到的输出图像，因此像素点d为正常类型的概率最大，确定像素点d的类别为正常。
针对像素点的缺陷类别，图13-图15的示例中以线缺陷、点缺陷以及漏光缺陷为例进行了说明，实际情况中，若包括其他类型的缺陷，例如点缺陷中的黑点缺陷和白点缺陷，处理方式与此类似，此处不再赘述。
s121中所指的第一图像中每个像素点的特征向量，可以由图5-图10示例的实施例中的方法得到，也可以由图11示例的实施例中的方法得到。
需要说明的是，若选择由图11示例的实施例中的方法来获取第一图像中每个像素点的特征向量，首先是通过特征提取模型来获取第一图像中每个像素点的特征向量，然后由预设模型得到第一图像中每个像素点的类别。可选的，本申请实施例中，可以将特征提取模型和预设模型作为一个模型来进行训练。
s122，根据第一图像中每个像素点的类别，得到待检测屏幕的检测结果。
在根据上述方式得到了第一图像中每个像素点的类别后，即可得到第一图像中具体的缺陷和相应的缺陷类别，然后对应得到待检测屏幕的检测结果，包括待检测屏幕上存在的缺陷个数，每个缺陷的缺陷类别以及每个缺陷在待检测屏幕上的具体位置等等。
本申请实施例提供的屏幕检测方法，首先获取第一图像中每个像素点的特征向量，然后根据第一图像中每个像素点的特征向量对第一图像中的像素点进行分类，得到分类结果。由于第一图像为拍摄待检测屏幕得到的图像，因此根据分类结果，能够得到待检测屏幕的检测结果。检测的过程是针对第一图像中的像素点进行的，基于每个像素点的特征向量进行独立的判别，能够实现对第一图像的像素级分割，因此能够检测出待检测屏幕中像素级的微小屏幕缺陷，提高屏幕缺陷检测的准确率。该方案能够对屏幕进行自动化的缺陷检测，不需要人工预设阈值，不需要人工干预，不需要对图像进行重采样，不受图像尺寸大小限制，不受图像采集设备限制。
下面，结合图16，介绍一种屏幕检测方法。
图16为本申请实施例提供的屏幕检测方法的流程示意图，如图16所示，该方法可以包括：
s161，获取第一图像中每个像素点的特征向量，所述第一图像为拍摄待检测屏幕得到的图像。
需要说明的是，可以通过图5-图10实施例所示的方法获取第一图像中每个像素点的特征向量，或者，通过图11所示的方法获取第一图像中每个像素点的特征向量，此处不再进行赘述。
s162，根据所述第一图像中每个像素点的特征向量对所述第一图像中的像素点进行分类，根据分类结果得到所述待检测屏幕的检测结果。
需要说明的是，可以通过图12-图15实施例所示的方法对第一图像中的像素点进行分类，得到待检测屏幕的检测结果，此处不再进行赘述。
可选的，本申请实施例提供的方案主要包括四个模块，图17为本申请实施例提供的屏幕检测模块示意图，如图17所示，包括数据模块、特征提取模块、训练模块和预测模块，其中，
数据模块用于采集数据，具体的，数据模块采集样本屏幕的图像，并提供图像的标注信息，标注信息例如可以为与该图像大小相同的掩膜图，在对应缺陷位置按指定颜色标记相应的缺陷类别。
特征提取模块用于提取第一图像上每个像素点的特征向量，其中，提取像素点的特征向量的方式如上述实施例中所述，每个像素点对应一个特征向量。
训练模块用于根据图像上每个像素点的特征向量和标注了缺陷类别的掩膜图进行预设模型的训练，使得每个像素点的多尺度特征向量经过预设模型，能够输出为正确的缺陷类型。
预测模块用于根据像素点的特征向量和训练好的预设模型进行预测。
利用训练模块训练的预设模型，将第一图像中像素点的特征向量输入至预设模型，得到第一图像中每个像素点的类别，并根据第一图像中每个像素点的类别得到待检测屏幕的缺陷类别。若训练模型采用的方式是由特征提取模型得到像素点的特征向量，则训练的模型可执行提取像素点的特征向量，并根据特征向量对像素点进行分类的功能。此时，将第一图像输入特征提取模型，得到第一图像中每个像素点的特征向量，并采用预设模型对特征向量进行分类，输出类别信息，用来预测第一图像的缺陷类别。
图18为本申请实施例提供的屏幕检测模型训练方法的流程示意图，如图18所示，包括：
s181，获取训练样本，所述训练样本中包括样本图像和所述样本图像中的像素点的标注信息，所述样本图像中的像素点的标注信息为标注了所述样本图像中的像素点的类别的信息。
在训练屏幕检测模型之前，首先要获取训练样本。本申请实施例中，训练样本包括一组或多组，每组训练样本中包括一张样本图像和该样本图像中的像素点的标注信息，该标注信息标注了样本图像中像素点的类别。
图19为本申请实施例提供的训练样本示意图，如图19所示，左边为样本图像191，样本图像191为对样本屏幕拍摄得到的图像，右边为样本图像191的缺陷掩膜图192，缺陷掩膜图192上标注了样本图像191上的缺陷信息，对于不同的缺陷以不同的方式进行标注。样本图像191和缺陷掩膜图192构成一组训练样本。
s182，将所述样本图像输入至屏幕检测模型，得到所述样本图像中的像素点的训练输出类别。
在获取了训练样本后，针对一组训练样本，将样本图像输入至屏幕检测模型，屏幕检测模型会对样本图像进行处理，例如包括卷积处理、采样处理等，然后得到样本图像中像素点的训练输出类别。
s183，根据所述样本图像中的像素点的训练输出类别和所述样本图像中的像素点的标注信息，调整所述屏幕检测模型的参数，直至所述样本图像中的像素点的训练输出类别和所述样本图像中的像素点的标注信息之间的误差小于等于预设误差时，得到训练完成的屏幕检测模型。
训练输出类别为屏幕检测模型对样本图像中的像素点进行分类得到的类别，训练输出类别可能与标注信息中标注的样本图像中的像素点的类别有误差，因此，根据样本图像中的像素点的训练输出类别和样本图像中的像素点的标注信息，来调整屏幕检测模型的参数。经过多次对屏幕检测模型中参数的调整，使得样本图像中的像素点的训练输出类别和样本图像中的像素点的标注信息之间的误差小于等于预设误差时，得到训练完成的屏幕检测模型。
可选的，本申请实施例中的屏幕检测模型包括特征提取网络和分类网络，该特征提取网络为多尺度u-net结构的特征提取模型。图20为本申请实施例提供的屏幕检测模型的结构示意图，如图20所示，特征提取网络由一个多尺度u-net网络结构构成，其中，对样本图像进行多次特征提取处理，得到多个样本三维特征图像，其中，样本图像在横向包括m个像素点，样本图像在纵向包括n个像素点，各样本三维特征图像在横向包括m个像素点，各样本三维特征图像在纵向包括n个像素点，各样本三维特征图像的通道数为c，c为对所述样本图像中的像素点进行分类的类别数。图20中的每个分支为一次特征提取处理。得到多个样本三维特征图像后，根据分类网络对多个样本三维特征图像进行处理，得到样本图像中的像素点的训练输出类别。
可选的，可根据特征提取网络对样本图像进行多次特征提取处理，得到多个样本三维特征图像，其中，每两次特征提取处理中包括的特征提取操作的次数不同，特征提取操作包括卷积操作和采样操作。
该特征提取网络包括卷积层、池化层和上采样层；针对任意一次特征提取处理，可根据卷积层和池化层对样本图像执行卷积操作和下采样操作，得到k个样本下采样特征图像，第i个样本下采样特征图像的尺寸为
其中，得到k个样本下采样特征图像的一种可选的实现方式是，根据卷积层对样本图像执行卷积操作，得到第一个样本下采样特征图像；根据卷积层和池化层对第一个样本下采样特征图像依次执行i次第一操作，得到第i+1个样本下采样特征图像，i依次取1,2，……，k-1，第一操作包括下采样操作和卷积操作。
图20中的第一列方框表示一次1x1的卷积，用于升维并增加非线性。在进行了多次的特征提取后，进行全局池化，将每个特征提取的结果融合起来输出为最终的特征图，图20中的f(z)即为对像素点的分类并输出结果。
在得到k个下采样特征图像后，可选的，可根据池化层、卷积层和上采样层对第k个样本下采样特征图像进行下采样操作、卷积操作和上采样操作，得到第k个样本上采样特征图像；然后，根据卷积层和上采样层对第i个样本上采特征样图像和第i个样本下采样特征图像依次进行合并操作、卷积操作和上采样操作，得到第i-1个样本上采样特征图像，i依次取k，k-1，……，2；根据卷积层对第一个样本上采样图像进行卷积操作，得到样本三维特征图像。
虽然u-net本身具有部分多尺度特征提取的能力，但是对于屏幕缺陷这样尺度差异巨大的问题，单独的u-net结构很难取得较好的效果。因此本申请实施例设计了多尺度u-net组合的特征提取网络。利用特征提取网络，对样本图像进行多次特征提取处理，提取样本图像的像素点在不同感受野下的特征向量，用来区分缺陷类别，能够解决多种缺陷类型的特征向量提取问题。最后，对多个样本三维特征图像进行全局池化，利用分类网络对样本图像中的像素点进行分类。
图21为本申请实施例提供的一次特征提取示意图，如图21所示，是由两个部分构成，第一部分(左侧)，是u-net的特征提取部分，由一个基础的卷积网络构成，这部分每经过一个池化层，就会有一个新的尺度。第二部分(右侧)，是u-net的上采样部分，每进行一次上采样，就会和u-net的特征提取部分对应的通道数相同尺度融合拼接，使得该尺度的特征能够尽可能多的保留到下一层。通过多层次的特征提取，能够尽可能多的保留原始的样本图像的信息，从而使得后续的分类更加准确。
为了对本申请的方案的效果进行验证，进行了如下的测试。
表一为采用本申请实施例提供的屏幕检测方案检测出的缺陷统计表，如表一所示，经过生产线的数据测试，得到的统计结果如下：
表一
在表一中，黑点、白点、线和漏光这四种缺陷，传统的视觉检测算法包halcon检测能力较弱。黑点和漏光，halcon无检出能力，白点和线缺陷，halcon分别检出了3个和5个，远少于本申请的方案。由于漏光属于主观缺陷，受标注样本影响，精度信息更重要。
图22为本申请实施例提供的第一图像，是采用相机对待检测屏幕进行拍摄得到的。对第一图像进行处理，得到待检测屏幕上的缺陷检测结果。图23a为本申请实施例提供的线缺陷检测示意图，图23b为本申请实施例提供的点缺陷检测示意图一，图23c为本申请实施例提供的点缺陷检测示意图二，可以看出，对于线缺陷，结果都检测完整了，对于点缺陷，本申请的方案也有较高的检测准确率和召回率。
图24为本申请实施例提供的屏幕检测装置的结构示意图，如图24所示，该屏幕检测装置24可以包括获取模块241和分类模块242，其中：
获取模块241用于获取第一图像中每个像素点的特征向量，所述第一图像为拍摄待检测屏幕得到的图像；
分类模块242用于根据所述第一图像中每个像素点的特征向量对所述第一图像中的像素点进行分类，根据分类结果得到所述待检测屏幕的检测结果。
在一种可能的实现方式中，所述获取模块241具体用于：
根据所述第一图像，确定多个三维特征图像，所述第一图像在横向包括m个像素点，所述第一图像在纵向包括n个像素点，各所述三维特征图像在横向包括m个像素点，各所述三维特征图像在纵向包括n个像素点，各所述三维特征图像的通道数为c，所述c为预设类别数；
根据所述多个三维特征图像，获取第一图像中每个像素点的特征向量。
在一种可能的实现方式中，所述获取模块241具体用于：
对所述第一图像进行多次特征提取处理，得到所述多个三维特征图像；
其中，每两次特征提取处理中包括的特征提取操作的次数不同，所述特征提取操作包括卷积操作和采样操作。
在一种可能的实现方式中，针对任意一次特征提取处理，所述获取模块241具体用于：
对所述第一图像执行卷积操作和下采样操作，得到k个下采样特征图像，第i个下采样特征图像的尺寸为
根据所述k个下采样特征图像执行卷积操作和上采样操作，得到所述三维特征图像。
在一种可能的实现方式中，所述获取模块241具体用于：
对所述第一图像执行卷积操作，得到第一个下采样特征图像；
对所述第一个下采样特征图像依次执行i次第一操作，得到第i+1个下采样特征图像，所述i依次取1,2，……，k-1，所述第一操作包括下采样操作和卷积操作。
在一种可能的实现方式中，所述获取模块241具体用于：
对所述第k个下采样特征图像进行下采样操作、卷积操作和上采样操作，得到第k个上采样特征图像；
对第i个上采特征样图像和第i个下采样特征图像依次进行合并操作、卷积操作和上采样操作，得到第i-1个上采样特征图像，所述i依次取k，k-1，……，2；
对第一个上采样图像进行卷积操作，得到所述三维特征图像。
在一种可能的实现方式中，所述获取模块241具体用于：
根据每个三维特征图像中像素点的像素值，确定目标三维特征图像，所述目标三维特征图像在横向包括m个像素点，所述目标三维图像在纵向包括n个像素点，所述目标三维特征图像的通道数为所述c；
根据所述目标三维特征图像中各像素点的像素值，确定第一图像中每个像素点的特征向量。
在一种可能的实现方式中，所述获取模块241具体用于：
根据每个三维特征图像中第x个通道的m*n个像素的像素值，确定所述目标三维特征图像的第x个通道的m*n个像素的像素值，所述x依次取1，2，……，c；
其中，所述目标三维特征图像的第x个通道中的第(a，b)个像素点的像素值为：所述多个三维特征图像的第x个通道中的第(a，b)个像素点的像素值中的最大值，所述a为小于或等于m的正整数，所述b为小于或等于n的正整数。
在一种可能的实现方式中，针对所述第一图像中第(a，b)个像素点，所述获取模块241具体用于：
根据所述目标三维特征图像的c个通道中第(a，b)个像素点的值，确定所述第一图像中第(a，b)个像素点的特征向量。
在一种可能的实现方式中，所述获取模块241具体用于：
将所述第一图像输入至特征提取模型，得到所述第一图像中每个像素点的特征向量，其中，所述特征提取模型是对多组第一样本学习得到的，每组第一样本包括第一样本图像和所述第一样本图像上像素点的特征向量，所述第一样本图像为拍摄第一样本屏幕得到的图像。
在一种可能的实现方式中，所述分类模块242具体用于：
将所述第一图像中的像素点的特征向量输入至预设模型，得到所述第一图像中每个像素点的类别，其中，所述预设模型是对多组第二样本学习得到的，每组第二样本包括第二样本图像上像素点的特征向量和标注信息，所述第二样本图像为拍摄第二样本屏幕得到的图像，所述标注信息为标注了所述第二样本图像上的像素点的类别的信息，所述第一图像中的任意像素点的类别为预设类别中的一个，预设类别数为c；
根据所述第一图像中每个像素点的类别，得到所述待检测屏幕的检测结果。
在一种可能的实现方式中，所述分类模块242具体用于：
将所述第一图像中的像素点的特征向量输入至所述预设模型，得到c-1张第一输出图像和一张第二输出图像，其中，每张第一输出图像指示一个缺陷类别，每张第一输出图像i中的第(c，d)个像素点的灰度值用于指示所述第一图像上的第(c，d)个像素点的缺陷类别为所述第一输出图像i指示的缺陷类别的概率，所述第二输出图像中的第(c，d)个像素点的灰度值用于指示所述第一图像上的第(c，d)个像素点的类别为正常的概率，所述c为小于或等于m的正整数，所述d为小于或等于n的正整数；
根据所述c-1张第一输出图像上每个像素点的灰度值、以及所述第二输出图像上每个像素点的灰度值，得到所述第一图像中每个像素点的类别。
在一种可能的实现方式中，所述分类模块242具体用于：
针对所述第一图像中的第(c，d)个像素点，获取在c-1张第一输出图像中每张第一输出图像上的第(c，d)个像素点的灰度值以及所述第二输出图像上的第(c，d)个像素点的灰度值；
根据每张第一输出图像上的第(c，d)个像素点的灰度值以及所述第二输出图像上的第(c，d)个像素点的灰度值，确定灰度值最大的像素点；
若所述灰度值最大的像素点所在的图像为所述第二输出图像，则确定所述第一图像中的第(c，d)个像素点的类别为正常；
否则，将所述灰度值最大的像素点所在的第一输出图像指示的缺陷类别确定为所述第一图像中第(c，d)个像素点的类别。
需要说明的是，本申请实施例所示的屏幕检测装置可以执行上述方法实施例所示的屏幕检测方法，其实现原理以及有益效果类似，此处不再进行赘述。
图25为本申请实施例提供的屏幕检测模型训练装置的结构示意图，如图25所示，屏幕检测模型训练装置25包括训练模块251、处理模块252和调整模块253，其中：
训练模块251用于获取训练样本，所述训练样本中包括样本图像和所述样本图像中的像素点的标注信息，所述样本图像中的像素点的标注信息为标注了所述样本图像中的像素点的类别的信息；
处理模块252用于将所述样本图像输入至屏幕检测模型，得到所述样本图像中的像素点的训练输出类别；
调整模块253用于根据所述样本图像中的像素点的训练输出类别和所述样本图像中的像素点的标注信息，调整所述屏幕检测模型的参数，直至所述样本图像中的像素点的训练输出类别和所述样本图像中的像素点的标注信息之间的误差小于等于预设误差时，得到训练完成的屏幕检测模型。
在一种可能的实现方式中，所述屏幕检测模型包括特征提取网络和分类网络；所述处理模块252具体用于：
根据所述特征提取网络对所述样本图像进行特征提取处理，得到多个样本三维特征图像，所述样本图像在横向包括m个像素点，所述样本图像在纵向包括n个像素点，各所述样本三维特征图像在横向包括m个像素点，各所述样本三维特征图像在纵向包括n个像素点，各所述样本三维特征图像的通道数为c，所述c为对所述样本图像中的像素点进行分类的类别数；
根据所述分类网络对所述多个样本三维特征图像进行处理，得到所述样本图像中的像素点的训练输出类别。
在一种可能的实现方式中，所述处理模块252具体用于：
根据所述特征提取网络对所述样本图像进行多次特征提取处理，得到所述多个样本三维特征图像；
其中，每两次特征提取处理中包括的特征提取操作的次数不同，所述特征提取操作包括卷积操作和采样操作。
在一种可能的实现方式中，所述特征提取网络包括卷积层、池化层和上采样层；针对任意一次特征提取处理，所述处理模块252具体用于：
根据所述卷积层和所述池化层对所述样本图像执行卷积操作和下采样操作，得到k个样本下采样特征图像，第i个样本下采样特征图像的尺寸为
根据所述卷积层和所述上采样层对所述k个样本下采样特征图像执行卷积操作和上采样操作，得到所述样本三维特征图像。
在一种可能的实现方式中，所述处理模块252具体用于：
根据所述卷积层对所述样本图像执行卷积操作，得到第一个样本下采样特征图像；
根据所述卷积层和所述池化层对所述第一个样本下采样特征图像依次执行i次第一操作，得到第i+1个样本下采样特征图像，所述i依次取1,2，……，k-1，所述第一操作包括下采样操作和卷积操作。
在一种可能的实现方式中，所述处理模块252具体用于：
根据所述池化层、所述卷积层和所述上采样层对所述第k个样本下采样特征图像进行下采样操作、卷积操作和上采样操作，得到第k个样本上采样特征图像；
根据所述卷积层和所述上采样层对第i个样本上采特征样图像和第i个样本下采样特征图像依次进行合并操作、卷积操作和上采样操作，得到第i-1个样本上采样特征图像，所述i依次取k，k-1，……，2；
根据所述卷积层对第一个样本上采样图像进行卷积操作，得到所述样本三维特征图像。
本申请实施例所示的屏幕检测模型训练装置可以执行上述方法实施例所示的屏幕检测模型训练方法，其实现原理以及有益效果类似，此处不再进行赘述。
图26为本申请实施例提供的屏幕检测系统的结构示意图，如图26所示，包括图像采集设备261和屏幕检测设备262，其中：
图像采集设备261用于拍摄待检测屏幕，得到第一图像，并向屏幕检测设备262发送第一图像；
屏幕检测设备262用于根据上述实施例中的屏幕检测方法对第一图像进行处理，得到待检测屏幕的检测结果。
图像采集设备261为对待检测屏幕进行拍摄、得到第一图像的设备，图像采集设备261可以为摄像机或其他具备图像采集能力的设备。屏幕检测设备262用于执行图24示例中的获取模块和分类模型执行的动作。在一些实施例中，图像采集设备261和屏幕检测设备262为两个独立的设备，在一些实施例中，图像采集设备261和屏幕检测设备262也可以集成在一个设备中，本申请实施例对此不作限定。
图27为本申请实施例提供的屏幕检测设备的硬件结构示意图。请参见图27，该屏幕检测设备270包括：存储器271和处理器272，其中，存储器271和处理器272通信；示例性的，存储器271和处理器272可以通过通信总线273通信，所述存储器271用于存储计算机程序，所述处理器272执行所述计算机程序，以实现上述实施例中的屏幕检测方法的各个步骤。具体可以参见前述方法实施例中的相关描述。
可选地，存储器271既可以是独立的，也可以跟处理器272集成在一起。
本实施例提供的屏幕检测设备，可用于执行上述实施例中的屏幕检测方法，其实现原理和技术效果类似，本实施例此处不再赘述。
可选的，上述处理器可以是中央处理单元(英文：centralprocessingunit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digitalsignalprocessor，简称：dsp)、专用集成电路(英文：applicationspecificintegratedcircuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
图28为本申请实施例提供的屏幕检测模型训练设备的硬件结构示意图。请参见图28，该屏幕检测模型训练设备280包括：存储器281和处理器282，其中，存储器281和处理器282通信；示例性的，存储器281和处理器282可以通过通信总线283通信，所述存储器281用于存储计算机程序，所述处理器282执行所述计算机程序，以实现上述实施例中的屏幕检测模型训练方法的各个步骤。具体可以参见前述方法实施例中的相关描述。
可选地，存储器281既可以是独立的，也可以跟处理器282集成在一起。
本实施例提供的屏幕检测模型训练设备，可用于执行上述实施例中的屏幕检测模型训练方法，其实现原理和技术效果类似，本实施例此处不再赘述。
可选的，上述处理器可以是中央处理单元(英文：centralprocessingunit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digitalsignalprocessor，简称：dsp)、专用集成电路(英文：applicationspecificintegratedcircuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于实现上述实施例所述的屏幕检测方法，或者，所述计算机程序用于实现上述实施例所述的屏幕检测模型训练方法。
本申请实施例还提供一种芯片或者集成电路，包括：存储器和处理器；
所述存储器，用于存储程序指令，有时还用于存储中间数据；
所述处理器，用于调用所述存储器中存储的所述程序指令以实现如上所述的屏幕检测方法或屏幕检测模型训练方法。
可选的，存储器可以是独立的，也可以跟处理器集成在一起。在有些实施方式中，存储器还可以位于所述芯片或者集成电路之外。
本申请实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在存储介质中，所述计算机程序用于实现上述的屏幕检测方法或屏幕检测模型训练方法。
实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储器中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储器(存储介质)包括：只读存储器(英文：read-onlymemory，缩写：rom)、ram、快闪存储器、硬盘、固态硬盘、磁带(英文：magnetictape)、软盘(英文：floppydisk)、光盘(英文：opticaldisc)及其任意组合。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
在本申请中，术语“包括”及其变形可以指非限制性的包括；术语“或”及其变形可以指“和/或”。本本申请中术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。本申请中，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
- 还没有人留言评论。精彩留言会获得点赞！