一种屏幕老化程度检测方法及装置与流程

1.本发明属于屏幕检测技术领域，尤其涉及一种屏幕老化程度检测方法及装置。


背景技术：

2.随着液晶屏的市场需求逐步增大和应用应用领域的不断扩大，液晶显示屏的应用环境也日趋复杂，因此对液晶屏整合性能的要求也在不断挺高，现代液晶屏应能克服高温、低温、潮湿、超长工作时间等各种恶劣环境，拥有超强的工作稳定性和可靠性。由于屏幕的老化会使得屏幕分辨率较低而导致图像失真，屏幕内容图像的视觉质量也会随之下降，严重影响了交互性能和用户的满意度，因此，有必要对屏幕老化问题进行检测。


技术实现要素：

3.有鉴于此，本发明提供了一种屏幕老化程度检测方法及装置，通过对屏幕内容图像评估使得液晶屏自动老化生产线随生产液晶屏幕的不同、设备布局等灵活性检测，可以提高屏幕老化检测的效率和经确定，具体采用以下技术方案来实现。
4.第一方面，本发明提供了一种屏幕老化程度检测方法，包可以以下步骤：
5.将输入信号的颜色空间由rgb转换到yuv三个颜色通道，在亮度y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，其中梯度特征表征图像的边缘结构和纹理，相位特征用于补充梯度的边缘信息；
6.在u和v两个色度通道中提取颜色特征作为互补特征，其中强化屏幕内容图像的结构信息，高斯差分用于提取图像的角点信息和空间频率特征；
7.计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分；
8.建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，特征参数对模块中的每一个零部件随特征参数变化时的反应进行分析，确定特征参数变化时的反应进行分析，确定特征参数对零部件结构的映射关系，以确定平台元素，其中将平台元素作为平台通用模块部分且随着平台参数进行变化。
9.作为上述技术方案的进一步改进，计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，包括：
10.在色度通道u上计算参考图像与失真图像之间的颜色相似性特征分量u
sim
，其表达式为其中u1为参考屏幕内容图像的u通道，u2为失真屏幕内容图像的u通道，(x,y)为屏幕内容图像中的像素点，n为屏幕内容图像中像素点的总数，c1用于避免分母为零造成u
sim
的不稳定设置的常数；在色度通道v上提取其相似性特征分量v
sim
，其表达式为其中v1为参考图像的v通道，v2为失真图像的v通道，c2用于避免分母为零造成v
sim
到的不稳定设置的常数；两幅屏幕内容图像
的颜色相似性特征表示为c
sim
，其表达式为
11.作为上述技术方案的进一步改进，在亮度y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，包括：
12.通过计算屏幕内容图像的像素点周边的灰度值进行边缘信息提取，图像f(x)的水平梯度分量g
x
(x)与垂直梯度分量gy(x)分别表示为：其中
·
为卷积运算，f(x)为原始图像，f(x)中的x为图像中的像素点，图像f(x)的梯度幅度值的表达式为其中为g
x
(x)与自身进行点乘运算，gy(x)为gy(x)与自身进行点乘运算；将梯度特征进行归一化以进行多特征融合，使得获取的特征向量落在[0,1]区间内，梯度归一化的表达式为g(x)＝{g(x)|g
max
}，g
max
为图像中的最大梯度值。
[0013]
作为上述技术方案的进一步改进，将输入信号的颜色空间由rgb转换到yuv三个颜色通道，包括：
[0014]
通过提取图像中的屏幕区域来获得感兴趣区域，其中感兴趣区域为处理数字图像过程中从待处理的图像中剥离出的需要进一步处理分析的重点区域；
[0015]
将得到的感兴趣区域四角和左侧异形区域使用浸水填充方法进行屏幕颜色填充，以使整个屏幕背景单一化，并突出瑕疵与屏幕背景的类外差得到背景干净单一的感兴趣区域图片；
[0016]
将高分辨率图片在图像上进行纵向和横向的滑动，采集连续的若干分区图像，将得到的感兴趣区域图片进行分割，获得连续的小图片作为输入数据集。
[0017]
作为上述技术方案的进一步改进，在u和v两个色度通道中提取颜色特征作为互补特征，包括：
[0018]
将目标图像与高斯函数进行卷积运算得到一幅目标图像的低通滤波结果，在某一尺度上的特征通过两个相邻高斯尺度工件的图像相减以得到响应值图像；
[0019]
根据不同失真类型下提取的高斯差分特征图将高斯差分图像在频域中进行五级分解，以提供屏幕内容图像的品与信息，对梯度、相位特征进行补充，图像的高斯差分表达式为：其中i为输入的屏幕内容图像，用于角点检测的高斯函数，为不同的标准差，高斯响应的标准偏差的表达式为
[0020]
作为上述技术方案的进一步改进，将输入的屏幕内容图像i分解为五级高斯差分图像；原始图像信号的表达式为：各组成部分的总和与原始图像相同，分解不会丢失
原始图像中的任何信息。
[0021]
作为上述技术方案的进一步改进，建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，包括：
[0022]
通过对屏幕内容图像和失真屏幕内容图像进行特征提取，以获得一个8-d特征相似向量，其表达式为：f＝[f1,f2,f3,f4,f5,f6,f7,f8]，其中f1为参考图像和失真图像的颜色相似性，f2为梯度相似特征，f3～f7为五级高斯差分的相似性特征，f8为相应一致性的相似性特征。
[0023]
作为上述技术方案的进一步改进，生成梯度特征图的过程包括：
[0024]
读入彩色图像，将图像转换为对应的灰度图像并获得图像的宽和高，采用gamma校正法对输入的屏幕内容图像进行颜色空间的归一化处理，并设置gamma值为0.5；
[0025]
计算图像每个像素的梯度以捕获轮廓信息，其中梯度包括大小和方向，通过梯度算子进行求导的操作以期初梯度幅值和方向；
[0026]
将图像分成若干个细胞单元格并经过设置不同的参数的特征可视化，选择最合适的梯度图，将图像内所有分割块的hog特征描述符串联起来得到检测图像的hog特征。
[0027]
作为上述技术方案的进一步改进，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分，包括：
[0028]
将梯度特征和深层语义特征向量融合后作为输入，并通过第五层卷积神经网络输出的最后一张图片与每一层权重，经过训练后以得到待评估的屏幕内容图像的质量分数；
[0029]
基于深度学习的质量评估的表达式为f(x,φ)＝q，其中f为深度学习的网络模型，x为输入的屏幕内容图像，φ
x
为网络模型的整体参数，q为待评估屏幕内容图像的质量分数；
[0030]
对图像质量进行预测时，图像内容的表达式为f(x,φ
x
)＝q，其中φ
x
为由输入的失真图像x得到的模型参数；权重生成的输入为resnet50网络的conv5_x层的最后一层特征图，其表达式为f(v
x
,g(s(x)))＝q，其中v
x
为融合后的多层特征，g为权重生成模块，s(x)为输入图像在经过resnet50提取的conv5_x层的最后一层特征图；
[0031]
将v
x
转换为全连接层，使用三层1
×
1卷积对s(x)进行降维，通过二维卷积和形状重塑生成相应全连接层的权重，并利用全局平均池化和形状重塑生成相应全连接层的偏差，生成的权值尺寸和多层次特征尺寸满足表达式fc(i)*fc(i+1)/(fs^2)＝n，其中fc(i)为多尺度特征的第i层全连接层的维度，fs为s(x)的大小，n为正整数。
[0032]
第二方面，本发明还提供了一种屏幕老化程度检测装置，包括：
[0033]
提取单元，用于将输入信号的颜色空间由rgb转换到yuv三个颜色通道，在亮度y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，其中梯度特征表征图像的边缘结构和纹理，相位特征用于补充梯度的边缘信息；
[0034]
分析单元，用于在u和v两个色度通道中提取颜色特征作为互补特征，其中强化屏幕内容图像的结构信息，高斯差分用于提取图像的角点信息和空间频率特征；
[0035]
计算单元，用于计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分；
[0036]
构建单元，用于建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，特征参数对模块中的每一个零部件随特征参数变化时的反应进行分析，确定特征参数
变化时的反应进行分析，确定特征参数对零部件结构的映射关系，以确定平台元素，其中将平台元素作为平台通用模块部分且随着平台参数进行变化。
[0037]
本发明提供了一种屏幕老化程度检测方法及装置，相对于现有技术，具有以下有益效果：
[0038]
通过将输入信号的颜色空间由rgb转换到yuv三个颜色通道，在亮度y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，在u和v两个色度通道中提取颜色特征作为互补特征，计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分，建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，特征参数对模块中的每一个零部件随特征参数变化时的反应进行分析，确定特征参数变化时的反应进行分析，确定特征参数对零部件结构的映射关系，以确定平台元素，其中将平台元素作为平台通用模块部分且岁平台参数进行变化。在图像的空域信息中提取图像的梯度特征，用以描述图像的边缘结构信息和纹理信息，在图像的频域信息中提取相位一致性的特征，用以补充梯度特征在某些失真类型图片汇总的边缘结构信息的缺失，采用五级高斯差分在频域中提取图像的角点特征和空间频率特征，并将其与梯度和相位一致性互为补充的表征图像的感知质量，将图像提取的多种相似性特征输入到随机森林回归模型中进行训练，用于预测待评估的屏幕内容图像的质量分数，以提高屏幕老化检测装置的工作稳定性和可靠性。
附图说明
[0039]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0040]
图1为本发明的屏幕老化程度检测方法的流程图；
[0041]
图2为本发明的数据集生成的流程图；
[0042]
图3为本发明的梯度特征图生成的流程图；
[0043]
图4为本发明的图像训练的流程图；
[0044]
图5为本发明的屏幕老化程度检测装置的结构框图。
具体实施方式
[0045]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0046]
参阅图1，本发明提供了一种屏幕老化程度检测方法，包括以下步骤：
[0047]
s10：将输入信号的颜色空间由rgb转换到yuv三个颜色通道，在亮度y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，其中梯度特征表征图像的边缘结构和纹理，相位特征用于补充梯度的边缘信息；
[0048]
s11：在u和v两个色度通道中提取颜色特征作为互补特征，其中强化屏幕内容图像的结构信息，高斯差分用于提取图像的角点信息和空间频率特征；
[0049]
s12：计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分；
[0050]
s13：建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，特征参数对模块中的每一个零部件随特征参数变化时的反应进行分析，确定特征参数变化时的反应进行分析，确定特征参数对零部件结构的映射关系，以确定平台元素，其中将平台元素作为平台通用模块部分且岁平台参数进行变化。
[0051]
本实施例中，计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，包括：在色度通道u上计算参考图像与失真图像之间的颜色相似性特征分量u
sim
，其表达式为其中u1为参考屏幕内容图像的u通道，u2为失真屏幕内容图像的u通道，(x,y)为屏幕内容图像中的像素点，n为屏幕内容图像中像素点的总数，c1用于避免分母为零造成u
sim
的不稳定设置的常数；在色度通道v上提取其相似性特征分量v
sim
，其表达式为其中v1为参考图像的v通道，v2为失真图像的v通道，c2用于避免分母为零造成v
sim
到的不稳定设置的常数；两幅屏幕内容图像的颜色相似性特征表示为c
sim
，其表达式为
[0052]
需要说明的是，在亮度y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，包括：通过计算屏幕内容图像的像素点周边的灰度值进行边缘信息提取，图像f(x)的水平梯度分量g
x
(x)与垂直梯度分量gy(x)分别表示为：为：其中
·
为卷积运算，f(x)为原始图像，f(x)中的x为图像中的像素点，图像f(x)的梯度幅度值的表达式为其中为g
x
(x)与自身进行点乘运算，gy(x)为gy(x)与自身进行点乘运算；将梯度特征进行归一化以进行多特征融合，使得获取的特征向量落在[0,1]区间内，梯度归一化的表达式为g(x)＝{g(x)|g
max
}，g
max
为图像中的最大梯度值。
[0053]
应理解，以老化生产的液晶屏尺寸为主要参数，厂家提出的个性化的个性化要求为辅助参数，对液晶屏自动老化生产线各模块进行快速部署，最终组合新的液晶屏自动老化生产线，以实现液晶屏自动老化生产线的快速设计，能够快速对液晶频屏自动老化生产线中相同或相似模块进行重新设计、排列和重组，形成满足用户个性化需求的新生产线。液晶屏的自动精确传输，液晶屏自动老化生产线也是一条自动传输线，由计算机程序控制，对每一个pallet进行精确定时传输，实现对液晶屏自动老化、自动冷却、视觉检测等功能，确保每一块屏幕的生产时间，从而确保生产量。液晶屏自动老化生产线的核心功能便是对液晶屏实现老化，通过计算机对pallet的传输的控制，以及对老化室环境的精确调控，确保了每一块液晶屏都能合格老化，确保老化工作的正常完成。液晶屏自动老化生产线对每一块液晶屏设置了唯一的id，且与pallet进行了精确匹配，对每一块生产的液晶屏都能进行实
时检测知道生产结束。接着进行屏幕内容图像的检测，以进一步提高屏幕老化检测的精确度。
[0054]
参阅图2，可选地，将输入信号的颜色空间由rgb转换到yuv三个颜色通道，包括：
[0055]
s20：通过提取图像中的屏幕区域来获得感兴趣区域，其中感兴趣区域为处理数字图像过程中从待处理的图像中剥离出的需要进一步处理分析的重点区域；
[0056]
s21：将得到的感兴趣区域四角和左侧异形区域使用浸水填充方法进行屏幕颜色填充，以使整个屏幕背景单一化，并突出瑕疵与屏幕背景的类外差得到背景干净单一的感兴趣区域图片；
[0057]
s22：将高分辨率图片在图像上进行纵向和横向的滑动，采集连续的若干分区图像，将得到的感兴趣区域图片进行分割，获得连续的小图片作为输入数据集。
[0058]
本实施例中，在u和v两个色度通道中提取颜色特征作为互补特征，包括：将目标图像与高斯函数进行卷积运算得到一幅目标图像的低通滤波结果，在某一尺度上的特征通过两个相邻高斯尺度工件的图像相减以得到响应值图像；根据不同失真类型下提取的高斯差分特征图将高斯差分图像在频域中进行五级分解，以提供屏幕内容图像的品与信息，对梯度、相位特征进行补充，图像的高斯差分表达式为：其中i为输入的屏幕内容图像，用于角点检测的高斯函数，为不同的标准差，高斯响应的标准偏差的表达式为
[0059]
需要说明的是，将输入的屏幕内容图像i分解为五级高斯差分图像；原始图像信号的表达式为：各组成部分的总和与原始图像相同，分解不会丢失原始图像中的任何信息。
[0060]
应理解，建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，包括：通过对屏幕内容图像和失真屏幕内容图像进行特征提取，以获得一个8-d特征相似向量，其表达式为：f＝[f1,f2,f3,f4,f5,f6,f7,f8]，其中f1为参考图像和失真图像的颜色相似性，f2为梯度相似特征，f3～f7为五级高斯差分的相似性特征，f8为相应一致性的相似性特征。当屏幕内容图像的质量发生损失时，图像的结构边缘信息就会在梯度图中显示出来，对比图中不同失真类型下的梯度图像，可以得出不同失真类型的屏幕内容图像利用梯度描述的图像边缘信息是不一样的，且经过归一化处理后的梯度图的边缘结构更加清晰，将梯度特征进行归一化操作是梯度特征提取过程中必不可少的一部分。
[0061]
参阅图3，可选地，生成梯度特征图的过程包括：
[0062]
s30：读入彩色图像，将图像转换为对应的灰度图像并获得图像的宽和高，采用gamma校正法对输入的屏幕内容图像进行颜色空间的归一化处理，并设置gamma值为0.5；
[0063]
s31：计算图像每个像素的梯度以捕获轮廓信息，其中梯度包括大小和方向，通过梯度算子进行求导的操作以期初梯度幅值和方向；
[0064]
s32：将图像分成若干个细胞单元格并经过设置不同的参数的特征可视化，选择最
合适的梯度图，将图像内所有分割块的hog特征描述符串联起来得到检测图像的hog特征。
[0065]
本实施例中，输入原始图像之前，利用事先标定好的图片计算得到相机内参，而后根据计算这些参数重新计算即便图像对应校准图像像素位置和灰度，之后分离图片前景和背景，获得最大轮廓，即手机屏幕区域的最小外接矩形，包覆轮廓的最小斜矩形，根据这个最小外接矩形与水平方向的偏离角度计算得到二维仿射变换旋转参数，使得屏幕区域水平，再通过霍夫变换获得屏幕四边水平的位置，取拟合四边水平线端点作为轮廓点进行分类，通过求四边水平线延伸交点作为四个角点，三维透视变换将参照四个点计算得到变换矩阵的参数，从而获得感兴趣区域。
[0066]
需要说明的是，通过比较对比对比度失真等级不同的失真图像，可以发现相位特征对图像边缘的表达比较清晰，两者的体区的结构信息差异较小，相位特征可以不受图像局部光线明暗变化的影响，与梯度特征融合可以增加图像的边缘信息。为了减少不相干因素的干扰，对获得的轮廓信息进行处理，提取可以区分屏幕与其他无关因素的特征，并以此为依据筛选，获得想要的感兴趣区域，可以通过计算之前提取到的轮廓的面积来区分目标和噪声。
[0067]
参阅图4，可选地，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分，包括：
[0068]
s40：将梯度特征和深层语义特征向量融合后作为输入，并通过第五层卷积神经网络输出的最后一张图片与每一层权重，经过训练后以得到待评估的屏幕内容图像的质量分数；
[0069]
s41：基于深度学习的质量评估的表达式为f(x,φ)＝q，其中f为深度学习的网络模型，x为输入的屏幕内容图像，φ
x
为网络模型的整体参数，q为待评估屏幕内容图像的质量分数；
[0070]
s42：对图像质量进行预测时，图像内容的表达式为f(x,φ
x
)＝q，其中φ
x
为由输入的失真图像x得到的模型参数；权重生成的输入为resnet50网络的conv5_x层的最后一层特征图，其表达式为f(v
x
,g(s(x)))＝q，其中v
x
为融合后的多层特征，g为权重生成模块，s(x)为输入图像在经过resnet50提取的conv5_x层的最后一层特征图；
[0071]
s43：将v
x
转换为全连接层，使用三层1
×
1卷积对s(x)进行降维，通过二维卷积和形状重塑生成相应全连接层的权重，并利用全局平均池化和形状重塑生成相应全连接层的偏差，生成的权值尺寸和多层次特征尺寸满足表达式fc(i)*fc(i+1)/(fs^2)＝n，其中fc(i)为多尺度特征的第i层全连接层的维度，fs为s(x)的大小，n为正整数。
[0072]
本实施例中，屏幕内容图像是由文本区域和计算机生成的图形、图像区域构成，存在大量的锐利线条，屏幕内容图像具有较强的边缘性，为了保证屏幕内容图像特征的完整提取，使用不同类型的特征进行融合后用于屏幕内容图像的质量预测，使用梯度直方图进行梯度特征的体区，再通过resnet50的网络对屏幕内容图像进行多尺度的深层信息提取，将提取后的特征图进行融合，融合后的图像对于屏幕内容图像结构特征的缺失，增强了边缘特征，再将融合后的图像输入四层全连接网络进行屏幕内容图像质量的预测，以提高屏幕老化检测效率。
[0073]
参阅图5，本发明还提供了一种屏幕老化程度检测装置，包括：
[0074]
提取单元，用于将输入信号的颜色空间由rgb转换到yuv三个颜色通道，在亮度y通
道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，其中梯度特征表征图像的边缘结构和纹理，相位特征用于补充梯度的边缘信息；
[0075]
分析单元，用于在u和v两个色度通道中提取颜色特征作为互补特征，其中强化屏幕内容图像的结构信息，高斯差分用于提取图像的角点信息和空间频率特征；
[0076]
计算单元，用于计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分；
[0077]
构建单元，用于建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，特征参数对模块中的每一个零部件随特征参数变化时的反应进行分析，确定特征参数变化时的反应进行分析，确定特征参数对零部件结构的映射关系，以确定平台元素，其中将平台元素作为平台通用模块部分且岁平台参数进行变化。
[0078]
本实施例中，在图像的空域信息中提取图像的梯度特征，用以描述图像的边缘结构信息和纹理信息，在图像的频域信息中提取相位一致性的特征，用以补充梯度特征在某些失真类型图片汇总的边缘结构信息的缺失，采用五级高斯差分在频域中提取图像的角点特征和空间频率特征，并将其与梯度和相位一致性互为补充的表征图像的感知质量，将图像提取的多种相似性特征输入到随机森林回归模型中进行训练，用于预测待评估的屏幕内容图像的质量分数，以提高屏幕老化检测装置的工作稳定性和可靠性。
[0079]
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
[0080]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0081]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。