色偏检测方法及装置、存储介质与流程

1.本公开涉及电子设备技术领域，尤其涉及一种色偏检测方法及装置、存储介质。


背景技术：

2.有机发光半导体(organiclight-emitting diode，oled)显示屏的视角色偏严重影响屏幕的质量。在生产过程中需要对该类现象进行管控和检测，目前的检测方案是在量产环境下点亮屏幕，在特定画面下转动屏幕角度，通过人工的方式对屏幕进行观察检测。
3.上述人工检测的方式效率极为低下，而且产线长时间人工作业会导致人眼疲劳，十分容易出现批量性漏检或过检。


技术实现要素：

4.为了克服上述技术问题，本公开的目的在于提供一种色偏检测方法及装置、存储介质，以提升检测效率以及色偏检测的准确性。
5.为了达到上述目的，本公开所采用的技术方案如下：
6.根据本公开实施例的第一方面，提供一种色偏检测方法，包括：
7.通过多个图像采集组件获取显示屏在显示画面时的图像；其中，多个所述图像采集组件呈不同角度分布；
8.将从多个角度获取的图像输入预定的色偏检测模型，得到所述显示屏的色偏检测结果。
9.在一些实施例中，通过深度学习构建所述色偏检测模型；其中，构建所述色偏检测模型所采用的样本图像由呈不同角度分布的多个所述图像采集组件对多个显示屏进行图像采集获得。
10.在一些实施例中，所述色偏检测模型的构建方法包括：
11.将所述多个显示屏的样本图像分为第一部分和第二部分；其中，同一显示屏的样本图像在同一部分中；
12.将所述第一部分的样本图像作为训练集、所述第二部分的样本图像作为测试集，利用深度学习网络训练获得所述色偏检测模型。
13.在一些实施例中，所述将所述第一部分的样本图像作为训练集、所述第二部分的样本图像作为测试集，利用深度学习网络训练获得所述色偏检测模型，包括：
14.将作为训练集的所述第一部分的样本图像输入所述深度学习网络，并结合所述第一部分的样本图像的预设标签，获得初始模型；
15.将作为测试集的所述第二部分的样本图像输入所述初始模型，获得模型输出结果；
16.根据所述模型输出结果以及所述第二部分的样本图像的预设标签，对所述初始模型的网络进行调优，获得所述色偏检测模型。
17.在一些实施例中，深度学习网络包括多个特征提取子模块，一个所述特征提取子
模块包括：卷积层、激活层和池化层。
18.在一些实施例中，所述多个所述图像采集组件包括5个所述图像采集组件；其中，一个所述图像采集组件与所述显示屏垂直，剩余4个所述图像采集组件分别与垂直于所述显示屏的图像采集组件呈30度角分布。
19.根据本公开实施例的第二方面，提供一种信息控制装置，包括：
20.获取模块，配置为通过多个图像采集组件获取被检测设备的显示屏在显示画面时的图像；其中，多个所述图像采集组件呈不同角度分布；
21.检测模块，配置为将从多个角度获取的图像输入预定的色偏检测模型，得到所述显示屏的色偏检测结果。
22.在一些实施例中，所述装置还包括：
23.模型构建模块，配置为通过深度学习构建所述色偏检测模型；其中，构建所述色偏检测模型所采用的样本图像由呈不同角度分布的多个所述图像采集组件对多个显示屏进行图像采集获得。
24.在一些实施例中，所述模型构建模块包括：
25.划分模块，配置为将所述多个显示屏的样本图像分为第一部分和第二部分；其中，同一显示屏的样本图像在同一部分中；
26.训练模块，配置为将所述第一部分的样本图像作为训练集、所述第二部分的样本图像作为测试集，利用深度学习网络训练获得所述色偏检测模型。
27.在一些实施例中，所述训练模块，还配置为将作为训练集的所述第一部分的样本图像输入所述深度学习网络，并结合所述第一部分的样本图像的预设标签，获得初始模型；将作为测试集的所述第二部分的样本图像输入所述初始模型，获得模型输出结果；根据所述模型输出结果以及所述第二部分的样本图像的预设标签，对所述初始模型的网络进行调优，获得所述色偏检测模型。
28.在一些实施例中，深度学习网络包括多个特征提取子模块，一个所述特征提取子模块包括：卷积层、激活层和池化层。
29.在一些实施例中，所述多个所述图像采集组件包括5个所述图像采集组件；其中，一个所述图像采集组件与所述显示屏垂直，剩余4个所述图像采集组件分别与垂直于所述显示屏的图像采集组件呈30度角分布。
30.根据本公开实施例的第三方面，提供一种色偏检测装置，包括：
31.处理器；
32.用于存储处理器可执行指令的存储器；
33.其中，所述处理器被配置为执行如上述第一方面中所述的色偏检测方法。
34.根据本公开实施例的第四方面，提供一种存储介质，包括：
35.当所述存储介质中的指令由色偏检测装置的处理器执行时，使得色偏检测装置能够执行如上述第一方面中所述的色偏检测方法。
36.本公开的实施例提供的技术方案可以包括以下有益效果：
37.在本公开的实施例中，本公开通过获得从多个角度采集的显示屏在显示画面时的图像，将该多个角度的图像输入预定的色偏检测模型从而获得色偏检测结果，一方面，通过自动检测的方式，可大幅度提升检测效率；另一方面，也能减少因不同人员之间的感官差异
造成的判断标准不一的问题，此外，还能减小漏检或过检的可能，提升色偏检测的准确性。
38.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
39.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
40.图1是本公开实施例示出的一种色偏检测方法流程图。
41.图2为本公开实施例中一种示例性的图像采集组件的分布示例图。
42.图3为本公开实施例中一种示例性的检测模块示例图。
43.图4是根据一示例性实施例示出的一种色偏检测装置图。
44.图5是根据一示例性实施例示出的一种色偏检测装置的框图。
具体实施方式
45.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
46.图1是本公开实施例示出的一种色偏检测方法流程图，如图1所示，色偏检测方法包括以下步骤：
47.s11、通过多个图像采集组件获取显示屏在显示画面时的图像；其中，多个所述图像采集组件呈不同角度分布；
48.s12、将从多个角度获取的图像输入预定的色偏检测模型，得到所述显示屏的色偏检测结果。
49.在本公开的实施例中，色偏检测方法可应用于产线上的检测装置，该检测装置可以是电脑等终端设备。检测装置内可包括多个图像采集组件，也可通过外置的方式接入多个图像采集组件，例如图像采集组件是基于电荷耦合(charge-coupled device，ccd)传感器成像的摄像头，或者是基于互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)传感器成像的摄像头。
50.在步骤s11中，检测装置可通过多个呈不同角度分布的图像采集组件获取被检测设备的显示屏在显示画面时的图像。其中，被检测设备可以是手机、平板电脑或者其它带显示屏的智能设备等。
51.需要说明的是，被检测设备的显示屏上的显示画面，可以是预定颜色的画面，例如全白或全黑的画面，或者是介于全白和全黑之间的灰度画面。多个呈不同角度分布的图像采集组件可同时采集显示屏在显示画面时的图像。
52.在步骤s12中，检测装置将从多个角度获取的图像输入预定的色偏检测模型，以得到显示屏的色偏检测结果。
53.在本公开实施例中，预定的色偏检测模型可以是采用训练的方式获得的模型，还可以是采用非训练的方式，对多个角度获取的图像提取颜色相关的特征并进行分析处理，
以获得是否存在色偏的检测结果。
54.需要说明的是，由于单一图像采集组件在采集图像时，光线入射到图像采集组件的角度可能会对成像的色彩造成影响，从而使得最终基于图像确定显示屏是否存在色偏问题时不够精确。因而本公开通过多角度采集显示屏的图像，能尽可能减少环境光对成像色彩的影响，提升色偏问题检测的准确性。
55.此外，在本公开的实施例中，检测装置通过对被检测设备的显示屏的色偏进行检测后，若确定被检测设备的显示屏不存在色偏，则说明被检测设备的显示屏是合格屏幕。而若经色偏检测模型检测后确定显示屏存在色偏，则可进一步通过人工检测的方式再次复查。
56.相关色偏检测方法中，在特定画面下转动显示屏角度，通过人工的方式对显示屏进行观察检测。其缺点为人工检测效率极为低下，人员之间的感官差异可能导致评判标准不一致，且产线长时间人工作业会导致人眼疲劳，十分容易出现批量性漏检或过检等问题。
57.对此，本公开通过获得从多个角度采集的显示屏在显示画面时的图像，将该多个角度的图像输入预定的色偏检测模型从而获得色偏检测结果，一方面，通过自动检测的方式，可大幅度提升检测效率；另一方面，也能减少因不同人员之间的感官差异造成的判断标准不一的问题，此外，还能减小漏检或过检的可能，提升色偏检测的准确性。
58.在一些实施例中，所述多个所述图像采集组件包括5个所述图像采集组件；其中，一个所述图像采集组件与所述显示屏垂直，剩余4个所述图像采集组件分别与垂直于所述显示屏的图像采集组件呈30度角分布。
59.图2为本公开实施例中一种示例性的图像采集组件的分布示例图。如图2所示，摄像头a垂直于显示屏(显示面板)o，位于显示屏o的正上方。而其余4个摄像头b、c、d、e围绕摄像头a，分别与摄像头a呈30度夹角分布。如图2所示，以摄像头a和摄像头b为例，摄像头a在显示屏o上的投影点为m，摄像头a与投影点m的连线，与摄像头b与投影点m的连线之间的夹角q为30度。通过该种分布方式，使得摄像头能覆盖不同的拍摄角度，从而减少环境光入射角度对成像色彩的影响。
60.在一些实施例中，通过深度学习构建所述色偏检测模型；其中，构建所述色偏检测模型所采用的样本图像由呈不同角度分布的多个所述图像采集组件对多个显示屏进行图像采集获得。
61.在该实施例中，色偏检测模型为通过对来自于多个显示屏的样本图像采用深度学习构建而成，同一显示屏的样本图像包括多张不同角度的图像。
62.例如，可采集10000个显示屏的样本图像，同一显示屏的样本图像包括5张不同角度的图像。
63.需要说明的是，在本公开的实施例中，在样本数据采集阶段，样本图像的数量可根据检测装置的计算能力和/或模型精度需求来确定，通常计算能力越强或者对模型精度需求越高可采集更多的样本。
64.此外，对于采集的样本图像，可预设对应的标签，以便于训练模型。例如，对于同一显示屏的多张样本图像，可通过人工方式基于各样本图像给出该显示屏是否存在色偏的结果，例如不存在色偏时对应标签“ok”，存在色偏时对应标签“ng”。在本公开实施例中，有多少个显示屏，就有多少个对应的标签，标签和该显示屏的图像一一对应后保存。
65.示例性的，若每个显示屏都有5张不同角度的图像，将每个显示屏的5张图像进行叠加，做成一个图像集。如果每张图像大小为[576,224,3]，则每个显示屏叠加之后的图像集为[576,224,15]。对于10000个显示屏，则样本图像集为[576,224,15,10000]，标签集数量为10000
×
1。
[0066]
在一些实施例中，深度学习网络包括多个特征提取子模块，一个所述特征提取子模块包括：卷积层、激活层和池化层。
[0067]
在本公开的实施例中，深度学习网络采用多层网络结构，包括多个特征提取子模块。一个特征提取子模块包括一个卷积层、激活层和池化层。其中，卷积层通过局部感知和权值共享，获得多个局部特征；激活层将卷积层的结果做非线性映射以提升模型的适应性；池化层对激活层的结果做数据降维，减少冗余信息。
[0068]
图3为本公开实施例中一种示例性的检测模块示例图。如图3所示，通过输入模块将多个角度获取的图像(图像集)输入多层结构的特征提取模块后，即可基于决策层模块的多个全连接层获得模型的输出结果。
[0069]
本公开的深度学习网络可以是残差网络resnet，还可以是长短期记忆网络(long short-term memory，lstm)等，对此本公开实施例不做限制。
[0070]
在一些实施例中，进行色偏检测模型构建时，
[0071]
将多个显示屏的样本图像分为第一部分和第二部分；其中，同一显示屏的样本图像在同一部分中；
[0072]
将所述第一部分的样本图像作为训练集、所述第二部分的样本图像作为测试集，利用深度学习网络训练获得所述色偏检测模型。
[0073]
在本公开实施例中，针对不同显示屏的样本图像，分为第一部分和第二部分共两个部分，同一显示屏的样本图像在同一部分中。本公开可基于第一部分的样本图像作为训练集，第二部分的样本图像作为测试集，结合深度学习网络训练获得色偏检测模型。
[0074]
需要说明的是，作为训练集的第一部分的样本图像的数量可大于作为测试集的第二部分的样本图像的数量。且，在本公开的实施例中，为提升模型的精准度，在训练集或测试集中均需包括一定数量的“ok”样本和“ng”样本。
[0075]
例如，对于10000个显示屏的样本图像，可将70％的样本图像作为训练集，训练集的大小为[576,224,15,7000]。同时，即7000组包含5张图像的训练集，还对应7000个预设标签。剩余的30％的样本图像作为测试集，测试集的大小为[576,224,15,3000]，3000组包含5张图像的测试集，同时对应3000个预设标签。
[0076]
在一些实施例中，所述将所述第一部分的样本图像作为训练集、所述第二部分的样本图像作为测试集，利用深度学习网络训练获得所述色偏检测模型，包括：
[0077]
将作为训练集的所述第一部分的样本图像输入所述深度学习网络，并结合所述第一部分的样本图像的预设标签，获得初始模型；
[0078]
将作为测试集的所述第二部分的样本图像输入所述初始模型，获得模型输出结果；
[0079]
根据所述模型输出结果以及所述第二部分的样本图像的预设标签，对所述初始模型的网络进行调优，获得所述色偏检测模型。
[0080]
在该实施例中，利用作为训练集的第一部分的样本图像训练初始模型。通过将第
一部分的样本图像输入深度学习网络获得训练值后，结合第一部分的样本图像的预设标签，利用损失函数来衡量样本的训练值和预设标签之间的差异，从而反向传播来更新网络中的参数获得初始模型。
[0081]
而为了提升模型的泛化能力，本公开还将作为测试集的第二部分的样本图像输入初始模型，获得模型输出结果，然后将模型输出结果和第二部分的样本图像的预设标签进行比对，计算出初始模型的正确率。若初始模型的正确率不太高，则可以对初始模型的网络进行优化，包括优化模型中的网络参数，或者优化网络的结构等，对此本公开实施例不做限制。
[0082]
图4是根据一示例性实施例示出的一种色偏检测装置图。参照图4，在一个可选的实施例中，所述装置包括：
[0083]
获取模块101，配置为通过多个图像采集组件获取显示屏在显示画面时的图像；其中，多个所述图像采集组件呈不同角度分布；
[0084]
检测模块102，配置为将从多个角度获取的图像输入预定的色偏检测模型，得到所述显示屏的色偏检测结果。
[0085]
在一些实施例中，所述装置还包括：
[0086]
模型构建模块103，配置为通过深度学习构建所述色偏检测模型；其中，构建所述色偏检测模型所采用的样本图像由呈不同角度分布的多个所述图像采集组件对多个显示屏进行图像采集获得。
[0087]
在一些实施例中，所述模型构建模块103包括：
[0088]
划分模块104，配置为将所述不同显示屏的样本图像分为第一部分和第二部分；其中，同一显示屏的样本图像在同一部分中；
[0089]
训练模块105，配置为将所述第一部分的样本图像作为训练集、所述第二部分的样本图像作为测试集，利用深度学习网络训练获得所述色偏检测模型。
[0090]
在一些实施例中，所述训练模块105，还配置为将作为训练集的所述第一部分的样本图像输入所述深度学习网络，并结合所述第一部分的样本图像的预设标签，获得初始模型；将作为测试集的所述第二部分的样本图像输入所述初始模型，获得模型输出结果；根据所述模型输出结果以及所述第二部分的样本图像的预设标签，对所述初始模型的网络进行调优，获得所述色偏检测模型。
[0091]
在一些实施例中，深度学习网络包括多个特征提取子模块，一个所述特征提取子模块包括：卷积层、激活层和池化层。
[0092]
在一些实施例中，所述多个所述图像采集组件包括5个所述图像采集组件；其中，一个所述图像采集组件与所述显示屏垂直，剩余4个所述图像采集组件分别与垂直于所述显示屏的图像采集组件呈30度角分布。
[0093]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0094]
图5是根据一示例性实施例示出的一种色偏检测装置800的框图。例如，装置800可以是电脑等。
[0095]
参照图5，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及
通信组件816。
[0096]
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
[0097]
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0098]
电源组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
[0099]
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0100]
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
[0101]
i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0102]
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0103]
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如wi-fi，2g或3g，或它们的组合。在一个示例性实
施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0104]
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0105]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0106]
一种非临时性计算机可读存储介质，当所述存储介质中的指令由色偏检测装置的处理器执行时，使得色偏检测装置能够执行控制方法，所述方法包括：
[0107]
通过多个图像采集组件获取显示屏在显示画面时的图像；其中，多个所述图像采集组件呈不同角度分布；
[0108]
将从多个角度获取的图像输入预定的色偏检测模型，得到所述显示屏的色偏检测结果。
[0109]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0110]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。