一种挖孔屏漏光缺陷检测系统的制作方法

本申请属于图像处理领域，特别涉及一种挖孔屏漏光缺陷检测系统。

背景技术：

近年来，各电子设备厂家在屏显示技术上尝试很多突破和创新，其中，如何最大化屏占比被当作一个重要特性进行研发。屏占比为屏幕显示区与前面板面积的比值，由于前面板存在边框、按键、听筒和前置摄像头等非显示区，导致屏占比难以达到理论上的100％。为增大屏占比，各电子设备厂家提出不同办法，其中，挖孔设计，即在显示屏幕上钻出小孔，将前置摄像头等部件嵌入所述小孔内，从而提高屏占比，这种技术受到例如三星、华为、vivo等各大知名手机厂家的青睐。

然而，显示屏上的挖孔设计可能会使电子产品在孔附近产生缺陷，例如，前置摄像头与手机显示屏贴合时可能出现偏移，在原本应该紧密接触的摄像头外圈与屏幕孔边缘形成缝隙，或摄像头元器件之间粘连时用到的了涂胶工艺，形成一个圆形的涂胶圈，在涂胶过程中可能也会因为工艺问题，导致涂胶不均匀，使得前置摄像头与所述小孔难以百分之百零缝隙嵌合，出现缝隙，小孔周围难以密实遮光，导致背光从这些缝隙中透上来，形成了孔漏光缺陷，即，孔漏光。孔漏光给后续质量检测环节带来很大的挑战，一方面是孔的尺寸比较小，孔内漏光不易察觉，另一方面是不同位置的漏光需要在不同角度才能够被检测到。图1示出一种手机屏幕结构示意图，如图1所示，待检测屏001的挖孔区002一般位于屏幕的边缘，例如位于屏幕的左上角；目前电子产品常见的屏幕为圆弧屏，即，从正面看，屏幕的四角具有圆弧角003，从侧面看，屏幕也具有一定的曲率，这就导致斜视时屏幕容易反光，而反光形成的光斑会为屏幕的质量检测带来干扰。

随着工业4.0的推进，液晶屏厂家逐渐用自动化检测设备，即自动光学检测(automatedopticalinspection，aoi)，代替人工用肉眼对屏幕质量进行检测，技术也逐渐成熟，但是，挖孔屏的点灯品质检测，对于aoi存在一定的困难。

传统检测设备主要包括相机组、光源、计算机、翻屏控制系统和运动控制系统等，其中，相机组作为光学核心器件，主要包括1个用于直视的主相机和4个斜视相机，通常，每个斜视相机的斜拍角度为45°，并且，拍摄范围均是全屏。图2示出传统aoi中一种相机组的示意图，如图2图所示，其中，在待检测屏001上方设置有用于直视拍图的主相机021，以及用于从四个方向拍摄手机屏的斜视相机022，斜视相机与法线角度一般是45°，其中，所述法线为主相机的光轴。

由于现有斜视相机的视场为全屏视场，导致圆孔区缺陷在所采集的图像中占比较小，并且，缺陷图像不清晰，难以被检测，图3a示出传统检测设备主相机拍摄的图像，图3b示出传统检测设备斜视相机拍摄的图像，如图3a和图3b所示，在两个图像中，挖孔区占比都很小，因此，在上述图像中，漏光缺陷难以发现，即便能拍到漏光缺陷，缺陷尺寸也很小，容易出现干扰。

另外，孔漏光缺陷在常规直视及斜视检测图像中都难以检测。例如，图4a示出无漏光缺陷但有涂胶圆圈反光的图像，图4b示出图4a的增强图，如图4a和图4b所示，所采集的图像中圆孔区边缘041与圆环区042之间具有亮目标，但是该亮目标不是漏光缺陷，而是因孔内的涂胶圆圈反光造成的亮圆弧，属于假缺陷。

技术实现要素：

为解决挖孔屏漏光缺陷漏检、误检等问题，本申请提供一种挖孔屏漏光缺陷检测系统，所述检测系统包括载台1、主检相机2、斜拍相机组和局拍相机组，其中，主检相机2的光轴垂直于载台1，所述斜拍相机组包括至少两个斜拍相机3，所有所述斜拍相机3设置于载台1的同侧，所述局拍相机组包括至少两个局拍相机4，所述局拍相机均设置于载台1同侧，至少两个所述局拍相机4的光轴在所述载台上的投影重合，本申请提供的系统可以首先利用深度学习的方法生成检测模型，再利用所述检测模型来检测待检产品是否为合格品。

本申请的目的在于提供一种挖孔屏漏光缺陷检测系统，所述系统包括载台1、主检相机2、斜拍相机组和局拍相机组，其中，主检相机2的光轴垂直于载台1，所述斜拍相机组包括至少两个斜拍相机3，所有所述斜拍相机3设置于载台1的同侧，所述局拍相机组包括至少两个局拍相机4，所述局拍相机均设置于载台1同侧，至少两个所述局拍相机4的光轴在所述载台上的投影重合，所述系统用于执行以下程序：

获取待检测图像，所述待检测图像由所述主检相机2、斜拍相机组以及局拍相机组采集；

利用缺陷检测模型生成待检测图像的检测结果。

本申请提供的检测系统针对性地增加局拍相机组，使得所述系统能够采集待检测位置的局部图像，并根据预设的检测模型进行检测，检测效率高，结果稳定。

在一种可实现的方式中，所述斜拍相机3设置于所述载台1的各个边缘外侧，所述斜拍相机组从不同角度采集待检测产品全景图像，从而辅助主拍相机拍摄待检测产品的全景图像，辅助定位缺陷位置。

进一步地，每个所述斜拍相机3与所述载台之间的夹角为30°到60°，例如45°，从而使所采集到图像的形变可控。

在一种可实现的方式中，所述局拍相机组从不同角度采集待检测部位的局部图像，从而获得较为清晰的待检测部位的局部图像，便于对待检测部位的缺陷通过所述图像进行检测。

进一步地，所述局拍相机4与所述载台之间的夹角为30°到60°，例如45°，从而使所采集到图像的形变可控。

更进一步地，所述局拍相机4的分辨率为5m、9m或者12m。

在一种可实现的方式中，所述缺陷检测模型由包括以下步骤的方法生成：

获取模型图像；

在所述模型图像上标记预设标记，所述预设标记包括无缺陷、真缺陷和假缺陷；

根据所述模型图像以及所述预设标记建立缺陷检测模型。

本实例通过深度学习生成的检测模型，因此，待检测图像通过所述模型检测而获得的结果检测效率也高，可实现缺陷自动检测，降低误检。

进一步地，所述模型图像由所述主检相机2、斜拍相机组以及局拍相机组采集，以所述检测系统局拍相机采集到的图像作为学习材料，所用学习材料与待检测图像所用采集设备相同或者相似，采集环境也相同或者相似，使得所述检测系统提供的检测结果可靠性高。

在一种可实现的方式中，在获取模型图像之后，并且在所述模型图像上标记预设标记图像之前包括：生成变换图像，所述变换图像对所述待检测部位图像进行图像变换而得，所述图像变换包括旋转、反转、高斯模糊、亮度调整、对比度调整、拉伸和剪切。

对模型图像进行变换后再次作为模型图像进行深度学习，可以增加检测模型对真缺陷以及假缺陷的识别能力，提高检测准确性。

与现有技术相比，本申请提供的挖孔屏漏光缺陷检测系统针对待检测的圆孔特别增加局拍相机，所述局拍相机用于采集从不同角度待检测孔的图像，并根据多个局拍相机采集的图像进行深度学习生成检测模型，再利用局拍相机采集到的待检产品图像以及所述检测模型对待待检产品的图像进行分析，最终获得检测结果，从而，能够准确地识别出图像中挖孔处的真实缺陷。

附图说明

图1示出一种手机屏幕结构示意图；

图2示出传统aoi中一种相机组的示意图；

图3a示出传统检测设备主相机拍摄的图像；

图3b示出传统检测设备斜视相机拍摄的图像；

图4a示出无漏光缺陷但有涂胶圆圈反光的图像；

图4b示出图4a的增强图；

图5a示出存在反光干扰ng(不良品)显示屏图像；

图5b示出存在圆弧干扰ng显示屏图像；

图5c示出存在反光干扰以及圆弧干扰ok(合格品)显示屏图像；

图5d示出存在圆弧干扰ok显示屏图像；

图6示出本申请提供的检测影像边界缺陷系统的结构示意图；

图7a示出查找圆孔时需考虑平移范围；

图7b示出查找圆孔时需考虑旋转角度；

图7c示出查找圆孔时需要考虑拉伸变形；

图8示出本实例所用深度学习网络模型示意图。

附图标记说明

001-待检测屏，002-挖孔区，003-圆弧角，021-主相机，022-斜视相机，041-圆孔区边缘，042-圆环区，1-载台，2-主检相机，3-斜拍相机，4-局拍相机。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致方法的例子。

下面通过具体的实施例对本申请提供的挖孔屏漏光缺陷检测系统进行详细阐述。

首先，对本方案的使用场景作简要介绍。

挖孔显示屏在安装于电子设备后，有一项检测内容是所挖的孔与安装于孔中的器件是否对正，如未对正，则会在孔周围存在漏光，可以通过检测挖孔处的图像是否有漏光光斑来进行检测。

图5a示出存在反光干扰ng(不良品)显示屏图像，其中，标示为051处为缺陷处，标示为052处为反光干扰处，标示为053处为圆弧干扰处，图5b示出存在圆弧干扰ng显示屏图像，标示为051处为缺陷处，标示为053处为圆弧干扰处，图5c示出存在反光干扰以及圆弧干扰ok(合格品)显示屏图像，标示为052处为反光干扰处，标示为053处为圆弧干扰处，图5d示出存在圆弧干扰ok显示屏图像，标示为053处为圆弧干扰处，如图5a至图5d所示，真实缺陷主要包括两种，一种位于涂胶圆圈上，如图5a的所示，另一种位于涂胶圈内，如图5b所示；由于挖孔位置一般位于显示屏边缘，因此，斜拍相机采集到的图像有时会因为显示屏弧边反光导致反光光斑，反光光斑时有时无、时大时小，如图5a至图5d中052所示。在挖孔区内部，也可能存在因涂胶而形成的圆弧形反光光斑，该光斑为干扰光斑，并非缺陷光斑，该反光光斑一般情况下对比度很高，但有时对比度也比较低，而且可能出现断裂，形态变化比较大，另外，该反光光斑距离所挖圆孔外圈的距离也会变化，如图5a至图5d中053所示。由图5a至图5d可知，挖孔处存在的干扰与真实缺陷在图像特征上具有较大的相似性，并且，具有较大不确定性，如果采用传统图像处理方法自动检测孔漏光缺陷，例如，图像滤波、图像分割、边缘提取等，所采集的图像中的反光或者圆弧干扰会在对产品进行自动检测过程中产生误检。

在以下实例中，以检测lcd手机显示屏挖孔区是否存在漏光缺陷为例说明本申请的方案。

图6示出本申请提供的检测影像边界缺陷系统的结构示意图，如图6所示，所述挖孔屏漏光缺陷检测系统，所述系统包括载台1、主检相机2、斜拍相机组和局拍相机组。

如图6所示，所述主检相机2的光轴垂直于载台1，所述主检相机2的镜头与载台上表面之间的距离可以根据需要而随时调节，用于采集待检测显示屏的整体主视图像。待检测显示屏的影像在所采集图像的中央，基本无形变。

在本实例中，所述主检相机用于拍摄直视视场图像，其分辨率在29m及以上，如29m、60m、71m等。

如图6所示，所述斜拍相机组包括至少两个斜拍相机3，所有所述斜拍相机3设置于载台1的同侧，使得斜拍相机组所采集的图像与主检相机2所采集的图像为同一块显示屏同一面的影像。

进一步地，所述斜拍相机3设置于所述载台1的各个边缘外侧，在本实例中，所核斜拍相机设置有4个，分别设置于显示屏各边缘外侧，使得所述斜拍相机组从不同角度采集待检测产品全景图像，以便从不同角度展现待检测显示屏的全貌，辅助主拍相机拍摄待检测产品的全景图像，从而精准辨识并且定位缺陷位置。

在本实例中，每个所述斜拍相机3与所述载台之间的夹角可根据实际情况调整，一般为30°到60°，例如45°，从而使所采集到图像的形变可控。该角度的调节可通过调节机械机构来实现。

在本实例中，所述斜拍相机3的分辨率可以为5m、9m或者12m。

在本实例中，所述斜拍相机的视场为待检测显示屏整体。

如图6所示，所述局拍相机组包括至少两个局拍相机4，所述局拍相机4均设置于载台1同侧，至少两个所述局拍相机4的光轴在所述载台上的投影重合，并且，所述局拍相机4的光轴经过所挖圆孔的中心。

在本实例中，如图6所示，所述局拍相机组包括两个局拍相机4，两个局拍相机相对设置，即，两个局拍相机4的光轴在载台上的投影重合，并且，每个局拍相机的光轴均经过所挖圆孔的中心，相对设置的两个局拍相机所采集到的图像能够互相补偿对方局拍相机所采集图像的缺失，从而利用各局拍相机所采集的图像获得待检测区域的完整图像。

可以理解地，所述局拍相机组还可以包括更多的局拍相机，例如，三个、四个或者更多个，多个局拍相机以均匀分布于挖孔区周围为优选，从而能够最大程度地相互补偿其余局拍相机所采集图像的缺失。例如，三个局拍相机可以分布于同圆周上，并且，相邻两局拍相机之间的夹角为120°；四个局拍相机可以分布于正方形的四边上，两两相对，光轴经过所挖圆孔的中心。同理可知其它数量局拍相机的分布方式。

在本实例中，所述局拍相机组从不同角度采集待检测部位的局部图像，从而获得较为清晰的待检测部位的局部图像，便于对待检测部位的缺陷通过所述图像进行检测。

进一步地，所述局拍相机4与所述载台之间的夹角可根据实际需求而具体设定，一般为30°到60°，例如为45°，从而使所采集到图像的形变可控。

更进一步地，所述局拍相机4的分辨率可以为5m、9m或者12m。由于局部相机仅用于拍摄待检测的挖孔区附近，其拍摄范围比较小，约4厘米×4厘米大小，按照视场短边4厘米计算，用5m相机拍摄，每个像素约19微米，其精度已经可以满足检测分析的需求，如果需再进一步提高精度，可采用9m或12m，此时每个像素代表约16微米或13微米。综合检测精度、采集数据量大小及成本等方面，常见的5m到12m相机可以满足要求。

在本实例中，所述局拍相机的视场为待检测显示屏中局部图像，即显示屏上的待检测区域，例如，待检测挖孔区域。本申请提供的检测影像边界缺陷系统在原有光学系统基础上，针对待检测区域特别增加局相机组对圆孔区局部进行拍摄，由于局拍相机组针对性用于待检测区域，即圆孔的拍摄，视场小，图像单位分辨率高，从而解决主检相机难以拍到挖孔区的缺陷，而普通斜拍相机组由于视场太大难以清晰显示挖孔区缺陷等问题，更加有利于孔漏光缺陷的检出。

在检测现场，一般同时架设多套检测设备，例如，架设m套，每套检测设备包含n个检测工位，本申请提供的检测影像边界缺陷系统即为一个工位，则，在检测现场会存在至少2mn个局拍相机，2mn个局拍相机所采集图像的一致性受到物距、拍摄角度、拍摄位置等多维因素影响，并且，由于局拍相机的视场并非显示屏全屏，而仅是待检测的挖孔区域，因此，2mn个局拍相机所采集图像的一致性难以保证，因此，需要一种对图像一致性包容较大的方法来检测由这些局拍相机所采集到的待检测图像。

本申请人发现，传统的基于图像分析的检测方法在以局拍相机所采集的图像为基础进行缺陷检测缺陷时存在较大的复杂度，需要在图像处理的各步骤中分别引入比较多的检测参数，例如，在通过图像预处理定位圆弧区、边缘提取、图像分割、缺陷识别、干扰去除等步骤中。因此，本申请提出一种无需引用过多检测参数，并且，对图像一致包容度较大的通用检测算法，即，首先通过匹配法对待检测挖孔区进行定位，然后截取挖孔区图像，再利用预设检测模型进行缺陷检测，最终获得检测结果。

本申请提供的检测影像边界缺陷系统检测影像的方法包括以下步骤s101和至步骤s102：

s101，获取待检测图像，所述待检测图像由所述主检相机2、斜拍相机组以及局拍相机组采集。

在本实例中，所述待检测图像可以为具有挖孔的显示屏的图像，该图像可由主检相机、斜拍相机组或者局拍相机组采集，优选地，所述待检测图像由局拍相机组采集，并且，由各局拍相机所采集到的图像进行融合而得。

s102，根据所述检测中心，利用缺陷检测模型生成待检测图像的检测结果。

本实例中，可将步骤s101获取的待检测图像输入缺陷检测模型中，所述缺陷检测模型自动识别所述待检测图像中的特征并且自动输出待检测图像中是否存在漏光缺陷。

所述缺陷检测模型可以为预设模型，例如，可以为通过深度学习而建立的缺陷检测模型，其输出结果可以为有无缺陷，还可以为是ok品或者ng品。

在本实例中，所述缺陷检测模型可以由包括以下步骤的方法训练生成：

s131，获取模型图像。

在本实例中，所述模型图像训练模型所使用的图像，所述模型图像由所述主检相机2、斜拍相机组以及局拍相机组采集，以所述检测系统局拍相机采集到的图像作为学习材料，所用学习材料与待检测图像所用采集设备相同或者相似，采集环境也相同或者相似，使得所述检测系统提供的检测结果可靠性高。

由于模型图像上可能存在其它干扰特征，因此，本申请在进行模型训练前可以在模型图像上选取目标图像，并以目标图像为基础进行训练，而对于模型图像中其余部分的特征不做提取或者训练。

在本实例中，所述目标图像为待检测图像中待检测区域对应的局部图像，例如，显示屏挖孔区域的图像。

具体地，在模型图像上选取目标图像包括以下子步骤s1311至子步骤s1313：

s1311，在待检测图像上选定目标区域中心。

首先，对于目标图像进行定位，以便对不同局拍相机采集到的一致性较差的局部图像进行准确裁剪，获得目标图像。

在本实例中，对于挖孔区影像的定位，可以圆孔的中心作为定位中心再结合现有技术的定位方法进行定位。

s1312，根据所述目标区域中心获取目标区域。

进一步地，在所述待检测图像上对可能的目标区域进行定位。本步骤中所述定位是指对可能的目标区域的中心位置进行定位，而不是地目标区域的边界进行定位。

本实例对定位的方法不做特别限定，可以采用现有技术中任意一种定位图像中影像的方法，如几何中心法等。

s1313，根据所述目标区域获取目标图像。

本步骤中所述目标图像是指沿目标图像的边界进行抠取，而获得具有预设形态的图像。例如，本实例中，目标图像为显示屏上圆孔区的图像，因此，所获得的目标图像为圆形图像或者椭圆形图像。

本申请中，可以采用模板匹配法根据所述目标区域获取目标图像，所述模板匹配法可以包括基于点的匹配、基于灰度的匹配、基于形状的匹配或者基于相关性的匹配等。

由于本实例中的检测对象为圆形孔，其形状特征明显，呈椭圆形，并且存在一定的形变，椭圆的边缘比较锋利，因此，本申请选择基于形状匹配的方法来确定目标图像。

具体地，步骤s1313可以包括步骤s13131至s13132：

s13131，获取候选目标图像，所述候选目标图像为目标区域对应的图像。

s13132，确定目标图像，所述目标图像为与模板图像匹配的候选目标图像。

所述模板图像为一组具有不同典型特征的目标图像，所述模板图像可以根据不同场景或者不同待检测图像来确定。例如，可以选取满足预设条件的候选目标图像作为模板图像，在本实例中，所述模板图像可以为一个，也可以为多个。

在本实例中，所述匹配为所述候选目标图像与模板图像之间满足预设关系，图7a示出查找圆孔时需考虑平移范围，图7b示出查找圆孔时需考虑旋转角度，图7c示出查找圆孔时需要考虑拉伸变形，图7a至图7c中，实线椭圆为模板图像，虚线椭圆为候选目标图像，如图7a至图7c所示，所述预设关系包括基于模板图像，候选目标图像的平移范围、候选目标图像旋转角度以及拉伸缩放比例等满足预设阈值范围。

s132，在所述模型图像上标记预设标记，所述预设标记包括无缺陷、真缺陷和假缺陷。

在本实例中，在模型训练过程中，可以根据目标图像中是否存在缺陷对模型图像进行标记，从而对模型进行训练。

s133，根据所述模型图像以及所述预设标记建立缺陷检测模型。

本实例通过深度学习生成的检测模型，因此，待检测图像通过所述模型检测而获得的结果检测效率也高，可实现缺陷自动检测，降低误检。

本实例中，所述模型的输出结果可以为有无缺陷，还可以为是ok品或者ng品。

具体来讲，本申请可以采用cnn(convolutionalneuralnetworks)卷积网络结构，图8示出本实例所用深度学习网络模型示意图，如图8所示，该网络模型由4层卷积层convol1、convol2、convol3、convol4；2层池化层pool1、pool2；2层全连接层fc6、fc7和其他辅助层组成，采用caffe框架基础上封装实现。

在本实例中，在获取模型图像之后，具体地，在确定目标图像之后，在并且在所述模型图像上标记预设标记图像之前包括：生成变换图像，所述变换图像对所述待检测部位图像进行图像变换而得，所述图像变换包括旋转、反转、高斯模糊、亮度调整、对比度调整、拉伸和剪切，使得目标图像变换出多种形态的图像，作为学习材料，用于训练、验证和测试，以增加所述缺陷检测模型的可靠性和适应性。

对模型图像进行变换后再次作为模型图像进行深度学习，可以增加检测模型对真缺陷以及假缺陷的识别能力，提高检测准确性。

本申请提供的检测系统针对性地增加局拍相机组，使得所述系统能够采集待检测位置的局部图像，结合图像匹配方法与深度学习方法，通过建立检测模型对局拍相机所采集到的图像进行检测，避免引入大量参数，便于模型的建立，检测结果准确度高，并且结果稳定。

以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。