一种显示屏定位方法、电子设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种显示屏定位方法、电子设备及计算机可读存储介质。


背景技术：

2.个人便携式计算机整机的生产与组装的完整过程中，存在多个针对产品显示屏所在的平面(简称为b面)进行质量检测的环节。这些检测b面的环节中，自动化光学检测设备广泛应用，以非接触方式对产品进行动态或静态拍照成像，然后通过机器视觉技术进行待测内容的比对与检测。
3.目前所有上述针对b面的光学视觉检测过程中，都需要对产品的显示屏位置进行精确定位。然而由于行业通用方案的局限性，使得很难将图像中的显示屏区域从完整b面成像中分离出来。


技术实现要素：

4.本发明实施例创造性地提供了一种显示屏定位方法、电子设备及计算机可读存储介质。
5.根据本发明第一方面，提供了一种显示屏定位方法，所述方法包括：利用基于彩带的b面边缘定位确定b面的上外边缘、左外边缘及右外边缘，所述b面为电子设备显示屏所在的平面；采用所述b面的上外边缘、左外边缘及右外边缘拟合得到显示屏的上边缘、下边缘、左边缘和右边缘；基于所述显示屏的上边缘、下边缘、左边缘和右边缘在电子设备的b面光学成像中定位显示屏位置。
6.根据本发明一实施方式，采用所述b面的上外边缘、左外边缘及右外边缘拟合得到显示屏的上边缘、下边缘、左边缘和右边缘，包括：根据图像灰度的拉依达准则以所述b面的上外边缘、左外边缘及右外边缘为起始点，向屏幕内进行探索，找到显示屏边框上与外边缘平行的上边缘区间、左边缘区间及右边缘区间；根据拉依达准则利用所述上边缘区间、左边缘区间及右边缘区间拟合得到显示屏的上边缘、左边缘和右边缘；根据所述显示屏的左边缘和右边缘对应采样点确定显示屏的下边缘。
7.根据本发明一实施方式，根据拉依达准则利用所述上边缘区间、左边缘区间及右边缘区间拟合得到显示屏的上边缘、左边缘和右边缘，包括：根据拉依达准则采用所述左边缘区间和右边缘区间拟合得到显示屏的左边缘和右边缘；采用平行多采样点与拉依达准则根据所述上边缘区间拟合得到显示屏的上边缘。
8.根据本发明一实施方式，根据所述显示屏的左边缘和右边缘对应采样点确定显示屏的下边缘，包括：根据所述显示屏的左边缘和右边缘对应采样点，分别寻找显示屏的左下角角点与右下角角点；以所述显示屏的左下角角点与右下角角点为基础，利用所述显示屏的左边缘和右边缘对应直线确定显示屏的下边缘。
9.根据本发明一实施方式，所述b面的上外边缘、左外边缘及右外边缘与显示屏边框
上与外边缘平行的上边缘区间、左边缘区间及右边缘区间在电子设备的b面光学成像上，对应像素点的分布符合高斯分布。
10.根据本发明第二方面，还提供了一种电子设备，所述电子设备包括：外边缘确定模块，用于利用基于彩带的b面边缘定位确定b面的上外边缘、左外边缘及右外边缘，所述b面为所述电子设备显示屏所在的平面；直线拟合模块，用于采用所述b面的上外边缘、左外边缘及右外边缘拟合得到显示屏的上边缘、下边缘、左边缘和右边缘；定位模块，用于基于所述显示屏的上边缘、下边缘、左边缘和右边缘在电子设备的b面光学成像中定位显示屏位置。
11.根据本发明一实施方式，所述直线拟合模块包括：边缘区间寻找单元，用于根据图像灰度的拉依达准则以所述b面的上外边缘、左外边缘及右外边缘为起始点，向屏幕内进行探索，找到显示屏边框上与外边缘平行的上边缘区间、左边缘区间及右边缘区间；直线拟合单元，用于根据拉依达准则利用所述上边缘区间、左边缘区间及右边缘区间拟合得到显示屏的上边缘、左边缘和右边缘；下边缘确定单元，用于根据所述显示屏的左边缘和右边缘对应采样点确定显示屏的下边缘。
12.根据本发明一实施方式，所述直线拟合单元，具体用于根据拉依达准则采用所述左边缘区间和右边缘区间拟合得到显示屏的左边缘和右边缘；采用平行多采样点与拉依达准则根据所述上边缘区间拟合得到显示屏的上边缘。
13.根据本发明一实施方式，所述下边缘确定单元，具体用于根据所述显示屏的左边缘和右边缘对应采样点，分别寻找显示屏的左下角角点与右下角角点；以所述显示屏的左下角角点与右下角角点为基础，利用所述显示屏的左边缘和右边缘对应直线确定显示屏的下边缘。
14.根据本发明第三方面，又提供一种计算机可读存储介质，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行上述任一显示屏定位方法。
15.本发明实施例显示屏定位方法、电子设备及计算机可读存储介质，首先利用基于彩带的b面边缘定位确定b面的上外边缘、左外边缘及右外边缘；接着采用所述b面的上外边缘、左外边缘及右外边缘拟合得到显示屏的上边缘、下边缘、左边缘和右边缘；最后基于所述显示屏的上边缘、下边缘、左边缘和右边缘在电子设备的b面光学成像中定位显示屏位置。如此，本发明充分利用基于彩色的b面边缘定位方法，并基于高斯分布和拉依达准则成功定位显示屏位置，整个示屏在检测环节中无需处于通电电量状态；而且，一方面兼容所有产品的显示屏特性，均能准确定位光学成像中屏幕位置，另一方面兼容b面不同前后位置与自由开合角(不考虑光照范围影响)，定位成功率超过99.7％。
16.需要理解的是，本发明的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本发明的其他实施方式还能够实现上面未提到的有益效果。
附图说明
17.通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
18.在附图中，相同或对应的标号表示相同或对应的部分。
19.图1示出了相关技术中产品b面成像由于多种因素造成的不固定的效果图；
20.图2示出了本发明实施例显示屏定位方法的实现流程示意图；
21.图3示出了本发明实施例采用所述b面的上外边缘、左外边缘及右外边缘拟合得到显示屏的上边缘、下边缘、左边缘和右边缘的方法示意图；
22.图4示出了本发明实施例电子设备的组成结构示意图一；
23.图5示出了本发明实施例电子设备的组成结构示意图二。
具体实施方式
24.下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为使本发明更加透彻和完整，并能够将本发明的范围完整地传达给本领域的技术人员。
25.下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
26.图1示出了相关技术中产品b面成像由于多种因素造成的不固定的效果图。
27.相关技术中针对b面的光学视觉检测过程中，都需要对产品的显示屏位置进行精确定位。然而由于行业通用方案的局限性，使得很难将图像中的显示屏区域从完整b面成像中分离出来。其中，这些局限性具体包括：1)成像时产品b面的开和角度不固定带来的成像差异(业内尚没有可靠的固定b面开合角的设备或机构)；2)成像时产品水平摆放位置不固定带来的b面在(正对相机方向上)前后位置上的不固定，从而导致其在最终成像中出现不可预测的透视形变，如图1所示；3)显示屏本身材质差异，如镜面屏，高清屏，雾面屏等，在光学成像系统中对于光的反射具有不同的物理特性，从而导致其在最终成像中具有较大差异；4)所有针对b面显示屏的检测环节中，产品处于断电关机状态，无法通过在屏幕上显示固定特征的方式进行屏幕定位。
28.为了实现针对b面显示屏的检测定位，现有实现方案主要包括如下三种类型：
29.方案一：给产品通电开机，在显示屏上固定位置显示如二维码，特定形状颜色块等特征信息，从而对显示屏在最终成像中的位置进行定位。
30.方案二：预先在图像中设定的一个起始坐标，该坐标位置由人为确定(简称g点)，并确保其始终处于图像显示屏区域内。从g点开始，沿上下左右四个方向以平行点的方式进行向外扩展，寻找显示屏与边框的交界位置，从而定位显示屏位置。
31.方案三：对整体最终成像进行基于形状或者基于灰度的模板匹配。首先在已有的光学成像上，人工框选显示屏对应的位置区域。然后截取此区域作为匹配模板，对后续产品进行模板匹配。
32.上述方案一的缺点在于所有针对b面显示屏的检测环节中，产品处于断电关机状态，无法通过在屏幕上显示固定特征的方式进行屏幕定位。
33.上述方案二的缺点在于高清屏材质的显示屏，其物理特性类似平面镜，会把设备上的支架，光源，相机等物体经镜面反射后投影到最终光学成像上，形成干扰区域，使得平行点在对外扩展的过程中，无法区分正确的交界边缘。
34.上述方案三的缺点在于模板制作的过程需要人员高度参与，具有较大不可控因
素；其次，不同材质，不同摆放位置的产品在成像效果上的差异较大，使得固定方式的模板匹配精度较低。
35.为了有效克服针对b面显示屏的检测定位环节所存在的上述种种问题，本发明实施例创造性地提供了一种显示屏定位方法、电子设备及计算机可读存储介质。
36.图2示出了本发明实施例显示屏定位方法的实现流程示意图；图3示出了本发明实施例采用所述b面的上外边缘、左外边缘及右外边缘拟合得到显示屏的上边缘、下边缘、左边缘和右边缘的方法示意图。
37.本发明实施例首先提供了一种显示屏定位方法，参考图2，该方法包括：操作201，利用基于彩带的b面边缘定位确定b面的上外边缘、左外边缘及右外边缘；操作202，采用所述b面的上外边缘、左外边缘及右外边缘拟合得到显示屏的上边缘、下边缘、左边缘和右边缘；操作203，基于所述显示屏的上边缘、下边缘、左边缘和右边缘在电子设备的b面光学成像中定位显示屏位置。
38.参考图2，在操作201，利用基于彩带的b面边缘定位确定b面的上外边缘、左外边缘及右外边缘；其中，所述b面为电子设备显示屏所在的平面。
39.需要补充说明的是，基于彩带的b面边缘定位方法属于现有比较成熟的技术，可以快速定位b面外边缘。本发明实施例充分借用基于彩带的b面边缘定位方法，来定位b面的上外边缘、左外边缘及右外边缘。
40.继续参考图2，在操作202，首先经分析，所述b面的上外边缘、左外边缘及右外边缘与显示屏边框上与外边缘平行的上边缘区间、左边缘区间及右边缘区间在电子设备的b面光学成像上，对应像素点的分布符合高斯分布。
41.本发明实施例充分利用高斯分布和拉依达准则，如图3所示，操作202包括：
42.操作2021，根据图像灰度的拉依达准则以所述b面的上外边缘、左外边缘及右外边缘为起始点，向屏幕内进行探索，找到显示屏边框上与外边缘平行的上边缘区间、左边缘区间及右边缘区间；
43.操作2022，根据拉依达准则利用所述上边缘区间、左边缘区间及右边缘区间拟合得到显示屏的上边缘、左边缘和右边缘；
44.操作2023，根据所述显示屏的左边缘和右边缘对应采样点确定显示屏的下边缘。
45.具体地，在操作2021，以b面的上外边缘、左外边缘及右外边缘这条外边缘为起始点，向屏幕内进行探索，利用图像灰度的拉依达法则，找到显示屏边框上与外边缘平行的上左右三条边缘区间，即上边缘区间、左边缘区间及右边缘区间。为了减小误差，提高稳定性，探索开始前，设置多个采样平行点。
46.在操作2022，首先根据拉依达准则采用所述左边缘区间和右边缘区间拟合得到显示屏的左边缘和右边缘；接着采用平行多采样点与拉依达准则根据所述上边缘区间拟合得到显示屏的上边缘。
47.具体地，在一应用示例中，针对显示屏左右边缘，由于其在成像上大多呈现出明显畸变，需进一步进行校正。对上述边缘区间进行直线拟合并计算斜率，然后沿直线斜率方向，以区间段最下方的点为起始点，向下进行探索，根据拉依达法则，找到沿显示屏左右边缘分布的多个采样点，并重新拟合显示屏的左右边缘直线。本领域技术人员需要注意的是，采样点会超出显示屏边缘，故需要去除超出显示屏边缘的采样点，以去除畸变影响，从而得
到由新采样点拟合后的左右边缘。
48.在操作2023，首先根据所述显示屏的左边缘和右边缘对应采样点，分别寻找显示屏的左下角角点与右下角角点；接着以所述显示屏的左下角角点与右下角角点为基础，利用所述显示屏的左边缘和右边缘对应直线确定显示屏的下边缘。
49.具体地，在一应用示例中，针对操作2022新找到的左右边缘对应采样点，分别寻找显示屏左下角与右下角角点。这里，需要定义出现显示屏边缘与b面外边缘之前的采样点为合群点，其他采样点为离群点，角点的定义为，所有采样点按像素左边y值递增排序后，角点为第一个出现的此点钱的连续合群点个数超过阈值，且此点为离群点的点。
50.接着，针对显示屏下边缘，以找到的左右两个角点为基础，分别沿第三步拟合的左右直线，向下行进一定距离，然后在两点的连线上，均匀间隔选取多个采样点。最后沿向上方向，找到显示屏具有显著变化特征的下边缘。
51.继续参考图2，在操作103，在充分利用基于彩色的b面边缘定位方法，并基于高斯分布和拉依达准则找到显示屏上、下、左、右边缘之后，即可直接在电子设备的b面光学成像中定位显示屏位置。
52.如此，本发明充分利用基于彩色的b面边缘定位方法，并基于高斯分布和拉依达准则成功定位显示屏位置，整个示屏在检测环节中无需处于通电电量状态；而且，一方面兼容所有产品的显示屏特性，均能准确定位光学成像中屏幕位置，另一方面兼容b面不同前后位置与自由开合角(不考虑光照范围影响)，定位成功率超过99.7％。而且，本发明在操作102的具体实现过程中，充分利用多采样点并行计算，时间复杂度低，处理时间短。
53.同理，基于上文所述显示屏定位方法，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，使得所述处理器至少执行如下所述的操作步骤：操作201，利用基于彩带的b面边缘定位确定b面的上外边缘、左外边缘及右外边缘；操作202，采用所述b面的上外边缘、左外边缘及右外边缘拟合得到显示屏的上边缘、下边缘、左边缘和右边缘；操作203，基于所述显示屏的上边缘、下边缘、左边缘和右边缘在电子设备的b面光学成像中定位显示屏位置。
54.进一步地，基于上文所述显示屏定位方法，本发明实施例又提供一种电子设备，如图4所示，所述电子设备40包括：外边缘确定模块401，用于利用基于彩带的b面边缘定位确定b面的上外边缘、左外边缘及右外边缘，所述b面为所述电子设备显示屏所在的平面；直线拟合模块402，用于采用所述b面的上外边缘、左外边缘及右外边缘拟合得到显示屏的上边缘、下边缘、左边缘和右边缘；定位模块403，用于基于所述显示屏的上边缘、下边缘、左边缘和右边缘在电子设备的b面光学成像中定位显示屏位置。
55.根据本发明一实施方式，如图5所示，直线拟合模块402包括：边缘区间寻找单元4021，用于根据图像灰度的拉依达准则以所述b面的上外边缘、左外边缘及右外边缘为起始点，向屏幕内进行探索，找到显示屏边框上与外边缘平行的上边缘区间、左边缘区间及右边缘区间；直线拟合单元4022，用于根据拉依达准则利用所述上边缘区间、左边缘区间及右边缘区间拟合得到显示屏的上边缘、左边缘和右边缘；下边缘确定单元4023，用于根据所述显示屏的左边缘和右边缘对应采样点确定显示屏的下边缘。
56.根据本发明一实施方式，直线拟合单元4022，具体用于根据拉依达准则采用所述左边缘区间和右边缘区间拟合得到显示屏的左边缘和右边缘；采用平行多采样点与拉依达
准则根据所述上边缘区间拟合得到显示屏的上边缘。
57.根据本发明一实施方式，下边缘确定单元4023，具体用于根据所述显示屏的左边缘和右边缘对应采样点，分别寻找显示屏的左下角角点与右下角角点；以所述显示屏的左下角角点与右下角角点为基础，利用所述显示屏的左边缘和右边缘对应直线确定显示屏的下边缘。
58.这里需要指出的是：以上对电子设备实施例的描述，与前述图2和3所示的方法实施例的描述是类似的，具有同前述图2和3所示的方法实施例相似的有益效果，因此不做赘述。对于本发明电子设备实施例中未披露的技术细节，请参照本发明前述图2和3所示的方法实施例的描述而理解，为节约篇幅，因此不再赘述。
59.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
60.在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
61.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
62.另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
63.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
64.或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
65.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵
盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。