检测光学模组的方法、装置和电子设备与流程

本发明实施例涉及光学模组领域，并且更具体地，涉及一种检测光学模组的方法、装置和电子设备。

背景技术：

目前，指纹识别功能是智能手机的标配。传统方案是通过独立实体按键或虚拟按键进行指纹识别按键的设计，例如，有的智能手机将光学模组集成在手机的前置home键中，将home键作为指纹识别按键。该光学模组中包括指纹传感器。

进一步地，为了减缩智能手机的尺寸，越来越多的手机厂商的智能手机的显示屏的边框设计的超级窄。然而，这种显示屏的下方已经没有足够空间来放置指纹识别按键。为了解决这个问题，一种可行的技术方案为显示屏内指纹识别技术。具体而言，将指纹识别功能完整的集成到显示屏中，用户可以直接轻触智能终端的显示屏中指定区域实现指纹识别。例如，光学模组装配在显示屏的背面。

显示屏内指纹识别技术不仅能够满足当前手机厂商的设计需求，而且能够使得智能手机的设计变得更加简洁，因此，显示屏内指纹识别技术应用到智能终端中，将是未来的发展趋势。

但是，在某些应用场景中，采用显示屏内指纹识别技术的智能手机需要应用程序能够自行获得光学模组的安装信息。例如，安装位置，旋转方向等信息。

目前，针对上述问题还没有解决方案。

技术实现要素：

提供了一种检测光学模组的方法、装置和电子设备，能够有效获取该光学模组的安装信息。

第一方面，提供了一种检测光学模组的方法，应用于包括显示屏和光学模组的电子设备；

所述方法包括：

在所述显示屏上显示第一图像，所述第一图像包括多个图像单元，所述多个图像单元中的每个图像单元上设置有图案，所述每个图像单元上的图案用于指示所述每个图像单元中的参考点在所述第一图像上的位置；通过所述光学模组获取第二图像，所述第二图像为所述光学模组在所述显示屏的采集区域内采集的所述第一图像的图像；确定所述第二图像中目标图像单元上的图案；根据所述目标图像单元上的图案，确定所述目标图像单元中目标参考点的第一位置，所述第一位置为所述目标参考点在所述第一图像上的位置；根据所述第一位置，确定第二位置，所述第二位置为所述采集区域的中心点在所述显示屏上的位置。

因此，本发明实施例的方案中，可以通过在显示屏上显示预先设计好的图像(显示图像)；然后通过光学模组对显示屏上显示的图像进行图像采集，并得到采集图像；再通过对采集图像的分析，确定出采集区域的中心点在该显示屏上的位置，最终实现光学模组的定位操作。

此外，本方案通过图像单元上设置的图案，指示图像单元中参考点在第一图像上的位置，然后基于参考点在第一图像上的位置确定采集区域中心点在显示屏上的位置，这种方案相对于根据图像单元在第一图像上的位置确定采集区域的中心点在显示屏上的位置，定位精度更高。

在一些可能的实现方式中，所述根据所述第一位置，确定第二位置，包括：

根据所述第一位置和映射关系信息，确定第三位置，所述第三位置为所述目标参考点在所述显示屏上的位置，所述映射关系信息包括所述第一位置和所述第一位置对应的所述第三位置；根据所述第三位置，确定所述第二位置。

在一些可能的实现方式中，所述每个图像单元上的图案包括横线段和/或竖线段；所述每个图像单元包括左半侧区域和右半侧区域，所述左半侧区域内的线段用于指示图像单元在所述第一图像上所属的列，所述右半侧区域内用于指示图像单元在所述第一图像上所属的行。

在一些可能的实现方式中，所述每个图像单元上的图案包括横线段和/或竖线段；所述每个图像单元包括上半侧区域和下半侧区域，所述下半侧区域内的一条横线段表示第一数字，所述下半侧区域内的一条竖线段表示第二数字，所述上半侧区域内的一条横线段表示第三数字。

在一些可能的实现方式中，所述下半侧区域内的一条横线段表示数字1，所述下半侧区域内的一条竖线段表示数字4，所述上半侧区域内的一条横线段表示数字16。

所述第一图像为阵列图像，所述多个图像单元中的每个图像单元为正方形图像单元，所述采集区域为正方形区域；其中，所述方法还包括：

在所述显示屏上显示第一图像之前，确定所述采集区域的边长；根据所述采集区域的边长，确定所述每个图像单元的边长，所述采集区域的边长大于所述每个图像单元的边长；根据所述每个图像单元的边长，生成所述第一图像。

在一些可能的实现方式中，所述确定所述采集区域的边长，包括：

在所述显示屏上显示第三图像，所述第三图像中每个像素点的亮度值均大于第一亮度值；通过所述光学模组获取第四图像，所述第四图像为所述光学模组在所述采集区域内采集的所述第三图像的图像；对所述第四图像进行二值化，获取二值图像；根据所述二值图像的水平梯度响应值和垂直梯度响应值，确定所述采集区域的边长。

在一些可能的实现方式中，所述根据所述二值图像的水平梯度响应值和垂直梯度响应值，确定所述采集区域的边长，包括：

根据所述二值图像的水平梯度响应值和垂直梯度响应值，确定所述二值图像的边长；根据缩放比例和所述二值图像的边长，确定所述采集区域的边长，所述缩放比例为所述采集区域的图像与所述光学模组在所述采集区域内采集的图像之间的比例。

在一些可能的实现方式中，所述方法还包括：

确定第一偏移量，所述第一偏移量可以用于修正所述第二位置；其中，所述根据所述第三位置，确定所述第二位置，包括：

根据所述第一偏移量和第三位置，确定所述第二位置。

本发明实施例的技术方案，能够进一步提高定位精度。

在一些可能的实现方式中，所述确定第一偏移量，包括：

确定第二偏移量，所述第二偏移量为所述第二图像中所述目标参考点相对所述第二图像的中心点的偏移向量；根据缩放比例和所述第二偏移量，确定所述第一偏移量，所述缩放比例为所述采集区域的图像与所述光学模组在所述采集区域内采集的图像之间的比例。

在一些可能的实现方式中，所述方法还包括：

获取旋转角度，所述旋转角度为所述光学模组在所述采集区域内采集的图像相对所述采集区域的图像旋转的角度；其中，所述确定所述第二图像中目标图像单元上的图案，包括：

获取第一处理图像，所述第一处理图像为所述第二图像按照所述旋转角度旋转后的图像；通过分析所述第一处理图像，确定所述目标图像单元上的图案。

在一些可能的实现方式中，所述根据所述第一位置，确定所述第二位置之前，所述方法还包括：

获取缩放比例，所述缩放比例为所述采集区域的图像与所述光学模组在所述采集区域内采集的图像之间的比例；所述获取缩放比例，包括：

在所述显示屏上显示第五图像，所述第五图像包括相互平行的k条第三线段，所述k条第三线段中至少两条相邻的第三线段覆盖在所述采集区域上，k≥2；通过所述光学模组获取第六图像，所述第六图像为所述光学模组在所述采集区域内采集的所述第五图像的图像；根据第一距离和第二距离，确定所述缩放比例，所述第一距离为所述第五图像中相邻的两条第三线段之间的垂直距离，所述第二距离为所述第六图像中相邻的两条第三线段之间的垂直距离。

在一些可能的实现方式中，所述方法还包括：

获取旋转角度，所述旋转角度为所述光学模组在所述采集区域内采集的图像相对所述采集区域的图像旋转的角度；所述获取旋转角度，包括：

通过霍夫变换分析所述第六图像，并得到第一角度；获取第二处理图像，所述第二处理图像为所述第四图像按照所述第一角度旋转后的图像；通过对比所述第二处理图像和所述第五图像，确定所述旋转角度。

在一些可能的实现方式中，所述方法还包括：

在所述显示屏上显示第七图像，所述第七图像包括在所述采集区域的中心点十字交叉的两条直线；通过所述光学模组获取第八图像，所述第八图像为所述光学模组在所述采集区域内采集的所述第七图像的图像；通过分析所述第八图像验证所述第二位置。

在一些可能的实现方式中，所述采集区域的边长为所述每个图像单元的边长的2.5倍。本方案能够有效保证：有效区域内存在一个目标图像单元。

在一些可能的实现方式中，所述第一亮度值为128。

在一些可能的实现方式中，所述显示屏上显示的图像的分辨率与所述显示屏的分辨率相同。

在一些可能的实现方式中，所述显示屏上显示的图像覆盖所述采集区域。

第二方面，提供了一种检测光学模组的装置，包括；用于执行上述第一方面或第一方面的任意可能的实现方式中的方法。

具体地，该装置包括用于执行上述第一方面或第一方面的任意可能的实现方式中的方法的单元。

第三方面，提供了一种检测光学模组的装置，包括；

显示模块，用于在所述显示屏上显示第一图像，所述第一图像包括多个图像单元，所述多个图像单元中的每个图像单元上设置有图案，所述每个图像单元上的图案用于指示所述每个图像单元中的参考点在所述第一图像上的位置。

处理模块，所述处理模块用于：

通过所述光学模组获取第二图像，所述第二图像为所述光学模组在所述显示屏的采集区域内采集的所述第一图像的图像；确定所述第二图像中目标图像单元上的图案；根据所述目标图像单元上的图案，确定所述目标图像单元中目标参考点的第一位置，所述第一位置为所述目标参考点在所述第一图像上的位置；根据所述第一位置，确定第二位置，所述第二位置为所述采集区域的中心点在所述显示屏上的位置。

第四方面，提供了一种检测光学模组的装置，包括；

存储器和处理器，所述存储器用于存储指令，所述处理器用于执行所述存储器存储的指令，并且当所述处理器执行所述存储器存储的指令时，执行上述第一方面或第一方面的任意可能的实现方式中的方法。

第五方面，提供一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行上述第一方面或第一方面的任意可能的实现方式中的方法的指令。

第六方面，提供了一种电子设备，包括第二方面中所述的检测光学模组的装置。

在一些可能的实现方式中，所述显示屏为有机发光二极管oled显示屏，所述光学模组利用所述oled显示屏的至少部分oled像素单元作为光源来执行检测功能。

附图说明

图1是本发明实施例的电子设备的示例。

图2是本发明实施例的检测光学模组的方法的示例性流程图。

图3是本发明实施例的第四图像的示意图。

图4是本发明实施例的第五图像的示意图。

图5是本发明实施例的第六图像的示意图。

图6是本发明实施例的第一图像的示意图。

图7是本发明实施例的第二图像的示意图。

图8是本发明实施例的第七图像的示意图。

图9是本发明实施例的第八图像的示意图。

图10是本发明实施例的检测光学模组的方法的另一示例性流程图。

图11是本发明实施例的电子设备的示意性框图。

图12是本发明实施例的电子设备的另一示意性框图。

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行描述。

应理解，本发明实施例适用于任何配置有光学模组的装置以及设备。例如，例如，智能移动电话；小型个人携带型设备：掌上电脑(personaldigitalassistant，pda)、电子书(electronicbook，e-book)等。为了便于理解，作为示例而非限定性地，下文中以智能手机为例进行说明。

图1为本发明实施例的电子设备100的侧视截面示意图。

具体地，该电子设备100包括显示屏110与装配在显示屏110的背面的光学模组120。光学模组120的采集区域130(即采集区域)位于显示屏110中。实际工作中，光学模组120在采集区域130中进行图像的采集。

例如，光学模组120可以在采集区域130中采集显示屏100上显示的图像。

又例如，光学模组120可以为光学指纹模组或者其他类型的光学生物检测模组，其也可以用于进行指纹识别或者其他生物特征识别。具体地，所述光学模组120采用光学指纹模组时，其可以设置在所述显示屏110下方的局部区域(即，显示屏下指纹结构)或者集成到显示屏110内部的局部区域(即，显示屏内指纹结构)，可以用于采集触摸在所述采集区域130上的手指的指纹图像。在这种情况下，所述采集区域130即是所述光学指纹模组的指纹检测有效区域，其位于所述显示屏110的至少部分显示区域，以实现屏内

(in-display)指纹检测。其中，作为一种优选的实现方案，所述显示屏110可以为有机发光二极管(oled)显示屏，其采用自发光的oled像素单元作为显示单元；在所述显示屏110中，位于所述采集区域130的oled像素单元可以同时作为所述光学指纹模组的光源。可替代地，在其他实施例中，所述光学指纹模组的指纹检测有效区域也可以覆盖所述显示屏110的整个显示区域，从而实现全屏指纹检测。

但是，实际应用场景中，可能需要应用程序能自行获得光学模组120的安装信息。

例如，光学模组120用于进行指纹识别时，需要在显示屏110上显示指纹提示图案，以指示用户在合适的区域输入指纹。但是，指纹提示图案的位置一般是根据光学模组120的装配位置确定的，通常是固定不变的。由于装配工艺不精确或设计修改的原因，可能导致不同批次的光学模组120的装配位置不完全一致。这种情形下，如果依然在显示屏的固定不变的该特定位置上显示指纹提示图案，可能会出现指纹提示图案的定位不准确的问题，导致光学模组120能够采集到的有效指纹面积变少，降低指纹识别的效率，影响用户体验。

为了解决上述问题，本发明实施例中提供了一种检测光学模组的方法。

具体地，提供了一套完整的算法，通过设计在显示屏上的显示的图像，不仅能够确定出采集区域的中心点在显示屏上的位置，还可以获取光学模组的物理大小，安装时的旋转角度以及输出图像的缩放比例等。进而实现手机屏幕下光学模组(sensor)的自适应定位检测功能。

下面对本发明实施例的检测光学模组的方法进行说明。应理解，本发明实施例的检测光学模组的方法可以应用于任何包括显示屏和光学模组的电子设备。

图2是本发明实施例的检测光学模组的方法200的示例性流程图。

如图2所示，该方法200包括：

210，在该显示屏上显示第一图像，该第一图像包括多个图像单元，该多个图像单元中的每个图像单元上设置有图案，每个图像单元上的图案用于指示上述每个图像单元中的参考点在该第一图像上的位置。

220，通过该光学模组获取第二图像，该第二图像为该光学模组在该显示屏的采集区域内采集的该第一图像的图像。

230，确定该第二图像中目标图像单元上的图案。

240，根据该目标图像单元上的图案，确定该目标图像单元中目标参考点的第一位置，该第一位置为该目标参考点在该第一图像上的位置。

250，根据该第一位置，确定第二位置，该第二位置为该采集区域的中心点在该显示屏上的位置。

简而言之，电子设备可以在显示屏上显示预先设计好的图像(显示图像)；然后通过光学模组对显示屏上显示的图像进行图像采集，并得到采集图像；再通过对采集图像的分析，确定出采集区域的中心点在该显示屏上的位置，最终实现光学模组的定位操作。

本发明实施例中，电子设备在对光学模组的定位操作时，可以先通过对第二图像分析，确定出第二图像中的目标参考点在显示图像上的位置；进而，该电子设备可以根据该目标参考点在显示图像上的位置，确定出采集区域的中心点在该显示屏上的位置。

例如，电子设备可以首先根据该第一位置和映射关系信息，确定第三位置，该第三位置为该目标参考点在该显示屏上的位置，该映射关系信息包括该第一位置和该第一位置对应的该第三位置；然后根据该第三位置，确定该第二位置。

应注意，本发明实施例中，电子设备可以通过第三位置确定第二位置；电子设备还可以直接将第一位置，确定为第二位置。本发明实施例不做具体限定。例如，该第一位置为目标参考点在该第一图像上的坐标位置，且第一图像和显示屏的坐标系相同时，电子设备可以直接将该第一位置，确定为该第二位置。

为便于描述，本发明实施例中，将第二图像中目标图像单元上的目标参考点的在该第一图像上的位置，称为第一位置。将该目标参考点在该显示屏上的位置称为第三位置。将该采集区域的中心点在该显示屏上的位置，称为第二位置。同样地，为便于描述，将电子设备对进行光学模组的定位时在显示屏上显示的图像称为第一图像，将光学模组在该显示屏的采集区域内采集该第一图像后获得的图像称为第二图像。类似地，还有第三图像、第四图像、第五图像、第六图像等等，但不应限于这些术语。这些术语仅用来将类型小区组彼此区分开。

应理解，本发明实施例中，光学模组输出的图像实际包括但不限于光学模组在采集区域采集到的图像。

例如，在显示屏上显示一张白色图像，光学模组采集后输出的图像包括黑色区域和白色区域，白色区域的图像与显示屏上采集区域的图像对应。本发明实施例中，将该显示屏的采集区域内的图像，对应的在光学模组输出的图像中，称为有效区域(例如，如图3所示的白色区域)内的图像。

下面对本发明实施例的第一图像进行说明。

可选地，本发明实施例的第一图像上的每个图像单元上的图案可以包括横线段和/或竖线段。

例如，上述每个图像单元可以包括左半侧区域和右半侧区域，左半侧区域内的线段用于指示图像单元在该第一图像上所属的列，右半侧区域内用于指示图像单元在该第一图像上所属的行。

进一步地，上述每个图像单元还可以包括上半侧区域和下半侧区域，该下半侧区域内的一条横线段表示数字1，该下半侧区域内的一条竖线段表示数字4，该上半侧区域内的一条横线段表示数字16。

更具体地，第一图像的每一个图像单元可以分为左右两侧，左侧信息值代表图像单元所在列序号，右侧信息值代表图像单元所在行序号；每一侧区域再均分为上下两部分，下部分每根横线代表数值1，每根竖线代表数值4，即下部分类似于4进制；当下部分直线代表的数值满16时，清空下方直线，同时上方直线加1；故而规律为：区域内部4进制，上下区域之间为16进制。由此，电子设备可以通过目标图像单元上的线段，可以确定出目标图像单元中的参考点在该第一图像的位置。

例如，该第一图像如图6所示，该第二图像如图7所示。

需要注意的是，本发明实施例中，由于电子设备是通过分析目标图像单元上的图案确定第一位置的，因此，在设计第一图像时，不仅需要确保第一图像处于采集区域内，还需要确保第二图像中至少有一个完整的一个图像单元。

因此，本发明实施例中还提供了一种生成第一图像的方法。

可选地，该电子设备在该显示屏上显示第一图像之前，还可以生成该第一图像。

例如，假设该第一图像为阵列图像，该多个图像单元中的每个图像单元为正方形图像单元，该采集区域为正方形区域；电子设备可以确定该采集区域的边长；根据该采集区域的边长，确定上述每个图像单元的边长，该采集区域的边长大于上述每个图像单元的边长；根据上述每个图像单元的边长，生成该第一图像。

可选地，该采集区域的边长为上述每个图像单元的边长的2.5倍。

本发明实施例中，电子设备可以通过阈值分割先将光学在采集区域采集的图像二值化，然后通过垂直方向和水平方向的亮度值投影，确定该采集区域的边长。

具体而言，电子设备可以在该显示屏上显示第三图像，该第三图像中每个像素点的亮度值均大于第一亮度值；通过该光学模组获取第四图像，该第四图像为该光学模组在该采集区域内采集的该第三图像的图像；对该第四图像进行二值化，获取二值图像；根据该二值图像的水平梯度响应值和垂直梯度响应值，确定该采集区域的边长。

可选地，该第一亮度值为128。

例如，该第三图像为一副全白图像，该第四图像如图3所示。

更具体地，电子设备可以将第四图像上的点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。即，将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值图像，进而提取二值图像特征，这是研究灰度变换的最特殊的方法，称为图像的二值化。该二值图像特征可以是包括由一串0，1组成的特征向量。

本领域技术人员可以理解，在数字图像处理中，二值图像占有非常重要的地位，特别是在实用的图像处理中，以二值图像处理实现而构成的系统是很多的。因此，采用“二值化”处理图像，不仅应用性强，而且有利于在对图像做进一步处理时，图像的集合性质只与像素点的值为0或255的点的位置有关，不再涉及像素的多级值，使处理变得简单，而且数据的处理和压缩量小。

为了得到理想的二值图像，本发明实施例中可以采用封闭、连通的边界定义不交叠的区域。具体地，将所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值用255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。可以发现，如果某特定物体在内部有均匀一致的灰度值，并且其处在一个具有其他等级灰度值的均匀背景下，使用阈值法就可以得到比较的分割效果。

总而言之，电子设备可以在显示屏上显示一张白色图像(第三图像)，光学模组输出如图3所示的第四图像，这个图像的大部分区域是高亮的，其亮度值至少在128以上，并且这个高亮区域必然是一个矩形，而这个矩形区域就是光学模组第四图像的有效区域。然而，本发明实施例中，显示屏的采集区域对应的就是光学模组的输出图像的有效区域。

也就是说，电子设备可以通过阈值分割，将第四图像二值化，并通过垂直方向和水平方向的亮度值投影，确定出该二值图像的边长，进而根据该二值图像的边长确定该采集区域的边长。

例如，电子设备可以根据该二值图像的水平梯度响应值和垂直梯度响应值，确定该二值图像的边长；然后将该二值图像的边长确定为该采集区域的边长。

此外，本发明实施例中，由于显示屏的采集区域对应的就是光学模组的输出图像的有效区域。也就是说，采集区域内图像的尺寸和有效区域内图像的尺寸有可能成缩放关系。

因此，电子设备也可以先根据该二值图像的水平梯度响应值和垂直梯度响应值，确定该二值图像的边长；然后根据缩放比例和该二值图像的边长，确定该采集区域的边长，该缩放比例为该采集区域的图像与该光学模组在该采集区域内采集的图像之间的比例。

可以理解，在本发明实施例中，该电子设备可以在该显示屏上显示第一图像之前，生成该第一图像；也可以直接调用已有的第一图像。本发明实施例不做具体限定。例如，该第一图像可以通过预先配置的方式放置在电子设备中。

在本发明实施例中，电子设备可以将第三位置直接确定为第二位置。其中，该第三位置为该目标参考点在该显示屏上的位置，该第二位置为该采集区域的中心点在该显示屏上的位置。换句话说，电子设备可以直接将该目标参考点在该显示屏上的位置确定为该采集区域的中心点在该显示屏上的位置。即，将目标参考点确定为采集区域的中心点。

也就是说，本发明实施例中的目标参考点必须在有效区域的中心位置，否则，必然会存在误差。

因此，本发明实施例中还提供了一种修正第二位置的方法。

可选地，该电子设备可以根据该第三位置，确定该第二位置之前，先确定第一偏移量，该第一偏移量为用于修正该第二位置的偏移向量；然后根据该第一偏移量和第三位置，确定该第二位置。

例如，该第二偏移量为该第二图像中该目标参考点相对该第二图像的中心点的偏移向量；根据该第二偏移量确定该第一偏移量。

具体地，根据缩放比例和该第二偏移量，确定该第一偏移量，该缩放比例为该采集区域的图像与该光学模组在该采集区域内采集的图像之间的比例。

此外，由于光学模组的装配工艺不精确或设计修改的原因，可能导致不同批次的光学模组的装配位置相对显示屏会出现一个旋转角度。也就是说，电子设备在确定该第二位置之前，有可能需要获取该旋转角度。

本发明实施例中，作为示例而非限定性地，该电子设备可以在确定该第二图像中目标图像单元上的图案之前，获取旋转角度，该旋转角度为该光学模组在该采集区域内采集的图像相对该采集区域的图像旋转的角度。由此，该电子设备在确定该第二图像中目标图像单元上的图案时，可以首先获取第一处理图像，该第一处理图像为该第二图像按照该旋转角度旋转后的图像；然后通过分析该第一处理图像，确定该目标图像单元上的图案。

应理解，如果光学模组的装配工艺足够精确，光学模组的旋转角度可能为0，这种情况下，实际定位光学模组的过程中可以先在不获取旋转角度的情况下，确定该目标图像单元上的图案。

本发明实施例中，还提供了一种电子设备获取该缩放比例和旋转角度的方法。

下面对该电子设备获取该缩放比例和旋转角度的实现方式进行说明。

可选地，电子设备可以在该显示屏上显示第五图像，该第五图像包括相互平行的k条第三线段，该k条第三线段中至少两条相邻的第三线段覆盖在该采集区域上，k≥2；通过该光学模组获取第六图像，该第六图像为该光学模组在该采集区域内采集的该第五图像的图像；根据第一距离和第二距离，确定该缩放比例，该第一距离为该第五图像中相邻的两条第三线段之间的垂直距离，该第二距离为该第六图像中相邻的两条第三线段之间的垂直距离。

例如，该第一距离为该显示屏的50个像素点。

进一步地，本发明实施例中的电子设备在需要获取光学模组的旋转角度时，可以使得该k条第三线段中每条第三线段的一侧垂直设置有j条第四线段，该j条第四线段中至少一条第四线段覆盖在该采集区域上。

例如，该j条第四线段为相互平行的线段，该j条第四线段中相邻的两条第四线段之间的垂直距离为该显示屏的25个像素点。

例如，该第五图像如图4所示，该第六图像如图5所示。

具体地，电子设备可以通过霍夫变换分析该第六图像，并得到第一角度；获取第二处理图像，该第二处理图像为该第四图像按照该第一角度旋转后的图像；通过对比该第二处理图像和该第五图像，确定该旋转角度。

更具体地，电子设备可以对第六图像采用霍夫变换(houghtransform)分析其旋转角度，将第六图像按照计算得到的第一角度旋转，并进行索贝尔算子(sobeloperator)轮廓提取与阈值分割，然后再根据垂直投影，分析旋转角度是否需要加减180度，最终确定出该旋转角度。

下面对霍夫变换(houghtransform)进行介绍。

hough变换是图像处理中的一种特征提取技术，它通过一种投票算法检测具有特定形状的物体。经典霍夫变换用来检测图像中的直线，后来霍夫变换扩展到任意形状物体的识别，多为圆和椭圆。在实现过程中，hough变换过程涉及两个坐标空间之间的变换。具体地，将在一个坐标空间中具有相同形状的曲线或直线映射到另一个坐标空间的一个点上形成峰值，进而把检测任意形状的问题转化为统计峰值问题。本发明实施例中，可以利用霍夫变换对确定第六图像的第一角度。

下面对索贝尔算子(sobeloperator)进行介绍。

sobel算子是图像处理中的算子之一，主要用作边缘检测。在技术上，它是一离散性差分算子，用来运算图像亮度函数的梯度的近似值。在图像的任何一点使用此算子，将会产生对应的梯度矢量或是其法矢量。

sobel算子涉及的术语有：

边缘：灰度或结构等信息的突变处，利用该特征可以分割图像。

本领域技术人员可以理解，物体的边缘是以图像局部特性的不连续性的形式出现的。例如，灰度值的突变，颜色的突变，纹理结构的突变等。从本质上说，边缘就意味着一个区域的终结和另外一个区域的开始。图像的边缘信息在图像分析和人的视觉中十分重要，是图像识别中提取图像特征的一个重要属性。

此外，图像的边缘有方向和幅度两个特性，沿边缘走向的像素变化平缓，而垂直于边缘走向的像素变化剧烈。这种变化可能呈现为跳跃型、房顶型和凸缘型。这些变化分别对应景物中不同的物理状态。例如，跳跃型变化常常对应图像的深度或者是反射边界，而后两者则常常反映图像的表面法线方向不连续。要注意的是，实际要分析的图像往往是比较复杂的，需要根据实际情况进行具体分析。

边缘点：图像中具有坐标[x，y]，且处在强度显著变化的位置上的点。

边缘段：对应于边缘点坐标[x，y]及其方位，边缘的方位可能是梯度角。

在实现过程中，sobel算子计算完图像中所有的像素点处的梯度值g(x，y)后，选择一个阈值t，如果(x，y)处的g(x，y)>t，则认为该点是边缘点或边缘段。另外，由于sobel算子只需要采用2个方向的亮度值投影，即水平梯度响应及垂直梯度响应，使得边缘检测的计算简单，速度快。

本发明实施例中，通过对第二处理图像进行sobel轮廓提取与阈值分割，能够分析出本发明实施例的第一角度是否需要加减180度，进而确定出光学模组的旋转角度。

应理解，sobel算子仅是本发明实施例的示例性说明，本发明实施例不限于此，例如，还可以是罗伯特(robert)算子、普鲁伊特(prewitt)算子、高斯拉普拉斯(laplacianofgaussian,log)算子等。

还应理解，为了进一步提高图像处理的准确度，在本发明实施例中，还可以在检测图像之前，通过阈值分割的方式对原始图像进行“二值化”处理。即，将灰度图像二值化，得到二值图像，并在二值图像的基础上进行图像检测。

本发明实施例中，还提供了一种验证第二位置的方法。

下面对本发明实施例的验证第二位置的方法进行说明。

可选地，电子设备可以在该显示屏上显示第七图像，该第七图像包括在该采集区域的中心点十字交叉的两条直线；通过该光学模组获取第八图像，该第八图像为该光学模组在该采集区域内采集的该第七图像的图像；通过分析该第八图像验证该第二位置。

例如，该第七图像如图8所示，该第八图像如图9所示。

具体地，电子设备可以将采集得到的图像按照前面计算的旋转角度旋转，再检测是否有两根直线垂直交叉，如果没有则通知上层接口定位失败；如果有则定位成功，并且通过计算交叉点坐标与有效区域中心点坐标的偏移，进一步精确调整采集区域的中心坐标。

应理解，本发明实施例中，该显示屏上显示的图像的分辨率可以与该显示屏的分辨率相同，也可以与该显示屏的分辨率不同。

还应理解，电子设备在采集图像时，还可以先以显示屏全黑时采集的图像作为背景基图，用于通过减去背景基图的方法去除大量图像噪声。

图10是本发明实施例的检测光学模组的方法的另一示例性流程图。

如图10所示，以电子设备为手机为例，本发明实施例的算法流程包括：

301，手机初始化算法环境。

302，输入全黑背景图。

具体地，使得手机全屏变黑，让光学模组采集一次图像，作为背景基图。

303，输入全白背景图。

具体地，让手机全屏变白，让光学模组采集一次图像，得到如图3所示的图像，采集到的图像用于分析有效区域信息，包括有效区域左上角的坐标和有效区域的宽高(例如，有效区域的宽高为190)。

304，直线测试图覆盖手机屏幕，抓取图像。

具体地，该手机可以构建一张由长线短线构成，大小可以覆盖手机屏幕的测试图，让手机全屏显示该图并进行一次图像采集，采集图像用于分析光学模组的旋转角度和缩放比例；根据之前获取的缩放比例、有效区域信息计算得到光学模组的物理尺寸。

例如，该手机可以创建一张跟手机屏幕分辨率一样大小的图像，具体地，如图4所示，从左往右，每隔50像素设计一条垂直直线，直线长度等于分辨率率高度；在每根直线上，从上往下，每隔25像素在直线右侧画一根短横线，长度为25像素。将这样一张图像显示于手机屏幕上，让光学模组进行一次采图，并输出如图5所示的图像。

305，计算光学模组的旋转角度，缩放比例。

具体地，该手机对输出的图像采用hough变换分析其旋转角度，将图像按照计算得到的角度旋转，并进行sobel轮廓提取与阈值分割；再根据小段横线的垂直投影，分析旋转角度是否需要加减180度；同时，通过检测两根垂直直线的距离(例如，75)，计算得到采集图像的缩放比例(即75/50)。

306，根据该缩放比例和屏幕分辨率，构建方格阵列图。

307，方格阵列图覆盖手机屏幕，抓取图像。

308，图像检测，提取方格信息，计算光学模组的中心坐标。

具体地，该手机可以根据该结果构建一张由方格组成、大小可以覆盖手机屏幕的阵列图，每个方格内部有一系列横线或者竖线；让手机全屏显示该方格阵列图并进行一次图像采集，采集的图像用于分析计算光学模组，相对于手机屏幕左上角的坐标。

更具体地，该手机可以根据缩放比例以及之前计算的有效区域宽高，得到光学模组的实际大小(采集区域的边长)为：190*50/75＝127，根据该参数计算方格阵列中最佳方格宽度：127/2.5＝51。根据最佳方格宽度，设计一张可以覆盖手机屏幕的方格阵列图，再让光学模组采集一次图像。

例如，小方格内部线段的设计原理可以如图6所示：方格分为左右两侧，左侧信息值代表方格所在列序号，右侧信息值代表方格所在行序号；每一侧区域再均分为上下两部分，下部分每根横线代表数值1，每根竖线代表数值4，即下部分类似于4进制；当下部分直线代表的数值满16时，清空下方直线，同时上方直线加1；故而规律为：区域内部4进制，上下区域之间为16进制。将光学模组采集的如图7所示的图像按照之前计算得到的旋转角度进行旋转，然后检测图像中的方格信息。通过获取方格内部所有的直线信息，就可以计算出该方格在整个方格阵列中的位置。再参考方格左上角的坐标值，即可计算得到当前方格左上角在整个手机屏幕中的坐标。最后，计算该坐标相对于采集图像有效区域中心坐标的偏移，乘以缩放比例，即可得到图像采集有效区域中心点相对于整个手机屏幕的坐标，从而实现了光学模组的初步定位。

309，根据缩放比例、屏幕分辨率以及光学模组坐标，构建验证图。

310，验证图覆盖手机屏幕，抓取图像。

具体地，该手机可以根据计算出的光学模组坐标设计一个大小覆盖手机屏幕的验证图，让手机显示该图并进行一次图像采集，根据抓图进行坐标验证与精细调整处理。

例如，该手机可以构建一幅大小为手机屏幕分辨率的全黑图像，在上一步得到的坐标值位置，画两根白色的直线(长度为50)相互垂直交叉，具体地，如图8所示。让手机显示这张图像，并进行一次图像采集，得到如图9所示的图像。

311，验证是否通过。

312，如果没有通过验证，则通报错误，并进入人工查找。

313，如果通过验证，则调整光学模组的坐标。

具体地，将采集得到的图像按照前面计算的角度旋转，再检测是否有两根直线垂直交叉，如果没有则通知上层接口定位失败；如果有则定位成功，并且通过计算交叉点坐标与有效区域中心点坐标的偏移，进一步精确调整光学模组的中心坐标。

314，注销算法环境。

由此，手机可以输出光学模组的中心坐标，物理大小，旋转角度，缩放比例，图像采集有效区域等信息。

下面对本发明实施例的检测光学模组的装置进行说明。

图11是本发明实施例的检测光学模组的装置400的示意性框图。

如图11所示，该装置400包括：

显示模块410，用于在该显示屏420上显示第一图像，该第一图像包括多个图像单元，该多个图像单元中的每个图像单元上设置有图案，上述每个图像单元上的图案用于指示上述每个图像单元中的参考点在该第一图像上的位置。

处理模块440，该处理模块440用于：

通过该光学模组430获取第二图像，该第二图像为该光学模组430在该显示屏420的采集区域内采集的该第一图像的图像；确定该第二图像中目标图像单元上的图案；根据该目标图像单元上的图案，确定该目标图像单元中目标参考点的第一位置，该第一位置为该目标参考点在该第一图像上的位置；根据该第一位置，确定第二位置，该第二位置为该采集区域的中心点在该显示屏420上的位置。

可选地，该处理模块440具体用于：

根据该第一位置和映射关系信息，确定第三位置，该第三位置为该目标参考点在该显示屏420上的位置，该映射关系信息包括该第一位置和该第一位置对应的该第三位置；根据该第三位置，确定该第二位置。

可选地，上述每个图像单元上的图案包括横线段和/或竖线段。

可选地，上述每个图像单元包括左半侧区域和右半侧区域，其左半侧区域内的线段用于指示图像单元在该第一图像上所属的列，其右半侧区域内用于指示图像单元在该第一图像上所属的行。

可选地，上述每个图像单元包括上半侧区域和下半侧区域，该下半侧区域内的一条横线段表示数字1，该下半侧区域内的一条竖线段表示数字4，该上半侧区域内的一条横线段表示数字16。

可选地，该处理模块440还用于：

该显示模块410在该显示屏420上显示第一图像之前，生成该第一图像。

可选地，该第一图像为阵列图像，该多个图像单元中的每个图像单元为正方形图像单元，该采集区域为正方形区域；其中，该处理模块440具体用于：

确定该采集区域的边长；根据该采集区域的边长，确定上述每个图像单元的边长，该采集区域的边长大于上述每个图像单元的边长；根据上述每个图像单元的边长，生成该第一图像。

可选地，该采集区域的边长为上述每个图像单元的边长的2.5倍。

可选地，该显示模块410还用于：

在该显示屏420上显示第三图像，该第三图像中每个像素点的亮度值均大于第一亮度值；其中，该处理模块440更具体用于：

通过该光学模组430获取第四图像，该第四图像为该光学模组430在该采集区域内采集的该第三图像的图像；对该第四图像进行二值化，获取二值图像；根据该二值图像的水平梯度响应值和垂直梯度响应值，确定该采集区域的边长。

可选地，该第一亮度值为128。

可选地，该处理模块440更具体用于：

根据该二值图像的水平梯度响应值和垂直梯度响应值，确定该二值图像的边长；

根据缩放比例和该二值图像的边长，确定该采集区域的边长，该缩放比例为该采集区域的图像与该光学模组430在该采集区域内采集的图像之间的比例。

可选地，该处理模块440具体用于：

根据该第三位置，确定该第二位置之前，确定第一偏移量，用于修正该第二位置；根据该第一偏移量和第三位置，确定该第二位置。

可选地，该处理模块440更具体用于：

确定第二偏移量，该第二偏移量为该第二图像中该目标参考点相对该第二图像的中心点的偏移向量；根据该第二偏移量确定该第一偏移量。

可选地，该处理模块440更具体用于：

根据缩放比例和该第二偏移量，确定该第一偏移量，该缩放比例为该采集区域的图像与该光学模组430在该采集区域内采集的图像之间的比例。

可选地，该处理模块440具体用于：

确定该第二图像中目标图像单元上的图案之前，获取旋转角度，该旋转角度为该光学模组430在该采集区域内采集的图像相对该采集区域的图像旋转的角度；获取第一处理图像，该第一处理图像为该第二图像按照该旋转角度旋转后的图像；通过分析该第一处理图像，确定该目标图像单元上的图案。

可选地，该处理模块440还用于：

根据该第一位置，确定该第二位置之前，获取缩放比例，该缩放比例为该采集区域的图像与该光学模组430在该采集区域内采集的图像之间的比例。

可选地，该显示模块410还用于：

在该显示屏420上显示第五图像，该第五图像包括相互平行的k条第三线段，该k条第三线段中至少两条相邻的第三线段覆盖在该采集区域上，k≥2；其中，该处理模块440具体用于：

通过该光学模组430获取第六图像，该第六图像为该光学模组430在该采集区域内采集的该第五图像的图像；根据第一距离和第二距离，确定该缩放比例，该第一距离为该第五图像中相邻的两条第三线段之间的垂直距离，该第二距离为该第六图像中相邻的两条第三线段之间的垂直距离。

可选地，该第一距离为该显示屏420的50个像素点。

可选地，该k条第三线段中每条第三线段的一侧垂直设置有j条第四线段，该j条第四线段中至少一条第四线段覆盖在该采集区域上。

可选地，该j条第四线段为相互平行的线段，该j条第四线段中相邻的两条第四线段之间的垂直距离为该显示屏420的25个像素点。

可选地，该处理模块440还用于：

获取旋转角度，该旋转角度为该光学模组430在该采集区域内采集的图像相对该采集区域的图像旋转的角度。

可选地，该处理模块440具体用于：

通过霍夫变换分析该第六图像，并得到第一角度；获取第二处理图像，该第二处理图像为该第四图像按照该第一角度旋转后的图像；通过对比该第二处理图像和该第五图像，确定该旋转角度。

可选地，该显示模块410还用于：

在该显示屏420上显示第七图像，该第七图像包括在该采集区域的中心点十字交叉的两条直线；其中，该处理模块440还用于：

通过该光学模组430获取第八图像，该第八图像为该光学模组430在该采集区域内采集的该第七图像的图像；通过分析该第八图像验证该第二位置。

可选地，该显示屏上显示的图像的分辨率与该显示屏的分辨率相同。

本发明实施例中，术语“模块”可以包括以下部件中的至少一种：

专用集成电路(applicationspecificintegratedcircuit，asic)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和其它支持所描述的功能的组件。

应理解，这里的装置400以功能单元的形式体现。在一个可选例子中，本领域技术人员可以理解，装置400可以具体为上述方法实施例中提及的电子设备，还可以为图1所示的电子设备100。装置400可以用于执行上述方法实施例中各个流程和/或步骤，为避免重复，在此不再赘述。

在实现过程中，本发明实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。更具体地，结合本发明实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

也就是说，本发明实施例中的方法实施例可以应用于处理器中，或者由处理器实现。

图12示出了本发明实施例的另一检测光学模组的装置500，包括：处理器510、存储器520、显示屏530与光学模组540。其中，光学模组540的采集区域位于显示屏530的至少部分显示区域，该存储器520用于存储指令，该处理器510用于执行该存储器520存储的指令，其中，对该指令的执行使得该处理器510执行以下操作：

在该显示屏530上显示第一图像，该第一图像包括多个图像单元，该多个图像单元中的每个图像单元上设置有图案，上述每个图像单元上的图案用于指示上述每个图像单元中的参考点在该第一图像上的位置。

通过该光学模组540获取第二图像，该第二图像为该光学模组540在该显示屏530的采集区域内采集的该第一图像的图像；确定该第二图像中目标图像单元上的图案；根据该目标图像单元上的图案，确定该目标图像单元中目标参考点的第一位置，该第一位置为该目标参考点在该第一图像上的位置；根据该第一位置，确定第二位置，该第二位置为该采集区域的中心点在该显示屏530上的位置。

因此，电子设备可以在显示屏上显示预先设计好的图像(显示图像)；然后通过光学模组对显示屏上显示的图像进行图像采集，并得到采集图像；再通过对采集图像的分析，确定出采集区域的中心点在该显示屏上的位置，最终实现光学模组的定位操作。

图12所示的装置500能够实现前述方法实施例中由终端设备所实现的各个过程，为避免重复，这里不再赘述。

在一个可选例子中，本领域技术人员可以理解，装置500可以具体为上述实施例中的装置400，还可对应于上述方法实施例中的电子设备。装置500可以用于执行上述方法实施例中的各个流程和/或步骤，为避免重复，在此不再赘述。

本发明实施例中，还提供一种电子设备，该电子设备包括上述实施例中的装置400或装置500。

可选地，作为一个实施例，该显示屏可以是有机发光二极管(organiclight-emittingdiode，oled)显示屏，该光学模组利用该oled显示屏的至少部分oled像素单元作为光源来执行检测功能。

应理解，本发明实施例中提及的处理器可能是一种集成电路芯片，具有信号的处理能力，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。例如，上述的处理器可以是通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、晶体管逻辑器件、分立硬件组件等等。此外，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

此外，本发明实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，rom)、可编程只读存储器(programmablerom，prom)、可擦除可编程只读存储器(erasableprom，eprom)、电可擦除可编程只读存储器(electricallyeprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(randomaccessmemory，ram)，其用作外部高速缓存。应理解，上述存储器为示例性但不是限制性说明，例如，本发明实施例中的存储器还可以是静态随机存取存储器(staticram，sram)、动态随机存取存储器(dynamicram，dram)、同步动态随机存取存储器(synchronousdram，sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram，ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，esdram)、同步连接动态随机存取存储器(synchlinkdram，sldram)以及直接内存总线随机存取存储器(directrambusram，drram)等等。也就是说，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

最后，需要注意的是，在本发明实施例和所附权利要求书中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明实施例。

例如，在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”、“上述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

又例如，在本发明实施例中可能采用术语第一图像和第二图像，但这些图像不应限于这些术语。这些术语仅用来将图像彼此区分开。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例的目的。

另外，在本发明实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以权利要求的保护范围为准。