一种手机屏幕Mark点定位方法及系统与流程

本发明涉及领域，特别是涉及一种手机屏幕mark点定位方法及系统。

背景技术：

视觉对位平台的功能是实现两个目标物之间的精确对准。视觉系统需要对两个目标物分别进行拍摄，选择mark点或者目标物的边或角的特征信息。利用视觉对位技术，实现两个目标物物理坐标之间的在x、y轴和角度坐标的偏差，通过驱动相关运动平台，引导平台运动到贴合位置，实现视觉引导精确对位。

目前，现有技术中关于手机屏幕mark点的检测与定位的开发工作，主要采用商业视觉库算法，如halcon和visionpro视觉库，商业视觉库的算法都是经过封装的、不公开的，市场上目前还没有独立研发实现针对手机屏幕mark点的定位算法，现有技术中的关于定位算法方面，常用的定位算法有基于特征点的、基于边缘梯度信息的。基于特征点的算法需要首先提取出特征点，然后通过仿射变换计算坐标，这种处理方法的鲁棒性差，对特征点的检测要求较高，而比较稳定的特征点检测算法花费的时间长，边缘检测算法需要首先进行边缘提取，然后进行边缘匹配度计算，获取匹配度最大位置，再通过曲面拟合来获取亚像素级的坐标，但是边缘检测算法的鲁棒性差。

技术实现要素：

本发明的目的是提供能够增强定位算法的鲁棒性的一种手机屏幕mark点定位方法及系统。

为实现上述目的，本发明提供了如下方案：

一种手机屏幕mark点定位方法，所述定位方法包括：

采集手机屏幕的基准图像和待测图像，获得基准mark点模板图像和待测图像；

将所述基准mark点模板图像进行图像预处理获得四层金字塔模板图像；

将所述四层金字塔模板图像旋转89次，每次旋转一度，获得0-89度的多角度四层金字塔模板图像；

将所述待测图像进行图像进行扩充，获得扩充后的待测图像；

将扩充后的待测图像进行预处理获得待测四层金字塔图像；

采用归一化互相关匹配法将所述多角度四层金字塔模板图像与所述待测四层金字塔图像进行匹配，获得匹配度最大的位置坐标和模板度数。

可选的，所述将所述基准mark点模板图像进行图像预处理获得四层金字塔模板图像具体包括：

将所述基准mark点模板图像采用高斯平滑处理，获得高斯图像，将此图像作为第二层模板图像；

将所述高斯图像进行上采样，图像的尺寸相对所述高斯图像的行和列均扩大一倍，获得第一层模板图像；

将所述高斯图像进行降采样，图像的尺寸相对所述高斯图像的行和列均缩小一倍，获得第三层模板图像；

将所述第三层模板图像采用高斯平滑处理，获得第三高斯图像；

将所述第三高斯图像进行降采样，图像的尺寸相对第三高斯图像行和列均缩小一倍，获得第四层模板图像；

所述四层金字塔模板图像包括第一层模板图像、第二层模板图像、第三层模板图像和第四层模板图像。

可选的，所述将所述四层金字塔模板图像进行旋转，获取多角度四层金字塔模板图像具体包括：

将所述四层金字塔模板图像每层的图像旋转89次，生成0-89度的四层多角度模板图像，获取多角度四层金字塔模板图像；

可选的，所述采集待测图像，将待测图像进行扩充，获得扩充待测图像具体包括：

将所述待测图像进行列扩充，所述列扩充为将每列两端按照图像边缘的像素值均扩充k个像素点，获得列扩充待测图像；

将所述列扩充待测图像进行行扩充，所述行扩充为将每行两端按照边缘像素值均扩充k个像素点，获得扩充待测图像。

可选的，所述采用归一化互相关匹配法将所述多角度四层金字塔模板图像与所述待测四层金字塔图像进行匹配，获得匹配度最大的位置坐标和模板度数具体包括：

采用归一化互相关匹配法将所述多角度四层金字塔模板图像的第四层0-89°范围内的每一度对应的图像在所述待测四层金字塔图像中第四层待测图像中进行模板匹配；

所述匹配的过程为将所述多角度四层金字塔图像在所述待测四层金字塔图像上进行水平和竖直移动，计算所述待测四层金字塔图像每个位置上的匹配度，获得多个匹配度值；

匹配度值

其中，s表示所述待测四层金字塔图像，t表示所述多角度四层金字塔图像，s的尺寸为n*m，t的尺寸为n*m(n<＝n，m<＝m)；

将所述匹配度值最大的位置为第四最佳匹配位置(x4，y4)；

根据所述第四最佳匹配位置和对应的最佳匹配模板图像确定当前所述待测四层金字塔图像的第四层中mark点相对于基准模板图像旋转的角度，获得第四角度c4；

根据所述第四角度c4和所述第三层多角度模板图像、第三层待测图像，采用c4±4度范围内每隔两度的所述多角度四层金字塔模板图像在所述待测四层金字塔图像中匹配，获得多个匹配度值；

选取所述匹配度值最大的位置为第三最佳匹配位置(x3，y3)；

根据所述第三最佳匹配位置和对应的最佳匹配模板图像确定当前所述多角度四层金字塔图像的第三层中mark点相对于基准模板图像旋转的角度，获得第三角度c3；

根据所述第三角度c3，采用c3±2度范围内每隔1度的所述多角度四层金字塔模板图像的第二层多角度模板图像在待测四层金字塔图像中的第二层图像中坐标(2*x3±6,2*y3±6)范围内分别进行匹配定位，获得匹配度最大位置的位置为第二最佳匹配位置(x2,y2)；

根据所述第二最佳匹配位置和对应的最佳匹配模板图像确定当前所述多角度四层金字塔模板图像的第二层待测图像中mark点中相对于基准模板图像旋转的角度，获得第二角度c2；

根据所述第二角度c2，采用c2±1度范围内每隔1度的所述多角度四层金字塔模板图像的第一层多角度模板图像在待测四层金字塔图像中的第一层图像中(2*x2±4,2*y2±4)范围内分别进行匹配定位，获得匹配度最大位置的位置为第一最佳匹配位置(x1,y1)；

根据所述第一最佳匹配位置获取扩充前的原待测图像中mark点的坐标(x1/2-k,y1/2-k)。

为了实现上述目的，本发明还提供了如下方案：

一种手机屏幕mark点定位系统，所述定位系统包括：

图像采集模块，用于采集手机屏幕的基准图像，获得基准mark点模板图像；

图像预处理模块，用于将所述基准mark点图像进行图像预处理获得四层金字塔模板图像；

图像旋转模块，用于将所述四层金字塔模板图像旋转89次，每次旋转一度，获得0-89度的多角度四层金字塔模板图像；

采集手机屏幕待测图像，图像扩充模块，用于将所述待测图像进行扩充，获得扩充待测图像；

将所述扩充待测图像进行图像预处理获得待测四层金字塔图像；

匹配模块，用于采用归一化互相关匹配法将所述多角度四层金字塔模板图像与所述待测四层金字塔图像进行匹配，获得匹配度最大的位置坐标和模板度数。

可选的，所述图像预处理模块具体包括：

第二层模板图像获取单元，用于将所述基准mark点模板图像作为第一层模板图像；

高斯平滑处理单元，用于将所述基准mark点模板图像采用高斯平滑处理，获得高斯图像；

第一层模板图像获取单元，用于将所述高斯图像进行上采样，图像的尺寸相对所述高斯图像的行和列均扩大一倍，获得第一层模板图像；

第三层模板图像获取单元，用于将所述高斯图像进行降采样，图像的尺寸相对所述高斯图像的行和列均缩小一倍，获得第三层模板图像；

第三高斯图像获取单元，用于将所述第三层模板图像采用高斯平滑处理，获得第三高斯图像；

第四层模板图像获取单元，用于将所述第三高斯图像进行降采样，图像的尺寸相对第三高斯图像行和列均缩小一倍，获得第四层模板图像。

可选的，所述图像扩充模块具体包括：

列扩充单元，用于将所述待测图像进行列扩充，所述列扩充为将每列两端按照图像边缘的像素值均扩充k个像素点，获得列扩充待测图像；

行扩充单元，用于将所述列扩充待测图像进行行扩充，所述行扩充为将每行两端按照边缘像素值均扩充k个像素点，获得扩充待测图像。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明公开了一种手机屏幕mark点定位方法及系统，采集获取手机屏幕基准图像，从基准图像中截取基准模板图像，对基准模板图像进行图像预处理获得四层金字塔模板图像，对四层金字塔进行旋转，获取多角度四层金字塔图像。采集待测图像，对所述待测图像进行边缘像素扩充，对扩充待测图像进行图像预处理，获得待测四层金字塔图像，利用多角度四层金字塔模板图像、感兴趣区域映射来减少计算量和缩小搜索范围，通过多角度匹配并逐层缩小角度范围和坐标范围来确定待测图像中的mark点的角度和坐标，能够在最底层获得手机屏幕待测图像中mark点的亚像素坐标。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的手机屏幕mark点定位方法的流程图；

图2为本发明提供的四层金字塔图像示意图；

图3为本发明提供的搜索区域示意图；

图4为本发明提供的基准模板图像示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供能够增强定位算法的鲁棒性的一种手机屏幕mark点定位方法及系统。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供了一种手机屏幕mark点定位方法，所述定位方法包括：

步骤100：采集手机屏幕的基准图像，获得基准mark点模板图像；

步骤200：将所述基准mark点模板图像进行图像预处理，并构建四层金字塔模板图像；

步骤300：将所述四层金字塔模板图像旋转89次，每次旋转一度，获得0-89度的多角度四层金字塔模板图像；

步骤400：采集手机屏幕待测图像，将所述待测图像进行扩充，将所述扩充待测图像进行图像预处理；

步骤500：将所述预处理后的待测图像构建待测四层金字塔图像；

步骤600：采用归一化互相关匹配法将所述多角度四层金字塔模板图像与所述待测四层金字塔图像进行匹配，获得匹配度最大的位置坐标和模板度数。

所述步骤200：将所述基准模板图像进行图像预处理获得四层金字塔模板图像具体包括：

如图4所示的所述基准模板图像的示意图，将所述基准模板图像作为第二层模板图像；

将所述基准模板图像采用高斯平滑处理，获得高斯图像；

将所述高斯图像进行上采样，图像的尺寸相对所述高斯图像的行和列均扩大一倍，获得第一层模板图像；

将所述高斯图像进行降采样，图像的尺寸相对所述高斯图像的行和列均缩小一倍，获得第三层模板图像；

将所述第三层模板图像采用高斯平滑处理，获得第三高斯图像；

将所述第三高斯图像进行降采样，图像的尺寸相对第三高斯图像行和列均缩小一倍，获得第四层模板图像；

如图2所示，所述四层金字塔模板图像包括第一层模板图像1、第二层模板图像2、第三层模板图像3和第四层模板图像4。

所述步骤400：将所述待测图像进行扩充，获得扩充待测图像具体包括：

将所述待测图像进行列扩充，所述列扩充为将每列两端按照图像边缘的像素值均扩充k个像素点，获得列扩充待测图像；

将所述列扩充待测图像进行行扩充，所述行扩充为将每行两端按照边缘像素值均扩充k个像素点，获得扩充待测图像。

所述步骤600：采用归一化互相关匹配法将所述多角度四层金字塔模板图像与所述待测四层金字塔图像进行匹配，获得匹配度最大的位置坐标和模板度数具体包括：

采用归一化互相关匹配法将所述多角度四层金字塔模板图像的第四层0-89°范围内的每一度对应的图像在所述待测四层金字塔图像的第四层待测图像中匹配；

所述匹配的过程为将所述多角度四层金字塔模板图像在所述待测四层金字塔图像上进行水平和竖直移动，计算所述待测四层金字塔图像每个位置上的匹配度，获得多个匹配度值；

匹配度值

其中，s表示所述待测四层金字塔图像，t表示所述多角度四层金字塔模板图像，s的尺寸为n*m，t的尺寸为n*m(n<＝n，m<＝m)；

将所述匹配度值最大的位置为第四最佳匹配位置(x4，y4)；

根据所述第四最佳匹配位置和对应的最佳匹配模板图像确定当前所述多角度四层金字塔模板图像的第四层模板图像对应的旋转角度，获得第四角度c4；

根据所述第四角度c4和所述第三层模板图像，采用c4±4度范围内每隔两度的所述多角度四层金字塔模板图像在所述待测四层金字塔图像中匹配，获得多个匹配度值；

如图3所示，采用c4±4度范围内每隔2度的模板图像在待匹配图像的第三层金字塔图像种进行模板匹配，由于第三层图像的行数和列数是第四层图像的两倍，所以第四层最佳匹配位置对应第三层的坐标为(2*x4,2*y4)，只在坐标(2*x4±6,2*y4±6)范围内进行模板匹配，选取所述匹配度值最大的位置为第三最佳匹配位置(x3，y3)；根据所述第三最佳匹配位置和对应的最佳匹配模板图像确定当前所述多角度四层金字塔模板图像的第三层模板图像对应的旋转角度，获得第三角度c3；

如图3所示，根据所述第三角度c3，采用c3±2度范围内每隔1度的所述多角度四层金字塔模板图像的第二层模板图像在对应待测金字塔图像第二层坐标(2*x3±6,2*y3±6)范围内分别进行匹配定位，获得匹配度最大位置的位置为第二最佳匹配位置(x2,y2)；

根据所述第二最佳匹配位置和对应的最佳匹配模板图像确定当前所述多角度四层金字塔模板图像的第二层模板图像对应的旋转角度，获得第二角度c2；

根据所述第二角度c2，采用c2±1度范围内每隔1度的所述多角度四层金字塔模板图像的第一层模板图像在对应待测金字塔图像第一层坐标(2*x2±4,2*y2±4)范围内分别进行匹配定位，获得匹配度最大位置的位置为第一最佳匹配位置(x1,y1)；

根据所述第一最佳匹配位置获取扩充前的原待测图像中mark点的坐标(x1/2-k,y1/2-k)。

为了实现上述目的，本发明还提供了如下方案：

一种手机屏幕mark点定位系统，所述定位系统包括：

图像采集模块，用于采集手机屏幕的基准图像和待测图像，获得基准mark点模板图像和待测图像；

图像扩充模块，用于将所述待测图像进行扩充，获得扩充待测图像；

图像预处理模块，用于将所述基准mark点模板图像进行图像预处理获得四层金字塔模板图像，将所述待测图像进行图像预处理获得待测四层金字塔图像；

图像旋转模块，用于将所述四层金字塔模板图像旋转89次，每次旋转一度，获得0-89度的多角度四层金字塔模板图像；

匹配模块，用于采用归一化互相关匹配法将所述多角度四层金字塔模板图像与所述待测四层金字塔图像进行匹配，获得匹配度最大的位置坐标和模板度数。

所述图像扩充模块具体包括：

列扩充单元，用于将所述待测图像进行列扩充，所述列扩充为将每列两端按照图像边缘的像素值均扩充k个像素点，获得列扩充待测图像；

行扩充单元，用于将所述列扩充待测图像进行行扩充，所述行扩充为将每行两端按照边缘像素值均扩充k个像素点，获得扩充待测图像。

所述图像预处理模块具体包括：

第二层模板图像获取单元，用于将所述基准mark点模板图像作为第二层模板图像；

高斯平滑处理单元，用于将所述扩充基准图像采用高斯平滑处理，获得高斯图像；

第一层模板图像获取单元，用于将所述高斯图像进行上采样，图像的尺寸相对所述高斯图像的行和列均扩大一倍，获得第一层模板图像；

第三层模板图像获取单元，用于将所述高斯图像进行降采样，图像的尺寸相对所述高斯图像的行和列均缩小一倍，获得第三层模板图像；

第三高斯图像获取单元，用于将所述第三层模板图像采用高斯平滑处理，获得第三高斯图像；

第四层模板图像获取单元，用于将所述第三高斯图像进行降采样，图像的尺寸相对第三高斯图像行和列均缩小一倍，获得第四层模板图像。

如图4所示，基准mark点模板图像示例图。由于是旋转对称图像，所以多角度模板只需建立0-89度范围内的模板图像即可。

本发明的有益效果：

通过边缘像素扩充，能够解决手机屏幕图像中mark点在边缘处部分没有采集到时的坐标定位。

生成四层图像金字塔，其中第一层是通过插值算法生成0.5像素的亚像素图像，第二层是基准图像层，第三层是基准图像层行列各压缩一倍的图像，第四层是第三层图像行列各压缩一倍的图像，每层金字塔图片生成0-89度的模板图像，并将生成的图像保存在计算机存储器中，这样减少了后面通过互相关法进行模板匹配过程中的计算量，使得算法效率更高、更稳定。

从顶层进行模板粗匹配初步得到mark点的大概位置和近似目标旋转角度；之后从顶层到底层通过感兴趣区域和缩小角度范围，逐层获取更精确的mark点的坐标和mark点旋转角度，计算至底层位置，最终获得图像中mark点的亚像素级坐标精度。

该方法应用在手机屏幕中mark点的定位，算法稳定、准确度率高(99％以上)，速度快(50ms内可以处理好一张200万像素的图片)，精度高(像素精度为0.5个像素)。

在图像边缘根据基准图像的边缘附近像素的均值，将均值随机增加或减少一定范围内的数值来扩充图像的边缘像素，即增加部分行和列，这样可以在mark点没有完全被采集到时(80％～100％之间)也能够定位到，解决了边缘处部分遮挡的情况。其次，通过预先保存好多角度图像金字塔模板图片，使得在手机屏幕图像中通过多角度模板匹配算法定位mark点的运算量得以大幅减少。然后，在应用图像金字塔过程中，先在最顶层定位到mark点的大概位置，然后接下来每一层在应用互相关模板匹配算法中只需要在上层定位坐标在本层的映射位置附近进行计算，这样可以减少在1-3层图像金字塔中的模板匹配的计算量。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。