图像重新聚焦的控制方法及系统与流程

本发明涉及图像显示技术领域，特别是涉及一种图像重新聚焦的控制方法及系统。

背景技术：

图像或视频的重新聚焦是摄影和拍摄的重要手段。示例性的重新聚焦单个图像的方法是使用集成有特殊微透镜阵列的图像传感器，该微透镜阵列具有不同组的焦距。在拍摄快照时，通过控制微透镜阵列对拍摄物体的对焦，使图像传感器的像素被聚焦在不同深度，由此直接实现单个图像或视频的场景重聚焦。

然而，集成有微透镜阵列的图像传感器价格昂贵，成本高，且多焦距的条件下易于降低整体的清晰度。

技术实现要素：

基于此，有必要针对目前用于图像重聚焦的集成有微透镜阵列的图像传感器价格昂贵，成本高，且多焦距的条件下易于降低整体清晰度的问题，提供一种图像重新聚焦的控制方法及系统。

为了实现本发明的目的，本发明采用如下技术方案：

一种图像重新聚焦的控制方法，包括：

投射目标物体的特征点图案；

在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像；

获取不同图像中对应同一特征点的像点组，获得像点组中像点间的位置偏移量；

根据像点组、位置偏移量以及焦距获取所述特征点的深度信息，生成深度图；

选定目标图像，根据深度图对图像上的目标区域进行重新聚焦。

在其中一实施例中，投射目标物体的特征点图案的步骤，包括：

建立目标物体与特征点图案的第一映射关系；

根据第一映射关系，利用目标物体向场景投射出特征点图案。

在其中一实施例中，所述特征点图案中，特征点按预设规则排列。

在其中一实施例中，获取不同图像中对应同一特征点的像点组，获得像点组中像点间的位置偏移量的步骤，包括：

选定至少一特征点，根据特征点获取对应的像点组；

获取像点组中各像点点中心的位置坐标；

根据所述位置坐标获取像点组中像点间的位置偏移量。

在其中一实施例中，获取不同图像中对应同一特征点的像点组，获得像点组中像点间的位置偏移量的步骤，还包括：

建立特征点与像点间的第二映射关系。

在其中一实施例中，选定目标图像，根据深度图对图像上的目标区域进行重新聚焦的步骤，包括：

对不同图像对应的焦距进行比较，将最大焦距对应的图像选定为目标图像；

根据所述深度图对图像上的目标区域进行重新聚焦。

上述控制方法，通过投射目标物体的特征点图案，在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像，继而获取不同图像中对应同一特征点的像点组像点间的位置偏移量，再根据像点组、位置偏移量以及焦距获取准确度较高的深度信息，生成深度图，由此根据深度图实现对图像上目标区域的精确聚焦，提高图像整体的清晰度，提高用户的体验。

为了实现本发明的目的，本发明还采用如下技术方案：

一种图像重新聚焦的控制系统，包括：

图案建立模块，设置为投射目标物体的特征点图案；

图像捕获模块，设置为在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像；

偏移量获取模块，设置为获取不同图像中对应同一特征点的像点组，获得像点组中像点间的位置偏移量；

深度图生成模块，设置为根据像点组、位置偏移量以及焦距获取所述特征点的深度信息，生成深度图；

聚焦模块，设置为选定目标图像，根据深度图对图像上的目标区域进行重新聚焦。

在其中一实施例中，所述图案建立模块包括：

第一映射单元，设置为建立目标物体与特征点图案的第一映射关系；

投射单元，设置为根据第一映射关系，利用目标物体向场景投射出特征点图案。

在其中一实施例中，所述偏移量获取模块包括：

第一选定单元，设置为选定至少一特征点，根据特征点获取对应的像点组；

第一获取单元，设置为获取像点组中各像点点中心的位置坐标；

第二获取单元，设置为根据所述位置坐标获取像点组中像点间的位置偏移量。

在其中一实施例中，所述聚焦模块包括：

第二选定单元，设置为对不同图像对应的焦距进行比较，将最大焦距对应的图像选定为目标图像；

聚焦单元，设置为根据所述深度图对图像上的目标区域进行重新聚焦。

上述控制系统，包括图案建立模块、图像捕获模块、偏移量获取模块、深度图生成模块以及聚焦模块，通过图案建立模块投射目标物体的特征点图案；图像捕获模块在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像；继而偏移量获取模块获取不同图像中对应同一特征点的像点组像点间的位置偏移量，深度图生成模块根据像点组、位置偏移量以及焦距获取准确度较高的深度信息，生成深度图；聚焦模块根据深度图对目标区域进行聚焦。由此，系统能够实现对图像上目标区域的精确聚焦，提高图像整体的清晰度，提高用户的体验。

附图说明

图1为一实施例中图像重新聚焦的控制方法的方法流程图；

图2为一实施例中特征点图案的示意图；

图3为一实施例中摄像头捕获图像的示意图；

图4为一实施例中一捕获图像像点的示意图；

图5为一实施例中对应同一特征点的像素点组位于xy平面的位置示意图；

图6为一实施例中图像重新聚焦的控制系统的系统结构图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的可选实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。同时，本文中使用诸如“第一”、“第二”等序数词来限定本文中的元素并不表示元素之间的优先级、次序或者方法执行的先后顺序，而仅是用于区分具有相同名称的不同元素。

参见图1，图1为一实施例中图像重新聚焦的控制方法的方法流程图。

在本实施例中，该控制方法包括步骤s101、s102、s103、s104以及s105。详述如下：

在步骤s101中，投射目标物体的特征点图案。

在本实施例中，目标物体是指目标拍摄对象，即最终需要进行重新聚焦的图像拍摄主体，通常该目标物体为具有不同深度的物体，例如三维物体；特征点图案是指与目标物体空间点相对应的投射点图案，可对应不同深度信息。

其中，特征点图案可以按预设规则排列，例如可以是具有规律间隔的稀疏点图案，包括但不限于行列规则间隔的矩阵点、行规则间隔的矩阵点、列规则间隔的矩阵点(请辅助参见图2，图2以行列规则间隔的矩阵点为例，其中小圆圈a代表特征点)；当然，特征点图案也可以是无规则排列的离散点；相邻两个特征点的距离可以相同，也可以不相同，在此，对特征点的具体位置及定义不做进一步的限定。当投射点图案为具有规律间隔的稀疏点图案时，可以减少投射成本，同时，还便于后续步骤选定对应同一特征点的像点组。需要说明的是，在任何时刻位于目标物体上的一个给定点在特征点上只占有一个唯一的位置。

其中，可以通过投影仪利用目标物体向场景投射出特征点图案，或者通过其他投影组件利用目标物体向场景投射出特征点图案。

在一实施例中，步骤s101包括步骤s1011和步骤s1012。

在步骤s1011中，建立目标物体与特征点图案的第一映射关系。

由于在任何时刻位于目标物体上的一个给定点在特征点上只占有一个唯一的位置，因此可以建立目标物体与特征点图案的第一映射关系，例如通过透视投影变换或正交投影变换等获得第一映射关系。

在步骤s1012中，根据第一映射关系，利用目标物体向场景投射出特征点图案。

在建立目标物体与特征点图案的第一映射关系后，根据第一映射关系控制投影组件对目标物体投射出特征点图案。

在步骤s102中，在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像。

在本实施例中，可以采用多个具有不同光圈且位于不同拍摄角度的摄像头对同一场景(即特征点图案)进行多个图像的捕获(请辅助参见图3，图3以两个不同光圈的摄像头为例，其中，第一摄像头10设置为具有较大的光圈值，第二摄像头20设置为具有较小光圈值)；也可以采用一个具有多个光圈的摄像头，在多个拍摄角度对同一场景进行多个图像的捕获。其中，摄像头可以应用在电子设备中，例如应用在手机、平板电脑、车载电脑、穿戴式设备、数码相机等具备拍照、摄像功能的任意电子设备中。

在一个实施例中，通过不同摄像头对同一场景进行捕获时，不同摄像头的中心点处在同一平面上；一个摄像头对同一场景进行捕获时，摄像头移动过程中保持中心点的移动轨迹在同一平面上。

在不同的捕获角度且不同焦距下，根据特征点图案可以对同一场景到捕获不同的图像，由于捕获角度不同，因而同一场景不同图像上像点的位置存在偏移；由于焦距不同，同一场景不同图像间存有聚焦的图像和离焦的图像，同时也使得像点位置发生偏移。其中，离焦的图像对应大光圈摄像头，对应的焦距较大，图像分辨率较高，具有较模糊的像点(参见图4，图像t1为第一摄像头10捕获的图像；其中，像点a1、b1、p1分别对应图3的特征点a、b、p，圆圈中部的点为像点的点中心)；聚焦的图像对应小光圈摄像头，对应的焦距较小，具有较清晰的像点(参见图4，图像t2为第二摄像头20捕获的图像；其中，像点a2、b2、p2分别对应图3的特征点a、b、p)。其中，由于特征点a、b、p对应不同的深度信息，因此，像点a1、b1、p1可以分别处于第一摄像头10所在相机系统的焦平面的不同侧；像点a2、b2、p2可以分别处于第二摄像头20所在相机系统的焦平面的不同侧。

在步骤s103中，获取不同图像中对应同一特征点的像点组，获得像点组中像点间的位置偏移量。

在本实施例中，位置偏移量是指不同图像中对应同一特征点的像点组间的位置存在的偏移，在一个实施例中，位置偏移量是指像点组各像点点中心间位置偏移的大小或方向，位置偏移量为矢量偏移。由于任何时刻某一特征点在空间只占有一个唯一的位置，因而每幅图像上每一像点只能与唯一一个特征点对应，由此同一像点组间像点点中心的位置偏移量是唯一的。

在本实施例中，任何时刻某一特征点在空间只占有一个唯一的位置，因而每幅图像上每一像点只能与唯一一个特征点对应，即像点组与特征点具有唯一的映射关系。

在一个实施例中，步骤s103包括：步骤s1031、步骤s1032以及步骤s1033。

在步骤s1031中，选定至少一特征点，根据特征点获取对应的像点组。

当选定其中一特征点时，则可以根据映射关系获取该特征点对应的像点组。或者，也可以选定一像点，根据映射关系获取对应特征点，从而根据特征点获取对应同一特征点的其他像点。

在步骤s1032中，获取像点组中各像点点中心的位置坐标。

在确定同一特征点对应的像点组后，确定像点组各像点的位置，并获取各像点点中心的位置坐标。由于图像对应的捕获焦距不同，因此不同图像的模糊程度不同，也即，同一特征点对应的像点组的图像模糊程度不同，而像点点中心的检测，与图像模糊程度以及环境光照无关，因此在不同成像条件下，通过像点点中心位置坐标计算位置偏移量，能保证测量精度的可靠性，提高深度信息获取的准确度。

在s1033中，根据位置坐标获取像点组中像点间的位置偏移量。

在筛选出同一特征点对应的像点组后，根据像点点中心位置坐标就可以获取位置偏移量。

上述步骤中，可以选取捕获图像所在平面为xy平面，并在xy平面上建立二维坐标系，其二维坐标系的原点位置在本申请中不做进一步的限定。以捕获的图像为两幅图像为例，位置偏移量可以将第一图像与第二图像重叠之后映射在xy平面上，并获取两个图像中对应同一特征点的各像点点中心位置坐标之间的矢量距离。例如，选取某一特征点a，根据映射关系选取出与特征点a对应的像点组(辅助参见图3-图5)：a1(位于图像t1)和a2(位于图像t2)，像点a1在xy平面的坐标信息为a1(x11，y11)，像点a2在xy平面的坐标信息为(x21，y21)，根据像点a1和像点a2就可以获取位置偏移量d1；b1(位于图像t1)和b2(位于图像t2)，像点b1在xy平面的坐标信息为b1(x12，y12)，像点b2在xy平面的坐标信息为(x22，y22)，根据像点b1和像点b2就可以获取位置偏移量d2。

由此，针对每个特征点，可以获取两个图像中对应同一特征点的像点点中心的位置坐标之间的矢量距离；根据确定的多个特征点，可以对获取各个特征点对应的各个像点，以及各个像点组对应的位置偏移量。

在一个实施例中，为了提高特征点与像点组间的匹配度，步骤s103还包括步骤s1034。

在步骤s1034中，建立特征点与像点间的第二映射关系。

可通过实验、理论运算等方式或相结合的方式，预先设置特征点与像点间的第二映射关系，继而根据第二映射关系匹配特征点与对应的像点组。在一个实施例中，可以预先建立特征点与像点间的映射关系表，并根据映射关系表拟合出特征点与像点间的第二映射关系。其中，拟合特征点与像点间的映射关系，可以通过设置函数模型，确定出特征点的位置坐标与像点的位置坐标满足的函数，通过计算机几何技术，在二维坐标系中绘制拟合曲线，从而确定特征点的位置坐标与对应像点的位置坐标值满足的函数。

在步骤s104中，根据像点组、位置偏移量以及焦距获取特征点的深度信息，生成深度图。

在本实施例中，根据像点组点中心的位置坐标、像点组点中心的位置偏移量以及所利用的摄像头的焦距获取特征点的深度信息。以两个摄像头捕获图像为例，其中，第一摄像头的中心点、第二摄像头的中心点位于同一平面，可以设定确定两个摄像头的拍摄位置(拍摄角度)和摄像头中心点间的距离以及第一摄像头和第二摄像头的焦距。基于三角测距原理，可以获取特征点与两个摄像头中心点所在平面之间的距离z，其中，距离z即为特征点的深度信息。具体地，距离z＝两个摄像头中心点之间的距离*(第一摄像头或第二摄像头的焦距)/位置偏移量。其中，由于位置偏移量为矢量，因此深度信息的重建可以扩展到摄像头所在相机系统的焦平面的内外侧。

可选地，本方案还可以适用于包括三个或三个以上的摄像头的电子设备。以三个摄像头为例进行说明，可以构成两两摄像头的组合，每个组合中的两个摄像头可以获取特征点的深度信息，这样就可以获取三组深度信息，可以将三组深度信息的平均深度作为特征点的实际深度。提高深度信息获取的准确度，进而实现对拍摄物体的精确对焦。

在本实施例中，可以只获取稀疏点图案对应的深度图。如果需要得到所有特征点的深度信息，可以利用表面内插算法或逼近算法等在已确定的特征点深度信息之间计算出其他未确定特征点的深度值。

在步骤s105中，选定目标图像，根据深度图对图像上的目标区域进行重新聚焦。

在本实施例中，先选定需要进行重聚焦的图像，再从目标图像中确定出一目标区域进行重新聚焦。其中，目标区域是指目标图像上感兴趣的区域，例如人像中的脸部区域，或者其他具有特殊标记的区域。目标区域可以根据实际需求进行大小的选取。

在一实施例中，目标图像选取离焦效果较好的图像，即选取光圈较大的摄像头捕获的图像，该图像具有较模糊的点，较高的图像分辨率，进行重新聚焦时对比度更高，重聚焦效果更突出。

例如，步骤s105可以包括：步骤s1051和步骤s1052。在步骤s1051中，对不同图像对应的焦距进行比较，将最大焦距对应的图像选定为目标图像。在步骤s1052中，根据深度图对图像上的目标区域进行重新聚焦。

在一实施例中，可以选定多个目标区域，依次为目标图像的每一目标区域匹配不同的深度信息；根据匹配的深度信息对目标区域进行重新聚焦。对目标区域进行逐一重聚焦的方式，相对于整个目标图像一次聚焦的方式而言，其聚焦精度大大增强，清晰度更好，且对于后期背景虚化的效果有明显提高。

本实施例提供的控制方法，通过投射目标物体的特征点图案，在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像，继而获取不同图像中对应同一特征点的像点组像点间的位置偏移量，再根据像点组、位置偏移量以及焦距获取准确度较高的深度信息，生成深度图，由此根据深度图实现对图像上目标区域的精确聚焦，提高图像整体的清晰度，提高用户的体验。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

参见图6，图6为一实施例提供的一种图像重新聚焦的控制系统的系统结构图。

本实施例的控制系统包括的各模块设置为执行图1对应的实施例中的各步骤，具体请参阅图1以及图1对应的实施例中的相关描述，此处不赘述。本实施例的控制系统包括：图案建立模块101、图像捕获模块102、偏移量获取模块103、深度图生成模块104以及聚焦模块105。具体地：

图案建立模块101，设置为投射目标物体的特征点图案。

图像捕获模块102，设置为在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像。

偏移量获取模块103，设置为获取不同图像中对应同一特征点的像点组，获得像点组中像点间的位置偏移量。

深度图生成模块104，设置为根据像点组、位置偏移量以及焦距获取特征点的深度信息，生成深度图。

聚焦模块105，设置为选定目标图像，根据深度图对图像上的目标区域进行重新聚焦。

其中，图案建立模块101包括但不限于投影仪等投影组件；图像捕获模块102包括但不限于多个具有不同光圈的摄像头或一个具有多个光圈的摄像头；偏移量获取模块103和深度图生成模块104包括但不限于图像分析装置；聚焦模块105包括但不限于图像处理装置。

在一个实施例中，图案建立模块101包括第一映射单元和投射单元。

第一映射单元，设置为建立目标物体与特征点图案的第一映射关系。

投射单元，设置为根据第一映射关系，利用目标物体向场景投射出特征点图案。

在一个实施例中，偏移量获取模块103包括第一选定单元、第一获取单元以及第二获取单元。

第一选定单元，设置为选定至少一特征点，根据特征点获取对应的像点组。

第一获取单元，设置为获取像点组中各像点点中心的位置坐标。

第二获取单元，设置为根据所述位置坐标获取像点组中像点间的位置偏移量。

在另一实施例中，偏移量获取模块103还包括第二映射单元。

第二映射单元，设置为建立特征点与像点间的第二映射关系。

在一个实施例中，聚焦模块105包括第二选定单元和聚焦单元。

第二选定单元，设置为对不同图像对应的焦距进行比较，将最大焦距对应的图像选定为目标图像。

聚焦单元，设置为根据深度图对图像上的目标区域进行重新聚焦。

本发明实施例提供的控制系统，包括图案建立模块、图像捕获模块、偏移量获取模块、深度图生成模块以及聚焦模块，通过图案建立模块投射目标物体的特征点图案；图像捕获模块在不同捕获角度且不同焦距下，根据特征点图案捕获至少两幅图像；继而偏移量获取模块获取不同图像中对应同一特征点的像点组像点间的位置偏移量，深度图生成模块根据像点组、位置偏移量以及焦距获取准确度较高的深度信息，生成深度图；聚焦模块根据深度图对目标区域进行聚焦。由此，系统能够实现对图像上目标区域的精确聚焦，提高图像整体的清晰度，提高用户的体验。

上述控制系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行上述任一实施例中的控制方法的步骤。

本申请实施例还提供一种终端设备，该终端设备包括处理器，处理器用于执行存储器中存储的计算机程序以实现上述各个实施例提供的控制方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)等。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。