基于RGB‑IR深度相机的自动对焦方法及系统与流程

本发明涉及自动对焦领域，特别是涉及一种利用RGB-IR深度相机获取深度信息以实现自动对焦的方法和相机系统。

背景技术：

自动对焦技术是实现相机拍摄高质量图像的关键，自动对焦技术主要分为被动式和主动式自动对焦。被动式自动对焦是利用被对焦物体在像面所成的图像的清晰度来进行对焦，一般地，需要经过爬山法或者梯度下降等算法进行迭代，即通过一次次的调整焦距直到图像最为清晰为至，这种方法优点在于不需要利用其他装置，缺点在于对焦速度较慢。主动式自动对焦是根据被对焦物体距离镜头的深度值来实现对焦，用于测量物体深度值的方法有激光测距法、超声测距法等等，这种方法的优点在于能快速进行自动对焦，不足之处在于需要额外的装置来测量深度。

随着近年来摄像头数量的增加，比如双摄像头的出现，主动式自动对焦技术又出现了利用双目视觉法计算出深度然后实现对焦。事实上，由于双目视觉计算深度的算法较为复杂，且精度不能保证，因而这种自动对焦技术也不能达到很好的效果。

目前的基于深度相机的主动式对焦技术，对于深度信息的获取一般是在获取目标区域之前就完成所有深度图像的深度信息的获取，这样就存在这样一个问题，由于事先需要对振幅图像进行深度信息计算，并存储所有的深度信息，导致目前的自动对焦技术计算量非常大，特别是，针对类似于摄影等的动态模式下，因为需要实时保证图像的清晰，所以对焦的过程需要一直运行，目前最低帧率(FPS)也要20-30左右，每一帧下针对视野范围内的图像的每个像素完成深度信息的获取，显然这个计算量非常大，如果针对更高的帧率，这一计算量将更大，所以对焦速度将变得很慢，直接导致拍摄的图像清晰度降低。

另外，上述的基于深度相机的自动对焦技术，由于计算量大，对于多点对焦的更加不堪重负，所以不能实现多点对焦的功能。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

技术实现要素：

本发明目的在于提出一种基于深度相机的自动对焦方法及系统，以解决上述现有技术存在的获取深度信息不当导致的计算量大、无法很好流畅的自动对焦的技术问题。

为此，本发明提出一种基于深度相机的自动对焦方法，包括以下步骤：

S1：利用投影模块向目标空间投射经编码的红外结构光图案；

S2：利用RGB-IR相机获取目标区域的RGB图像；

S3：获取该RGB图像中需要对焦的对焦区域；

S4：深度相机根据该对焦区域，在采集图像的对应位置上，截取仅包括该对焦区域的深度提取区域，利用RGB-IR相机仅获取该深度提取区域的结构光红外图像，根据该深度提取区域计算该对焦区域的深度信息；

S5：根据所述深度信息通过所述RGB-IR相机进行自动对焦。

优选地，本发明提供的方法还可以具有如下特征或步骤：

此外为了解决多点对焦的问题，步骤S3中，该RGB图像中包括一个或一个以上的需要对焦的对焦区域。

同时，针对多点对焦的问题，步骤S4中，所述深度相机根据一个以上的该对焦区域，在采集图像的对应的一个以上的位置上，截取对应个数的仅包括该对焦区域的深度提取区域，利用RGB-IR相机分别获取各所述深度提取区域的结构光红外图像，根据各所述深度提取区域计算各所述对焦区域的多个深度信息，步骤S5中，根据所述多个深度信息通过所述RGB-IR相机进行自动对焦。

对于单点对焦，步骤S4中，所述深度相机根据该对焦区域，在采集图像的对应位置上，截取一个仅包括该对焦区域的深度提取区域，利用RGB-IR相机仅获取该深度提取区域的结构光红外图像，根据该深度提取区域计算该对焦区域的深度信息。

获取RGB图像中对焦区域各像素的深度值；若对焦区域为单个像素点，则将该像素点的深度值直接作为深度信息进行自动对焦；

若所述对焦区域中包含多个像素，则需要将多个像素的深度值融合成单一的深度值，得到该区域的单一深度信息。

按深度值大小分布情况，选取中间分布的像素的深度值来做平均，从而得到该对焦区域的单一深度信息。

步骤S3中，所述对焦区域包括动态对焦区域和静态对焦区域，步骤S4中，根据所述对焦区域的状态对采集图像的对应截取深度提取区域。

另外本发明还提出了一种基于深度相机的自动对焦系统，利用上述任一项所述的自动对焦方法执行对焦，包括投影模块、RGB-IR相机、处理器模块以及控制器模块，投影模块用于向目标空间投射经编码的红外结构光图案；RGB-IR相机用于同步获取对焦区域的结构光红外图像以及目标区域的RGB图像，深度相机单元以及变焦相机单元分别获取对焦区域的深度图像以及RGB图像；处理器单元用于获取RGB图像中的对焦区域以及该对焦区域的深度信息；控制器模块用于根据深度信息对RGB-IR相机进行自动对焦。

所述RGB-IR相机包括图像传感器、滤光片和变焦镜头，所述滤光片包括R滤光单元、G滤光单元、B滤光单元和IR滤光单元，通过R滤光单元、G滤光单元和B滤光单元获得RGB图像，通过IR滤光单元获取结构光红外图像。

所述投影模块包括红外光源、准直透镜和衍射光学元件，所述红外光源发射的红外激光通过所述准直透镜进行准直后，经衍射光学元件扩束成多束激光，在目标空间中投射编码的红外结构光图案。

本发明与现有技术对比的有益效果包括：本发明主要利用了RGB-IR相机与的特色进行获取深度值，因RGB-IR相机除了传统的R(红)、G(绿)、B(蓝)光的通道外，还可以采集IR光(红外光)，利用这一特性，本发明将基于结构光的深度相机与RGB-IR相机相互整合，实现了深度图像与RGB图像的无视差采集，免去了配准的步骤，可直接将深度提取区域获取的深度信息作为自动对焦的深度值，进一步提高了自动对焦的速度，降低了计算量。

除此之外，本发明的自动对焦方法是在获取目标区域的RGB图像，并在RGB图像中获取需要对焦的对焦区域后才对利用深度相机获取深度图像，并且所用来提取深度图像的深度提取区域仅仅包括对焦区域所在的区域，截取了采集图像上除对焦区域以外的其他区域，以此来获取深度信息，这样相比于现有的深度信息获取方法，一方面，对比于采用双目视觉法通过获取第一和第二目标图像经过一套复杂的算法来获取深度值而言，本方法可以对目标空间中任一位置实现快速且高精度的自动对焦，优于目前主动式自动对焦的方法，同时优于基于激光测距等被动式自动对焦的方法，另一方面，自动对焦的计算量大大降低，无需事先全部计算出全部的深度信息，帧率的影响较小，就算基于帧率较高的情况下，也能快速对焦，特别的，本发明更加适用于动态目标的快速对焦，实施对焦的效果大大提高，使得拍摄的图像更为清晰，可以流畅的自动对焦。

附图说明

图1是本发明具体实施方式一的系统框图。

图2是本发明具体实施方式一中自动对焦系统设于移动终端上示意图；

图3是本发明具体实施方式一RGB-IR相机的结构示意图。

图4是本发明具体实施方式一滤光片各滤光单元占比图一。

图5是本发明具体实施方式一滤光片各滤光单元占比图二；

图6是本发明具体实施方式二的流程图；

图7是本发明具体实施方式三的流程图；

图8是本发明具体实施方式二和三的光路示意图。

图9为本发明具体实施方式二中RGB-IR相机获取的RGB图像示意图。

图10为本发明具体实施方式二中RGB-IR相机的获取的深度图像示意图。

图11为本发明具体实施方式二对焦后的RGB图像。图12为本发明具体实施方式三的RGB-IR相机获取的RGB图像示意图。

图13为本发明具体实施方式三的RGB-IR相机获取的深度图像示意图。

图14为本发明具体实施方式三的对焦后RGB图像。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参照以下附图1-14，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。

实施例一：

本实施例提出了一种基于RGB-IR深度相机的自动对焦系统，RGB-IR相机可以同时获取可见光(RGB图像)数据和红外光数据。如图1所示，投影模块1、RGB-IR相机2、处理器模块4以及控制器模块3，投影模块1用于向目标空间投射经编码的红外结构光图案；RGB-IR相机2用于同步获取对焦区域5的结构光红外图像以及目标区域的RGB图像，深度相机单元以及变焦相机单元分别获取对焦区域5的深度图像以及RGB图像；处理器单元用于获取RGB图像中的对焦区域5以及该对焦区域5的深度信息；控制器模块3用于根据深度信息对RGB-IR相机2进行自动对焦；如图3所示，所述RGB-IR相机2包括图像传感器21、滤光片22和变焦镜头23，如图4-5所示，所述滤光片22包括R滤光单元221、G滤光单元222、B滤光单元223和IR滤光单元224，通过R滤光单元221、G滤光单元222和B滤光单元223获得RGB图像，通过IR滤光单元224获取结构光红外图像。

基于结构光原理的深度相机一般由投影模组以及采集模组组成，通过投影模组向目标空间投射经编码的结构光图案，采集模组采集到被空间物体深度调制后的结构光图像，再利用三角法计算出图像中各像素的实际深度值。

本实施例中，深度相机的采集模组由RGB-IR相机2的IR光(红外光)通道所替代，与RGB-IR整个为一个摄像头，这样，RGB-IR相机2可以同时采集目标区域的RGB图像和对焦区域5的深度图像，此时，经RGB-IR相机2获取的采集图像7为结构光红外图像，由此，RGB-IR相机2成为集变焦和深度图像采集功能于一身的相机模组。

本实施例中，投影模块1独立设置，投影模块1根据投射的结构不同，其结构也不同。本实施例以散斑颗粒结构光为例来说明。投影模块1一般由红外光源、准直透镜以及衍射光学元件(DOE)组成。光源为红外激光，可以是单个的边发射激光光源，也可以是垂直腔面发射激光阵列光源。由于激光光源发出的光有一定的发散角，因而需要利用准直透镜进行准直以发射出焦距的光束。激光光束经DOE后被扩束成多束激光，并在空间中形成散斑颗粒图案。

本实施例中，如图2所示，为设有基于RGB-IR深度相机的移动终端A，包括RGB-IR相机2和投影模块1，两者呈一字型排列。

如上所述，如图3所示，RGB-IR相机2由图像传感器21、滤光片22以及变焦镜头23组成，图像传感器21可以为CCD或者CMOS，以及变焦镜头23组成。另外，与普通相机不同的是，这里的滤光片22并非拜尔滤光片，而是由四种不同的滤光单元组成，分别可以通过R、G、B以及IR光分量。传统的拜尔滤光片中R、B分量各占25％，而G占50％，图4所示的滤光片22中则是将G分量的一半变成IR分量，从而该RGB-IR相机2可以同时获取R、G、B以及IR光的强度信息。如图5所示，在其他实施例中四个分量也可以有其他排列或者其他占比。在图像传感器21获取R、G、B以及IR的信息之后，由于每一信息都只占有部分的像素，因而需要通过插值的方式恢复每个像素上的其他三种分量的强度信息，从而最终实现同步获取RGB图像以及IR图像，由于RGB图像和IR图像的获取为在同一相机同步获取的，所以这里的RGB图像与IR图像之间没有像素视差。插值的方法有多种，比如加权平均等，由于为已有技术因而在这里不加以详述。

由所述的投影模块1以及所述RGB-IR相机2，就组成了可以测量目标深度信息的深度相机。该深度测量是基于结构光三角法原理，即由投影模块1向目标空间投射经编码的红外结构光图案后，由RGB-IR相机2采集到被空间物体深度调制后的红外结构光图像，再利用三角法计算出图像中各像素的实际深度值。

处理器单元通过硬件芯片以及软件应用的组合来实现对相机所采集到的数据进行处理。需要说明的是，对于将红外结构光图像经三角法计算获得深度信息的过程也需要处理器的处理，这个处理器可以是另外专用的芯片，也可以由本处理器单元完成，这一技术为共知技术，将不再特别说明。

对于本自动对焦相机系统而言，处理器单元用于获取RGB图像中需要对焦的区域以及该区域的单一深度信息。

实施例二：

本实施例中，如图6所示，根据实施例一提出的基于RGB-IR深度相机的自动对焦系统，提出了一种基于RGB-IR深度相机的自动对焦方法，本实施例主要用于单点对焦，可参照光路图8。

首先，S1、利用投影模块1向目标空间投射经编码的红外结构光图案；

投影模块1根据投射的结构不同，其结构也不同。本实施例以散斑颗粒结构光为例来说明。投影模块1一般由红外光源、准直透镜以及衍射光学元件(DOE)组成。光源为红外激光，可以是单个的边发射激光光源，也可以是垂直腔面发射激光阵列光源。由于激光光源发出的光有一定的发散角，因而需要利用准直透镜进行准直以发射出焦距的光束。激光光束经DOE后被扩束成多束激光，并在空间中形成经编码的红外结构光图案。

其次，S2、利用RGB-IR相机2获取目标区域的RGB图像6。

如图9所示，RGB-IR相机2通过R滤光单元221、G滤光单元222和B滤光单元223获得RGB图像6，这时的RGB图像6中的目标可以是动态的，也可以是静态的，主要是相机的工作模式而定。

再者，S3、获取该RGB图像6中需要对焦的对焦区域5；

一般地，RGB图像6中运动物体常被默认为需要对焦的对象，比如人或动物；也常将中间区域作为默认对焦区域5；因而，可以通过程序设置出默认对焦的像素区域。另外，也可以通过人工主动选取的方式，比如通过手指触摸图像区域的方式获取对焦区域5。被选中的区域一般具有一定的大小和形状，同样可以程序默认或手选，比如方形、圆形等，也可以是一个具体地像素点，在这里不做限制。

本实施例中，单点对焦的模式下所述RGB图像6中包括一个需要对焦的对焦区域5，且所述对焦区域5包括动态对焦区域和静态对焦区域，根据目标3的状态获取对焦区域5。

其次，如图10所示，S4、所述深度相机根据该对焦区域5，在采集图像7的对应位置上，截取一个仅包括该对焦区域5的深度提取区域4，利用RGB-IR相机2仅获取该深度提取区域4的结构光红外图像，根据该深度提取区域4计算该对焦区域5的深度信息。

由结构光红外图像得到深度信息的原理为三角法测量原理，具体地，这里的结构光红外图像为目标散斑图像。在计算深度信息之前，需要在已知深度的平面上获取一幅参考散斑图像，然后将目标散斑图像与参考散斑图像进行匹配计算，获取两幅图像上对应像素的偏离值，根据三角法原理，偏离值与深度信息有一一对应关系，从而可以根据偏离值得到目标散斑图像上各像素的深度信息。

最后，S5、根据所述深度信息通过所述RGB-IR相机2进行自动对焦。图11中的8为单点对焦最终的RGB图像。

获取RGB图像中对焦区域5各像素的深度值；若对焦区域5为单个像素点，该像素点的深度值就可以直接用来进行自动对焦。若对焦区域5中包含多个像素点，则需要将多个像素点的深度值融合成单一的深度值。优选地，取该区域中各像素的深度值的平均值作为该区域的单一深度信息；进一步的，为了避免个别像素深度值太大或太小从而影响区域中对焦对象的准确深度，按深度值大小分布情况，选取中间分布的像素的深度值来做平均，从而得到该区域的单一深度信息。也可以通过其他方法来获取，在此不作限定。

控制器单元用于根据深度信息对RGB-IR相机2的变焦镜头23进行自动对焦。在获取了需要对焦区域5的单一深度信息后，调整变焦镜头23的焦距以满足对该深度处聚焦。调整可以通过预先设定的程序来完成，具体地，焦距大小与深度大小之间有一定的关系，将该关系以程序的形式保存在相机系统的存储中，当获取到单一的深度信息后，根据程序计算出调整的量，然后由控制器单元实现自动对焦。这里所述的存储器单元几乎在所有的电子设备中都存在，都用来存储数据，因而被默认存在于本系统中，这里不加以详细描述。

本实施例主要利用了RGB-IR相机2与的特色进行获取深度值，因RGB-IR相机2除了传统的R(红)、G(绿)、B(蓝)光的通道外，还可以采集IR光(红外光)，利用这一特性，本实施例将基于结构光的深度相机与RGB-IR相机2相互整合，实现了深度图像与RGB图像的无视差采集，免去了配准的步骤，可直接将深度提取区域4获取的深度信息作为自动对焦的深度值，进一步提高了自动对焦的速度，降低了计算量。

除此之外，本实施例的自动对焦方法是在获取目标区域的RGB图像，并在RGB图像中获取需要对焦的对焦区域5后才对利用深度相机获取深度图像，并且所用来提取深度图像的深度提取区域4仅仅包括对焦区域5所在的区域，截取了采集图像7上除对焦区域5以外的其他区域，以此来获取深度信息，这样相比于现有的深度信息获取方法，一方面，对比于采用双目视觉法通过获取第一和第二目标图像经过一套复杂的算法来获取深度值而言，本方法可以对目标空间中任一位置实现快速且高精度的自动对焦，优于目前主动式自动对焦的方法，同时优于基于激光测距等被动式自动对焦的方法，另一方面，自动对焦的计算量大大降低，无需事先全部计算出全部的深度信息，帧率的影响较小，就算基于帧率较高的情况下，也能快速对焦，特别的，本实施例更加适用于动态目标的快速对焦，实施对焦的效果大大提高，使得拍摄的图像更为清晰，可以流畅的自动对焦。

实施例三：

本实施例中，如图7所示，根据实施例一提出的基于深度相机的自动对焦系统，提出了一种基于RGB-IR深度相机的自动对焦方法，本实施例与实施例二的区别在于本实施例为主要对于多点对焦。

首先，S1、利用投影模块1向目标空间投射经编码的红外结构光图案；

投影模块1根据投射的结构不同，其结构也不同。本实施例以散斑颗粒结构光为例来说明。投影模块1一般由红外光源、准直透镜以及衍射光学元件(DOE)组成。光源为红外激光，可以是单个的边发射激光光源，也可以是垂直腔面发射激光阵列光源。由于激光光源发出的光有一定的发散角，因而需要利用准直透镜进行准直以发射出焦距的光束。激光光束经DOE后被扩束成多束激光，并在空间中形成经编码的红外结构光图案。

如图12所示，其次，S2、利用RGB-IR相机2获取目标区域的RGB图像。

RGB-IR相机2通过R滤光单元221、G滤光单元222和B滤光单元223获得RGB图像，这时的RGB图像中的目标3可以是动态的，也可以是静态的，主要是相机的工作模式而定。

再者，S3、获取该RGB图像中需要对焦的对焦区域5；

一般地，RGB图像中运动物体常被默认为需要对焦的对象，比如人或动物；也常将中间区域作为默认对焦区域5；因而，可以通过程序设置出默认对焦的像素区域。另外，也可以通过人工主动选取的方式，比如通过手指触摸图像区域的方式获取对焦区域5。被选中的区域一般具有一定的大小和形状，同样可以程序默认或手选，比如方形、圆形等，也可以是一个具体地像素点，在这里不做限制。

本实施例中，多点对焦的模式下所述RGB图像中包括一个以上的需要对焦的对焦区域5，所述对焦区域5还可分为动态对焦区域和静态对焦区域，根据目标3的状态获取对焦区域5。

然后，如图13所示，S4、所述深度相机根据一个以上的该对焦区域5，在采集图像7的对应的一个以上的位置上，截取对应个数的仅包括该对焦区域5的深度提取区域4，利用RGB-IR相机2分别获取各所述深度提取区域4的结构光红外图像，根据各所述深度提取区域4计算各所述对焦区域5的多个深度信息；

由结构光红外图像得到深度信息的原理为三角法测量原理，具体地，这里的结构光红外图像为目标散斑图像。在计算深度信息之前，需要在已知深度的平面上获取一幅参考散斑图像，然后将目标散斑图像与参考散斑图像进行匹配计算，获取两幅图像上对应像素的偏离值，根据三角法原理，偏离值与深度信息有一一对应关系，从而可以根据偏离值得到目标散斑图像上各像素的深度信息。

最后，S5、根据所述多个深度信息通过所述RGB-IR相机2进行自动对焦。如图14所示，11为多点对焦最终的RGB图像。

获取RGB图像中对焦区域5各像素的深度值；若对焦区域5为单个像素点，该像素点的深度值就可以直接用来进行自动对焦。若对焦区域5中包含多个像素点，则需要将多个像素点的深度值融合成单一的深度值。优选地，取该区域中各像素的深度值的平均值作为该区域的单一深度信息；进一步的，为了避免个别像素深度值太大或太小从而影响区域中对焦对象的准确深度，按深度值大小分布情况，选取中间分布的像素的深度值来做平均，从而得到该区域的单一深度信息。也可以通过其他方法来获取，在此不作限定。

控制器单元用于根据深度信息对RGB-IR相机2的变焦镜头23进行自动对焦。在获取了需要对焦区域5的单一深度信息后，调整变焦镜头23的焦距以满足对该深度处聚焦。调整可以通过预先设定的程序来完成，具体地，焦距大小与深度大小之间有一定的关系，将该关系以程序的形式保存在相机系统的存储中，当获取到单一的深度信息后，根据程序计算出调整的量，然后由控制器单元实现自动对焦。这里所述的存储器单元几乎在所有的电子设备中都存在，都用来存储数据，因而被默认存在于本系统中，这里不加以详细描述。

本实施中，由于利用的是截取后深度提取区域4的深度信息进行自动对焦的，所以可以实现利用深度相机进行多点对焦的可能，在对焦的过程中，由于仅仅是获取一个以上的对焦区域5的一个以上的深度图像，对焦区域5以外的区域未进行深度值的获取，所以就算是对多个点进行自动对焦计算量也比较小，可以满足当前帧率下的快速计算，进而提交实现快速对焦的，而目前的基于深度相机的自动对焦方法，一般的，是将目标区域全部的深度图像提前获取，并将所有的深度信息实现存储，对于多点对焦而言并不能快速的找准对焦区域5的深度信息，特别是对于动态模式下，由于对焦过程一直在进行，所以，要实现快速的多点对焦更是不可能，加之一般的帧率也有20-30，所以多点对焦的计算量之大可想而知。

采用本实施例的深度信息的采集方法，实现了基于深度相机的多点自动对焦的可能，加之对焦速度快，计算量小，大大调高了对焦速度和实用性。

本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。

尽管已经描述和叙述了被看作本发明的示范实施例，本领域技术人员将会明白，可以对其做出各种改变和替换，而不会脱离本发明的精神。另外，可以做出许多修改以将特定情况适配到本发明的教义，而不会脱离在此描述的本发明中心概念。所以，本发明不受限于在此披露的特定实施例，但本发明可能还包括属于本发明范围的所有实施例及其等同物。