双目相机以及基于双目相机的测距方法与流程

文档序号:12789921阅读:598来源:国知局
双目相机以及基于双目相机的测距方法与流程

本发明总体地涉及基于双目相机的立体视觉技术,具体地涉及一种双目相机以及基于双目相机的测距方法。



背景技术:

双目相机是一种日益受关注的能够提供立体视觉的设备。基于双目相机获得的图像,通过双目视差原理,能够计算出双目相机所拍摄到的物体相对于相机的三维空间位置。

现有技术中,双目相机的两个镜头具有彼此平行的光轴,两个镜头在垂直于光轴的方向上并排布置并且具有彼此分开的取景窗口,对于同一被成像物体具有不同的视角,从而获得不同的图像。不同图像之间的差异就可以用来计算物体距离双目相机之间的距离。存在的一个问题是,由于两个摄像头通过不同的取景窗口取景,所以两个镜头分别获得的图像相对于彼此会存在遮挡,这种遮挡的存在导致无法计算被遮挡的物体的距离或空间位置。



技术实现要素:

有鉴于此,本发明的目的是提供一种新型的双目相机,其至少改善了现有的双目相机中存在的上述遮挡问题。

根据本发明的一个方面,提供了一种双目相机,其包括第一成像镜头和第二成像镜头以及分别用于感测第一成像镜头和第二成像镜头成像得到的图像的第一图像传感器和第二图像传感器,其中,所述双目相机还包括分束镜,其用于将进入双目相机的单个光束分为分别投射向所述第一成像镜头的第一光束和投射向第二成像镜头的第二光束;并且在将光路以该光路中的反射面为对称面做镜像形成的等效光路中,所述第一成像镜头的光轴和第二成像镜头的光轴相互平行且彼此偏离预定距离。

优选,所述第一成像镜头与所述分束镜相距第一光程长度,所述第二成像镜头与所述分束镜相距第二光程长度,并且第一光程长度小于第二光程长度。

所述双目相机还可以包括一反射镜,该反射镜布置成使来自分束镜的第二光束的方向发生偏折从而投射到第二成像镜头上。

在一些实施例中,在实际空间布置中,所述第一成像镜头和第二成像镜头的光轴相互平行,并且所述第一和第二成像镜头沿其光轴方向并排布置。

优选,所述分束镜为偏振分光棱镜。

优选,所述第一成像镜头和第二成像镜头为相同的镜头。

所述双目相机还可以包括图像处理和计算单元,该图像处理和计算单元配置为:在所述第一成像镜头和第二成像镜头在同一时刻分别采集到的第一图像和第二图像中,识别和匹配特征点;以第一成像镜头和第二成像镜头的光轴相对于彼此偏离的方向为基准方向,获取相互匹配的特征点在第一图像中相对于第一成像镜头的光轴上点的成像位置在基准方向上的第一偏移量及其在第二图像中相对于第二成像镜头的光轴上点的成像位置在基准方向上的第二偏移量;以及计算基于第一成像镜头和第二成像镜头的光轴彼此偏离的所述预定距离、所述第二物距与第一物距的差、以及所述第一偏移量和第二偏移量计算物体与双目相机的距离。

根据本发明的另一个方面,提供了一种基于双目相机的测距方法,其包括如下处理:利用具有第一成像镜头和第二成像镜头的双目相机采集物体图像,其中第一成像镜头和第二成像镜头的光轴在等效光路中相互平行且彼此偏离预定距离,且第一成像镜头距离物体的第一物距不同于第二成像镜头距离物体的第二物距;在所述第一成像镜头和第二成像镜头在同一时刻分别采集到的第一图像和第二图像中,识别和匹配特征点;以第一成像镜头和第二成像镜头的光轴相对于彼此偏离的方向为基准方向,获取相互匹配的特征点在第一图像中相对于第一成像镜头的光轴上点的成像位置在基准方向上的第一偏移量及其在第二图像中相对于第二成像镜头的光轴上点的成像位置在基准方向上的第二偏移量;以及计算基于第一成像镜头和第二成像镜头的光轴彼此偏离的所述预定距离、所述第二物距与第一物距的差、以及所述第一偏移量和第二偏移量计算物体与双目相机的距离。

在一些实施例中,所述计算物体与双目相机的距离的处理包括根据以下公式计算物体与近端镜头之间的第一物距D:

其中,x1为第一偏移量;x2为第二偏移量;ΔOx为第一成像镜头和第二成像镜头的光轴彼此偏离的预定距离;Δd为第二物距与第一物距的差;v为双目相机中所述第一成像镜头和第二成像镜头距离其对应的图像传感器的距离,其中假设第一成像镜头和第二成像镜头距离其对应的图像传感器的距离是相同的,其中ΔOx在第二光轴与物体位于第一光轴的同一侧时为正值,位于不同侧时为负值;x2在其与x1位于第二光轴的同一侧时为正值,位于不同侧时为负值。

所述测距方法优选还包括在采集物体图像的处理之前,对双目相机进行标定。

根据本发明,由于利用了单个取景光束,并且双目相机的两个成像镜头的光轴之间的偏移距离较小,所以很大程度上减小两个镜头相对于彼此的图像遮挡问题。

此外,根据本发明,在优选的实施方式中,利用了相距物体具有不同物距的近端镜头和远端镜头,可以提高双目相机对物体空间位置的分辨力。

附图说明

从下面结合附图对本发明实施例的详细描述中,本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解,其中:

图1为根据本发明实施例一的双目相机的示意图;

图2示出了图1所示双目相机的等效光路图;

图3为根据本发明实施例二的双目相机的示意图;

图4示出了图3所示双目相机的等效光路图;

图5为根据本发明实施例三的基于双目相机的测距方法的示意性框图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1为根据本发明实施例一的双目相机100的示意图。如图1所示,双目相机100包括第一成像镜头11、第二成像镜头21以及分别用于感测第一成像镜头11和第二成像镜头21成像得到的图像的第一图像传感器12和第二图像传感器22。第一成像镜头11、第二成像镜头21可以为相同的镜头。

双目相机100还包括分束镜30,用于将进入双目相机100的单个光束分为分别投射向所述第一成像镜头11的第一光束和投射向第二成像镜头21的第二光束。分束镜30优选为棱镜分束镜,更优选为偏振分光棱镜(PBS,polarization beam splitter)。

在本实施例中,双目相机100还包括反射镜40。如图所示,反射镜40布置在由分束镜30分出的第二光束的光路中,其反射第二光束以使其方向发生偏折从而投射到第二成像镜头21上。

图2示出了图1所示双目相机的等效光路图。等效光路图在这里指的是通过将光路以该光路中的反射面为对称面做镜像形成的与实际光路等效的光路示意图。对于图1所示示例,进入双目相机100的单个光束在分束镜30处透射形成第一光束,第一光束经由第一成像镜头11成像到第一图像传感器12上。由于该光路没有发生反射,所以在等效光路图中保持原样。而所述单个光束在分束镜30的反射面30a处反射形成第二光束,并且该第二光束还经过反射镜40的反射面40a的反射,因此在等效光路图将第二光束的光路以反射面30a和40a为对称面做镜像,得到图2所示的等效光路。

根据本发明,如图1和图2所示,双目相机100的第一成像镜头11和第二成像镜头21布置为使得它们在上述等效光路中,第一成像镜头11的光轴O1(图中以虚线示出)与第二成像镜头21的光轴O2(图中以双点划线示出)相互平行且彼此偏离预定距离ΔOx。由于用于第一成像镜头11和第二成像镜头21成像的光束都是来自于进入双目相机100的单个光束,所以该预定距离ΔOx相比于传统双目相机中两个镜头之间的偏移量而言要小得多。由于利用了单个取景光束,并且双目相机的两个镜头11、21的光轴之间的偏移距离ΔOx较小,所以很大程度上减小两个镜头相对于彼此的图像遮挡问题。

如图1所示,在实际空间布置中,第一成像镜头11和第二成像镜头21的光轴彼此平行,并且第一成像镜头11和第二成像镜头21垂直于光轴并排布置。应该理解的是,本发明并不限于此。例如,第一成像镜头11和第二成像镜头21也可以在光轴方向上具有不同的轴向位置(即非并排布置);或者,在实际空间布置中两者的光轴O1、O2可以是非平行的,只要它们在等效光路图中是平行的即可。

从图2中可以看到,被成像物体ob相对于第一成像镜头11的物距D1小于其相对于第二成像镜头21的物距D2。这是由于第一成像镜头11与分束镜30之间的第一光程长度小于第二成像镜头21与分束镜30之间的第二光程长度而造成的。这里,第一成像镜头11又可称为近端镜头,第二成像镜头21又可称为远端镜头。由于两个镜头相对于被成像物体具有不同的物距,对于不在镜头光轴上的物体来说,它们在通过两个镜头获得的图像中可能具有不同的像素位置,从而可以据此计算出物体的空间位置。相对于仅仅通过两个镜头之间的垂直于光轴方向上的位置偏移ΔOx而产生的立体视觉分辨力,当第一成像镜头11和第二成像镜头21布置为近端镜头和远端镜头时,可以进一步提高对物体空间位置的分辨力。

图3为根据本发明实施例二的双目相机200的示意图。双目相机200的构造与双目相机100基本相同,不同之处在于双目相机100在第二光束的光路中设置了反射镜40,用于偏转第二光束的方向,从而将其投射向与第一成像镜头11并排布置的第二成像镜头21;而双目相机200没有包括设置在第二光束的光路中的反射镜,并且在实际空间布置中,第一成像镜头211的光轴O1和第二成像镜头221的光轴O2形成一定角度。在图3所示示例中,该角度为90度。本发明并不限于该角度的具体大小。

图4示出了图3所示双目相机的等效光路图。进入双目相机200的单个光束在分束镜230处透射形成第一光束,第一光束经由第一成像镜头211成像到第一图像传感器212上。由于该光路没有发生反射,所以在等效光路图中保持原样。而所述单个光束在分束镜230的反射面230a处反射形成第二光束,因此在等效光路图将第二光束的光路以反射面230a为对称面做镜像,得到图4所示的等效光路。

类似于图2所示,在图4所示的双目相机200的等效光路中,第一成像镜头211的光轴O1(图中以虚线示出)与第二成像镜头21的光轴O2(图中以双点划线示出)相互平行且彼此偏离预定距离ΔOx。由于利用了单个取景光束,并且双目相机的两个镜头211、221的光轴之间的偏移距离ΔOx较小,所以很大程度上减小两个镜头相对于彼此的图像遮挡问题。

类似于双目相机100,图3和图4所示的双目相机200中,被成像物体ob相对于第一成像镜头211的物距D1小于其相对于第二成像镜头221的物距D2。从而,第一成像镜头211构成近端镜头,第二成像镜头221构成为远端镜头。这可以提高双目相机对物体空间位置的分辨力。

应该理解的是,尽管以上介绍的双目相机100、200中,第一成像镜头和第二成像镜头都布置为近端镜头和远端镜头,但是本发明并不限于第一和第二成像镜头的这种远近不同的布置方式。换句话说,在等效光路中,双目相机的两个镜头可以具有相同的沿光轴方向的物距,只要两个镜头在等效光路中的光轴是相互平行且相对于彼此偏离预定距离的。

以下将结合图5介绍根据本发明实施例三的基于双目相机的测距方法。如图所示,该基于双目相机的测距方法可以包括如下处理:

S10:标定双目相机,可以包括标定双目相机的内部参数和/或外部参数;

S20:采集双目图像,具体地,利用具有第一成像镜头和第二成像镜头的双目相机采集物体图像,其中第一成像镜头和第二成像镜头的光轴在等效光路中相互平行且彼此偏离预定距离,且第一成像镜头距离物体的第一物距不同于第二成像镜头距离物体的第二物距;

S30:识别和匹配特征点,具体地,在所述第一成像镜头和第二成像镜头在同一时刻分别采集到的第一图像和第二图像中,识别和匹配特征点(特征点的识别和匹配是本领域中常用的技术,在此不再赘述);

S40:获取特征点在图像中的偏移量,具体地,以第一成像镜头和第二成像镜头的光轴相对于彼此偏离的方向为基准方向,获取相互匹配的特征点在第一图像中相对于第一成像镜头的光轴上点的成像位置在基准方向上的第一偏移量及其在第二图像中相对于第二成像镜头的光轴上点的成像位置在基准方向上的第二偏移量;以及

S50:计算物体的位置,具体地,计算基于第一成像镜头和第二成像镜头的光轴彼此偏离的所述预定距离、所述第二物距与第一物距的差、以及所述第一偏移量和第二偏移量计算物体与双目相机的距离。

由于处理S10并不是每一次测距都会发生,所以根据本发明的上述测距方法并不限于包括该处理的情形,换句话说,该方法可以不包括处理S10。

下面结合图1至4示出的双目相机的实施例,更具体地介绍处理S50。在处理S50中,根据第一成像镜头和第二成像镜头成像时的几何关系,分别可以得到:

结合两个关系式,可以得到以下结果:

为了确保获得的物距D为正值,可以另D取上式右侧的绝对值:

其中,X为在基准方向上,物体距离第一成像镜头的光轴O1的距离;x1为第一偏移量;x2为第二偏移量;ΔOx为第一成像镜头和第二成像镜头的光轴O1、O2彼此偏离的预定距离;D1为第一物距,以下计算中也记为D;D2为第二物距;Δd为第二物距与第一物距的差;v为双目相机中所述第一成像镜头和第二成像镜头距离其对应的图像传感器的距离,其中假设第一成像镜头和第二成像镜头距离其对应的图像传感器的距离是相同的。这里,ΔOx在第二光轴O2与物体ob位于第一光轴O1的同一侧时为正值,位于不同侧时为负值;x2在其与x1位于第二光轴O2的同一侧时为正值,位于不同侧时为负值。

尽管图中没有示出,但是本领域技术人员能够理解,根据本发明实施例的双目相机还可以包括图像处理和计算单元。该图像处理和计算单元可以用于接收来自第一和第二图像传感器的双目图像,执行以上处理S30~S50。识别第一和第二图像传感器在同一时刻分别检测到的第一图像和第二图像中的对应特征点,获取该特征点在第一图像中相对于第一成像镜头的光轴上点的成像位置的第一偏移量及其在第二图像中相对于第二成像镜头的光轴上点的成像位置的第二偏移量,并基于第一和第二成像镜头的光轴彼此偏离的所述预定距离、所述第一光程长度与第二光程长度、以及所述第一偏移量和第二偏移量计算物体与双目相机的距离。

以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此,本发明的保护范围应该以权利要求的保护范围为准。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1