TOF设备的标定方法及其标定系统与流程

文档序号:18454874发布日期:2019-08-17 01:31阅读:479来源:国知局
TOF设备的标定方法及其标定系统与流程

本发明涉及tof(飞行时间,timeofflight)技术领域,特别是涉及一tof设备的标定方法及其标定系统。



背景技术:

近几年来,随着微电子技术、计算机技术、现代通信技术的飞速发展,人类社会正健步迈入信息化时代。相应地,tof设备(诸如tof相机)也随之迅速发展和普及,越来越多的场景和领域需要运用到tof设备,比如,三维建模、人脸识别、手势识别、人工智能、机器视觉、三维还原和目标追踪等诸多领域。

目前,市场上的tof设备通常包括一tof摄像模组和一rgb摄像模组,以通过该tof摄像模组获取一被测物体的深度信息和灰度图像,同时通过该rgb摄像模组获取该被测物体的彩色图像,以便后续进行诸如三维还原、立体图像匹配和三维重建等等应用。值得注意的是,该tof设备的该tof摄像模组通常是通过飞行时间法来测量该被测物体(或被测目标)的深度信息,具体地,飞行时间法(timeofflight,tof)通过测量一测量仪器主动发出的脉冲信号从发射到接收的时间间隔t(常被称为脉冲测距法)或激光往返被测物体一次所产生的相位差(相位差测距法),以换算成被拍摄景物的距离,用于产生深度信息来实现对被测物体(或被测物体检测区域)的三维结构或三维轮廓的测量,进而获得该被测物体的灰度图像和深度信息。

然而,由于在使用该tof设备进行工作之前,不仅需要分别对该tof设备的该tof摄像模组和该rgb摄像模组进行单目标定,而且也需要对该tof设备进行双目标定,并且该tof设备的标定是该tof设备能否正常地工作的关键。现在在对该tof摄像模组和该rgb摄像模组进行单目标定,和对该tof摄像模组的双目标定是分别进行的,这导致对该tof设备的标定过程十分的繁琐,且效率低下,需要耗费较多的时间。因此,急需一种该tof设备的标定方法和标定该tof设备的标定系统。



技术实现要素:

本发明的一目的在于提供一tof设备的标定方法及其标定系统,其能够同时对所述tof设备进行单目标定和双目标定。

本发明的另一目的在于提供一tof设备的标定方法及其标定系统,其能够提高所述tof设备标定的效率,以缩短标定所述tof设备所耗费的时间。

本发明的另一目的在于提供一tof设备的标定方法及其标定系统,其能够获得高精度的标定结果,以便为后续的各种应用奠定良好的基础。

本发明的另一目的在于提供一tof设备的标定方法及其标定系统,其中所述标定系统能自动地执行标定所述tof设备的工作,以节省在标定所述tof设备的过程中所需的人力和物力。

本发明的另一目的在于提供一tof设备的标定方法及其标定系统,其中所述标定系统能够通过简单的操作来完成所述tof设备的标定。

本发明的另一目的在于提供一tof设备的标定方法及其标定系统,其中所述标定系统能通过可视化的操作来控制所述tof设备的标定工作,以简化所述标定系统的操作难度。

本发明的另一目的在于提供一tof设备的标定方法及其标定系统,其能够分别对所述tof设备的一tof摄像模组和一rgb摄像模组进行单目标定,以分别获得所述tof摄像模组和所述rgb摄像模组各自的内参数和外参数。

本发明是另一目的在于提供一tof设备的标定方法及其标定系统,其能够对所述tof设备的一tof摄像模组和一rgb摄像模组进行双目标定,以获得所述tof摄像模组和所述rgb摄像模组之间的结构参数。

本发明的另一目的在于提供一tof设备的标定方法及其标定系统,其中为了达到上述目的,在本发明中不需要采用昂贵的材料或复杂的结构。因此,本发明成功和有效地提供一解决方案,不只提供一简单的tof设备的标定方法及其标定系统,同时还增加了所述tof设备的标定方法及其标定系统的实用性和可靠性。

为了实现上述至少一发明目的或其他目的和优点,本发明提供了一tof设备的标定方法,包括以下步骤:

采集至少三tof图像和至少三rgb图像;

基于所述至少三tof图像,单目标定所述tof设备的一tof摄像模组,以获得所述tof摄像模组的tof内参数和tof外参数;

基于所述至少三rgb图像,单目标定所述tof设备的一rgb摄像模组,以获得所述rgb摄像模组的rgb内参数和rgb外参数;以及

双目标定所述tof设备,以获得所述tof设备的结构参数。

在本发明的一实施例中,所述采集至少三tof图像和至少三rgb图像的步骤,还包括步骤:

配置一标板模块于所述tof摄像模组和所述rgb摄像模组共同的视场区域内;

藉由所述tof摄像模组和所述rgb摄像模组,同步拍摄所述标板模块,以采集一tof图像和一rgb图像;以及

任意改变所述标板模块的位置,并在每次改变所述标板模块的位置后,重复执行所述同步拍摄所述标板模块的步骤,以采集所述至少三tof图像和所述至少三rgb图像。

在本发明的一实施例中,所述藉由所述tof摄像模组和所述rgb摄像模组,同步拍摄所述标板模块,以采集一tof图像和一rgb图像的步骤,还包括步骤:

藉由所述tof摄像模组的一光源模块,发射一激光至所述标板模块;和

藉由所述tof摄像模组的一感光控制模块,接收被所述标板模块反射回来的该激光,以采集所述tof图像。

在本发明的一实施例中,所述藉由所述tof摄像模组和所述rgb摄像模组,同步拍摄所述标板模块,以采集一tof图像和一rgb图像的步骤,还包括步骤:

补光所述标板模块。

在本发明的一实施例中,所述藉由所述tof摄像模组和所述rgb摄像模组,同步拍摄所述标板模块,以采集一tof图像和一rgb图像的步骤,还包括步骤:

调整所述标板模块的位置,使得所述标板模块完整地位于所述tof摄像模组和所述rgb摄像模组共同的所述视场区域内。

在本发明的一实施例中,所述任意改变所述标板模块的位置,并在每次改变所述标板模块的位置后,重复执行所述同步拍摄所述标板模块的步骤,以采集所述至少三tof图像和所述至少三rgb图像的步骤,还包括步骤:

改变所述标定模块的位置,使得所述标板模块完整地位于所述tof摄像模组和所述rgb摄像模组共同的所述视场区域中的角区域内。

在本发明的一实施例中,所述基于所述至少三tof图像,单目标定所述tof设备的一tof摄像模组,以获得所述tof摄像模组的tof内参数和tof外参数的步骤,还包括步骤:

建立一世界坐标系、一tof摄像模组坐标系、一tof图像平面坐标系和一tof像素坐标系;

提取每一所述tof图像上非线性的至少四特征点的tof像素坐标,并获取所述至少四特征点的世界坐标;以及

基于所述tof像素坐标和所述世界坐标,求解出一单应性矩阵,并根据所述单应性矩阵,求出所述tof摄像模组的初始tof内参数和初始tof外参数。

在本发明的一实施例中,所述基于所述至少三tof图像,单目标定所述tof设备的一tof摄像模组,以获得所述tof摄像模组的tof内参数和tof外参数的步骤,还包括步骤:

藉由所述tof摄像模组的一畸变校正模型和一数据拟合目标函数,求解所述tof摄像模组的tof畸变参数;和

根据最大似然估计法,优化所述初始tof内参数和所述初始tof外参数,以获得所述tof摄像模组的所述tof内参数和所述tof外参数。

在本发明的一实施例中,所述基于所述至少三rgb图像,单目标定所述tof设备的一rgb摄像模组,以获得所述rgb摄像模组的rgb内参数和rgb外参数的步骤,还包括步骤:

建立一世界坐标系、一rgb摄像模组坐标系、一rgb图像平面坐标系和一rgb像素坐标系;

提取每一所述rgb图像上非线性的至少四特征点的rgb像素坐标,并获取所述至少四特征点的世界坐标;以及

基于所述rgb像素坐标和所述世界坐标,求解一单应性矩阵,并根据所述单应性矩阵,求出所述rgb摄像模组的初始rgb内参数和初始rgb外参数。

在本发明的一实施例中,所述基于所述至少三rgb图像,单目标定所述tof设备的一rgb摄像模组,以获得所述rgb摄像模组的rgb内参数和rgb外参数的步骤,还包括步骤:

藉由所述rgb摄像模组的一畸变校正模型和一数据拟合目标函数,求出所述rgb摄像模组的rgb畸变校正参数;和

根据最大似然估计法,优化所述初始rgb内参数和所述初始rgb外参数,以获得所述rgb摄像模组的所述rgb内参数和所述rgb外参数。

在本发明的一实施例中,所述双目标定所述tof设备,以获得所述tof设备的结构参数的步骤,还包括步骤:

降采样所述至少三rgb图像,以使得至少三降采样rgb图像的分辨率与所述至少三tof图像的分辨率相对应;

基于所述至少三降采样rgb图像,单目标定所述rgb摄像模组,以获得所述rgb摄像模组的降采样rgb外参数;以及

基于所述tof外参数和所述降采样rgb外参数,求解所述tof设备的所述结构参数。

在本发明的一实施例中,所述降采样所述至少三rgb图像,以使得至少三降采样rgb图像的分辨率与所述至少三tof图像的分辨率相对应的步骤,还包括步骤:

等比例缩放所述rgb图像;和

裁剪所述rgb图像。

在本发明的一实施例中,在所述降采样所述至少三rgb图像,以使得至少三降采样rgb图像的分辨率与所述至少三tof图像的分辨率相对应的步骤中,所述降采样rgb图像包括所述标定模块的完整图像。

根据本发明的另一方面,本发明进一步提供了一标定系统,供标定一tof设备,其中该tof设备包括一tof摄像模组和一rgb摄像模组,包括:

一标板模块,其中所述标板模块被配置于该tof摄像模组和该rgb摄像模组的共同视场区域内;和

一控制模块,其中所述控制模块包括:

一交互模块,其中所述交互模块被设置以与该tof设备可通信地连接,以采集该tof摄像模组所拍摄的至少三tof图像和该rgb摄像模组所拍摄的至少三rgb图像;和

一标定模块,其中所述标定模块与所述交互模块可通信地连接,并且所述标定模块按照一标定方法进行标定,其中所述标定方法包括步骤:

基于所述至少三tof图像,单目标定该tof摄像模组,以获得该tof摄像模组的tof内参数和tof外参数;

基于所述至少三rgb图像,单目标定该rgb摄像模组,以获得该rgb摄像模组的rgb内参数和rgb外参数;以及

双目标定该tof设备,以获得该tof设备的结构参数。

在本发明的一实施例中,该tof摄像模组包括一光源模块和一感光控制模块,其中该光源模块被设置以朝向所述标板模块发射一激光,该感光控制模块被设置以接收并处理被所述标板模块反射回来的该激光,以藉由该tof摄像模组获得所述至少三tof图像。

在本发明的一实施例中,还包括一补光模块,其中所述补光模块被设置以补光所述标板模块。

在本发明的一实施例中,所述补光模块为一平面光源,并且所述补光模块被叠置于所述标板模块的一背侧。

在本发明的一实施例中,还包括一调位模块,其中所述调位模块被设置以调整所述标板模块的位置,以使所述标板模块完整地位于所述tof摄像模组和所述rgb摄像模组共同的所述视场区域内。

在本发明的一实施例中,所述调位模块被设置以有目的地改变所述标定模块的位置,使得所述标板模块完整地位于所述tof摄像模组和所述rgb摄像模组共同的所述视场区域中的角区域内。

在本发明的一实施例中,在所述标定模块所按照的所述标定方法中,所述基于所述至少三tof图像,单目标定该tof摄像模组,以获得该tof摄像模组的tof内参数和tof外参数的步骤,还包括步骤:

建立一世界坐标系、一tof摄像模组坐标系、一tof图像平面坐标系和一tof像素坐标系;

提取每一所述tof图像上非线性的至少四特征点的tof像素坐标,并获取所述至少四特征点的世界坐标;以及

基于所述tof像素坐标和所述世界坐标,求解出一单应性矩阵,并根据所述单应性矩阵,求出该tof摄像模组的初始tof内参数和初始tof外参数。

在本发明的一实施例中,在所述标定模块所按照的所述标定方法中,所述基于所述至少三tof图像,单目标定该tof摄像模组,以获得该tof摄像模组的tof内参数和tof外参数的步骤,还包括步骤:

藉由所述tof摄像模组的一畸变校正模型和一数据拟合目标函数,求解所述tof摄像模组的tof畸变参数;和

根据最大似然估计法,优化所述初始tof内参数和所述初始tof外参数,以获得所述tof摄像模组的所述tof内参数和所述tof外参数。

在本发明的一实施例中,在所述标定模块所按照的所述标定方法中,所述基于所述至少三rgb图像,单目标定该rgb摄像模组,以获得该rgb摄像模组的rgb内参数和rgb外参数的步骤,还包括步骤:

建立一世界坐标系、一rgb摄像模组坐标系、一rgb图像平面坐标系和一rgb像素坐标系;

提取每一所述rgb图像上至少四特征点的rgb像素坐标,并获取所述至少四特征点的世界坐标;以及

基于所述rgb像素坐标和所述世界坐标,求解一单应性矩阵,并根据所述单应性矩阵,求出该rgb摄像模组的初始rgb内参数和初始rgb外参数。

在本发明的一实施例中,在所述标定模块所按照的所述标定方法中,所述基于所述至少三rgb图像,单目标定该rgb摄像模组,以获得该rgb摄像模组的rgb内参数和rgb外参数的步骤,还包括步骤:

藉由所述rgb摄像模组的一畸变校正模型和一数据拟合目标函数,求解所述rgb摄像模组的rgb畸变参数;和

根据最大似然估计法,优化所述初始rgb内参数和所述初始rgb外参数,以获得所述rgb摄像模组的所述rgb内参数和所述rgb外参数。

在本发明的一实施例中,在所述标定模块所按照的所述标定方法中,所述双目标定该tof设备,以获得该tof设备的结构参数的步骤,还包括步骤:

降采样所述至少三rgb图像,以使得至少三降采样rgb图像的分辨率与所述至少三tof图像的分辨率相对应;

基于所述至少三降采样rgb图像,单目标定该rgb摄像模组,以获得该rgb摄像模组的降采样rgb外参数;以及

基于所述tof外参数和所述降采样rgb外参数,求解该tof设备的所述结构参数。

在本发明的一实施例中,在所述标定模块所按照的所述标定方法中,所述降采样所述至少三rgb图像,以使得至少三降采样rgb图像的分辨率与所述至少三tof图像的分辨率相对应的步骤,还包括步骤:

等比例缩放所述rgb图像;和

裁剪所述rgb图像。

在本发明的一实施例中,所述至少三降采样rgb图像均包括所述标定模块的完整图像。

在本发明的一实施例中,还包括一调光模块,其中所述调光模块被设置以根据所述tof图像中所述标板模块的图像的亮度来自动调节所述tof图像中所述标板模块的所述图像的亮度。

通过对随后的描述和附图的理解,本发明进一步的目的和优势将得以充分体现。

本发明的这些和其它目的、特点和优势,通过下述的详细说明,附图和权利要求得以充分体现。

附图说明

图1是一tof设备的立体示意图。

图2是根据本发明的一较佳实施例的一tof设备的标定方法的流程示意图。

图3是根据本发明的上述较佳实施例的所述tof设备的标定方法的一采集步骤的流程示意图。

图4是根据本发明的上述较佳实施例的所述tof设备的标定方法的一单目标定步骤的流程示意图。

图5是根据本发明的上述较佳实施例的所述tof设备的标定方法的另一单目标定步骤的流程示意图。

图6是根据本发明的上述较佳实施例的所述tof设备的标定方法的一双目标定步骤的流程示意图。

图7是根据本发明的上述较佳实施例的所述tof设备的标定方法的原理示意图,示出了一tof摄像模组的标定原理。

图8是根据本发明的上述较佳实施例的所述tof设备的标定方法的原理示意图,示出了一rgb摄像模组的标定原理。

图9是根据本发明的上述较佳实施例的一标定系统的一标板模块的立体示意图。

图10是根据本发明的上述较佳实施例的所述标定系统采集所述标定模块在一位置的图像的状态示意图。

图11是根据本发明的上述较佳实施例的所述标定系统采集所述标定模块在另一位置的图像的状态示意图。

图12是根据本发明的上述较佳实施例的所述标定模块在所述位置时所述标定系统所采集的tof图像示意图。

图13是根据本发明的上述较佳实施例的所述标定模块在所述位置时所述标定系统所采集的rgb图像示意图。

图14是根据本发明的上述较佳实施例的所述标定模块在所述另一位置时所述标定系统所采集的tof图像示意图。

图15是根据本发明的上述较佳实施例的所述标定模块在所述另一位置时所述标定系统所采集的rgb图像示意图。

图16示出了根据本发明的上述较佳实施例的所述标定方法中对所述rgb图像进行降采样的状态示意图。

图17是根据本发明的上述较佳实施例的所述标定系统的框图示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是,在本发明的揭露中,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系,其仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此上述术语不能理解为对本发明的限制。

在本发明中,权利要求和说明书中术语“一”应理解为“一个或多个”,即在一个实施例,一个元件的数量可以为一个,而在另外的实施例中,该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个,否则术语“一”并不能理解为唯一或单一,术语“一”不能理解为对数量的限制。

摄像机标定通常是指建立摄像机几何成像模型,描述世界坐标系(即空间坐标系)中的景物点同它在图像平面上的像点间的对应关系。换句话说,摄像机标定本质上是确定该摄像机的内参数和外参数的一个过程,其中摄像机的内参数是摄像机固有的,并且与位置信息无关的参数,通常包括焦距、镜头畸变、图像中心点等;而摄像机的外参数是摄像机坐标系相对于某一世界坐标系的三维位置和方向的关系。精确求解这些参数不仅可以提高三维信息恢复的精度,而且可以为后继的立体图像匹配与三维重建奠定良好的基础。

然而,tof设备(诸如tof相机或tof机器视觉等等)通常包括一tof摄像模组和一rgb摄像模组,其中所述tof摄像模组用于拍摄一被测物体,以获取该被测物体的深度信息和灰度图像(即tof图像),所述rgb摄像模组用于拍摄该被测物体,以获取该被测物体的彩色图像(即rgb图像),进而通过处理该被测物体的深度信息和彩色图像,以获得该被测物体的具有深度信息的彩色图像,以便加强和拓展所述tof设备的现实应用。因此,为了确保所述tof设备的正常使用,并且提高所述tof设备的使用精度,故而需要对所述tof设备进行全面的标定。也就是说,不仅要对所述tof设备的所述tof摄像模组进行单独标定(即单目标定),以获得所述tof摄像模组的内参数和外参数,还要对所述tof设备的所述rgb摄像模组进行单独标定(即单目标定),以获得所述tof摄像模组的内参数和外参数,而且不可避免地还要对所述tof设备进行双目标定,以获得所述tof设备的结构参数,即所述tof设备的所述tof摄像模组和所述rgb摄像模组之间的位置关系。

更具体地,如图1所示,所述tof设备10包括一tof摄像模组11和一rgb摄像模组12。所述tof摄像模组11包括一光源模块111和一感光控制模块112,并且所述光源模块111被设置以产生一具有预设波长的激光至一被测目标,所述感光控制模块112被设置以接收并处理由被测目标反射的激光,以获得所述被测目标的深度信息和灰度图像。所述rgb摄像模组12能拍摄该被测目标,以获得该被测目标的彩色图像。本领域技术人员应当理解,本发明的所述tof摄像模组11的所述光源模块111发出(发射)的激光可以是红外激光。优选地,所述光源模块111被实施为一垂直腔面激光发射器(简称vcsel)。

值得注意的是,在标定所述tof设备10的过程中,所述被测目标被实施为一标板模块20,并且所述标板模块20带有非线性的至少四特征点p,以藉由所述标板模块20对所述tof设备10的所述tof摄像模组11和所述rgb摄像模组12进行标定,参考附图9和图10。优选地,如图9所示,所述标板模块20被实施为一平面棋盘格标板21,其中所述平面棋盘格标板21上设置有7×10个黑白相间的方格(即所述平面棋盘格标板21具有7行方格和10列方格),并且相邻的黑白方格的共同角点被实施为所述特征点p,因此,所述标板模块20具有6*9个特征点p。本领域技术人员应当理解,本发明中所述平面棋盘格标板21上的黑白方格的行数和列数仅为示例性的,黑白方格的具体个数和尺寸可根据具体需要来进行选择和调整,在此不做进一步限制。

参考附图之图2至图17所示,示出了根据本发明的较佳实施例的一tof设备的标定方法及其标定系统。根据本发明的所述较佳实施例,如图2所示,所述tof设备10的标定方法包括以下步骤:

s1:采集至少三tof图像100和至少三rgb图像200。具体地,如图3所示,所述步骤s1进一步包括以下步骤:

s11:配置一标板模块20于所述tof摄像模组11和所述rgb摄像模组12共同的视场区域内。具体地,如图10和图11所示,打开所述tof设备10,在所述tof设备10的所述tof摄像模组11和所述rgb摄像模组12共同的视场区域内,无约束地放置所述标板模块20,以使得所述tof摄像模组11和所述rgb摄像模组12能够同时对所述标板模块20进行拍摄,为了能够获得所述标板模块20的图像200。

s12:藉由所述tof摄像模组11和所述rgb摄像模组12,同步拍摄所述标板模块20,以采集一tof图像110和一rgb图像120。具体地,在所述tof摄像模组11拍摄时,所述tof摄像模组11的所述光源模块111被设置以朝向所述标板模块20发射激光,所述激光遇到所述标板模块20将被反射回来,所述tof摄像模组11的所述感光控制模块112被设置以接收并处理被所述标板模块20反射回来的所述激光,以获得所述标板模块20的所述图像200(即所述标板模块20的灰度图像),从而获得所述tof摄像模组11所拍摄的所述tof图像110,也就是说,由于所述tof摄像模组11自带光源模块111,因此,所述tof摄像模组11对所述标板模块20进行拍摄时,不需要借助任何外界光源,就能够获取所述tof图像110。与此同时,所述tof设备10的所述rgb摄像模组12对所述标板模块20进行拍摄,以获得所述标板模块20的所述图像200(即所述标板模块20的彩色图像),进而获得所述rgb摄像模组12所拍摄的所述rgb图像120。

值得注意的是,如图10和图11所示,为了使得所述tof图像110和所述rgb图像120均包含所述标板模块20上的所有的特征点p,以最大限度地提高后续标定结果的精度,因此,在使用所述tof设备对所述标板模块20进行拍摄时,应当适当调整所述标板模块20的位置(包括所述标板模块20和所述tof设备10之间的距离、方向以及角度),以确保所述标板模块20完全处于所述tof摄像模组11和所述rgb摄像模组共同的视场区域内,进而确保所述tof图像110包括所述标板模块20的完整图像200,同时所述rgb图像120也包括所述标板模块20的完整图像200。

值得一提的是,由于所述tof摄像模组11的所述光源模块111所发射的激光强度通常不会太高,因此所述tof摄像模组11只能在靠近所述标板模块20的位置才能拍摄并获得高质量的所述tof图像110。然而,为了拓宽所述tof摄像模组11与所述标板模块20之间的相对位置关系,可以对所述标板模块20进行补光,以增加所述标板模块20的亮度,从而使得所述tof摄像模组11能在距离所述标板模块20较远的位置拍摄所述标板模块20,并能够获得高质量的所述tof图像110,以被后续的标定使用。

s13:任意改变所述标板模块20的位置,并在每次改变所述标板模块20的位置后,重复执行所述步骤s12,以采集所述至少三tof图像110和所述至少三rgb图像120。应当理解,由于张正友摄像标定技术仅需要三幅图像就能够求解出摄像机的内外参数,因此在本发明的所述步骤s1中,需要同时获得至少三幅所述tof图像和至少三幅所述rgb图像,以分别对所述tof摄像模组和所述rgb摄像模组进行单目标定。当然,在所述步骤s13中,可以无限次地改变所述标板模块20的位置,以获得无限幅所述tof图像110和所述rgb图像120,以提高最终求解得到的内外参数的精度。然而,为了在获得高精度的内外参数同时,又不会大幅增大标定工作的难度,在本发明的所述步骤s1中,优选地获取10~20幅所述tof图像110和与所述tof图像相对应的10~20幅所述rgb图像120。

值得注意的是,如图10和图12所示,为了进一步提高通过该标定方法获得所述tof摄像模组11的内外参数的精度,在所述步骤s1中,应该有目的地调整所述标板模块20的位置,使得所述标板模块20完整地位于所述tof摄像模组11和所述rgb摄像模组12共同的所述视场区域内,从而确保所述标板模块20分别在所述tof摄像模组11的所述感光控制模块112的感光芯片上的各个区域内成像,以最大限度获取所述tof摄像模组11的所述感光芯片成像的完整信息,进而提高所述tof摄像模组11的标定精度。也就是说,通过有目的地调整所述标板模块20的位置,使得在不同的所述tof图像110中,所述标板模块20的所述图像200位于所述tof图像110的不同区域。

优选地,如图11和图14所示,所有的所述tof图像110中应当存在所述标板模块20的所述图像200位于所述tof图像110的角区域的图像。更优选地,所有的所述tof图像110中至少存在四幅所述tof图像110,使得所述标板模块20的图像200分别位于所述tof图像110的四个角区域。

同样地,如图10和图13为了进一步提高通过该标定方法获得所述rgb摄像模组12的内外参数的精度,在所述步骤s1中,应该有目的地调整所述标板模块20的位置,使得所述标板模块20完整地位于所述tof摄像模组11和所述rgb摄像模组12共同的所述视场区域内,从而确保所述标板模块20分别在所述rgb摄像模组12的感光芯片上的各个区域内成像,以最大限度获取所述rgb摄像模组12的所述感光芯片成像的完整信息,进而提高所述rgb摄像模组12的标定精度。也就是说,通过有目的地调整所述标板模块20的位置,使得在不同的所述rgb图像120中,所述标板模块20的所述图像200位于所述rgb图像120的不同区域。应当理解,所述rgb摄像模组12的视场区域通常完全覆盖所述tof摄像模组11的视场区域,因此只需要确保所述标板模块20始终处于所述tof摄像模组11的视场区域内即可。

优选地,如图11和图15所示,所有的所述rgb图像120中应当存在所述标板模块20的所述图像200位于所述rgb图像120的角区域的图像。更优选地,所有的所述rgb图像120中至少存在四幅所述rgb图像120,使得所述标板模块20的图像200分别位于所述rgb图像120的四个角区域。

s2:基于所述至少三tof图像110,单目标定所述tof设备10的所述tof摄像模组11,以获得所述tof摄像模组11的tof内参数和tof外参数。依据张正友摄像标定技术,如图4所示,在本发明的所述较佳实施例中所述标定方法的所述步骤s2进一步包括以下步骤:

s21:建立一世界坐标系、一tof摄像模组坐标系、一tof图像平面坐标系以及一tof像素坐标系。举例地,如图7和图9所示,根据所述标板模块20的位置建立所述世界坐标系ow-xwywzw,其中原点(ow)为所述标板模块20的一个角点,xw轴和yw轴分别与所述标板模块20的行和列平行;根据所述tof摄像模组11的摆放位置建立所述tof摄像模组坐标系otc-xtcytcztc,其中原点(otc)为所述tof摄像模组11的光心,xtc轴和ytc轴分别与所述tof图像的行和列平行;根据所述tof摄像模组11的摆放位置建立所述tof图像平面坐标系oti-xtyt,其中原点(oti)为所述tof摄像模组11的光轴与tof成像平面的交点,xt轴和yt轴分别与xtc轴和ytc轴平行且指向相反;根据所述tof图像建立所述tof像素坐标系ot-utvt,其中原点(ot)位于tof像素矩阵的一个角上,ut轴和vt轴分别平行于xt轴和yt轴且指向相同。值得注意的是,所述标板模块20上的特征点p在所述世界坐标系ow-xwywzw上的世界坐标pw=(xw,yw,zw),与之对应地,所述特征点p在所述tof摄像模组坐标系otc-xtcytcztc上的tof模组坐标ptc=(xtc,ytc,ztc);所述特征点p的图像在所述tof图像平面坐标系oti-xtyt上的tof图像坐标pti=(xt,yt);所述特征点p的图像在所述tof像素坐标系ot-utvt上的tof像素坐标pt=(ut,vt)。

s22:提取每一所述tof图像110上非线性的至少四特征点p的tof像素坐标,并获取所述至少四特征点p的世界坐标。具体地,根据张正友标定技术,只需提取每幅所述tof图像110上四个非线性关系的特征点p在所述tof像素坐标系上的tof像素坐标pt,并计算出所述特征点p在所述世界坐标系的世界坐标pw,就能够通过单应性计算求出所述tof摄像模组11的内外参数。为了提高所求得的所述tof摄像模组11的内外参数的精度,所提取的所述特征点p的数量越多越好,因此,在本发明的所述较佳实施例中,优选地提取所述tof图像中所有的特征点p。

s23:基于所述tof像素坐标和所述世界坐标,求解出一单应性矩阵,并根据所述单应性矩阵,求出所述tof摄像模组11的初始tof内参数和初始tof外参数。具体地,在假定所述tof摄像模组不存在畸变的情况下,根据每幅所述tof图像上的所述特征点p的所述tof像素坐标pt和所述世界坐标pw进行单应性计算,以求出所述tof摄像模组11的单应性矩阵ht=smt[rt,tt],进而根据单应性矩阵ht,求得所述tof摄像模组11的初始tof内参数和初始tof外参数。其中单应性计算的公式如下:

pt=htpw

式中:单应性矩阵ht=smt[rt,tt],其中s为尺度因子;mt为所述tof摄像模组11的tof内参数矩阵;[rt,tt]为所述tof摄像模组11的tof外参数矩阵,其中rt为所述tof摄像模组11到所述世界坐标系的旋转矩阵,tt为所述tof摄像模组11到所述世界坐标系的平移矢量。

值得注意的是,在求解所述单应性矩阵ht的过程中,假定所述tof摄像模组不存在畸变,也就是说,假定所述tof摄像模组11的所述tof内参数中的tof畸变参数γt=0,以简化计算过程,进而降低了求解难度。

然而,由于所述步骤s23中假定所述tof摄像模组不存在畸变,故得到所述tof内参数中的tof畸变参数为零是不符合实际情况的,因此所述tof初始内参数不能作为最终的所述tof摄像模组的最终参数,需要求解所述tof摄像模组。

s24:藉由所述tof摄像模组11的一畸变校正模型和一数据拟合目标函数,求出所述tof摄像模组11的tof畸变参数γt。具体地,根据所述tof图像110上的所述特征点p在所述tof图像平面坐标系oti-xtyt上的tof实际坐标(xti,yti),利用所述tof摄像模组11的所述畸变模型计算出所述特征点p的tof规范化坐标(xti,yti),最后将这两组坐标值代入所述tof摄像模组11的所述数据拟合目标函数进行数据拟合,最终算出相应的所述tof畸变参数,以使所述tof初始内参数中的tof畸变参数不为零。应当理解,当所述数据拟合目标函数得到的值越小,证明数据拟合得越好,相应地,求得的所述tof畸变参数也就越精确。此外,通过这种多次迭代的方法,不仅避开了直接求解非线性畸变模型,而且将计算转为求解非线性的最小二乘问题,以最终得到使目标函数值最小的畸变参数值γt=[kt1,kt2,kt3,pt1,pt2],这样不仅简化了计算,也降低了求解难度。

值得注意的是,所述tof摄像模组的所述畸变校正模型如下:

式中:为所述特征点p的tof实际坐标,(xti,yti)为所述特征点p的tof规范化坐标。

所述tof摄像模组的所述数据拟合目标函数如下:

s25:根据最大似然估计法,优化所述初始tof内参数和所述初始tof外参数,以获得所述tof摄像模组11的所述tof内参数和所述tof外参数。在本发明的所述较佳实施例中,所述tof内参数包括被优化后的tof畸变参数γt,所述tof外参数包括所述tof摄像模组坐标系与所述世界坐标系之间的变换关系,即tof旋转矩阵rt和tof平移矢量tt。

s3:基于所述至少三rgb图像120,单目标定所述tof设备10的一rgb摄像模组12,以获得所述rgb摄像模组12的rgb内参数和rgb外参数。值得注意的是,单目标定所述rgb摄像模组12的方法和步骤与单目标定所述tof摄像模组11相同,具体地,如图5所示,在本发明的所述较佳实施例中所述标定方法的所述步骤s3进一步包括以下步骤:

s31:建立所述世界坐标系、一rgb摄像模组坐标系、一rgb图像平面坐标系以及一rgb像素坐标系。举例地,如图8和图9所示,根据所述标板单元20的所述标板模块20的方位建立所述世界坐标系ow-xwywzw,其中原点(ow)为所述标板模块20的一个角点,xw轴和yw轴分别与所述标板模块20的行和列平行;根据所述rgb摄像模组12的摆放位置建立所述rgb摄像模组坐标系orc-xrcyrczrc,其中原点orc为所述rgb摄像模组12的光心,xrc轴和yrc轴分别与所述rgb图像的行和列平行;根据所述rgb摄像模组12的摆放位置建立所述rgb图像平面坐标系ori-xryr,其中原点(ori)为所述rgb摄像模组12的光轴与rgb成像平面的交点,xr轴和yr轴分别与xrc轴和yrc轴平行且指向相反;根据所述rgb图像建立所述rgb像素坐标系or-urvr,其中原点(or)位于rgb图像的像素矩阵的一个角上,ur轴和vr轴分别平行于xr轴和yr轴且指向相同。值得注意的是,所述标板模块20上的特征点p在所述世界坐标系ow-xwywzw上的世界坐标pw=(xw,yw,zw),与之对应地,所述特征点p在所述rgb摄像模组坐标系orc-xrcyrczrc上的rgb模组坐标prc=(xrc,yrc,zrc);所述特征点p的图像在所述rgb图像平面坐标系ori-xryr上的rgb图像坐标pri=(xr,yr);所述特征点p的图像在所述rgb像素坐标系or-urvr上的rgb像素坐标pr=(ur,vr)。

s32:提取每一所述rgb图像120上非线性的至少四特征点p的rgb像素坐标,并获取所述至少四特征点p的世界坐标。具体地,根据张正友标定技术,只需提取每幅所述rgb图像120上四个非线性关系的特征点p在所述rgb像素坐标系上的rgb像素坐标,并计算出所述特征点p在所述世界坐标系的世界坐标pw,就能够通过单应性计算求出所述rgb摄像模组12的内外参数。为了提高所求得的所述rgb摄像模组12的内外参数的精度,所提取的所述特征点p的数量越多越好,因此,在本发明的所述较佳实施例中,优选地提取所述rgb图像120中所有的特征点p。

s33:基于所述rgb像素坐标和所述世界坐标,求解一单应性矩阵,并根据所述单应性矩阵,求出所述rgb摄像模组12的初始rgb内参数和初始rgb外参数。具体地,在假定所述rgb摄像模组不存在畸变的情况下,根据每幅所述rgb图像120上的所述特征点p的rgb像素坐标和世界坐标进行单应性计算,以求出所述rgb摄像模组12的单应性矩阵hr=smr[rr,tr],进而根据单应性矩阵hr,求得所述rgb摄像模组12的初始rgb内参数和初始rgb外参数。具体地,单应性计算的公式如下:

pr=hrpw

式中:单应性矩阵hr=smr[rr,tr],其中s为尺度因子;mr为所述rgb摄像模组12的rgb内参数矩阵;[rr,tr]为所述rgb摄像模组12的rgb外参数矩阵,其中rr为所述rgb摄像模组12到所述世界坐标系的旋转矩阵,tr为所述rgb摄像模组12到所述世界坐标系的平移矢量。

值得注意的是,在求解所述单应性矩阵ht的过程中,假定所述rgb摄像模组不存在畸变,也就是说,假定所述rgb摄像模组12的所述rgb内参数中的rgb畸变参数γr=0,以简化计算过程,进而降低了求解难度。

然而,由于所述步骤s33中假定所述rgb摄像模组12不存在畸变,故得到所述rgb内参数中的rgb畸变参数为零,不符合实际情况,因此所述rgb初始内参数不能作为最终的所述rgb摄像模组12的最终参数,需要求解所述rgb摄像模组12的畸变参数。

s34:藉由所述rgb摄像模组12的一畸变校正模型和一数据拟合目标函数,求出所述rgb摄像模组12的rgb畸变参数γr。

具体地,根据所述rgb图像120上的某一所述特征点p在所述rgb图像平面坐标系ori-xryr的实际坐标(xri,yri),利用所述rgb摄像模组12的所述畸变模型计算出所述特征点p的规范化坐标(xri,yri),最后将这两组坐标值代入所述rgb摄像模组12的所述数据拟合目标函数进行数据拟合,最终算出相应的所述rgb畸变参数γr,以使所述rgb初始内参数中的所述rgb畸变参数不为零。应当理解,当所述数据拟合目标函数得到的值越小,证明数据拟合得越好,相应地,求得的所述rgb畸变参数γr也就越精确。此外,通过这种多次迭代的方法,不仅避开了直接求解非线性畸变模型,而且将计算转为求解非线性的最小二乘问题,以最终得到使目标函数值最小的rgb畸变参数值γr=[kr1,kr2,kr3,pr1,pr2],这样不仅简化了计算,也降低了求解难度。

值得注意的是,所述rgb摄像模组的所述畸变校正模型如下:

式中:为所述特征点p的实际坐标,(xri,yri)为所述特征点p的规范化坐标。

所述rgb摄像模组的所述数据拟合目标函数如下:

s35:根据最大似然估计法,优化所述初始rgb内参数和所述初始rgb外参数,以获得所述rgb摄像模组12的所述rgb内参数和所述rgb外参数。在本发明的所述较佳实施例中,所述rgb内参数中包括被优化后的所述rgb畸变参数γr。所述rgb外参数包括所述rgb摄像模组坐标系与所述世界坐标系之间的变换关系,即rgb旋转矩阵rr和rgb平移矢量tr。

值得注意的是,在所述tof设备的标定方法中,所述步骤s2和所述步骤s3不分先后次序,也就是说,可以先执行所述步骤s2,后执行所述步骤s3;也可以先执行所述步骤s3,后执行所述步骤s2;还可以同时执行所述步骤s2和所述步骤s3。

s4:双目标定所述tof设备10,以获得所述tof设备10的结构参数。具体地,双目标定是以单目标定为基础,根据单目标定过程中所获得的所述tof外参数和所述rgb外参数来求得所述tof摄像模组11和所述rgb摄像模组12之间的位置关系,也就是所述tof设备的所述结构参数。换句话说,由于所述tof摄像模组11和所述rgb摄像模组12之间的位置关系包括两者之间的旋转矩阵r和平移矢量t,因此所述tof设备10的结构参数包括所述tof摄像模组11和所述rgb摄像模组12之间的旋转矩阵r和平移矢量t。

值得注意的是,在双目标定所述tof设备10中,需要保持所述tof图像110和所述rgb图像120的大小相等,即所述tof图像110和所述rgb图像120的分辨率(即像素)要保持相同。然而,通常情况下,所述tof设备10的所述rgb图像120的分辨率大于所述tof图像110的分辨率,因此,在进行双目标定之前,首先要对所述rgb图像120进行降采样,以获得与所述tof图像110的分辨率相同的rgb图像。如图6所示,在本发明的所述较佳实施例中,所述步骤s4进一步包括以下步骤:

s41:降采样所述至少三rgb图像120,以使得至少三降采样rgb图像120’的分辨率与所述至少三tof图像110的分辨率相对应。举例地,如图13和图16所示,所述步骤s41进一步包括以下步骤:

等比例缩放所述rgb图像120,使得缩放后的rgb图像的宽度w’等于所述tof图像110的宽度w;和

裁剪所述rgb图像120,使得所述降采样rgb图像120’的长度l’等于所述tof图像110的长度l。换句话说,经过降采样所获得的所述降采样rgb图像120’的宽度w’和长度l’分别等于所述tof图像110的宽度w和长度l。

举例地,所述tof设备10的所述tof摄像模组11所获得的所述tof图像110的分辨率为224*172,所述tof设备10的所述rgb摄像模组12所获得的所述rgb图像120的分辨率为1344*760,因此在进行双目标定前需要对所述rgb图像120进行降采样。具体地,先等比例缩放所述rgb图像120,以把所述rgb图像120的宽度缩小至172,此时得到的rgb图像的分辨率为304*172,然后对rgb图像优选地左右各裁剪40个像素,以获得所述降采样rgb图像120’,此时所述降采样rgb图像120’的分辨率为224*172,也就是说,通过降采样以获得与所述tof图像110相同大小的rgb图像120。本领域技术人员应当理解,也可以先对所述rgb图像120进行裁剪,然后再对裁剪后的rgb图像进行等比例缩小,以同样获得与所述tof图像110相同大小的rgb图像120,进而实现降采样所述rgb图像120的目的。

值得注意的是,由于在所述步骤41的降采样过程中需要对所述rgb图像120进行裁剪,并且可能会裁剪掉所述rgb图像120中的所述标板模块20的全部或部分图像200,从而使得所述标板模块20的图像200在所述降采样rgb图像120’中不完整,因此为了使得裁剪后的rgb图像仍包括所述标板模块20的完整图像200,在所述rgb摄像模组12拍摄所述标板模块20时,就需要保持所述标板模块20在所述rgb图像上成像的位置均不在所述rgb图像120中需要被裁剪的区域,从而保证在所述降采样rgb图像120’中所述标板模块20的图像200的完整性,以防止因降采样而造成降低双目标定所述tof设备的精度。

s42:基于所述至少三降采样rgb图像120’,单目标定所述rgb摄像模组12,以获得所述rgb摄像模组12的降采样rgb外参数。值得注意的是,所述步骤s42的单目标定所述rgb摄像模组12的工序与所述步骤s3完全相同,只是单目标定所依据的图像有所不同,所述步骤s3中单目标定所依据的图像为所述rgb图像120,而所述步骤s42中单目标定所依据的图像为所述降采样rgb图像120’,以最终获得所述rgb摄像模组12的所述降采样rgb外参数,其中所述降采样rgb外参数包括降采样后的所述rgb摄像模组坐标系与所述世界坐标系之间的变换关系,即降采样rgb旋转矩阵rrj和降采样rgb平移矢量trj。

s43:基于所述tof外参数和所述降采样rgb外参数,求解所述tof设备10的所述结构参数。具体地,双目标定所述tof设备10的目的是计算所述tof设备10中所述tof摄像模组11和所述rgb摄像模组12之间的相对位置关系,即求取所述tof摄像模组11和所述rgb摄像模组12之间的旋转矩阵r和平移矢量t。换句话说,所述tof设备10的所述结构参数包括所述旋转矩阵r和所述平移矢量t,其中计算所述旋转矩阵r和所述平移矢量t的公式如下:

t=tt-r-ttrj

式中:rrj和trj通过所述步骤s42中的单目标定求出,所述rt和tt通过所述步骤s24求出。

根据本发明的另一方面,为了较好地实现上述标定方法,以简便地对所述tof设备进行标定,本发明进一步提供一标定系统,用于根据上述tof设备的标定方法来标定所述tof设备10。根据本发明的所述较佳实施例,如图17所示,所述标定系统包括一标板模块20和一控制模块30。所述标板模块20被可活动地设置于所述tof设备10的所述tof摄像模组11和所述rgb摄像模组12共同的视场区域内,使得所述标板模块20能够被所述tof设备10的所述tof摄像模组11和所述rgb摄像模组12同步拍摄,以获得所述标板模块20的图像200,从而藉由所述tof摄像模组11和所述rgb摄像模组12同步采集tof图像110和rgb图像120。所述控制模块30被设置以与所述tof设备10可通信地连接,使得所述控制模块30能够采集所述tof图像110和所述rgb图像120,并且所述控制模块30能够基于所述tof图像110和所述rgb图像120对所述tof设备10进行标定,以获得所述tof设备10的所述tof摄像模组11的tof内参数和tof外参数,所述tof设备10的所述rgb摄像模组12的rgb内参数和rgb外参数,以及所述tof设备10的结构参数。本领域技术人员应当理解,所述控制模块30可以但不限于包括一智能终端,诸如笔记本电脑、台式机电脑、智能手机、ipad或平板电脑等等,还可以包括各种辅助标定装置,以实现最优的标定方案。优选地,所述控制模块30可以通过usb数据线与所述tof设备10连接。当然,所述控制模块30也可以通过诸如wifi、红外、蓝牙等等无线连接的方式与所述tof设备10连接。

具体地,根据本发明的所述较佳实施例,所述控制模块30包括一交互模块31和一标定模块32。所述交互模块31可以与该tof设备10可通信地连接,以采集该tof摄像模组11所拍摄的所述至少三tof图像110和该rgb摄像模组12所拍摄的所述至少三rgb图像120,也就是说,所述交互模块31被设置以执行所述tof设备的标定方法中的所述步骤s1,以实现获得所述至少三tof图像110和所述至少三rgb图像120的目的。应当理解,举例地,所述交互模块31获得所述tof摄像模组11所拍摄的tof图像110和所述rgb摄像模组12所拍摄的rgb图像120之后,所述交互模块31还能够同步显示所述tof图像110和所述rgb图像120,以便用户直接观察所述标板模块20的图像200分别在所述tof图像110和所述rgb图像120中的位置,并且根据所述标板模块20的图像200在所述tof图像110和所述rgb图像120中的位置来调整所述标板模块20的位置,从而确保所述tof图像110和所述rgb图像120均包括所述标板模块20的完整图像200。优选地,所述控制模块30能够将所述tof图像110和所述rgb图像120存储起来,以备使用。

值得一提的是,如图16所示,所述控制模块30的所述交互模块31还能够基于所述tof图像的大小来划分所述rgb图像120,以将所述rgb图像120划分为至少一裁剪区域1201和一非裁剪区域1202,其中所述非裁剪区域1202内的rgb图像120的分辨率与所述tof图像110的分辨率成线性比例,以便通过所述降采样模块353将所述非裁剪区域内显示的rgb图像缩放至与所述tof图像的分辨率相同大小的图像,即所述降采样rgb图像。值得注意的是,为了避免在降采样rgb图像将所述标板模块20的图像裁剪掉,在改变所述标板模块20的方位时,需要确保所述标板模块20的图像始终处于所述非裁剪区域内。

应当理解,所述控制模块30的所述交互模块31还能向所述tof设备10传输一控制信号,并且通过所述控制信号,所述控制模块30能够控制所述tof设备的开启和关闭,从而实现远程控制所述tof设备的开闭,以减化标定所述tof设备所需的步骤。

根据本发明的所述较佳实施例,所述标定系统的所述标定模块32与所述交互模块31可通信地连接,以基于所述tof图像110和所述rgb图像120,来分别标定所述tof摄像模组11和所述rgb摄像模组,以获得所述tof摄像模组11的内外参数、所述rgb摄像模组12的内外参数以及所述tof设备10的所述结构参数。换句话说,所述标定模块32被设置以执行所述tof设备的标定方法中的所述步骤s2、所述步骤s3以及所述步骤s4,也就是说,所述标定模块32能基于所述至少三tof图像110,单目标定该tof摄像模组11,以获得该tof摄像模组11的tof内参数和tof外参数;基于所述至少三rgb图像120,单目标定该rgb摄像模组12,以获得该rgb摄像模组12的rgb内参数和rgb外参数;以及双目标定该tof设备10,以获得该tof设备10的所述结构参数。

值得注意的是,如图17所示,所述控制模块30进一步包括一调位模块33,其中所述调位模块33被设置以改变所述标板模块20的位置,以便拍摄处于不同位置的所述标板模块20,使得所述标板模块20能够在所述tof摄像模组11和所述rgb摄像模组12共同的所述视场区域内被移动,以改变所述标板模块20的图像200在所述tof图像110和所述rgb图像120中的位置,进而藉由所述交互模块31再次采集所述tof图像110和所述rgb图像120,直至所述标板模块20的基本位置全部被采集为止,并且确保至少三幅tof图像110和至少三幅rgb图像120。优选地,所述调位模块33可以被实施为一可远程控制的万向工作台,以便用户能够远程控制以随意改变所述万向工作台的方位和角度,进而远程改变被设置于所述万向工作台的所述标板模块20的方位和角度。换句话说,所述标定系统能够提高所述tof设备标定的效率,以缩短标定所述tof设备所耗费的时间。本领域技术人员应当理解,所述调位模块33也可以被实施为一可移动的标板支架,以便将所述标板模块20安装至所述标板支架上,进而可以通过人为改变所述标板支架的方位和角度的方式来改变所述标板模块20的位置。

如图9和图17所示,所述控制模块30进一步包括一补光模块34,其中所述补光模块34被设置以补光所述标板模块20。举例地,所述补光模块34被设置以发射与所述tof摄像模组11的所述光源模块111所发射的激光相同的激光,以增强所述标板模块20的亮度,以便在所述tof摄像模组11与所述标板模块20相距较远时,所述tof摄像模组11仍能够拍摄到清楚的所述标板模块20的图像,以获得高质量的tof图像。应当理解的是,当存在所述补光模块34对所述标板模块20进行补光时,可以关闭所述tof摄像模组11的所述光源模块111,以防所述光源模块111在所述标板模块20上发生局部反光,从而避免所述tof摄像模组11所拍的的所述tof图像上不会有高亮处,进而获得高质量的tof图像110。当然,此时也可以采用由吸光材料制成的所述标板模块20,以防所述标板模块20因反射所述光源模块11所发射的激光而降低所述tof图像的质量。

此外,如图17所示,为了进一步提高所述tof图像的质量,所述控制模块30进一步包括一调光模块35,其中所述调光模块35被设置以根据所述显示模块32所显示的所述tof图像110中所述标板模块20的图像200的亮度来自动调节所述tof图像110的所述标板模块20的图像200的亮度,以提高所述tof图像110的质量,使得所述交互模块31能够采集最佳质量的所述tof图像110,有助于提高所述标定系统标定所述tof设备10的标定精度。

根据本发明的所述较佳实施例,如图9所示,所述标定系统的所述标板模块20优选地被实施为一平面棋盘格标板21,其中所述平面棋盘格标板21具有黑白相间的方格,以使每个方格的四角点均为所述标板模块20的所述特征点p。优选地,所述平面棋盘格标板21由诸如塑料等等透光材料或半透光材料制成,所述补光模块34被实施为一平面光源341,其中所述平面光源341被设置于所述平面棋盘格标板21的一背侧,并且所述平面光源341被叠置于所述平面棋盘格标板21,使得所述平面光源341所发出的激光能均匀地穿过所述平面棋盘格标板21,进而被所述tof摄像模组11的所述感光控制模块112接收,从而使得所述tof摄像模组11能够拍摄到高质量的所述tof图像。更优选地,所述平面光源341所发射的激光的波长为850nm。

举例地,所述标定系统标定所述tof设备10的步骤如下:

首先,开启所述标定系统和所述tof设备10,配置一标板模块20于所述tof摄像模组和所述rgb摄像模组共同的视场区域内,使得所述tof设备10的所述tof摄像模组11和所述rgb摄像模组12均能够拍摄到所述标板模块20,以同步获得所述标板模块20的图像200,以采集相应的tof图像和rgb图像,其中所述tof图像和所述rgb图像均包括所述标板模块20的图像。

接着,所述控制模块30的所述交互模块31能接收所述tof图像110和所述rgb图像120,并且能将所述tof图像110和所述rgb图像120同步显示出来。

然后,判断在所述tof图像110和所述rgb图像120中的所述标板模块20的图像是否均完整,如果是,则通过所述交互模块31同步采集所述tof图像110和所述rgb图像120,并将所述tof图像110和所述rgb图像120保存起来;如果否,则先通过所述调位模块33改变所述标板模块20的位置,以改变所述标板模块20相对于所述tof设备10的位置,进而调整所述标板模块20的图像200在所述tof图像110和所述rgb图像120中的位置,使得所述标板模块20的图像能够被完整地显现于所述tof图像和所述rgb图像中,接着在通过所述交互模块31同步采集所述tof图像110和所述rgb120图像,从而确保所述tof图像110和所述rgb图像120中均包括所述标板模块20的完整图像。

之后,多次藉由所述调位模块33改变所述标板模块20的位置,并且在每次改变所述标板模块20的方位后,重复执行上述通过所述交互模块31采集所述tof图像110和所述rgb图像120的步骤,以获得至少三幅tof图像和与之相应的至少三幅rgb图像。

随后,基于所述至少三tof图像110,藉由所述标定模块32,单目标定所述tof摄像模组11,以获得所述tof摄像模组11的tof内参数mt和tof外参数(rt,tt),以供使用;基于所述至少三rgb图像,藉由所述标定模块32,单目标定所述rgb摄像模组12,以获得所述rgb摄像模组12的rgb内参数mr和rgb外参数(rr,tr),以供使用。

接下来,藉由所述标定模块32对每一所述rgb图像120进行降采样,以获得与所述tof图像110的分辨率相同的降采样rgb图像120’。

接着,基于所述降采样rgb图像120’,藉由所述标定模块32,再次单目标定所述rgb摄像模组12,以获得所述rgb摄像模组12的降采样rgb外参数(rrj,trj)。

最后,基于所述tof外参数(rt,tt)和所述降采样rgb外参数(rrj,trj),藉由所述标定模块32,双目标定所述tof设备,以获得所述tof设备的结构参数(r,t),即所述tof设备10中所述tof摄像模组11和所述rgb摄像模组12之间的位置关系,以完成标定所述tof设备10的任务。

综上所述,在本发明中不需要采用昂贵的材料或复杂的结构。因此,本发明成功和有效地提供一解决方案,不只提供一简单的tof设备的标定方法及其标定系统,同时还增加了所述tof设备的标定方法及其标定系统的实用性和可靠性。

本领域的技术人员应理解,上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本发明的实施方式可以有任何变形或修改。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1