双目摄像头标定方法及装置与流程

本发明涉及摄像头标定的技术领域，特别涉及一种双目摄像头标定方法及装置。

背景技术：

双目摄像头因其双目视觉的slam(即时定位与地图构建)稳定性好，功能强大，逐渐用于各种扫地机器人上。

目前，双目摄像头在使用前一般需要人为标定获得外参。为了节约人力，出厂前一般会使用默认标定参数，但是因其结构复杂，不易安装，两个摄像头安装位置如果出现较大的偏移，默认标定参数就不能适用于实际使用，容易影响之后的定位与导航。

技术实现要素：

本发明的主要目的为提供一种双目摄像头标定方法及装置，对双目摄像头进行标定。

本发明提出一种双目摄像头标定方法，包括以下步骤：

终端通过与双目摄像头位于同一深度平面的激光测距传感器测量激光测距传感器与指定目标的实际距离d；

通过双目摄像头分别采集指定目标的图像信息，并根据采集的指定目标的图像信息，计算出双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t；

通过双目摄像头分别采集激光测距传感器照射在所述指定目标上的红外光点图像信息，并根据图像信息中的匹配关系计算激光测距传感器与红外光点之间的深度值d；

根据所述实际距离d、深度值d以及两个摄像头之间距离的缩放值t计算出两个摄像头之间的实际距离t。

进一步地，所述根据采集的指定目标的图像信息，计算出双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t的步骤，包括：

对采集的指定目标的图像信息进行特征提取，提取两个摄像头采集的图像中匹配的特征点；

根据匹配的特征点，计算双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t。

进一步地，提取两个摄像头采集的图像中匹配的特征点的数量为八个,所述根据匹配的特征点，计算双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t的步骤，具体包括：

根据匹配的八个特征点，利用归一化八点法计算双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t。

进一步地，所述通过双目摄像头分别采集指定目标的图像信息的步骤之后，还包括：

对采集的指定目标的图像信息进行去噪处理。

进一步地，所述根据图像信息中的匹配关系计算激光测距传感器与红外光点之间的深度值d的步骤，包括：

根据所述红外光点在两个摄像头采集的图像中的匹配关系，利用三角法计算激光测距传感器与红外光点之间的深度值d。

进一步地，所述根据所述实际距离d、深度值d以及两个摄像头之间距离的缩放值t计算出两个摄像头之间的实际距离t的步骤包括：

根据所述实际距离d、深度值d，计算出尺度s；

根据所述尺度s以及两个摄像头之间距离的缩放值t，计算两个摄像头之间的实际距离t。

进一步地，所述尺度s的计算公式为s＝d/d；所述实际距离t的计算公式为t＝s×t。

进一步地，所述激光测距传感器位于所述双目摄像头中两个摄像头连线的中点上；所述终端为双目视觉扫地机器人。

本发明还提供了一种双目摄像头标定装置，包括：

测量单元，用于通过与双目摄像头位于同一深度平面的激光测距传感器测量激光测距传感器与指定目标的实际距离d；

第一计算单元，用于通过双目摄像头分别采集指定目标的图像信息，并根据采集的指定目标的图像信息，计算出双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t；

第二计算单元，用于通过双目摄像头分别采集激光测距传感器照射在所述指定目标上的红外光点图像信息，并根据图像信息中的匹配关系计算激光测距传感器与红外光点之间的深度值d；

第三计算单元，用于根据所述实际距离d、深度值d以及两个摄像头之间距离的缩放值t计算出两个摄像头之间的实际距离t。

进一步地，所述第一计算单元包括：

提取子单元，用于对采集的指定目标的图像信息进行特征提取，提取两个摄像头采集的图像中匹配的特征点；

第一计算子单元，用于根据匹配的特征点，计算双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t。

进一步地，所述第一计算子单元具体用于：

根据匹配的特征点，利用归一化八点法计算双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t。

进一步地，还包括：

去噪单元，用于对采集的指定目标的图像信息进行去噪处理。

进一步地，所述第二计算单元具体用于：

根据所述红外光点在两个摄像头采集的图像中的匹配关系，利用三角法计算激光测距传感器与红外光点之间的深度值d。

进一步地，所述第三计算单元包括：

第二计算子单元，用于根据所述实际距离d、深度值d，计算出尺度s；

第三计算子单元，用于根据所述尺度s以及两个摄像头之间距离的缩放值t，计算两个摄像头之间的实际距离t。

进一步地，所述尺度s的计算公式为s＝d/d；所述实际距离t的计算公式为t＝s×t。

进一步地，所述激光测距传感器位于所述双目摄像头中两个摄像头连线的中点上；所述终端为双目视觉扫地机器人。

本发明中提供的双目摄像头标定方法及装置，具有以下有益效果：

本发明中提供的双目摄像头标定方法及装置，终端通过与双目摄像头位于同一深度平面的激光测距传感器测量激光测距传感器与指定目标的实际距离d；通过双目摄像头分别采集指定目标的图像信息，并根据采集的指定目标的图像信息，计算出双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t；通过双目摄像头分别采集激光测距传感器照射在所述指定目标上的红外光点图像信息，并根据图像信息中的匹配关系计算激光测距传感器与红外光点之间的深度值d；根据所述实际距离d、深度值d以及两个摄像头之间距离的缩放值t计算出两个摄像头之间的实际距离t；以此来对双目摄像头进行标定。

附图说明

图1是本发明一实施例中双目摄像头标定方法的步骤示意图；

图2是本发明一实施例中步骤s2具体步骤示意图；

图3是本发明一实施例中步骤s4具体步骤示意图；

图4是本发明一实施例中双目摄像头标定装置的结构框图；

图5是本发明一实施例中第一计算单元结构框图；

图6是本发明一实施例中第三计算单元结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”“上述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件、单元、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、单元、模块、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。

参照图1，为本发明一实施例中双目摄像头标定方法的步骤示意图。

本发明一实施例中提出一种双目摄像头标定方法，包括以下步骤：

步骤s1，终端通过与双目摄像头位于同一深度平面的激光测距传感器测量激光测距传感器与指定目标的实际距离d；

步骤s2，通过双目摄像头分别采集指定目标的图像信息，并根据采集的指定目标的图像信息，计算出双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t；

步骤s3，通过双目摄像头分别采集激光测距传感器照射在所述指定目标上的红外光点图像信息，并根据图像信息中的匹配关系计算激光测距传感器与红外光点之间的深度值d；

步骤s4，根据所述实际距离d、深度值d以及两个摄像头之间距离的缩放值t计算出两个摄像头之间的实际距离t。

在本实施例中，双目摄像头可以应用于需要摄像的终端设备上，例如手机、扫地机器人等。本实施例中的终端以双目视觉扫地机器人为例进行阐述。

双目摄像头中包括的两个摄像头因安装的终端设备不同，其相应的外参也不同。因此在将双目摄像头安装于终端上(例如双目视觉扫地机器人)时，需要对其进行标定，该标定即为计算出该双目摄像头的外参，外参包括双目摄像头之间的实际距离t，以及双目摄像头旋转移动的转换矩阵r。

在本实施例中，标定之前，将激光测距传感器与安装好的双目摄像头设置在同一深度平面(同一竖直平面)内，优选地，所述激光测距传感器位于所述双目摄像头中两个摄像头连线的中点上。激光测距传感器可以测量出与指定目标的实际距离d，该指定目标指的是纹理丰富的目标，例如墙体上的一副壁画、相框等，纹理丰富的指定目标便于特征点的识别。激光测距传感器发射出红外光线照射在指定目标上形成一个红外光点，两个摄像头分别采集所述指定目标上的红外光点的图像信息，并根据图像信息中红外光点在两帧图像中的匹配关系计算激光测距传感器与红外光点之间的深度值d，该深度值d是一个刻度值，其代表的是红外光点与激光测距传感器之间具有多少个刻度。可以理解的是，根据上述实际距离d以及深度值d，便可以计算出尺度s，即每一个刻度的距离值。

进一步地，通过两个摄像头分别采集指定目标的图像信息，并根据采集的指定目标的图像信息，计算出双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t，该缩放值t不是一个实际距离值，其代表的是两个摄像头之间具有多少个刻度。由于上述测量均在同一状态下(即保持激光测距传感器以及双面摄像头位置不变)进行测量，因此，尺度s相同，便可以根据上述尺度s以及缩放值t计算出两个摄像头之间的实际距离t。

综上所述，便计算出双面摄像头旋转移动的转换矩阵r以及两个摄像头之间的实际距离t，完成对双面摄像头的外参标定。准确获取外参，且简单方便，运算量少，无需人为标定。

参照图2，在一实施例中，所述根据采集的指定目标的图像信息，计算出双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t的步骤s2，包括：

步骤s21，对采集的指定目标的图像信息进行特征提取，提取两个摄像头采集的图像中匹配的特征点；

步骤s22，根据匹配的特征点，计算双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t。

本实施例中，两个摄像头对指定目标进行图像采集，并对图像信息进行特征提取，提取两帧图像中相同的特征点进行匹配，再根据匹配的八个特征点，利用归一化八点法计算双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t。该缩放值t不是一个实际距离值，其代表的是两个摄像头之间具有多少个刻度。

在本实施例中，所述通过双目摄像头分别采集指定目标的图像信息的步骤之后，还包括：

对采集的指定目标的图像信息进行去噪处理。具体地，可以使用高斯滤波、中值滤波或形态学操作等进行去噪处理。

在另一实施例中，所述根据图像信息中的匹配关系计算激光测距传感器与红外光点之间的深度值d的步骤s2，具体包括：

根据所述红外光点在两个摄像头采集的图像中的匹配关系，利用三角法计算激光测距传感器与红外光点之间的深度值d。

本实施例中，两个摄像头各采集一帧红外光点的图像，在图像中根据红外光点这一相同的特征点进行匹配，并利用三角法计算激光测距传感器与红外光点之间的深度值d；该深度值d是一个刻度值，其代表的是红外光点与激光测距传感器之间具有多少个刻度。

参照图3，在上述实施例中，所述根据所述实际距离d、深度值d以及两个摄像头之间距离的缩放值t计算出两个摄像头之间的实际距离t的步骤s4包括：

步骤s41，根据所述实际距离d、深度值d，计算出尺度s；

步骤s42，根据所述尺度s以及两个摄像头之间距离的缩放值t，计算两个摄像头之间的实际距离t。

在本实施例中，指定目标与激光测距传感器之间的实际距离为d，激光测距传感器与红外光点之间的深度值为d，因此，便可以计算出当前测量状态下的尺度s。该尺度s即为两个摄像头之间距离的尺度值，因此根据所述尺度s以及两个摄像头之间距离的缩放值t，便可以计算出两个摄像头之间的实际距离t。

具体地，所述尺度s的计算公式为s＝d/d；所述实际距离t的计算公式为t＝s×t。

综上所述，为本发明实施例中提供的双目摄像头标定方法，准确计算出两个摄像头之间的实际距离t以及双目摄像头旋转移动的转换矩阵r，以此完成对双面摄像头的外参标定，且简单方便，运算量少，无需人为标定。

参照图4，本发明一实施例中还提供了一种双目摄像头标定装置，包括：

测量单元10，用于通过与双目摄像头位于同一深度平面的激光测距传感器测量激光测距传感器与指定目标的实际距离d；

第一计算单元20，用于通过双目摄像头分别采集指定目标的图像信息，并根据采集的指定目标的图像信息，计算出双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t；

第二计算单元30，用于通过双目摄像头分别采集激光测距传感器照射在所述指定目标上的红外光点图像信息，并根据图像信息中的匹配关系计算激光测距传感器与红外光点之间的深度值d；

第三计算单元40，用于根据所述实际距离d、深度值d以及两个摄像头之间距离的缩放值t计算出两个摄像头之间的实际距离t。

在本实施例中，双目摄像头可以应用于需要摄像的终端设备上，例如手机、扫地机器人等。本实施例中的终端以双目视觉扫地机器人为例进行阐述。

双目摄像头中包括的两个摄像头因安装的终端设备不同，其相应的外参也不同。因此在将双目摄像头安装于终端上(例如双目视觉扫地机器人)时，需要对其进行标定，该标定即为计算出该双目摄像头的外参，外参包括双目摄像头之间的实际距离t，以及双目摄像头旋转移动的转换矩阵r。

在本实施例中，标定之前，将激光测距传感器与安装好的双目摄像头设置在同一深度平面(同一竖直平面)内，优选地，所述激光测距传感器位于所述双目摄像头中两个摄像头连线的中点上。测量单元10通过激光测距传感器可以测量出与指定目标的实际距离d，该指定目标指的是纹理丰富的目标，例如墙体上的一副壁画、相框等，纹理丰富的指定目标便于特征点的识别。激光测距传感器发射出红外光线照射在指定目标上形成一个红外光点，两个摄像头分别采集所述指定目标上的红外光点图像信息；第二计算单元30根据图像信息中红外光点在两帧图像中的匹配关系计算激光测距传感器与红外光点之间的深度值d，该深度值d是一个刻度值，其代表的是红外光点与激光测距传感器之间具有多少个刻度。可以理解的是，根据上述实际距离d以及深度值d，便可以计算出尺度s，即每一个刻度的距离值。

进一步地，第一计算单元20通过两个摄像头分别采集指定目标的图像信息，并根据采集的指定目标的图像信息，计算出双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t，该缩放值t不是一个实际距离值，其代表的是两个摄像头之间具有多少个刻度。由于上述测量均在同一状态下(即保持激光测距传感器以及双面摄像头位置不变)进行测量，因此，尺度s相同。最后，第三计算单元40便可以根据上述尺度s以及缩放值t计算出两个摄像头之间的实际距离t。

综上所述，便计算出双面摄像头旋转移动的转换矩阵r以及两个摄像头之间的实际距离t，完成对双面摄像头的外参标定。准确获取外参，且简单方便，运算量少，无需人为标定。

参照图5，在一实施例中，所述第一计算单元20包括：

提取子单元201，用于对采集的指定目标的图像信息进行特征提取，提取两个摄像头采集的图像中匹配的特征点；

第一计算子单元202，用于根据匹配的特征点，计算双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t。

本实施例中，通过两个摄像头对指定目标进行图像采集，提取子单元201对图像信息进行特征提取，提取两帧图像中相同的特征点进行匹配，提取两个摄像头采集的图像中匹配的特征点的数量为八个,第一计算子单元202再根据匹配的特征点，利用归一化八点法计算双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t。该缩放值t不是一个实际距离值，其代表的是两个摄像头之间具有多少个刻度。

在另一实施例中，上述双面摄像头标定装置还包括：

去噪单元，用于对采集的指定目标的图像信息进行去噪处理。具体地，可以使用高斯滤波、中值滤波或形态学操作等进行去噪处理。

在另一实施例中，所述第二计算单元30具体用于：

根据所述红外光点在两个摄像头采集的图像中的匹配关系，利用三角法计算激光测距传感器与红外光点之间的深度值d。

本实施例中，两个摄像头各采集一帧红外光点的图像，在图像中根据红外光点这一相同的特征点进行匹配，第二计算单元30利用三角法计算激光测距传感器与红外光点之间的深度值d；该深度值d是一个刻度值，其代表的是红外光点与激光测距传感器之间具有多少个刻度。

参照图6，在上述实施例中，所述第三计算单元40包括：

第二计算子单元401，用于根据所述实际距离d、深度值d，计算出尺度s；

第三计算子单元402，用于根据所述尺度s以及两个摄像头之间距离的缩放值t，计算两个摄像头之间的实际距离t。

在本实施例中，指定目标与激光测距传感器之间的实际距离为d，激光测距传感器与红外光点之间的深度值为d，因此，第二计算子单元401便可以计算出当前测量状态下的尺度s。该尺度s即为两个摄像头之间距离的尺度值，因此根据所述尺度s以及两个摄像头之间距离的缩放值t，第三计算子单元402便可以计算出两个摄像头之间的实际距离t。

具体地，所述尺度s的计算公式为s＝d/d；所述实际距离t的计算公式为t＝s×t。

综上所述，为本发明实施例中提供的双目摄像头标定方法及装置，终端通过与双目摄像头位于同一深度平面的激光测距传感器测量激光测距传感器与指定目标的实际距离d；通过双目摄像头分别采集激光测距传感器照射在所述指定目标上的红外光点图像信息，并根据图像信息中的匹配关系计算激光测距传感器与红外光点之间的深度值d；通过双目摄像头分别采集指定目标的图像信息，并根据采集的指定目标的图像信息，计算出双目摄像头旋转移动的转换矩阵r以及两个摄像头之间距离的缩放值t；根据所述实际距离d、深度值d以及两个摄像头之间距离的缩放值t计算出两个摄像头之间的实际距离t；以此来对双目摄像头进行标定；准确计算出两个摄像头之间的实际距离t以及双目摄像头旋转移动的转换矩阵r，准确获取外参，且简单方便，运算量少，无需人为标定。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。