融合IMU位姿修正的双目视觉三维重建标定装置和方法与流程

本发明涉及三维重建技术领域，具体涉及一种融合imu位姿修正的双目视觉三维重建标定装置和方法。

背景技术：

现有的三维重建技术主要有动态和静态的两大类，在动态范围的三维重建分为基于飞行时间测距(timeofflight，简称为tof)类激光传感器，线结构光，或者一组双目视觉配合运动轨迹进行的测量，现有的测量方式与物体-相机运动轨迹之间并未建立实时的对应反馈关系，另外通过多组相机进行高动态图像融合使得测量更加精确。

标定修正畸变并重塑整个三维空间，是二维测量至整个三维重建得以实现的先觉条件，从1984年开始的takesak开始基于小孔成像进行测量放大因子计算开始，到后面成型的张正友的张氏标定法，期间主要分为线性法、非线性法和两者结合的两步法,但大多都是以二维靶面为基准进行的标定技术，其标定的操作和流程，需要标定人员进行繁杂的操作。

技术实现要素：

本发明要解决现有技术中三维重建的标定的操作和流程比较繁杂的问题，从而提供一种融合imu位姿修正的双目视觉三维重建标定装置和方法。

本发明的一方面，提供了一种融合imu位姿修正的双目视觉三维重建标定装置，包括：三维标定块，安装在标定的平面位置上，其上分布有标准的格点；多套相机组，分布设置在一环形运动模组上，用于拍摄所述三维标定块不同角度的图像，所述多套相机组均为设置有imu模块的双目相机组；旋转移动组件，用于驱动所述环形运送模组在所述环形运动模组所在平面旋转；垂直移动组件，用于驱动所述环形运行模组在与所述环形运动模组所在平面的垂直方向上移动。

可选地，所述环形运动模组固定在垂直导轨上，所述垂直移动组件用于驱动所述环形运动模组在所述垂直导轨上移动。

可选地，所述三维标定块为具有分区标识符号的圆柱体，每个分区上分布这所述标准的格点。

可选地，所述三维标定块与所述环形运动模组不同轴。

本发明实施例还提供了一种基于三维重建标定方法，包括：开启多套相机组并拍摄的三维标定块的初始图像，记录多套相机组的初始姿态信息；启动旋转移动组件，使所述多套相机组在所述环形运动模组所在平面旋转，并拍摄所述三维标定块的图像，记录拍摄时相机组的姿态信息；关闭所述旋转移动组件，启动垂直移动组件，使所述多套相机组在垂直于环形运动模组所在平面的方向上移动，并拍摄所述三维标定块的图像，记录拍摄时相机组的姿态信息；获取所述三维标定块上格点的实际参数以及拍摄的图像中所述三维标定块上相应格点的信息；利用所述格点的实际参数和所述图像中相应格点的信息计算得到多套相机组自身的内参和畸变系数。

可选地，还包括：利用所述计算得到内参和畸变系数对拍摄的图像进行修正。

可选地，还包括：利用所述格点的实际参数和所述图像中相应格点的信息，计算得到相对于世界坐标系的第一相机位置参数；获取相机中imu模块记录的第二相机位置参数；利用所述第一相机位置参数和所述第二相机位置参数确定出所述imu模块记录的位置参数与实际位置参数的变换关系。

可选地，还包括：同时启动所述旋转移动组件和所述垂直移动组件，使多套相机组做旋转和直线耦合的空间运动，并记录每组相机上imu模块的参数；利用每组相机上imu模块的参数计算出所述多套相机组的运动轨迹。

可选地，利用每组相机上imu模块的参数计算出所述多套相机组的运动轨迹包括：计算所述多套相机组在旋转方向的转速和加速度，以及在垂直方向的速度和加速度。

可选地，还包括：关闭所述垂直移动组件，只启动所述旋转移动组件，并以不同光照条件照射三维标定块表面，所述多套相机组在不同光照条件下拍摄所述三维标定块的图像；根据不同光照条件下的图像中格点信息计算对应图像融合的仿射变换关系，计算每张图像上的信息熵；根据所述信息熵以及所述仿射变换关系确定图像融合策略。

本发明实施例中，通过利用多套相机组分布设置在一环形运动模组上，并设置旋转移动组件用于驱动所述环形运送模组旋转，设置垂直移动组件用于驱动所述环形运行模组垂直运动，这样，在进行标定的过程中，用户只需要启动旋转移动组件和/或垂直移动组件来驱动相机移动到三维标定块的各个角度进行拍摄，无需复杂的操作过程，即可获取到标定过程所需的参数。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中融合imu位姿修正的双目视觉三维重建标定装置的示意图；

图2为本发明实施例中三维重建标定方法的流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

惯性测量单元(英文：inertialmeasurementunit，简称imu)是测量物体三轴姿态角(或角速率)以及加速度的装置。

本发明实施例提供了一种融合imu位姿修正的双目视觉三维重建标定装置，如图1所示，该装置包括：

三维标定块10，安装在标定的平面位置上，其上分布有标准的格点。由于三维标定块已经处于标定的平面位置，其上个各个格点的相关信息也已知，例如，格点的尺寸大小、格点的坐标等都是已知信息，可以直接记录在存储介质中。

多套相机组，分布设置在一环形运动模组30上，用于拍摄所述三维标定块不同角度的图像。图1所示的多套相机组包括相机21、相机22和相机23。本发明实施例中所述多套相机组可以是三套、四套、五套……本发明为了描述方便图中仅以三套为例进行说明，但并不是对本发明的限定。

旋转移动组件(图中未示出)，用于驱动所述环形运送模组30在所述环形运动模组30所在平面旋转。如图中所示的旋转方向fx。

垂直移动组件(图中未示出)，用于驱动所述环形运行模组30在与所述环形运动模组30所在平面的垂直方向上移动。如图中所述的移动方向fc。

所述环形运动模组固定在垂直导轨上，所述垂直移动组件用于驱动所述环形运动模组在所述垂直导轨上移动。上述旋转移动组件和垂直移动组件均可以采用电机作为动力源，驱动环形运行模组进行相应的运动。相机组大致均匀的分布(精确位置标定过程会再计算一边)在环形运动模组上，模组自身在相应组件驱动下沿着内侧环形导轨进行旋转，环形导轨固定在数值运动的直线导轨上。可进行自动进行多位置的图像采集，并自动完成标定过程。

需要说明的是，旋转移动组件和垂直移动组件具体如何设置以及设置在什么位置并非本发明的发明点，本发明实施例中，只要设置旋转移动组件能够驱动所述环形运送模组30按照要求旋转，垂直移动组件能够驱动所述环形运行模组30按照要求移动即可满足本发明实施例的要求，均属于本发明的保护范围内。

本发明实施例中，通过利用多套相机组分布设置在一环形运动模组上，并设置旋转移动组件用于驱动所述环形运送模组旋转，设置垂直移动组件用于驱动所述环形运行模组垂直运动，这样，在进行标定的过程中，用户只需要启动旋转移动组件和/或垂直移动组件来驱动相机移动到三维标定块的各个角度进行拍摄，无需复杂的操作过程，即可获取到标定过程所需的参数。

作为一种可选的实施方式，本发明实施例中所述多套相机组均为设置有imu模块的双目相机组。其中，imu模块为惯性测量单元，一种用于测量物体三轴姿态角(或角速率)以及加速度的装置。通过该模块可以记录对应相机的姿态信息。

可选地，所述三维标定块为具有分区标识符号的圆柱体，每个分区上分布这所述标准的格点。所述三维标定块与所述环形运动模组不同轴。

本发明实施例还提供了一种三维重建标定方法，该方法是基于上述实施例所述的融合imu位姿修正的双目视觉三维重建标定装置的，如图2所示，该方法包括：

步骤s201，开启多套相机组并拍摄的三维标定块的初始图像，记录多套相机组的初始姿态信息。

具体地，开启imu模块用以记录相机的姿态信息，启动相机的拍照功能，用于拍摄初始图像。

步骤s202，启动旋转移动组件，使所述多套相机组在所述环形运动模组所在平面旋转，并拍摄所述三维标定块的图像，记录拍摄时相机组的姿态信息。

步骤s203，关闭所述旋转移动组件，启动垂直移动组件，使所述多套相机组在垂直于环形运动模组所在平面的方向上移动，并拍摄所述三维标定块的图像，记录拍摄时相机组的姿态信息。

步骤s204，获取所述三维标定块上格点的实际参数以及拍摄的图像中所述三维标定块上相应格点的信息。格点的实际参数可以是指格点相关的参数信息，例如，三维标定块的区块之间的距离，格点的尺寸，以及三维标定块的主体半径等，这些信息可以计算得到每个格点在世界坐标系(已标定的坐标系)的坐标(也即是真实坐标)，具体地，标识i的区块中(例如0,1,2，用于标识区块),第n个格点的真实坐标为wpt(r-r*cos((i*d+m*dd)/r)，n*dd，r*sin((i*d+m*dd)/r))；其中，d为两个区块之间的距离，dd为格点尺寸，r为柱体半径，m为格点所在的列，n表示格点所在的行。

步骤s205，利用所述格点的实际参数和所述图像中相应格点的信息计算得到多套相机组自身的内参和畸变系数。

具体地，图像测得的格点像素坐标为(u，v)，fx,fy,cx,cy分别为相机的横向纵向的焦距和偏心修正值，l、r的上标分别代表了双目相机组的左和右，d表示深度数据，分别为对应的外参坐标，wptx,wpty,wptz分别为(r-r*cos((i*d+m*dd)/r)，n*dd，r*sin((i*d+m*dd)/r)。通过以下公式计算相机像素坐标与世界坐标的变换矩阵：

在求解出单相机像素坐标和世界坐标的变换矩阵后，需要根据双目相机组的位置关系转换为深度点云数据，及求对应组像素点和z点，具体公式如下：

其中，f为相机焦距，即fx，fy两个方向焦距的综合cx为相机成像中心在像素坐标系下的x坐标，也可以理解为图像中心x方向偏移量；上标l、r分别就是left相机和right相机，tx为相机中心距离w为被测量对象齐次坐标系下的齐次项，及矩阵计算将三维坐标转为四维坐标下的计算。公式中的w实际上是下面的1的齐次项，k为基于双目测量的三维点云坐标的修正系数q,为定义的用于双目视觉深度计算的特征矩阵，其定义为右侧的公式。

本发明实施例在计算得到相机的内参和畸变系数之后，方法还包括：利用所述计算得到内参和畸变系数对拍摄的图像进行修正。

作为一种可选的实施方式，本发明实施例的方法还包括：利用所述格点的实际参数和所述图像中相应格点的信息，计算得到相对于世界坐标系的第一相机位置参数；获取相机中imu模块记录的第二相机位置参数；利用所述第一相机位置参数和所述第二相机位置参数确定出所述imu模块记录的位置参数与实际位置参数的变换关系。

具体地，通过图像自身解出相机坐标信息，融入imu记录的相机组位置参数，建立imu和相机坐标系的位置关系。首先根据棋盘格点信息，计算出相对于世界坐标系的相机起始位置cam0和当前位置的相机坐标cam1，对于imu测得的对应的位置分别为imu0和imu1，由于imu和相机组呈刚性连接，因此其坐标之间存在着固定的变换关系，求解关系如下。

通过计算得出的imu和相机组的坐标之间的关系参数，用以表征二者之间的变换关系，也即是imu模块记录的位置参数与实际位置参数的变换关系。

进一步地，本发明实施例的方法还包括：同时启动所述旋转移动组件和所述垂直移动组件，使多套相机组做旋转和直线耦合的空间运动，并记录每组相机上imu模块的参数；利用每组相机上imu模块的参数计算出所述多套相机组的运动轨迹。具体地，利用每组相机上imu模块的参数计算出所述多套相机组的运动轨迹包括：计算所述多套相机组在旋转方向的转速和加速度，以及在垂直方向的速度和加速度。

同时开启旋转和直线移动组件，使得相机组做旋转和直线耦合的空间运动，实时记录各组相机组的imu参数，通过参数反解整体的运动轨迹，运动轨迹由等时间测得的多组位置参数，转换为相机位置坐标，旋转方向的转速为w，加速度为δ，竖直方向上的速度v,加速度为a,则其位置变化式满足,根据多组参数联立，通过以下公式求解速度和加速度：

其中，camt-after为相机下一个拍摄的位置，camt-preview为基于标定的运动轨迹所预测的t-after的位置，后测的矩阵为当前测得一个imu数据所计算的位置，p为权重，即考虑到测量位置和预测位置的误差，进行的一个卡尔曼滤波修正。

作为本发明一种可选实施方式，本发明实施例的方法还包括：

关闭所述垂直移动组件，只启动所述旋转移动组件，并以不同光照条件照射三维标定块表面，所述多套相机组在不同光照条件下拍摄所述三维标定块的图像；根据不同光照条件下的图像中格点信息计算对应图像融合的仿射变换关系，计算每张图像上的信息熵；根据所述信息熵以及所述仿射变换关系确定图像融合策略。

具体地，关闭垂直移动组件，只开启旋转移动组件，实时记录并上传图像，相机组本身设定的曝光参数不同，因此，打开补光灯，以不同光照条件照射标定板表面，根据不同照度下的图像格点信息求解对应图像融合的仿射变换关系，计算其整张图片的信息熵并且根据信息熵望大原则确定图像融合策略。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本申请的保护范围之中。