姿态标定方法、设备及无人飞行器与流程

文档序号:16369226发布日期:2018-12-22 08:36阅读:354来源:国知局
姿态标定方法、设备及无人飞行器与流程

本发明实施例涉及无人机领域,尤其涉及一种姿态标定方法、设备及无人飞行器。

背景技术

现有技术中图像传感器通过感测射入该图像传感器的光线生成图像,在对图像进行处理时,还需要获取图像传感器的姿态信息、位置信息,通常使用惯性测量单元(inertialmeasurementunit,简称imu)检测图像传感器的姿态信息。目前,imu输出的姿态信息通常是以imu的坐标系为依据的,还需要将imu输出的姿态信息转换到图像传感器的坐标系中,才可得到图像传感器的姿态信息。由于imu的坐标系和图像传感器的坐标系存在一定的偏差,导致imu和图像传感器之间存在一定的姿态关系。因此,需要对imu和图像传感器之间的姿态关系进行标定。

现有技术中,对imu和图像传感器之间的姿态关系进行标定时需要将imu设置在相对于图像传感器固定的位置,并使用装配工艺来保证图像传感器和imu的坐标轴相互对齐。

但是,通常很难保证图像传感器和imu的坐标轴相互对齐,如果图像传感器和imu的坐标轴无法对齐,将导致imu和图像传感器之间的姿态关系的标定结果不精确。如果标定结果不精确,会导致imu数据不可用,影响图像的后期处理,例如防抖动、同步定位与地图构建(simultaneouslocalizationandmapping,简称slam)等。



技术实现要素:

本发明实施例提供一种姿态标定方法、设备及无人飞行器,以提高拍摄设备和惯性测量单元的相对姿态的精确度。

本发明实施例的第一方面是提供一种姿态标定方法,包括:

获取拍摄设备拍摄的视频数据;

根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态。

本发明实施例的第二方面是提供一种姿态标定设备,包括:存储器和处理器;

所述存储器用于存储程序代码;

所述处理器,调用所述程序代码,当程序代码被执行时,用于执行以下操作:

获取拍摄设备拍摄的视频数据;

根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态。

本发明实施例的第三方面是提供一种无人飞行器,包括:

机身;

动力系统,安装在所述机身,用于提供飞行动力;

飞行控制器,与所述动力系统通讯连接,用于控制所述无人飞行器飞行;

拍摄设备,用于拍摄视频数据;以及

上述第二方面所述的姿态标定设备。

本实施例提供的姿态标定方法、设备及无人飞行器,通过在拍摄设备拍摄视频数据的过程中,根据imu的测量结果确定出拍摄设备在拍摄视频数据过程中imu的旋转信息,由于视频数据和imu的测量结果都是可以准确获取的,因此,根据视频数据以及imu的旋转信息,确定出的拍摄设备和惯性测量单元的相对姿态的精确度较高,相比于现有技术通过对齐图像传感器和imu的坐标轴以确定imu和图像传感器之间的姿态关系,提高了相对姿态的精确度,避免了imu和图像传感器的相对姿态不精确而导致imu数据不可用,影响图像的后期处理的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的姿态标定方法的流程图;

图2为本发明实施例提供的视频数据的示意图;

图3为本发明实施例提供的视频数据的示意图;

图4为本发明实施例提供的姿态标定方法的流程图;

图5为本发明实施例提供的姿态标定方法的流程图;

图6为本发明另一实施例提供的姿态标定方法的流程图;

图7为本发明另一实施例提供的姿态标定方法的流程图;

图8为本发明另一实施例提供的姿态标定方法的流程图;

图9为本发明实施例提供的姿态标定设备的结构图;

图10为本发明实施例提供的无人飞行器的结构图。

附图标记:

20-视频数据21-图像帧22-图像帧

31-图像帧32-图像帧90-姿态标定设备

91-存储器92-处理器100-无人飞行器

107-电机106-螺旋桨117-电子调速器

118-飞行控制器108-传感系统110-通信系统

102-支撑设备104-拍摄设备112-地面站

114-天线116-电磁波

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中组件。

除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。

本发明实施例提供一种姿态标定方法。图1为本发明实施例提供的姿态标定方法的流程图。如图1所示,本实施例中的方法,可以包括:

步骤s101、获取拍摄设备拍摄的视频数据。

本实施例所述的姿态标定方法适用于标定拍摄设备和惯性测量单元(inertialmeasurementunit,简称imu)之间的姿态,imu的测量结果表示imu的姿态信息,imu的姿态信息包括如下至少一种:imu的角速度、imu的旋转矩阵、imu的四元数。可选的,拍摄设备和imu设置在同一印制电路板(printedcircuitboard,简称pcb)上,或者拍摄设备和imu刚性连接,拍摄设备和imu之间的相对姿态未知。

拍摄设备具体可以是摄像机、相机等设备,通常情况下,根据拍摄设备的镜头参数可确定出拍摄设备的内参,或者,拍摄设备的内参也可通过标定的方法得到。在本实施例中,拍摄设备的内参是已知的,可选的,拍摄设备的内参包括如下至少一种:所述拍摄设备的焦距、所述拍摄设备的像素大小。另外,imu的输出值是经过校准之后准确的数值。

拍摄设备例如为相机,相机的内参记为g,图像坐标表示为[x,y]t,过相机光心的射线表示为[x',y',z']t,根据如下公式(1)可知,由图像坐标[x,y]t和相机的内参g可得到由[x',y',z']t表示的一条过相机光心的射线。根据图像公式(2)可知,由一条过相机光心的射线[x',y',z']t和相机的内参g可得到图像坐标[x,y]t

[x',y',z']t=g([x,y]t)(1)

[x,y]t=g-1([x',y',z']t)(2)

在本实施例中,拍摄设备和imu可以设置在无人机上,也可以设置在手持云台上,还可以设置在其他的可移动设备上。拍摄设备和imu可以同时工作,也就是说,拍摄设备在拍摄目标物体的同时imu检测自身的姿态信息并输出测量结果。例如,在imu输出第一个测量结果时刻拍摄设备拍摄第一帧图像。

可选的,目标物体距离拍摄设备在3米之外的地方,例如,拍摄设备从t1时刻开始拍摄目标物体的视频数据,到t2时刻拍摄设备结束拍摄,imu从t1时刻开始检测自身的姿态信息并输出测量结果,到t2时刻imu结束检测自身的姿态信息以及停止输出测量结果。可见,通过拍摄设备可获得从t1时刻到t2时刻这段时间内目标物体的视频数据,通过imu可获得从t1时刻到t2时刻这段时间内imu的姿态信息。

步骤s102、根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态。

在本实施例中,根据从t1时刻到t2时刻这段时间内imu输出的测量结果,可确定imu在t1时刻到t2时刻这段时间内的转动信息,也就是拍摄设备在拍摄视频数据过程中imu的转动信息。进一步的,根据t1时刻到t2时刻这段时间内拍摄设备拍摄的视频数据和t1时刻到t2时刻这段时间内imu的转动信息,确定拍摄设备和imu的相对姿态。

可选的,所述旋转信息包括如下至少一种:旋转角度、旋转矩阵、四元数。

可选的,所述根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态,包括:根据所述视频数据中相隔预设帧数的第一图像帧和第二图像帧,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态。

假设t1时刻到t2时刻这段时间内拍摄设备拍摄的视频数据记为i,视频数据i包括多帧图像,ik表示视频数据i的第k帧图像。可选的,假设拍摄设备在拍摄视频数据的过程中对图像信息的采样帧率为fi,也就是说,拍摄设备在拍摄视频数据时每秒钟拍摄图像的帧数为fi。同时,imu以fw的频率采集自身的姿态信息,也就是说,imu以fw的频率输出测量结果。imu的测量结果记为ω,ω=(wx,wy,wz),wx,wy,wz分别是ω的三个自由度。可选的,fw大于fi。可就是说,在相同时间内,拍摄设备拍摄的图像帧数少,imu输出的测量结果数量多。

如图2所示,20表示视频数据,21表示视频数据中的一帧图像,22表示视频数据中的另一帧图像,本实施例不限定视频数据包括的图像帧的数量。拍摄设备在拍摄视频数据20的过程中,imu以fw的频率输出测量结果,根据拍摄设备在拍摄视频数据20的过程中imu输出的测量结果可以确定出拍摄设备在拍摄视频数据20的过程中imu的旋转信息,进一步,根据视频数据20,以及拍摄设备在拍摄视频数据20的过程中imu的旋转信息,确定拍摄设备和imu的相对姿态。

如图2所示,假设拍摄设备先拍摄图像帧21,后拍摄图像帧22,图像帧21和图像帧22之间相隔预设帧图像,可选的,根据视频数据20,以及拍摄设备在拍摄视频数据20的过程中imu的旋转信息,确定拍摄设备和imu的相对姿态可通过如下的方式实现:根据视频数据20中相隔预设帧数的图像帧21和图像帧22,以及从图像帧21的第一曝光时刻到图像帧22的第二曝光时刻的时间内imu的旋转信息,确定拍摄设备和imu的相对姿态。其中,从图像帧21的第一曝光时刻到图像帧22的第二曝光时刻的时间内imu的旋转信息具体是根据从第一曝光时刻到第二曝光时刻的时间内imu的测量结果确定的。

不失一般性,假设图像帧21是视频数据20的第k帧图像,图像帧22是视频数据20的第k+n帧图像,n≥1,也就是说,图像帧21和图像帧22之间相隔n-1帧图像,假设视频数据20包括m帧图像,m>n,1≤k≤m-n。可选的,根据视频数据20,以及拍摄设备在拍摄视频数据20的过程中imu的旋转信息,确定拍摄设备和imu的相对姿态可通过如下的方式实现:根据视频数据20中的第k帧图像和第k+n帧图像,以及从第k帧图像的曝光时刻到第k+n帧图像的曝光时刻的时间内imu的旋转信息,确定拍摄设备和imu的相对姿态,其中,1≤k≤m-n,也就是说,k从1遍历到m-n。例如,根据视频数据20中的第1帧图像和第1+n帧图像、从第1帧图像的曝光时刻到第1+n帧图像的曝光时刻的时间内imu的旋转信息、视频数据20中的第2帧图像和第2+n帧图像、从第2帧图像的曝光时刻到第2+n帧图像的曝光时刻的时间内imu的旋转信息、……、一直到第m-n帧图像和第m帧图像、从第m-n帧图像的曝光时刻到第m帧图像的曝光时刻的时间内imu的旋转信息,确定出拍摄设备和imu的相对姿态。

在本实施例中,根据所述视频数据中相隔预设帧数的第一图像帧和第二图像帧,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态包括如下几种可行的实现方式:

一种可行的实现方式是:根据所述视频数据中相邻的第一图像帧和第二图像帧,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态。

可选的,视频数据中相隔预设帧数的第一图像帧和第二图像帧可以是视频数据中相邻的第一图像帧和第二图像帧,例如,图像帧21和图像帧22之间相隔n-1帧图像,当n=1时,图像帧21表示视频数据20的第k帧图像,图像帧22是视频数据20的第k+1帧图像,图像帧21和图像帧22为相邻的两帧图像,如图3所示,图像帧31和图像帧32是相邻的两帧图像,相应的,根据视频数据20中相隔预设帧数的图像帧21和图像帧22,以及从图像帧21的第一曝光时刻到图像帧22的第二曝光时刻的时间内imu的旋转信息,确定拍摄设备和imu的相对姿态可通过如下方式实现:根据视频数据20中相邻的图像帧31和图像帧32,以及从图像帧31的第一曝光时刻到图像帧32的第二曝光时刻的时间内imu的旋转信息,确定拍摄设备和imu的相对姿态。由于imu输出测量结果的频率大于拍摄设备采集图像信息的频率,因此,在相邻两帧图像的曝光时间内,imu可输出多个测量结果,根据imu输出的多个测量结果,可确定出从图像帧31的第一曝光时刻到图像帧32的第二曝光时刻的时间内imu的旋转信息。

不失一般性,假设图像帧31是视频数据20的第k帧图像,图像帧32是视频数据20的第k+1帧图像,图像帧31和图像帧32是相邻的两帧图像,假设视频数据20包括m帧图像,m>n,1≤k≤m-1。可选的,根据视频数据20,以及拍摄设备在拍摄视频数据20的过程中imu的旋转信息,确定拍摄设备和imu的相对姿态可通过如下的方式实现:根据视频数据20中的第k帧图像和第k+1帧图像,以及从第k帧图像的曝光时刻到第k+1帧图像的曝光时刻的时间内imu的旋转信息,确定拍摄设备和imu的相对姿态,其中,1≤k≤m-1,也就是说,k从1遍历到m-1。例如,根据视频数据20中的第1帧图像和第2帧图像、从第1帧图像的曝光时刻到第2帧图像的曝光时刻的时间内imu的旋转信息、视频数据20中的第2帧图像和第3帧图像、从第2帧图像的曝光时刻到第3帧图像的曝光时刻的时间内imu的旋转信息、……、一直到第m-1帧图像和第m帧图像、从第m-1帧图像的曝光时刻到第m帧图像的曝光时刻的时间内imu的旋转信息,确定出拍摄设备和imu的相对姿态。

另一种可行的实现方式是:如图4所示的如下步骤s401-s403:

步骤s401、对所述视频数据中相隔预设帧数的第一图像帧和第二图像帧分别进行特征提取,得到所述第一图像帧的多个第一特征点和所述第二图像帧的多个第二特征点。

如图2所示,图像帧21是视频数据20的第k帧图像,图像帧22是视频数据20的第k+n帧图像,n≥1,图像帧21和图像帧22之间相隔n-1帧图像。本实施例不限定图像帧21和图像帧22之间相隔的图像的帧数,即不限定n-1的具体取值。图像帧21可记为第一图像帧,图像帧22可记为第二图像帧,可以理解的是,视频数据20中存在多对相隔预设帧数的第一图像帧和第二图像帧。

可选的,以n=1为例,如图3所示,图像帧31和图像帧32是相邻的两帧图像。图像帧31是视频数据20的第k帧图像,图像帧32是视频数据20的第k+1帧图像。图3只是示意性说明相邻两帧图像。可选的,将图像帧31记为第一图像帧,将图像帧32记为第二图像帧,可以理解的是,视频数据20中存在多对相邻的第一图像帧和第二图像帧。

具体的,采用特征检测方法对每一对相邻的第一图像帧和第二图像帧分别进行特征提取,得到第一图像帧的多个第一特征点和第二图像帧的多个第二特征点,可选的,特征检测方法包括如下至少一种:尺度不变特征变换(scaleinvariantfeaturetransform,简称sift),surf算法,orb算法,haar角点。假设第k帧图像的第i个特征点表示为dk,i,dk,i=(sk,i,[xk,i,yk,i]),可以理解,i的取值不只一个。其中,sk,i表示第k帧图像的第i个特征点的描述子,该描述子包括如下至少一种:sift描述子、sufr描述子、orb描述子、lbp描述子。[xk,i,yk,i]表示第k帧图像的第i个特征点在第k帧图像中的位置即坐标点。同理,第k+1帧图像的第i个特征点表示为dk+1,i,dk+1,i=(sk+1,i,[xk+1,i,yk+1,i])。在本实施例中,不限定第k帧图像的特征点的个数,也不限定第k+1帧图像的特征点的个数。

步骤s402、对所述第一图像帧的多个第一特征点和所述第二图像帧的多个第二特征点进行特征点匹配,得到匹配的第一特征点和第二特征点。

例如,对第k帧图像的多个特征点和第k+1帧图像的多个特征点进行特征点匹配,经过匹配、错误匹配点排除之后,得到第k帧图像和第k+1帧图像一一匹配的特征点对。例如,第k帧图像的第i个特征点dk,i和第k+1帧图像的第i个特征点dk+1,i匹配,则特征点之间的匹配关系可以表示为可以理解,i的取值不只一个。

步骤s403、根据所述匹配的第一特征点和第二特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态。

可以理解,视频数据20中存在多对相邻的第一图像帧和第二图像帧,相邻的第一图像帧和第二图像帧匹配的特征点不只一对。如图3所示,图像帧31是视频数据20的第k帧图像,图像帧32是视频数据20的第k+1帧图像,假设第k帧图像的曝光时刻为tk,第k+1帧图像的曝光时刻为tk+1。从第k帧图像的曝光时刻tk到第k+1帧图像的曝光时刻tk+1的时间内imu输出多个测量结果;根据从第k帧图像的曝光时刻tk到第k+1帧图像的曝光时刻tk+1的时间内imu输出的测量结果,可确定出从tk到tk+1这段时间内imu的旋转信息,进一步的,根据第k帧图像和第k+1帧图像匹配的特征点对,以及从tk到tk+1这段时间内imu的旋转信息,确定拍摄设备和imu的相对姿态。

可选的,拍摄设备包括相机模组,根据相机模组所采用的传感器不同,可通过如下几种可能的实现方式确定某帧图像的曝光时刻,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息:

一种可能的实现方式是:相机模组采用全局快门(globalshutter)传感器,在这种情况下,一帧图像的不同行是同时曝光的。相机模组在拍摄视频数据时每秒钟拍摄图像的帧数为fi,也就是说,相机模组拍摄一帧图像所用的时间为1/fi,则第k帧图像开始曝光的时刻为k/fi,即tk=k/fi,同理,第k+1帧图像开始曝光的时刻为tk+1=(k+1)/fi。在[tk,tk+1]这段时间内,imu以fw的频率采集imu的姿态信息,imu的姿态信息包括如下至少一种:imu的角速度、imu的旋转矩阵、imu的四元数。imu的旋转信息包括如下至少一种:旋转角度、旋转矩阵、四元数。如果imu的测量结果是imu的角速度,则对imu的角速度在[tk,tk+1]这段时间内进行积分可得到[tk,tk+1]这段时间内imu的旋转角度。如果imu的测量结果是imu的旋转矩阵,则对imu的旋转矩阵在[tk,tk+1]这段时间内进行连乘积分可得到[tk,tk+1]这段时间内imu的旋转矩阵。如果imu的测量结果是imu的四元数,则对imu的四元数在[tk,tk+1]这段时间内进行连乘积分可得到[tk,tk+1]这段时间内imu的四元数。可选的,本实施例采用对imu的旋转矩阵在[tk,tk+1]这段时间内进行连乘积分以得到[tk,tk+1]这段时间内imu的旋转矩阵,[tk,tk+1]这段时间内imu的旋转矩阵记为rk,k+1。

另一种可能的实现方式是:相机模组采用卷帘快门(rollingshutter)传感器。在这种情况下,一帧图像的不同行是在不同时刻曝光的。例如,在一帧图像内部,从第一行开始曝光到最后一行曝光结束所需的时间为t,假设一帧图像的高度为h。对于卷帘快门而言,特征点的曝光时刻还取决于该特征点在图像中所在的位置。由于第k帧图像的第i个特征点dk,i在第k帧图像中的位置为[xk,i,yk,i],xk,i表示第i个特征点在图像宽度方向的坐标,yk,i表示第i个特征点在图像高度方向的坐标,dk,i的曝光时刻记为tk,i,同理,与dk,i匹配的特征点dk+1,i的曝光时刻记为tk+1,i,在[tk,i,tk+1,i]这段时间内,imu以fw的频率采集imu的姿态信息,imu的姿态信息包括如下至少一种:imu的角速度、imu的旋转矩阵、imu的四元数。imu的旋转信息包括如下至少一种:旋转角度、旋转矩阵、四元数。如果imu的测量结果是imu的角速度,则对imu的角速度在[tk,i,tk+1,i]这段时间内进行积分可得到[tk,i,tk+1,i]这段时间内imu的旋转角度。如果imu的测量结果是imu的旋转矩阵,则对imu的旋转矩阵在[tk,i,tk+1,i]这段时间内进行连乘积分可得到[tk,i,tk+1,i]这段时间内imu的旋转矩阵。如果imu的测量结果是imu的四元数,则对imu的四元数在[tk,i,tk+1,i]这段时间内进行连乘积分可得到[tk,i,tk+1,i]这段时间内imu的四元数。可选的,本实施例采用对imu的旋转矩阵在[tk,i,tk+1,i]这段时间内进行连乘积分以得到[tk,tk+1]这段时间内imu的旋转矩阵,[tk,i,tk+1,i]这段时间内imu的旋转矩阵记为

具体的,根据所述匹配的第一特征点和第二特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态,包括如图5所示的如下步骤s501-s503:

步骤s501、根据所述第一特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述第一特征点在所述第二图像帧中的投影位置。

例如,第k帧图像的第i个特征点dk,i和第k+1帧图像的第i个特征点dk+1,i匹配,第k帧图像的第i个特征点dk,i记为第一特征点,第k+1帧图像的第i个特征点dk+1,i记为第二特征点,当相机模组采用全局快门(globalshutter)传感器时,[tk,tk+1]这段时间内imu的旋转矩阵记为rk,k+1,根据第k帧图像的第i个特征点dk,i,以及[tk,tk+1]这段时间内imu的旋转矩阵rk,k+1,可确定第k帧图像的第i个特征点dk,i在第k+1帧图像中的投影位置。当相机模组采用卷帘快门(rollingshutter)传感器时,[tk,i,tk+1,i]这段时间内imu的旋转矩阵记为根据第k帧图像的第i个特征点dk,i,以及[tk,i,tk+1,i]这段时间内imu的旋转矩阵可确定第k帧图像的第i个特征点dk,i在第k+1帧图像中的投影位置。

具体的,所述根据所述第一特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述第一特征点在所述第二图像帧中的投影位置,包括:根据所述第一特征点在所述第一图像帧中的位置、从所述第一曝光时刻到所述第二曝光时刻的时间内所述惯性测量单元的旋转信息、所述拍摄设备和所述惯性测量单元的相对姿态、以及所述拍摄设备的内参,确定所述第一特征点在所述第二图像帧中的投影位置。

具体的,假设所述拍摄设备和所述惯性测量单元的相对姿态记为可以理解的是,所述拍摄设备和所述惯性测量单元的相对姿态为相机模组的坐标系相对于imu的坐标系的旋转关系。

当相机模组采用全局快门(globalshutter)传感器时,第k帧图像的第i个特征点dk,i在第k帧图像中的位置为[xk,i,yk,i],第k帧图像开始曝光的时刻为tk=k/fi,第k+1帧图像开始曝光的时刻为tk+1=(k+1)/fi,[tk,tk+1]这段时间内imu的旋转矩阵记为rk,k+1,所述拍摄设备和所述惯性测量单元的相对姿态为拍摄设备的内参为g,则根据相机的成像原理,第k帧图像的第i个特征点dk,i在第k+1帧图像中的投影位置为

当相机模组采用卷帘快门(rollingshutter)传感器时,第k帧图像的第i个特征点dki在第k帧图像中的位置为[xk,i,yk,i],dk,i的曝光时刻为与dk,i匹配的特征点dk+1,i的曝光时刻为[tk,i,tk+1,i]这段时间内imu的旋转矩阵所述拍摄设备和所述惯性测量单元的相对姿态为拍摄设备的内参为g,则根据相机的成像原理,第k帧图像的第i个特征点dk,i在第k+1帧图像中的投影位置为

可选的,所述拍摄设备的内参包括如下至少一种:所述拍摄设备的焦距、所述拍摄设备的像素大小。

步骤s502、根据所述第一特征点在所述第二图像帧中的投影位置,以及与所述第一特征点匹配的第二特征点,确定所述投影位置和所述第二特征点之间的距离。

在本实施例中,拍摄设备和imu的相对姿态是未知的,若相机模组采用全局快门(globalshutter)传感器,在给定正确的时,如下公式(3)成立。若相机模组采用卷帘快门(rollingshutter)传感器,在给定正确的时,如下公式(4)成立。

即在给定正确的时,第k帧图像的第i个特征点dk,i在第k+1帧图像中的投影位置和第k+1帧图像中与dk,i匹配的特征点dk+1,i是重合的,即在给定正确的时,第k帧图像的第i个特征点dk,i在第k+1帧图像中的投影位置与第k+1帧图像中与dk,i匹配的特征点dk+1,i之间的距离为0。

由于未知,需要求解未知的情况下,若相机模组采用全局快门(globalshutter)传感器,第k帧图像的第i个特征点dk,i在第k+1帧图像中的投影位置与第k+1帧图像中与dk,i匹配的特征点dk+1,i之间的距离可表示为如下公式(5)。若相机模组采用卷帘快门(rollingshutter)传感器,第k帧图像的第i个特征点dk,i在第k+1帧图像中的投影位置与第k+1帧图像中与dk,i匹配的特征点dk+1,i之间的距离可表示为如下公式(6)。

在本实施例中,所述距离包括如下至少一种:欧式距离、城市距离、马氏距离。

步骤s503、根据所述投影位置和所述第二特征点之间的距离,确定所述拍摄设备和所述惯性测量单元的相对姿态。

具体的,所述根据所述投影位置和所述第二特征点之间的距离,确定所述拍摄设备和所述惯性测量单元的相对姿态,包括:通过对所述投影位置和所述第二特征点之间的距离进行最优化,确定所述拍摄设备和所述惯性测量单元的相对姿态。

在公式(5)中,拍摄设备和imu的相对姿态是未知的,需要求解由于在给定正确的时,第k帧图像的第i个特征点dk,i在第k+1帧图像中的投影位置与第k+1帧图像中与dk,i匹配的特征点dk+1,i之间的距离为0即公式(5)的表示的距离d为0。反之,如果能找到一个使公式(5)表示的第k帧图像的第i个特征点dk,i在第k+1帧图像中的投影位置与第k+1帧图像中与dk,i匹配的特征点dk+1,i之间的距离最小例如为0,则能使该距离d最小的即可作为的解。

同理,在公式(6)中,拍摄设备和imu的相对姿态是未知的,需要求解由于在给定正确的时,第k帧图像的第i个特征点dk,i在第k+1帧图像中的投影位置与第k+1帧图像中与dk,i匹配的特征点dk+1,i之间的距离为0即公式(6)的表示的距离d为0。反之,如果能找到一个使公式(6)表示的第k帧图像的第i个特征点dk,i在第k+1帧图像中的投影位置与第k+1帧图像中与dk,i匹配的特征点dk+1,i之间的距离最小例如为0,则能使该距离d最小的即可作为的解。

所述通过对所述投影位置和所述第二特征点之间的距离进行最优化,确定所述拍摄设备和所述惯性测量单元的相对姿态,包括:通过使所述投影位置和所述第二特征点之间的距离最小,确定所述拍摄设备和所述惯性测量单元的相对姿态。

也就是说,通过对公式(5)进行最优化求出可使d取到最小值的拍摄设备和imu的相对姿态可确定出拍摄设备和imu的相对姿态或者,通过对公式(6)进行最优化求出可使d取到最小值的拍摄设备和imu的相对姿态,可确定出拍摄设备和imu的相对姿态。

可以理解的是,视频数据20中存在多对相邻的第一图像帧和第二图像帧,相邻的第一图像帧和第二图像帧匹配的特征点不只一对,不失一般性,如果相机模组采用全局快门(globalshutter)传感器,则拍摄设备和imu的相对姿态可通过如下公式(7)确定,如果相机模组采用卷帘快门(rollingshutter)传感器,则拍摄设备和imu的相对姿态可通过如下公式(8)确定:

其中,k表示视频数据中的第k帧图像,i表示第i个特征点。

另外,公式(7)的等价形式可以有多种,例如公式(9)、公式(10)、公式(11)所示,但不限于此:

此外,公式(8)的等价形式可以有多种,例如公式(12)、公式(13)、公式(14)所示,但不限于此:

本实施例通过在拍摄设备拍摄视频数据的过程中,根据imu的测量结果确定出拍摄设备在拍摄视频数据过程中imu的旋转信息,由于视频数据和imu的测量结果都是可以准确获取的,因此,根据视频数据以及imu的旋转信息,确定出的拍摄设备和惯性测量单元的相对姿态的精确度较高,相比于现有技术通过对齐图像传感器和imu的坐标轴以确定imu和图像传感器之间的姿态关系,提高了相对姿态的精确度,避免了imu和图像传感器的相对姿态不精确而导致imu数据不可用,影响图像的后期处理的问题。

本发明实施例提供一种姿态标定方法。图6为本发明另一实施例提供的姿态标定方法的流程图;图7为本发明另一实施例提供的姿态标定方法的流程图。在图1所示实施例的基础上,所述拍摄设备和所述惯性测量单元的相对姿态包括第一自由度、第二自由度和第三自由度。例如,拍摄设备和imu的相对姿态包括第一自由度、第二自由度和第三自由度,第一自由度记为α,第二自由度记为β,第三自由度记为γ,也就是说,可以表示为带入上述公式(7)-公式(14)中的任一公式中,可得到变形后的公式,以公式(8)为例,将带入公式(8)后,可变形为公式(15):

公式(15)还可以进一步变形为公式(16):

在本实施例中,所述通过对所述投影位置和所述第二特征点之间的距离进行最优化,确定所述拍摄设备和所述惯性测量单元的相对姿态,可通过如下几种可行的实现方式实现:

一种可行的实现方式是:如图6所示的步骤s601-步骤s604:

步骤s601、根据预设的第二自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第一自由度。

在公式(16)中,[xk,i,yk,i]tg是已知的,是未知的,本实施例可以通过求解第一自由度α、第二自由度β、第三自由度γ来求解假设第一自由度α、第二自由度β、第三自由度γ各自的初始值是预设的。可选的,第一自由度α的初始值为α0、第二自由度β的初始值为β0、第三自由度γ的初始值为γ0。

根据预设的第二自由度β0和预设的第三自由度γ0,求解公式(16)得到最优的第一自由度α1,也就是说,根据第二自由度β的初始值和第三自由度γ的初始值,求解公式(16)得到最优的第一自由度α1。

步骤s602、根据优化后的第一自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第二自由度。

根据步骤s601中求出的最优的第一自由度α1和预设的第三自由度γ即第三自由度γ的初始值,求解公式(16)得到最优的第二自由度β1。

步骤s603、根据优化后的第一自由度和优化后的第二自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第三自由度。

根据步骤s601中求出的最优的第一自由度α1和步骤s602求出的最优的第二自由度β1,求解公式(16)得到最优的第三自由度γ1。

步骤s604、通过循环优化第一自由度、第二自由度和第三自由度,直至优化后的第一自由度、第二自由度和第三自由度收敛,得到所述拍摄设备和所述惯性测量单元的相对姿态。

通过步骤s601-s603可分别得到最优的第一自由度α1、最优的第二自由度β1和最优的第三自由度γ1,进一步的,返回步骤s601,根据最优的第二自由度β1和最优的第三自由度γ1,再次求解公式(16)得到最优的第一自由度α2。再执行步骤s602,根据最优的第一自由度α2和最优的第三自由度γ1,再次求解公式(16)得到最优的第二自由度β2。再执行步骤s603,根据最优的第一自由度α2和最优的第二自由度β2,求解公式(16)得到最优的第三自由度γ2。可见,每循环执行一遍步骤s601-s603,最优的第一自由度、最优的第二自由度、最优的第三自由度就会得到一次更新,随着循环执行步骤s601-s603的次数不断增加,最优的第一自由度、最优的第二自由度、最优的第三自由度逐渐收敛。本实施例可以不断的循环执行步骤s601-s603,直到最优的第一自由度、最优的第二自由度、最优的第三自由度收敛,可选的,将收敛后的最优的第一自由度、最优的第二自由度、最优的第三自由度作为本实施例最终所求的第一自由度α、第二自由度β、第三自由度γ,根据收敛后的最优的第一自由度、最优的第二自由度、最优的第三自由度,可确定出的解,记为

另一种可行的实现方式是:如图7所示的步骤s701-步骤s704:

步骤s701、根据预设的第二自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第一自由度。

在公式(16)中,[xk,i,yk,i]tg是已知的,是未知的,本实施例可以通过求解第一自由度α、第二自由度β、第三自由度γ来求解假设第一自由度α、第二自由度β、第三自由度γ各自的初始值是预设的。可选的,第一自由度α的初始值为α0、第二自由度β的初始值为β0、第三自由度γ的初始值为γ0。

根据预设的第二自由度β0和预设的第三自由度γ0,求解公式(16)得到最优的第一自由度α1,也就是说,根据第二自由度β的初始值和第三自由度γ的初始值,求解公式(16)得到最优的第一自由度α1。

步骤s702、根据预设的第一自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第二自由度。

根据预设的第一自由度α0和预设的第三自由度γ0,求解公式(16)得到最优的第二自由度β1,也就是说,根据第一自由度α的初始值和第三自由度γ的初始值,求解公式(16)得到最优的第二自由度β1。

步骤s703、根据预设的第一自由度和预设的第二自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第三自由度。

根据预设的第一自由度α0和预设的第二自由度β0,求解公式(16)得到最优的第三自由度γ1,也就是说,根据第一自由度α的初始值和第二自由度β的初始值,求解公式(16)得到最优的第三自由度γ1。

步骤s704、通过循环优化第一自由度、第二自由度和第三自由度,直至优化后的第一自由度、第二自由度和第三自由度收敛,得到所述拍摄设备和所述惯性测量单元的相对姿态。

通过步骤s701-s703可分别得到最优的第一自由度α1、最优的第二自由度β1和最优的第三自由度γ1,进一步的,返回步骤s701,根据最优的第二自由度β1和最优的第三自由度γ1,再次求解公式(16)得到最优的第一自由度α2。再执行步骤s702,根据最优的第一自由度α1和最优的第三自由度γ1,再次求解公式(16)得到最优的第二自由度β2。再执行步骤s703,根据最优的第一自由度α1和最优的第二自由度β1,求解公式(16)得到最优的第三自由度γ2。可见,每循环执行一遍步骤s701-s703,最优的第一自由度、最优的第二自由度、最优的第三自由度就会得到一次更新,随着循环执行步骤s701-s703的次数不断增加,最优的第一自由度、最优的第二自由度、最优的第三自由度逐渐收敛。本实施例可以不断的循环执行步骤s701-s703,直到最优的第一自由度、最优的第二自由度、最优的第三自由度收敛,可选的,将收敛后的最优的第一自由度、最优的第二自由度、最优的第三自由度作为本实施例最终所求的第一自由度α、第二自由度β、第三自由度γ,根据收敛后的最优的第一自由度、最优的第二自由度、最优的第三自由度,可确定出的解,记为

可选的,所述第一自由度、所述第二自由度和所述第三自由度分别用于表示所述惯性测量单元的欧拉角分量;或者所述第一自由度、所述第二自由度和所述第三自由度分别用于表示所述惯性测量单元的轴角分量;或者所述第一自由度、所述第二自由度和所述第三自由度分别用于表示所述惯性测量单元的四元数分量。

本实施例通过求解拍摄设备和imu的相对姿态包括的第一自由度、第二自由度和第三自由度,来求解拍摄设备和imu的相对姿态,通过通过循环优化第一自由度、第二自由度和第三自由度,直至优化后的第一自由度、第二自由度和第三自由度收敛,得到拍摄设备和imu的相对姿态,提高了拍摄设备和imu的相对姿态的准确性。

本发明实施例提供一种姿态标定方法。图8为本发明另一实施例提供的姿态标定方法的流程图。在上述实施例的基础上,所述获取拍摄设备拍摄的视频数据之后,还包括如下步骤:

步骤s801、在所述拍摄设备拍摄所述视频数据的过程中,获取所述惯性测量单元的测量结果。

在本实施例中,imu的测量结果可以是imu的姿态信息,imu的姿态信息包括如下至少一种:imu的角速度、imu的旋转矩阵、imu的四元数。

可选的,所述惯性测量单元以第一频率采集所述惯性测量单元的角速度;所述拍摄设备在拍摄视频数据的过程中以第二频率采集图像信息;其中,第一频率大于第二频率。

例如,拍摄设备在拍摄视频数据的过程中对图像信息的采样帧率为fi,也就是说,拍摄设备在拍摄视频数据时每秒钟拍摄图像的帧数为fi。同时,imu以fw的频率采集自身的姿态信息例如角速度,也就是说,imu以fw的频率输出测量结果,fw大于fi。可就是说,在相同时间内,拍摄设备拍摄的图像帧数少,imu输出的测量结果数量多。

步骤s802、根据所述惯性测量单元的测量结果,确定所述拍摄设备在拍摄所述视频数据过程中所述惯性测量单元的旋转信息。

例如,根据拍摄设备在拍摄视频数据20的过程中imu输出的测量结果可以确定出拍摄设备在拍摄视频数据20的过程中imu的旋转信息。

具体的,所述根据所述惯性测量单元的测量结果,确定所述拍摄设备在拍摄所述视频数据过程中所述惯性测量单元的旋转信息,包括:对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息。

例如,imu的测量结果包括如下至少一种:imu的角速度、imu的旋转矩阵、imu的四元数,可选的,拍摄设备在拍摄视频数据20的过程中,第k帧图像开始曝光的时刻为k/fi,第k+1帧图像开始曝光的时刻为tk+1=(k+1)/fi,在[tk,tk+1]这段时间内,对imu的测量结果进行积分,可得到[tk,tk+1]这段时间内imu的旋转信息。

具体的,所述对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息,包括如下几种可行的实现方式:

一种可行的实现方式是:对所述惯性测量单元的角速度在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转角度。

例如,imu的测量结果是imu的角速度,拍摄设备在拍摄视频数据20的过程中,第k帧图像开始曝光的时刻为k/fi,第k+1帧图像开始曝光的时刻为tk+1=(k+1)/fi,则对imu的角速度在[tk,tk+1]这段时间内进行积分可得到[tk,tk+1]这段时间内imu的旋转角度。

另一种可行的实现方式是:对所述惯性测量单元的旋转矩阵在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行连乘积分,得到所述时间内所述惯性测量单元的旋转矩阵。

例如,imu的测量结果是imu的旋转矩阵,拍摄设备在拍摄视频数据20的过程中,第k帧图像开始曝光的时刻为k/fi,第k+1帧图像开始曝光的时刻为tk+1=(k+1)/fi,对imu的旋转矩阵在[tk,tk+1]这段时间内进行连乘积分可得到[tk,tk+1]这段时间内imu的旋转矩阵。

再一种可行的实现方式是:对所述惯性测量单元的四元数在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行连乘积分,得到所述时间内所述惯性测量单元的四元数。

例如,imu的测量结果是imu的四元数,拍摄设备在拍摄视频数据20的过程中,第k帧图像开始曝光的时刻为k/fi,第k+1帧图像开始曝光的时刻为tk+1=(k+1)/fi,对imu的四元数在[tk,tk+1]这段时间内进行连乘积分可得到[tk,tk+1]这段时间内imu的四元数。

此外,在其他实施例中,确定imu的旋转信息的方法可以不限于上述方法。

本实施例通过在拍摄设备拍摄视频数据的过程中,获取惯性测量单元的测量结果,对惯性测量单元的测量结果进行积分,得到拍摄设备拍摄视频数据的过程中惯性测量单元的旋转信息,由于惯性测量单元的测量结果是可以准确获取的,对惯性测量单元的测量结果进行积分可准确的计算出惯性测量单元的旋转信息。

本发明实施例提供一种姿态标定设备。图9为本发明实施例提供的姿态标定设备的结构图,如图9所示,姿态标定设备90包括:存储器91和处理器92。存储器91用于存储程序代码;处理器92调用所述程序代码,当程序代码被执行时,用于执行以下操作:获取拍摄设备拍摄的视频数据;根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态。

可选的,所述旋转信息包括如下至少一种:旋转角度、旋转矩阵、四元数。

处理器92根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态时,具体用于:根据所述视频数据中相隔预设帧数的第一图像帧和第二图像帧,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态。

具体的,处理器92根据所述视频数据中相隔预设帧数的第一图像帧和第二图像帧,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态时,具体用于:根据所述视频数据中相邻的第一图像帧和第二图像帧,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态。

处理器92根据所述视频数据中相隔预设帧数的第一图像帧和第二图像帧,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态时,具体用于:对所述视频数据中相隔预设帧数的第一图像帧和第二图像帧分别进行特征提取,得到所述第一图像帧的多个第一特征点和所述第二图像帧的多个第二特征点;对所述第一图像帧的多个第一特征点和所述第二图像帧的多个第二特征点进行特征点匹配,得到匹配的第一特征点和第二特征点;根据所述匹配的第一特征点和第二特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态。

可选的,处理器92根据所述匹配的第一特征点和第二特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述拍摄设备和所述惯性测量单元的相对姿态时,具体用于:根据所述第一特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述第一特征点在所述第二图像帧中的投影位置;根据所述第一特征点在所述第二图像帧中的投影位置,以及与所述第一特征点匹配的第二特征点,确定所述投影位置和所述第二特征点之间的距离;根据所述投影位置和所述第二特征点之间的距离,确定所述拍摄设备和所述惯性测量单元的相对姿态。

可选的,处理器92根据所述第一特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述第一特征点在所述第二图像帧中的投影位置时,具体用于:根据所述第一特征点在所述第一图像帧中的位置、从所述第一曝光时刻到所述第二曝光时刻的时间内所述惯性测量单元的旋转信息、所述拍摄设备和所述惯性测量单元的相对姿态、以及所述拍摄设备的内参,确定所述第一特征点在所述第二图像帧中的投影位置。

可选的,所述拍摄设备的内参包括如下至少一种:所述拍摄设备的焦距、所述拍摄设备的像素大小。

可选的,处理器92根据所述投影位置和所述第二特征点之间的距离,确定所述拍摄设备和所述惯性测量单元的相对姿态时,具体用于:通过对所述投影位置和所述第二特征点之间的距离进行最优化,确定所述拍摄设备和所述惯性测量单元的相对姿态。

可选的,处理器92通过对所述投影位置和所述第二特征点之间的距离进行最优化,确定所述拍摄设备和所述惯性测量单元的相对姿态时,具体用于:通过使所述投影位置和所述第二特征点之间的距离最小,确定所述拍摄设备和所述惯性测量单元的相对姿态。

本发明实施例提供的姿态标定设备的具体原理和实现方式均与图1所示实施例类似,此处不再赘述。

本实施例通过在拍摄设备拍摄视频数据的过程中,根据imu的测量结果确定出拍摄设备在拍摄视频数据过程中imu的旋转信息,由于视频数据和imu的测量结果都是可以准确获取的,因此,根据视频数据以及imu的旋转信息,确定出的拍摄设备和惯性测量单元的相对姿态的精确度较高,相比于现有技术通过对齐图像传感器和imu的坐标轴以确定imu和图像传感器之间的姿态关系,提高了相对姿态的精确度,避免了imu和图像传感器的相对姿态不精确而导致imu数据不可用,影响图像的后期处理的问题。

本发明实施例提供一种姿态标定设备。在图9所示实施例提供的技术方案的基础上,所述拍摄设备和所述惯性测量单元的相对姿态包括第一自由度、第二自由度和第三自由度。

可选的,处理器92通过对所述投影位置和所述第二特征点之间的距离进行最优化,确定所述拍摄设备和所述惯性测量单元的相对姿态时,具体用于:根据预设的第二自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第一自由度;根据优化后的第一自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第二自由度;根据优化后的第一自由度和优化后的第二自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第三自由度;通过循环优化第一自由度、第二自由度和第三自由度,直至优化后的第一自由度、第二自由度和第三自由度收敛,得到所述拍摄设备和所述惯性测量单元的相对姿态。

或者,处理器92通过对所述投影位置和所述第二特征点之间的距离进行最优化,确定所述拍摄设备和所述惯性测量单元的相对姿态时,具体用于:根据预设的第二自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第一自由度;根据预设的第一自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第二自由度;根据预设的第一自由度和预设的第二自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第三自由度;通过循环优化第一自由度、第二自由度和第三自由度,直至优化后的第一自由度、第二自由度和第三自由度收敛,得到所述拍摄设备和所述惯性测量单元的相对姿态。

可选的,所述第一自由度、所述第二自由度和所述第三自由度分别用于表示所述惯性测量单元的欧拉角分量;或者所述第一自由度、所述第二自由度和所述第三自由度分别用于表示所述惯性测量单元的轴角分量;或者所述第一自由度、所述第二自由度和所述第三自由度分别用于表示所述惯性测量单元的四元数分量。

可选的,所述距离包括如下至少一种:欧式距离、城市距离、马氏距离。

本发明实施例提供的姿态标定设备的具体原理和实现方式均与图6和图7所示实施例类似,此处不再赘述。

本实施例通过求解拍摄设备和imu的相对姿态包括的第一自由度、第二自由度和第三自由度,来求解拍摄设备和imu的相对姿态,通过通过循环优化第一自由度、第二自由度和第三自由度,直至优化后的第一自由度、第二自由度和第三自由度收敛,得到拍摄设备和imu的相对姿态,提高了拍摄设备和imu的相对姿态的准确性。

本发明实施例提供一种姿态标定设备。在图9所示实施例提供的技术方案的基础上,处理器92获取拍摄设备拍摄的视频数据之后,还用于:在所述拍摄设备拍摄所述视频数据的过程中,获取所述惯性测量单元的测量结果;根据所述惯性测量单元的测量结果,确定所述拍摄设备在拍摄所述视频数据过程中所述惯性测量单元的旋转信息。

可选的,所述惯性测量单元以第一频率采集所述惯性测量单元的角速度;所述拍摄设备在拍摄视频数据的过程中以第二频率采集图像信息;其中,第一频率大于第二频率。

可选的,处理器92根据所述惯性测量单元的测量结果,确定所述拍摄设备在拍摄所述视频数据过程中所述惯性测量单元的旋转信息时,具体用于:对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息。

具体的,处理器92对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息时,具体用于:对所述惯性测量单元的角速度在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转角度。

或者,处理器92对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息时,具体用于:对所述惯性测量单元的旋转矩阵在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行连乘积分,得到所述时间内所述惯性测量单元的旋转矩阵。

再或者,处理器92对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息时,具体用于:对所述惯性测量单元的四元数在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行连乘积分,得到所述时间内所述惯性测量单元的四元数。

本发明实施例提供的姿态标定设备的具体原理和实现方式均与图8所示实施例类似,此处不再赘述。

本实施例通过在拍摄设备拍摄视频数据的过程中,获取惯性测量单元的测量结果,对惯性测量单元的测量结果进行积分,得到拍摄设备拍摄视频数据的过程中惯性测量单元的旋转信息,由于惯性测量单元的测量结果是可以准确获取的,对惯性测量单元的测量结果进行积分可准确的计算出惯性测量单元的旋转信息。

本发明实施例提供一种无人飞行器。图10为本发明实施例提供的无人飞行器的结构图,如图10所示,无人飞行器100包括:机身、动力系统和飞行控制器118,所述动力系统包括如下至少一种:电机107、螺旋桨106和电子调速器117,动力系统安装在所述机身,用于提供飞行动力;飞行控制器118与所述动力系统通讯连接,用于控制所述无人飞行器飞行。

另外,如图10所示,无人飞行器100还包括:传感系统108、通信系统110、支撑设备102、拍摄设备104和姿态标定设备90,其中,支撑设备102具体可以是云台,通信系统110具体可以包括接收机,接收机用于接收地面站112的天线114发送的无线信号,116表示接收机和天线114通信过程中产生的电磁波。拍摄设备104用于拍摄视频数据;拍摄设备104和imu设置在同一pcb板上,或者拍摄设备104和imu刚性连接。姿态标定设备90的具体原理和实现方式均与上述实施例类似,此处不再赘述。

在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1