一种基于摄像头阵列的惯性测量装置及方法与流程

本发明涉及一种惯性测量装置及方法，尤其涉及一种基于摄像头阵列的惯性测量装置及方法。

背景技术：

目前广泛采用mems陀螺仪和mems加速度传感器以及地磁传感器组合进行惯性测量。mems陀螺仪以微机械结构为振动件，通过测量旋转产生的科氏加速度来获得角加速度，将角加速度对时间积分得到角速度，因此由于积分误差的存在使得陀螺仪测量角度的时候产生零点漂移。由此可见，mems陀螺仪虽然有较好的动态特性，但是随着使用时间的推移，误差不断积累导致测量结果错误。mems加速度传感器通过震动件测量加速度从而获得速度，由于重力加速度的存在，使得系统在三维空间做变速运动时不能区分重力加速度和外力加速度而出现错误。地磁传感器通过感应地磁场分布变化来测量被测物体航向角，因而其在有外来磁场干扰的环境下测量会出现错误。而且以上三种传感器容易受噪声干扰，尤其在恶劣的环境下，其测量结果往往偏差很大。mems加速度传感器为mems陀螺仪提供指向地心的绝对基准，地磁传感器为mems陀螺仪提供指向北极的绝对基准，以克服mems陀螺仪自身零点漂移的缺陷，因此在被测物体以较高的加速度运动的时候或者周围环境存在较为严重的磁场干扰的情况下，目前常规的测量方法不能达到高精度惯性测量的要求。

随着光学成像技术和半导体技术日趋成熟，摄像头成本越来越低，分辨率和帧率越来越高，使得基于摄像头阵列的惯性测量装置的成本不断降低，测量精度和灵敏度不断提高。下面以分辨率为1920*1080，帧率为120fps，视角为90°的广角摄像头为例说明本发明的测量精度：在平移运动中以10米内的物体为特征点则具有毫米级的平移尺度分辨能力和千米每秒级别的最大速度测量能力。在旋转运动中以10米内的物体为特征点则具有0.045°的旋转角度分辨能力和60πrad/s的最大角速度测量能力。

技术实现要素：

为了解决目前常规的惯性测量方法存在的缺陷，本发明提供一种能够在被测物体以较高的加速度运动的时候或者周围环境存在较为严重的磁场干扰的情况下正常工作且能消除积分误差的惯性测量方法，提高了惯性测量的精确性和稳定性。本发明提供一种利用摄像头阵列对周围环境图像实时采集，通过分析图像中多个特征点在摄像头成像平面上的成像位置的变化情况进行惯性测量的方法和装置。由于摄像头阵列被固定到整个测量对象上或者摄像头阵列以已知的运动方式相对于整个测量对象运动，因此可以用摄像头阵列的惯性测量结果表示出整个测量对象的惯性测量结果。惯性测量结果可以精确地提供角速度，角加速度，线速度，线加速度，运动轨迹等信息。

为解决上述技术问题，本发明提供一种基于摄像头阵列的惯性测量装置，其特征是，包括：

摄像头阵列单元，用于实时采集环境图像；

特征点生成单元，与摄像头阵列单元相连接，用于分析摄像头阵列采集到的每一帧图像并从中选取多组特征点，构建特征点矩阵；

环境分析单元，与特征点生成单元相连接，通过分析同一时刻各特征点分别在多个摄像头成像平面中的成像位置，计算各特征点相对于摄像头阵列在环境中的实际位置；

运动分析单元，与环境分析单元相连接，根据各特征点在同一摄像头成像平面不同帧中的成像位置变化情况计算出整个装置的角速度、角加速度、线速度、线加速度和运动轨迹。

进一步地，所述的摄像头阵列单元包括两个或两个以上摄像头以及红外作用部件，多个摄像头之间的相对位置和相对角度固定或者不固定。

进一步地，所述的摄像头阵列包括相组合的广角摄像头和窄角摄像头。

一种基于摄像头阵列的惯性测量方法，其特征是，包括以下步骤：

利用摄像头阵列单元实时采集环境图像；

利用特征点生成单元分析摄像头阵列采集到的每一帧图像并从中选取多组特征点，用于构建特征点矩阵；

利用环境分析单元分析同一时刻各特征点分别在多个摄像头成像平面中的成像位置，计算各特征点相对于摄像头阵列在环境中的实际位置；

利用运动分析单元根据各特征点在同一摄像头成像平面不同帧中的成像位置变化情况，计算出整个装置的角速度、角加速度、线速度、线加速度、运动轨迹，达到惯性测量的目的。

进一步地，所述特征点的个数至少大于4；所述特征点选取相对于环境静止的点；不同特征点到摄像头阵列之间的距离之差的绝对值大于1米。

进一步地，所述的环境分析单元计算过程包括：依次从特征点生成单元在t0时刻构建的特征点矩阵中抽取其中一个特征点数据代入环境分析关系式，生成对应特征点的实际位置信息，待所有特征点计算完成后构建特征点空间坐标矩阵。

进一步地，所述的环境分析关系式为：其中表示特征点在摄像头成像平面上的成像位置；表示摄像头在空间中的位置；表示特征点在空间中的位置，t为转置矩阵标志。

进一步地，所述的运动分析单元计算过程包括：由已知的各特征点在空间中的实际位置信息，和在t1时刻各特征点在某一摄像头成像平面上成像位置，与在t0时刻对应特征点在同一摄像头成像平面上成像位置变化关系，求得在t0时刻到t1时刻之间此摄像头运动情况，包括平移坐标和旋转角度；由于此摄像头与整个惯性测量装置之间位置关系固定或与整个惯性测量装置之间以已知的状态运动，因此可得整个惯性测量装置和测量对象的运动情况。

进一步地，所述的位置变化关系由以下关系式表示：

其中表示此摄像头平移角度；表示在t1时刻特征点在此摄像头上的成像位置；表示特征点在空间中的位置，t是转置矩阵标志；θ为此摄像头成像平面在t1时刻相对于t0时刻旋转的角度。

本发明所达到的有益效果：

1.本发明采用摄像头阵列进行惯性测量，克服传统mems陀螺仪和mems加速度传感器进行惯性测量的诸多缺点，可测精确测量被测对象的线速度、线加速度、角速度、角加速度、运动轨迹等；

2.本发明提供的惯性测量方法直接测量量是运动轨迹信息和旋转角度信息，与传统mems陀螺仪和mems加速度传感器直接测量量为角加速度和加速度相比，不存在积分误差的影响，故没有零点漂移，灵敏度高，测量精确，受外界干扰小；

3.本发明通过图像处理来进行惯性测量，不受海拔、地磁、电磁波等影响，因此可应用于恶劣环境下对被测对象进行精确的惯性测量；

4.本发明摄像头阵列安装位置不固定，可根据具体应用场合作相应调整，达到最佳的测量效果。

附图说明

图1是本发明的摄像头阵列所采集环境图像及选取的特征点示意图(此处以双摄像头为例，但不局限于双摄像头)；

图2是本发明环境分析单元工作原理示意图(此处以双摄像头为例，但不局限于双摄像头)；

图3是本发明运动分析单元工作原理示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，本发明提供一种利用摄像头阵列对周围环境图像实时采集，通过分析图像中多个特征点在摄像头成像平面上的成像位置的变化情况进行惯性测量的方法和装置。包括摄像头阵列单元，特征点生成单元，环境分析单元，运动分析单元。

摄像头阵列单元由两个或两个以上摄像头组成，用于实时采集环境图像。特征点生成单元用于分析摄像头阵列采集到的每一帧图像并从中选取多组特征点。如图1所示，通过分析在t0时刻每个摄像头采集到的图像，选定一定数量的特征点，在本示意图中，选定每个方块的顶点作为特征点，特征点选取数量随具体环境改变，环境越复杂，要求特征点越多。将每个特征点在不同摄像头成像平面上的成像位置坐标构建成特征点矩阵f。

其中，表示编号为nm的特征点在第i个摄像头成像平面中成像位置的x轴坐标值，表示编号为nm的特征点在第i个摄像头成像平面中成像位置的y轴坐标值。特征点选取有如下要求：特征点的个数至少大于4且尽可能多；特征点尽可能选取相对于环境静止的点；不同特征点到摄像头阵列之间的距离之差的绝对值大于1米。

环境分析单元通过分析同一时刻各特征点分别在多个摄像头成像平面中的成像位置计算各特征点相对于摄像头阵列在环境中的实际位置。具体计算过程如下所述：

依次从特征点生成单元在t0时刻构建的特征点矩阵f中抽取其中一个特征点数据代入环境分析关系式。

为了表示空间中某一特征点u的实际位置，构建如图2所示直角坐标系，此处以二维平面作类比说明其计算过程，实际情况为三维空间。其中x轴与ab两摄像头成像平面重合，y轴为ab两摄像头透镜连线的垂直平分线。表示点u的实际位置即计算u点的坐标值(xu,yu)。由图可知a摄像头透镜的中心点a的坐标为(-s,h)，b摄像头透镜的中心点b的坐标为(s,h)，空间中的特征点u在a摄像头成像平面上的成像位置为d点，d点的坐标为(-xd,0)，特征点u在b摄像头成像平面上的成像位置为e点，e点的坐标为(xe,0)。构建矩阵

由下列环境分析关系式可解出u点的坐标

其中表示特征点在摄像头成像平面上的成像位置；表示摄像头在空间中的位置；表示特征点在空间中的位置，t为转置矩阵标志。

通过以上计算方法可得出特征点矩阵中一个特征点对应的实际位置信息，依次将每一个特征点代入上述计算过程生成特征点空间坐标矩阵c。

其中，xnm表示编号为nm的特征点在空间中位置坐标x轴的坐标值，ynm表示编号为nm的特征点在空间中位置坐标y轴的坐标值，znm表示编号为nm的特征点在空间中位置坐标z轴的坐标值。

运动分析单元根据各特征点在同一摄像头成像平面不同帧中的成像位置变化情况计算出整个装置的角速度、角加速度、线速度、线加速度等，达到惯性测量的目的。具体计算过程如下所述：环境分析单元生成的特征点空间坐标矩阵c对应各个特征点在空间中的位置，由已知的各特征点在空间中的实际位置信息，和在t1时刻各特征点在a摄像头成像平面上成像位置，与在t0时刻对应特征点在a摄像头成像平面上成像位置变化关系，求得在t0时刻到t1时刻之间a摄像头运动情况，包括平移距离和旋转角度；a摄像头与整个惯性测量装置之间位置关系固定，由此可得惯性测量装置的运动情况。

如图3所示，此处以二维平面作类比说明其计算过程，实际情况为三维空间。在t0时刻，a摄像头透镜的中心a在直角坐标系中的坐标为(-s,h)，a摄像头成像平面与x轴重合。在t1时刻，a摄像头透镜的中心a’在直角坐标系中的坐标为(-s+xm,h+ym)，即a摄像头透镜的中心在t1时刻相对于t0时刻平移(xm,ym)，a摄像头成像平面与x轴夹角为θ，即a摄像头成像平面在t1时刻相对于t0时刻旋转θ。

构建矩阵

则矩阵

可得到下列关系式

其中表示此摄像头平移角度；表示在t1时刻特征点在此摄像头上的成像位置；表示特征点在空间中的位置，t是转置矩阵标志；θ为此摄像头成像平面在t1时刻相对于t0时刻旋转的角度。

也就是说分别将每一个特征点的空间位置坐标、t0时刻此特征点在其中某一摄像头成像平面中成像位置坐标、t1时刻此特征点在同一摄像头成像平面中成像位置坐标代入关系式：可得一组含有4个未知数的等式组。4个未知数分别是t0时刻到t1时刻之间对应摄像头平移运动的x轴坐标xm、y轴坐标ym、z轴坐标zm、和旋转角度θ，剔除无效等式后解出以上4个未知数(无效等式主要由于在t0时刻到t1时刻之间特征点在环境中的位置发生了变化或者特征点识别错误产生)，即可确定在t0时刻到t1时刻之间该装置的运动情况。高帧率的摄像头可使t0时刻到t1时刻的时间间隔很小，故可用平均线速度表示瞬时线速度，可用平均角速度表示瞬时角速度。上述t0时刻和t1时刻不局限于相邻帧所对应的时刻。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。