专利名称：运动体运动姿态感知方法及系统的制作方法
技术领域：
本发 明涉及光学、电子信息和航空领域，尤其涉及一种运动体运动姿态感知方法及系统。
背景技术：
飞机飞行姿态是指飞机飞行过程中俯仰、滚转和偏航的程度，衡量飞机飞行姿态的标准是飞机姿态角，包括俯仰角、滚转角和偏航角。为保证飞机正常飞行，需要对飞机飞行姿态进行测量和控制。飞机姿态感知系统是飞机姿态控制系统的重要组成部分，为飞机姿态闭环控制提供反馈。在现有技术中，飞机多使用加速度计、陀螺仪、红外地平仪等设备进行姿态测量。但对于小型和微型无人飞机，上述技术目前仍难以满足其起飞降落阶段对抗过载、测量准确度和价格成本方面的要求。另外，在侦查和大地测量等对地面进行拍照的领域，因飞机向下对地进行拍摄时照片无法显示地面的坡度，其所拍照片的实用价值受到限制，因此就需要有配套的测量飞机所拍摄地面坡度的系统，对所拍摄地面的坡度进行测量。光流是空间运动物体在观测成像面上的像素运动的瞬时速度。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。光流法能够在不知道场景的任何信息的情况下，检测出运动对象，并判断其运动情况。近年来，光流方法已经得到一些发展和应用。作为光流分析方法用于高精度系统的例子，麻省理工学院的干涉计算机微视觉系统(ICMVS)，将光流分析方法应用于检测微机电系统MEMS中各微器件的平面微运动，运动幅度的分辨率最高可达2. 5nm。在无人机领域，光流方法主要用于规避障碍和控制低速微型室内无人机。例如瑞士 Ecole PolytechniqueFederale de Lausanne (EPFL)制成的一维光流信息飞机姿态感知和控制系统，但该系统不能获得飞机姿态的全部信息，即俯仰、滚转、偏航角度和角速度，其只能获得偏航角度和角速度，该系统主要用于避障和导航，仅适用于低速微型室内无人机。
发明内容
针对上述问题，本发明目的在于提供一种基于光流方法感知运动体运动姿态全部信息的运动体运动姿态感知方法及系统。为达到上述目的，本发明运动体运动姿态感知方法，包括以下步骤连续捕捉运动体在运动状态下参照面所呈的图像；基于捕捉到的连续图像解算出图像中的光流信息；基于解算出的光流信息得出运动体的运动姿态。进一步地，本发明所述方法还包括将得到的运动姿态输出到外接设备。进一步地，所述的基于捕捉到的图像解算出图像中的光流信息，具体实现如下
对比连续若干帧的图像得出对比结果；基于对比结果采用位移解算算法从图像中解算出光流信息。进一步地，所述的基于解算出的光流信息确定运动体的运动姿态，具体实现如下分析解算出的光流信息是否真实有效，是，继续进行下一步骤；否，丢弃无效光流信息；判断有效的光流信息个数是否小于姿态解算算法所需的最少个数3，是，发出报警信号；否，基于有效的光流信息采用姿态解算算 法计算出运动体的运动姿态。特别地，所述光流信息包括图像中图像模式的横向和纵向移动信息，该移动信息以所述图像采集器输出图像的像素大小为单位的图像移动的二维位移信号来表述。特别地，所述运动姿态包括运动体相对参照面的姿态角和姿态角角速度。为达到上述目的，本发明所述运动体运动姿态感知系统，包括图像采集模块、图像解析模块、姿态解算模块、通信模块和外接设备；其中，所述的图像采集模块，由至少三个设置在运动体上且不在同一条直线上的图像采集器构成，，用于在运动体处于运动状态下采集参照面图像；所述图像解析模块，由数量与所述图像采集器相同的位移解算器构成，各位移解算器分别接收与其对应的图像采集模块输出的图像，并通过对比连续若干帧图像基于位移解算算法解算出图像中的光流信息；所述姿态解算模块，分析接收自所述图像解析模块输出的光流信息，并基于有效的光流信息采用姿态解算算法得出运动体的运动姿态；所述通信模块，建立所述姿态解算模块和所述外接设备之间的信号传输。特别地，所述光流信息包括图像中图像模式的横向和纵向移动信息，该移动信息以所述图像采集器输出图像的像素大小为单位的图像移动的二维位移信号来表述。特别地，所述的运动姿态包括运动体相对参照面的姿态角和姿态角角速度。进一步地，所述姿态解算模块包括数据筛选器和姿态解算器，其中，所述数据筛选器，分析接收自所述图像解析模块输出的二维位移信号是否真实有效，将有效的二维位移信号和输出该二维位移信号的所述位移解算器的编号传递给所述姿态解算器；所述姿态解算器，接收数据筛选器输出的二维位移信号以及各二维位移信号对应的位移解算器编号；判断接收到的二维位移信号个数是否小于姿态解算算法所需的最少个数，是，向所述通信模块发送报警信号；否，基于姿态解算算法解算出运动体相对参照面的姿态角和姿态角角速度并输出。与现有技术相比，本发明具有如下有益效果(I)本发明提出了一种实用的二维光流分析方法，实现了由二维光流信息解算三维空间中两平面间夹角，该方法较传统二维光流分析方法更简洁高效。传统的二维光流方法还需考虑图像中各像素点以图像中一点为中心辐散或辐合的模式，这种模式代表单个传感器靠近或远离图像中环境的情况(辐散为远离，辐合为靠近)，而这种模式与飞机飞行姿态没有直接关联，因而传统方法并没有关注飞机飞行姿态，更多地关注避障问题，因而这导致了算法的复杂化。而本发明所述的二维光流分析方法更针对姿态测量，且计算复杂度降低。(2)本发明所述系统中无活动部件，具有良好的抗过载性能，可以承受无人机起飞着陆阶段的冲击载荷，为小型无人机自主起飞着陆提供了一种可用的姿态测量方法。而现有技术中，使用加速度计、陀螺仪、红外地平仪等设备进行姿态测量的系统中，加速度计存在着极限载荷，陀螺仪易受干扰和破坏，红外地平仪易受跑道两侧的车辆、其他飞行器、人或其他动物等的热源的干扰(3)本发明所述方法及系统因采用图像采集器连续采集图像的方式具有良好的实时性和时间无关性，测量精度不受工作时间的影响，输出的信号中俯仰角、滚转角、俯仰角速度、滚转角速度和偏航角速度无累积误差。(4)本发明所述方法及系统对于常见小型低空无人机具有高度、速度无关性，且可通过升级图像采集器分辨率扩展其高度、速度适用范围。
图I是本发明所述运动体运动姿态感知方法的流程示意图；图2是本发明所述运动体运动姿态感知系统结构示意图；图3是本发明所述感知运动体运动方法及系统的理论基础图；图4是本发明装有四图像采集器的飞机飞行姿态感知系统的结构示意图；图5是本发明所述位移解算器和所述数据筛选器工作原理示意图。
具体实施例方式下面结合说明书附图对本发明做进一步的描述。本发明提供了一种运动体运动姿态感知方法及系统，用于测量运动体运动姿态以便对运动体的运动姿态进行控制。本发明所述方法及系统可利用在飞机的飞行姿态监测和控制领域，还可利用在对地表地形的测量领域中以及其他需要监测运动体运动姿态的领域。本发明通过多通道图像采集，基于图像采集器输出的信号，确定图像的运动，基于图像的运动，确定运动体如飞机的飞行姿态。如图I所示，本发明所述运动体运动姿态感知方法的流程图，包括以下步骤SI、连续捕捉运动体在运动状态下参照面所呈的图像；S2、基于捕捉到的连续图像解算出图像中的光流信息；S3、基于解算出的光流信息得出运动体的运动姿态。作为本发明所述方法的进一步的实施例，本发明所述方法还包括S4、将得到的运动姿态输出到外接设备，以便于其他外接设备接收所述运动姿态数据，并依据该数据作出相应的响应，例如控制飞机飞行姿态。其中，上述的步骤S2，具体实现如下S201、对比连续若干帧的图像得出对比结果；S202、基于对比结果采用位移解算算法从图像中解算出光流信息。上述的步骤S3，具体实现如下S301、分析解算出的光流信息是否真实有效，是，继续进行下一步骤；否，丢弃无效光流信息；
S302、判断有效的光流信息个数是否小于姿态解算算法所需的最少个数3，是，发出报警信号；否，基于有效的光流信息采用姿态解算算法计算出运动体的运动姿态。其中，分析光流信息是否真实有效的依据是若连续两帧图像中不包含相同的地面信息，则位移解算器无法给出正确的位移信号，输出值为位移的最大值，此时即认为该位移信号为无效。于一具体实施例中，上述的光流信息包括图像中图像模式的横向和纵向移动信息，该移动信息以所述图像采集器输出图像的像素大小为单位的图像移动的二维位移信号来表述。其中，所述图像模式可以由亮度、亮度梯度、色彩、色彩梯度等任何图像特征确定。于一具体实施例中，上述的所述运动姿态包括运动体相对参照面的姿态角和姿 态角角速度。如图2所示，本发明所述运动体运动姿态感知系统，包括图像采集模块I、图像解析模块2、姿态解算模块3、通信模块4和外接设备5 ;其中，所述的图像采集模块1，由至少三个设置在运动体上且不在同一条直线上的图像采集器构成，用于在运动体处于运动状态下采集参照面图像；所述图像解析模块2，由数量与所述图像采集器相同的位移解算器构成，各位移解算器分别接收与其对应的图像采集模块输出的图像，并通过对比连续若干帧图像基于位移解算算法解算出图像中的光流信息；所述姿态解算模块3，分析接收自所述图像解析模块2输出的光流信息，并基于有效的光流信息采用姿态解算算法得出运动体的运动姿态；所述通信模块4，建立所述姿态解算模块2和所述外接设备5之间的信号传输。在实际应用中，上述的光流信息包括图像中图像模式的横向和纵向移动信息，该移动信息以所述图像采集器输出图像的像素大小为单位的图像移动的二维位移信号来表述。另外，所述的图像采集模块可由最少3个图像采集器组成，其中，至少为3个是因为在解算姿态时3个即为所需的最少个数。优选地，所述的图像采集器设置4个，这样解算姿态时算法较为简单且比3个图像采集器更可靠(即一个失效还有其他三个还能继续工作)。其中，所述的图像采集模块中的各图像采集器设置在飞机的机身上，则需要知道各图像采集器分别在机身参考系中的具体位置和方向。本发明所述系统中所述的姿态解算模块3得出的运动体的运动姿态包括运动体相对参照面的姿态角和姿态角角速度。作为本发明所述系统的进一步地实施例，所述的姿态解算模块3包括数据筛选器301和姿态解算器302，其中，所述数据筛选器301，分析接收自所述图像解析模块2输出的二维位移信号是否真实有效，将有效的二维位移信号和输出该二维位移信号的所述位移解算器的编号传递给所述姿态解算器302 ；所述姿态解算器302，接收数据筛选器301输出的二维位移信号以及各二维位移信号对应的位移解算器编号；判断接收到的二维位移信号个数是否小于姿态解算算法所需的最少个数，是，向所述通信模块发送报警信号；否，基于姿态解算算法解算出运动体相对参照面的姿态角和姿态角角速度并输出。其中，所述数据筛选器分析光流信息是否真实有效的依据是若连续两帧图像中不包含相同的地面信息，则位移解算器无法给出正确的位移信号，输出值为位移的最大值，此时数据筛选器即认为该位移信号为无效拒绝将其传输至所述姿态解算器中。于一具体实施例中，本发明所述系统中所述的通讯模块用于将所述姿态解算器3输出的运动体的运动姿态角和运动姿态角角速度传输到外接设备5中，如机载姿态控制设备等；并将接收自数据筛选器302传来的报警信号发送到外接设备，例如报警器或显示
翌坐本发明中所述的外接设备，包括但不限于飞行数据记录装置、机载计算机、机载控制总线、机载姿态控制设备、无线电信号发射装置等。当该系统用于一般的两运动平面间的相对姿态测量时，外接设备具有更大的多样性。
本发明中所述的图像采集器为摄像机、相机或感光阵列等任何可见光和非可见光波段的光学成像设备。所述图像采集器在捕捉图像时可被动接收光源或使用主动光源。所述的运动体可以是飞机、船舶、机床上的可移动刀具或机床上的可运动夹具等。本发明中所述的参照面可以是地面、墙面或其他固定表面。下面结合飞机飞行姿态的感知的实施例对本发明所述方法和系统做进一步地说明。如图3所示，前图像采集器102安装在飞机机首下方，后图像采集器104安装在飞机机尾下方，左图像采集器103安装在飞机左侧机翼下方，右图像采集器101安装在飞机右侧机翼下方。四个图像采集器101、102、103和104处于同一平面内，且各图像采集器101、102、103和104的摄像镜头指向均与图像采集器所在平面垂直，指向飞机下方。四个图像采集器101、102、103和104分别采集飞机飞行状态下的地面(即参照面)图像，将数字图像信号分别输出到分别与各图像采集器相连的四个位移解算模块中。四个位移解算模块分别接收四个图像采集器输出的数字图像信号，解算得到四个连续二维位移信号，并分别将四个连续二维位移信号输出到数据筛选器。数据筛选器接收二维位移信号，将有效的位移信号及其对应的位移解算器编号传递到姿态解算器。姿态解算器接收二维位移信号及其对应的位移解算器编号，若接收到的有效二维位移信号个数少于姿态解算算法所需最少的个数，则产生报警信号并通过通讯模块将报警信号传输至外接设备，若接收到的有效二维位移信号个数能够满足姿态解算算法所需的解算个数，则基于姿态解算算法解算出飞机飞行姿态，并将飞机飞行姿态经通信模块输出到外接设备。这里给出图3所示实施例的三种工况下的算例算例一，在飞机以恒定速度沿水平方向飞行时，若地面水平，则当飞机向左滚转时，飞机左翼下沉，左图像采集器103高度降低，左图像采集器103采集的每相邻两帧图像间位移增大，左位移解算器输出的每个位移信号增大；飞机右翼上扬，右图像采集器101高度升高，右图像采集器101采集的每相邻两帧图像间位移减小，右位移解算器输出的每个二维位移信号减小。姿态解算器通过数据筛选器接收左右位移解算器输出的连续二维位移信号，解算得飞机向左滚转的角度即滚转角。对比连续几个滚转角数据即得滚转角速度。算例二，在飞机以恒定速度沿水平方向飞行时，若地面水平，则当飞机向上抬头时，前图像采集器102高度升高，前图像采集器102采集的每相邻两帧图像间位移增大，前位移解算器输出的每个二维位移信号增大；飞机机尾下沉，后图像采集器104高度升高，后图像采集器104采集的每相邻两帧图像间位移减小，后位移解算器输出的每个位移信号减小。姿态解算器通过数据筛选器接收位移解算器输出的连续二维位移信号，解算得飞机向上抬头的角度即俯仰角。对比连续几个俯仰角数据即得俯仰角速度。算例三，在飞机以恒定速度沿水平方向飞行时，若地面水平，则当飞机向左偏航时，飞机左翼速度下降，左图像采集器103采集的每相邻两帧图像间位移减小，左位移解算器输出的每个位移信号减小；飞机右翼速度上升，右图像采集器101采集的每相邻两帧图像间位移增大，右位移解算器输出的每个二维位移信号增大。姿态解算器通过数据筛选器接受左右位移解算器输出的连续二维位移信号，解算得飞机向左偏航的角速度即偏航角速度。通过对偏航角速度的积分可得偏航角。由以上三个算例知，该系统可精确得到飞机飞行姿态的俯仰角、滚转角、俯仰角速度、滚转角速度、偏航角速度，而偏航角存在累积误差，其累积误差大小由积分精度决定。 本发明所述运动体运动姿态感知方法及系统的理论基础，如图4所示。为能更清楚的表述，下面结合飞机在空中飞行实例对本图进行说明。如图所示，飞机在飞行过程中，飞机上一点601相对地面上一点602的速度是603，在固结于飞机上点601的参考系中，地面上点602以速度604运动，速度604在与飞机上点601和地面上点602的连线的垂直方向上的投影为速度605，速度605对应了地面上点602在固结在飞机上点601处的图像采集器中看到的角速度606。显然，角速度606可由飞机水平速度、垂直速度、飞行高度、俯仰角、滚转角和偏航角共6个变量表示出。对飞机上每个固结于类似点601的点的图像采集器，可分别建立沿飞机飞行方向和左右方向共2个方程。当图像采集器数量达到3个且不共线时，方程数量与未知数个数相同，虽然方程间不独立，但仍可消去高度和速度以求得当前时刻滚转角、偏航角、俯仰角速度、滚转角速度和偏航角速度。利用偏航角速度还可积分得偏航角参考值。下面以四个图像采集器为例，列方程组如下I、取三个坐标系(均为右手直角坐标系)机体坐标系b x轴与机身轴线重合，y轴指向右机翼，z轴垂直于机身-机翼平面指向下方。坐标系2 x轴和坐标系b重合，y轴指向水平方向。坐标系I :y轴和坐标系2重合，X轴指向水平方向。2、建立坐标转换矩阵俯仰角为e，滚转角为小。R12 :从坐标系2转换到坐标系I
cos(沒)0 - sin(沒)0 I 0sin(沒)0 cos(沒)R2b :从坐标系b转换到坐标系2 'I 000 cos(^) sin(^)
0-sin(彡)cos(彡)3、矢量转换将飞机角速度和速度在机体坐标系rb里分解Vb = [U V W] cob = [PQR]，表示四个图像釆集器指向的方向矢量
图像采集器I :rlb =f[l 0 l]xlb=.[l 0 -l] ylb =
图像采集器2 :r2b =f[-l 0 l]x2b =^[l 0 l] Y2b =
图像采集器
权利要求
1.一种运动体运动姿态感知方法，其特征在于，包括以下步骤 连续捕捉运动体在运动状态下参照面所呈的图像； 基于捕捉到的连续图像解算出图像中的光流信息； 基于解算出的光流信息得出运动体的运动姿态。
2.根据权利要求I所述运动体运动姿态感知方法，其特征在于，还包括将得到的运动姿态输出到外接设备。
3.根据权利要求I所述运动体运动姿态感知方法，其特征在于，所述基于捕捉到的图像解算出图像中的光流信息，具体实现如下 对比连续若干帧的图像得出对比结果； 基于对比结果采用位移解算算法从图像中解算出光流信息。
4.根据权利要求I所述运动体运动姿态感知方法，其特征在于，基于解算出的光流信息确定运动体的运动姿态，具体实现如下 分析解算出的光流信息是否真实有效，是，继续进行下一步骤；否，丢弃无效光流信息； 判断有效的光流信息个数是否小于姿态解算算法所需的最少个数3，是，发出报警信号；否，基于有效的光流信息采用姿态解算算法计算出运动体的运动姿态。
5.根据权利要求I所述运动体运动姿态感知方法，其特征在于，所述光流信息包括图像中图像模式的横向和纵向移动信息，该移动信息以所述图像采集器输出图像的像素大小为单位的图像移动的二维位移信号来表述。
6.根据权利要求I或4所述运动体运动姿态感知方法，其特征在于，所述运动姿态包括运动体相对参照面的姿态角和姿态角角速度。
7.—种运动体运动姿态感知系统，其特征在于，包括图像采集模块、图像解析模块、姿态解算模块、通信模块和外接设备；其中， 所述的图像采集模块，由至少三个设置在运动体上且不在同一条直线上的图像采集器构成，用于在运动体处于运动状态下采集参照面图像； 所述图像解析模块，由数量与所述图像采集器相同的位移解算器构成，各位移解算器分别接收与其对应的图像采集模块输出的图像，并通过对比连续若干帧图像基于位移解算算法解算出图像中的光流信息； 所述姿态解算模块，分析接收自所述图像解析模块输出的光流信息，并基于有效的光流信息采用姿态解算算法得出运动体的运动姿态； 所述通信模块，建立所述姿态解算模块和所述外接设备之间的信号传输。
8.根据权利要求7所述运动体运动姿态感知系统，其特征在于，所述光流信息包括图像中图像模式的横向和纵向移动信息，该移动信息以所述图像采集器输出图像的像素大小为单位的图像移动的二维位移信号来表述。
9.根据权利要求7所述运动体运动姿态感知系统，其特征在于，所述的运动姿态包括运动体相对参照面的姿态角和姿态角角速度。
10.根据权利要求7或8或9所述运动体运动姿态感知系统，其特征在于，所述姿态解算模块包括数据筛选器和姿态解算器，其中， 所述数据筛选器，分析接收自所述图像解析模块输出的二维位移信号是否真实有效，将有效的二维位移信号和输出该二维位移信号的所述位移解算器的编号传递给所述姿态解算器； 所述姿态解算器，接收数据筛选器输出的二维位移信号以及各二维位移信号对应的位 移解算器编号；判断接收到的二维位移信号个数是否小于姿态解算算法所需的最少个数，是，向所述通信模块发送报警信号；否，基于姿态解算算法解算出运动体相对参照面的姿态角和姿态角角速度并输出。
全文摘要
本发明公开一种运动体运动姿态感知方法及系统，主要是为了能够全面高效地感知运动体运动姿态全部信息而设计。本发明所述方法包括连续捕捉运动体在运动状态下参照面所呈的图像；基于捕捉到的连续图像解算出图像中的光流信息；以及基于解算出的光流信息得出运动体的运动姿态。基于上述步骤，本发明能够感知运动体运动姿态的全部信息，可为飞机的飞行姿态监测和控制，地表地形的测量以及其他类似机床夹具或刀具运动姿态监测等提供更为全面高效的运动姿态信息。
文档编号G06T7/20GK102654917SQ201110106808
公开日2012年9月5日 申请日期2011年4月27日 优先权日2011年4月27日
发明者姜泉, 王宁羽, 胡春华, 蒋竞颉, 赵海洋, 陈科行 申请人:清华大学