飞行器状态实时修正的方法和装置制造方法
【专利摘要】本发明公开了一种飞行器状态实时修正的方法和装置。该方法包括获取摄像单元的一历史状态信息、摄像单元拍摄的当前图像和当前图像之前的一历史图像、以及至少一种传感器感测当前测量的外部信息或内部信息；根据历史状态信息预测与历史图像中的目标特征点对应的当前图像中的匹配特征点，并由匹配特征点计算当前摄像单元的外部信息或内部信息；根据预先标定的至少一种传感器相对于摄像单元的位置关系计算摄像单元的外部信息与至少一种传感器的外部信息之间或者摄像单元的内部信息与至少一种传感器的内部信息之间的相对比例关系；利用相对比例关系修正由历史状态信息估计得到的摄像单元的当前状态信息。实施本发明修正飞行器的状态信息，减小偏差。
【专利说明】飞行器状态实时修正的方法和装置
【技术领域】
[0001]本发明涉及无人飞行控制领域，特别是涉及一种飞行器状态实时修正的方法，还涉及一种飞行器状态实时修正的装置。
【背景技术】
[0002]近年来，携带摄像设备的无人驾驶的飞行器(例如固定翼飞机、旋翼飞行器包括直升机)在监控、侦测、搜救等应用领域扮演着十分重要的作用。对于这些飞行器的操纵通常由用户通过遥控器来实现。
[0003]操控者在遥控飞信器过程中，由于操控者视距有限，在飞行器飞远或被阻碍视线的情况下操控者很难观察出飞行器的状态，如果飞行器没有辅助飞行手段，那么飞行器极容易飞丢或者撞击障碍物。因此，具备辅助飞行手段的飞行器应运而生。现有的飞行器通常借助于摄像设备进行视觉导航，从而估计自身的状态信息。然而，估计的状态信息与实际的状态信息之间存在着偏差，当视觉导航时间越长，偏差发散越大，从而降低了视觉导航的可靠性。
【发明内容】
[0004]本发明的主要目的是提供一种飞行器状态实时修正的方法和装置，能够修正飞行器的状态信息，减小偏差。
[0005]为解决上述技术问题，本发明采用的一个技术方案是:提供一种飞行器状态实时修正的方法，包括:获取摄像单元的一历史状态信息、所述摄像单元拍摄的当前图像和所述当前图像之前的一历史图像、以及至少一种传感器感测当前测量的外部信息或内部信息；根据所述历史状态信息预测与所述历史图像中的目标特征点对应的所述当前图像中的匹配特征点，并由所述匹配特征点计算当前所述摄像单元的外部信息或内部信息；根据预先标定的所述至少一种传感器相对于所述摄像单元的位置关系计算所述摄像单元的外部信息与所述至少一种传感器的外部信息之间或者所述摄像单元的内部信息与所述至少一种传感器的内部信息之间的相对比例关系；利用所述相对比例关系修正由所述历史状态信息估计得到的所述摄像单元的当前状态信息。
[0006]其中，所述利用所述相对比例关系修正由所述历史状态信息估计得到的所述摄像单元的当前状态信息的步骤包括:根据预先建立的状态模型和测量模型对所述历史状态信息采用卡尔曼滤波器进行滤波，得到所述摄像单元的当前状态信息；将所述相对比例关系与所述当前状态信息进行积运算。
[0007]其中，所述根据所述历史状态信息预测与所述历史图像中的目标特征点对应的所述当前图像中的匹配特征点的步骤包括:根据所述历史状态信息预测所述历史图像中的目标特征点在所述当前图像中的坐标位置；选择离所述坐标位置最近的特征点作为与所述历史图像中的目标特征点对应的所述当前图像中的匹配特征点。
[0008]其中，所述摄像单兀包括单目摄像头。[0009]其中，所述单目摄像头为全景摄像头，所述摄像单元还包括反射镜，用于将外部光线反射至所述单目摄像头，则在所述获取所述摄像单元拍摄的当前图像的步骤之后，所述方法还包括:根据预先建立的与所述反射镜对应的校正模型获取外部空间中任一点与所述摄像单元拍摄的当前图像中的对应点的坐标映射关系，利用所述坐标映射关系对所述摄像单元拍摄的当前图像进行校正。
[0010]其中，所述状态信息包括摄像单元的姿态、位置、速度、方向和周围的环境信息。
[0011]其中，所述外部信息包括相对于外部对象的距离信息，所述内部信息包括加速度Ih息、方向息、角速度息、速度息或里程息中的一种或几种。
[0012]为解决上述技术问题，本发明采用的另一个技术方案是:提供一种飞行器状态实时修正的装置，所述飞行器包括摄像单元和至少一个传感器，所述装置包括:获取模块，用于获取所述摄像单元的一历史状态信息、所述摄像单元拍摄的当前图像和所述当前图像之前的一历史图像、以及所述至少一种传感器感测当前测量的外部信息或内部信息；匹配模块，用于根据所述历史状态信息预测与所述历史图像中的目标特征点对应的所述当前图像中的匹配特征点，并由所述匹配特征点计算当前所述摄像单元的外部信息或内部信息；计算模块，用于根据预先标定的所述至少一种传感器相对于所述摄像单元的位置关系计算所述摄像单元的外部信息与所述至少一种传感器的外部信息之间或者所述摄像单元的内部信息与所述至少一种传感器的内部信息之间的相对比例关系；修正模块，用于利用所述相对比例关系修正由所述历史状态信息估计得到的所述摄像单元的当前状态信息。
[0013]其中，所述修正模块包括滤波器单元和修正单元，其中，所述滤波器单元用于根据预先建立的状态模型和测量模型对所述历史状态信息采用卡尔曼滤波器进行滤波，得到所述摄像单元的当前状态信息；所述修正单元用于将所述相对比例关系与所述当前状态信息进行积运算。
[0014]其中，所述匹配模块具体用于根据所述历史状态信息预测所述历史图像中的目标特征点在所述当前图像中的坐标位置，并选择离所述坐标位置最近的特征点作为与所述历史图像中的目标特征点对应的所述当前图像中的匹配特征点。
[0015]其中，所述摄像单兀包括单目摄像头。
[0016]其中，所述单目摄像头为全景摄像头，所述摄像单元还包括反射镜，用于将外部光线反射至所述单目摄像头，所述装置还包括校正模块，所述校正模块用于在所述获取模块获取所述摄像单元拍摄的当前图像之后，根据预先建立的与所述反射镜对应的校正模型获取外部空间中任一点与所述摄像单元拍摄的当前图像中的对应点的坐标映射关系，利用所述坐标映射关系对所述摄像单元拍摄的当前图像进行校正。
[0017]其中，所述状态信息包括摄像单元的姿态、位置、速度、方向和周围的环境信息。
[0018]其中，所述外部信息包括相对于外部对象的距离信息，所述内部信息包括加速度Ih息、方向息、角速度息、速度息或里程息中的一种或几种。
[0019]本发明的有益效果是:区别于现有技术的情况，本发明提供的飞行器状态实时修正的方法和装置，通过历史状态信息以及摄像单元拍摄的历史图像和当前图像中的特征点，计算摄像单元的外部信息或内部信息，再结合至少一种传感器的外部信息或内部信息得到两个外部信息或内部信息之间的相对比例关系，利用相对比例关系来修正基于历史状态信息得到的当前状态信息，从而能够达到修正飞行器的状态信息的目的，可以减小状态信息的偏差，提高准确性和可靠性。
【专利附图】
【附图说明】
[0020]图1是本发明飞行器状态实时修正的方法一实施例的流程示意图；
[0021]图2是本发明飞行器状态实时修正的方法中图像校正前和校正后的对比示意图；
[0022]图3是图1所示的飞行器状态实时修正的方法在具体应用场景中的流程示意图；
[0023]图4是本发明飞行器状态实时修正的装置一实施例的结构示意图。
【具体实施方式】
[0024]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0025]图1所示为本发明飞行器状态实时修正的方法一实施例的流程示意图，该方法包括:
[0026]SlOl:获取摄像单元的一历史状态信息、摄像单元拍摄的当前图像和当前图像之前的一历史图像、以及至少一种传感器感测当前测量的外部信息或内部信息。
[0027]其中，在飞行器起飞时刻的状态信息的信息量为0，起飞之后每个单位时刻的状态信息都与前一单位时刻的状态信息有关。由于摄像单元是固定在飞行器上的，飞行器的状态信息可视为摄像单元的状态信息。在本实施例中，状态信息至少包括摄像单元的姿态、位置、速度、方向和周围的环境信息等。在本实施例中，摄像单元包括单目摄像头。
[0028]如果每个单位时刻之间间隔较长，则历史状态信息可以优选为前一单位时刻的状态信息，历史图像优选为前一单位时刻的图像；如果每个单位时刻间隔较短，则历史状态信息可以为间隔多个单位时刻的状态信息，历史图像为间隔多个单位时刻的图像。
[0029]在本实施例中，外部信息包括相对于外部对象的距离信息，内部信息包括加速度信息、方向信息、角速度信息、速度信息或里程信息中的一种或几种。在具体实施时，可以采用激光传感器、超声波传感器等外部传感器测量相对于外部对象的距离，采用加速度传感器、方向传感器、里程器等内部传感器测量加速度、方向、里程等内部信息。
[0030]S102:根据历史状态信息预测与历史图像中的目标特征点对应的当前图像中的匹配特征点，并由匹配特征点计算当前摄像单元的外部信息或内部信息。
[0031]具体来说，摄像单元拍摄的图像中包含很多物体信息，例如树木、建筑物等，这些物体的边缘角点均可以作为目标特征点。由于历史状态信息包括方向、速度等表征运动向量的信息，当选取历史图像中的目标特征点后，根据历史状态信息中的方向和速度就可以推断出与历史图像中的目标特征点对应的当前图像中的匹配特征点。
[0032]摄像单元的外部信息或内部信息与传感器测量的外部信息或内部信息属于不同的测量结果。摄像单元的外部信息或内部信息均可以由匹配特征点计算得到，例如当计算相对于外部对象的距离信息时，通过当前特征点的坐标值计算摄像单元与匹配特征点的距离，当计算速度信息时，通过当前特征点的坐标值、目标特征点的坐标值以及间隔的单位时刻计算摄像单元的速度。[0033]作为本实施例的一种优选的方案，根据历史状态信息预测与历史图像中的目标特征点对应的当前图像中的匹配特征点的步骤具体可以包括:根据历史状态信息预测历史图像中的目标特征点在当前图像中的坐标位置；选择离坐标位置最近的特征点作为与历史图像中的目标特征点对应的当前图像中的匹配特征点。
[0034]其中，通过历史状态信息可以得到目标特征点所处坐标位置的位移，从而确定目标特征点在当前图像中的坐标位置，该过程可以采用光流法、基于特征描述符的匹配法等方法。当然，飞行器的状态信息可能存在变化，目标特征点在当前图像中的坐标位置上可能并没有坐标点，所以可以寻找离该坐标位置最近的特征点作为匹配特征点。
[0035]S103:根据预先标定的至少一种传感器相对于摄像单元的位置关系计算摄像单元的外部信息与至少一种传感器的外部信息之间或者摄像单元的内部信息与至少一种传感器的内部信息之间的相对比例关系。
[0036]其中，飞行器上传感器与摄像单元之间的位置关系是通过预先标定得到的，为已知量。位置关系包括传感器与摄像单元之间的距离。根据位置关系、传感器的外部信息或内部信息、摄像单元的外部信息或内部信息，就可以得到两个外部信息之间或两个内部信息之间的相对比例关系。
[0037]S104:利用相对比例关系修正由历史状态信息估计得到的摄像单元的当前状态信
肩、O
[0038]作为本实施例的一种优选的方案，S104具体包括:根据预先建立的状态模型和测量模型对历史状态信息采用卡尔曼滤波器进行滤波，得到摄像单元的当前状态信息；将相对比例关系与当前状态信息进行积运算。
[0039]其中，状态模型和测量模型都是预先建立的，是已知的。采用卡尔曼滤波器得到的当前状态信息与实际状态信息存在比例关系，通过将相对比例关系与当前状态信息进行积运算可以让当前状态信息进一步接近实际状态信息，甚至等于实际状态信息，从而达到修正目的。
[0040]需要说明的是，本实施例除了采用卡尔曼滤波器之外，还可以采用其它滤波器，例如EKF (Extended Kalman Filter,扩展卡尔曼滤波器)。
[0041]在更多实施例中，考虑到摄像单元的摄像范围，单目摄像头采用全景摄像头，并且摄像单元还包括反射镜，反射镜用于将外部光线反射至单目摄像头。则在获取摄像单元拍摄的当前图像的步骤之后，该方法还包括:根据预先建立的与反射镜对应的校正模型获取外部空间中任一点与摄像单元拍摄的当前图像中的对应点的坐标映射关系，利用坐标映射关系对摄像单元拍摄的当前图像进行校正。
[0042]其中，反射镜的曲面通常为抛物线或双曲线。以抛物线为例，单目摄像头的成像点位于抛物线的准线上，并且抛物线的焦点到成像点的连线与准线垂直。由于抛物线上任一点到准线的距离与到焦点的距离相等，则可以根据这个性质建立校正模型，从而根据校正模型可以得到外部空间中任一点与摄像单元拍摄的当前图像中的对应点的坐标映射关系，利用坐标映射关系在展开单目摄像头的当前图像时进行校正，如图2所示，校正前的当前图像由于反射镜的影响即便较严重，经过柱形展开校正后可以得到正确的图像。
[0043]图3所示为图1所示的飞行器状态实时修正的方法在具体应用场景中的流程示意图，在本实施例中，摄像单元包括反射镜和单目摄像头，传感器采用激光传感器。该方法包括:
[0044]S201:进行初始化，获取预先标定的摄像单元与至少一种传感器之间的位置关系、预先建立的状态模型和测量模型、预先建立的与反射镜对应的校正模型、以及摄像机的初始状态信息。
[0045]其中，状态模型的方程为:
[0046]X (k I k~l) =Ax (k_l | k_l) +BU (k) +w (k)
[0047]其中，k为时间系数，x(k|k-l)为当前状态信息预测值，x(k-l |k-l)为上一状态信息估算值，U (k)为已知的输入量，w为过程噪声，A、B均为状态参数。
[0048]测量模型的方程为:
[0049]Z (k) =Hx (k I k-l)+v (k)
[0050]其中，Z(k)为匹配特征点测量值，V为过程噪声，H为测量参数。
[0051]S202:根据上一状态信息和状态模型预测得到系统的当前状态信息预测值。
[0052]S203:获取摄像单元拍摄的当前图像和当前图像之前的上一图像以及激光传感器测量的世界坐标系下的特征点。
[0053]S204:根据校正模型获取外部空间中任一点与当前图像中的对应点的坐标映射关系，利用坐标映射关系对当前图像进行校正。
[0054]S205:根据上一状态信息预测与上一图像中的目标特征点对应的校正后的当前图像中的匹配特征点，根据预设的测量模型和匹配特征点得到匹配特征点测量值。
[0055]其中，在测量模型的方程中，x(k|k-l)为目标特征点，是当前状态信息预测值中的
一项参数。
[0056]S206:对当前状态信息预测值和匹配特征点测量值采用卡尔曼滤波器进行滤波，得到摄像单元的当前状态信息估算值。
[0057]其中，卡尔曼滤波器的时间更新方程为:
[0058]X (k I k) =x (k I k-1) +kg (k) (Z (k) -Hx (k I k-1))
[0059]kg(k)=P(k|k-l)H，/(HP(k|k-l))H/ +R)
[0060]其中，x(k|k)为当前状态信息估算值,kg(k)为卡尔曼增益,P(k| k_l)为x(k|k_l)对应的协方差，R为V的协方差，H'为H的转置矩阵。
[0061]S207:计算激光传感器到与世界坐标系下的特征点的第一距离以及摄像单元到匹配特征点测量值的第二距离，并根据位置关系计算第一距离与第二距离之间的相对比例关系O
[0062]其中，激光传感器发出的激光束上如果没有特征点，那么将选定离激光束最近的特征点。
[0063]S208:将相对比例关系与当前状态信息估算值进行积运算。
[0064]其中，进行积运算之后，可以利用当前状态信息以及外部信息，例如外部标识点云建立局部地图，通过该局部地图可以识别障碍物空间位置，从而飞行器在操控者视野之外时可以进行避障和导航。
[0065]图4所示为本发明飞行器状态实时修正的装置一实施例的结构示意图。飞行器包括摄像单元和至少一个传感器，该装置包括获取模块10、匹配模块20、计算模块30和修正模块40。[0066]获取模块10用于获取摄像单元的一历史状态信息、摄像单元拍摄的当前图像和当前图像之前的一历史图像、以及至少一种传感器感测当前测量的外部信息或内部信息。
[0067]其中，在飞行器起飞时刻的状态信息的信息量为0，起飞之后每个单位时刻的状态信息都与前一单位时刻的状态信息有关。由于摄像单元是固定在飞行器上的，飞行器的状态信息可视为摄像单元的状态信息。在本实施例中，状态信息至少包括摄像单元的姿态、位置、速度、方向和周围的环境信息等。在本实施例中，摄像单元包括单目摄像头。
[0068]如果每个单位时刻之间间隔较长，则历史状态信息可以优选为前一单位时刻的状态信息，历史图像优选为前一单位时刻的图像；如果每个单位时刻间隔较短，则历史状态信息可以为间隔多个单位时刻的状态信息，历史图像为间隔多个单位时刻的图像。
[0069]在本实施例中，外部信息包括相对于外部对象的距离信息，内部信息包括加速度信息、方向信息、角速度信息、速度信息或里程信息中的一种或几种。在具体实施时，可以采用激光传感器、超声波传感器等外部传感器测量相对于外部对象的距离，采用加速度传感器、方向传感器、里程器等内部传感器测量加速度、方向、里程等内部信息。
[0070]匹配模块20用于根据历史状态信息预测与历史图像中的目标特征点对应的当前图像中的匹配特征点，并由匹配特征点计算当前摄像单元的外部信息或内部信息。
[0071]其中，具体来说，摄像单元拍摄的图像中包含很多物体信息，例如树木、建筑物等，这些物体的边缘角点均可以作为目标特征点。由于历史状态信息包括方向、速度等表征运动向量的信息，当选取历史图像中的目标特征点后，根据历史状态信息中的方向和速度就可以推断出与历史图像中的目标特征点对应的当前图像中的匹配特征点。
[0072]摄像单元的外部信息或内部信息与传感器测量的外部信息或内部信息属于不同的测量结果。摄像单元的外部信息或内部信息均可以由匹配特征点计算得到，例如当计算相对于外部对象的距离信息时，通过当前特征点的坐标值计算摄像单元与匹配特征点的距离，当计算速度信息时，通过当前特征点的坐标值、目标特征点的坐标值以及间隔的单位时刻计算摄像单元的速度。
[0073]作为本实施例的一种优选的方案，匹配模块20具体用于根据历史状态信息预测历史图像中的目标特征点在当前图像中的坐标位置，选择离坐标位置最近的特征点作为与历史图像中的目标特征点对应的当前图像中的匹配特征点。
[0074]其中，通过历史状态信息可以得到目标特征点所处坐标位置的位移，从而确定目标特征点在当前图像中的坐标位置，该过程可以采用光流法、基于特征描述符的匹配法等方法。当然，飞行器的状态信息可能存在变化，目标特征点在当前图像中的坐标位置上可能并没有坐标点，所以可以寻找离该坐标位置最近的特征点作为匹配特征点。
[0075]计算模块30用于根据预先标定的至少一种传感器相对于摄像单元的位置关系计算摄像单元的外部信息与至少一种传感器的外部信息之间或者摄像单元的内部信息与至少一种传感器的内部信息之间的相对比例关系。
[0076]其中，飞行器上传感器与摄像单元之间的位置关系是通过预先标定得到的，为已知量。位置关系包括传感器与摄像单元之间的距离。根据位置关系、传感器的外部信息或内部信息、摄像单元的外部信息或内部信息，就可以得到两个外部信息之间或两个内部信息之间的相对比例关系。
[0077]修正模块40用于利用相对比例关系修正由历史状态信息估计得到的摄像单元的当前状态信息。
[0078]其中，作为本实施例的一种优选的方案，修正模块40包括滤波器单元410和修正单元420。滤波器单元410用于根据预先建立的状态模型和测量模型对历史状态信息采用卡尔曼滤波器进行滤波，得到摄像单元的当前状态信息。修正单元420用于将相对比例关系与当前状态信息进行积运算。
[0079]其中，状态模型和测量模型都是预先建立的，是已知的。采用卡尔曼滤波器得到的当前状态信息与实际状态信息存在比例关系，通过将相对比例关系与当前状态信息进行积运算可以让当前状态信息进一步接近实际状态信息，甚至等于实际状态信息，从而达到修正目的。
[0080]需要说明的是，本实施例除了采用卡尔曼滤波器之外，还可以采用其它滤波器，例如 EKF。
[0081]在更多实施例中，考虑到摄像单元的摄像范围，单目摄像头采用全景摄像头，并且摄像单元还包括反射镜，反射镜用于将外部光线反射至单目摄像头。则该装置还可以包括校正模块50。校正模块50用于在获取模块10获取摄像单元拍摄的当前图像之后，根据预先建立的与反射镜对应的校正模型获取外部空间中任一点与摄像单元拍摄的当前图像中的对应点的坐标映射关系，利用坐标映射关系对摄像单元拍摄的当前图像进行校正。
[0082]其中，反射镜的曲面通常为抛物线或双曲线。以抛物线为例，单目摄像头的成像点位于抛物线的准线上，并且抛物线的焦点到成像点的连线与准线垂直。由于抛物线上任一点到准线的距离与到焦点的距离相等，则可以根据这个性质建立校正模型，从而根据校正模型可以得到外部空间中任一点与摄像单元拍摄的当前图像中的对应点的坐标映射关系，利用坐标映射关系在展开单目摄像头的当前图像时进行校正。
[0083]本发明实施例还提供一种飞行器，包括上述实施例的装置，飞行棋的其它结构请参照现有技术，此处不再详述。
[0084]通过上述方式，本发明的飞行器状态实时修正的方法和装置，通过历史状态信息以及摄像单元拍摄的历史图像和当前图像中的特征点，计算摄像单元的外部信息或内部信息，再结合至少一种传感器的外部信息或内部信息得到两个外部信息或内部信息之间的相对比例关系，利用相对比例关系来修正基于历史状态信息得到的当前状态信息，从而能够达到修正飞行器的状态信息的目的，可以减小状态信息的偏差，提高准确性和可靠性，避免飞行器飞丢，丰富操控者的飞行体验。
[0085]以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的【技术领域】，均同理包括在本发明的专利保护范围内。
【权利要求】
1.一种飞行器状态实时修正的方法，其特征在于，包括: 获取摄像单元的一历史状态信息、所述摄像单元拍摄的当前图像和所述当前图像之前的一历史图像、以及至少一种传感器感测当前测量的外部信息或内部信息； 根据所述历史状态信息预测与所述历史图像中的目标特征点对应的所述当前图像中的匹配特征点，并由所述匹配特征点计算当前所述摄像单元的外部信息或内部信息； 根据预先标定的所述至少一种传感器相对于所述摄像单元的位置关系计算所述摄像单元的外部信息与所述至少一种传感器的外部信息之间或者所述摄像单元的内部信息与所述至少一种传感器的内部信息之间的相对比例关系； 利用所述相对比例关系修正由所述历史状态信息估计得到的所述摄像单元的当前状态息。
2.根据权利要求1所述的方法，其特征在于，所述利用所述相对比例关系修正由所述历史状态信息估计得到的所述摄像单元的当前状态信息的步骤包括: 根据预先建立的状态模型和测量模型对所述历史状态信息采用卡尔曼滤波器进行滤波，得到所述摄像单元的当前状态信息； 将所述相对比例关系与所述当前状态信息进行积运算。
3.根据权利要求1所述的方法，其特征在于，所述根据所述历史状态信息预测与所述历史图像中的目标特征 点对应的所述当前图像中的匹配特征点的步骤包括: 根据所述历史状态信息预测所述历史图像中的目标特征点在所述当前图像中的坐标位置； 选择离所述坐标位置最近的特征点作为与所述历史图像中的目标特征点对应的所述当前图像中的匹配特征点。
4.根据权利要求1所述的方法，其特征在于，所述摄像单元包括单目摄像头。
5.根据权利要求4所述的方法，其特征在于，所述单目摄像头为全景摄像头，所述摄像单元还包括反射镜，用于将外部光线反射至所述单目摄像头，则在所述获取所述摄像单元拍摄的当前图像的步骤之后，所述方法还包括: 根据预先建立的与所述反射镜对应的校正模型获取外部空间中任一点与所述摄像单元拍摄的当前图像中的对应点的坐标映射关系，利用所述坐标映射关系对所述摄像单元拍摄的当前图像进行校正。
6.根据权利要求1所述的方法，其特征在于，所述状态信息包括摄像单元的姿态、位置、速度、方向和周围的环境信息。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述外部信息包括相对于外部对象的距离信息，所述内部信息包括加速度信息、方向信息、角速度信息、速度信息或里程信息中的一种或几种。
8.一种飞行器状态实时修正的装置，其特征在于，所述飞行器包括摄像单元和至少一个传感器，所述装置包括: 获取模块，用于获取所述摄像单元的一历史状态信息、所述摄像单元拍摄的当前图像和所述当前图像之前的一历史图像、以及所述至少一种传感器感测当前测量的外部信息或内部信息； 匹配模块，用于根据所述历史状态信息预测与所述历史图像中的目标特征点对应的所述当前图像中的匹配特征点，并由所述匹配特征点计算当前所述摄像单元的外部信息或内部信息； 计算模块，用于根据预先标定的所述至少一种传感器相对于所述摄像单元的位置关系计算所述摄像单元的外部信息与所述至少一种传感器的外部信息之间或者所述摄像单元的内部信息与所述至少一种传感器的内部信息之间的相对比例关系； 修正模块，用于利用所述相对比例关系修正由所述历史状态信息估计得到的所述摄像单元的当前状态信息。
9.根据权利要求8所述的装置，其特征在于，所述修正模块包括滤波器单元和修正单元，其中， 所述滤波器单元用于根据预先建立的状态模型和测量模型对所述历史状态信息采用卡尔曼滤波器进行滤波，得到所述摄像单元的当前状态信息； 所述修正单元用于将所述相对比例关系与所述当前状态信息进行积运算。
10.根据权利要求8所述的装置，其特征在于，所述匹配模块具体用于根据所述历史状态信息预测所述历史图像中的目标特征点在所述当前图像中的坐标位置，并选择离所述坐标位置最近的特征点作为与所述历史图像中的目标特征点对应的所述当前图像中的匹配特征点。
11.根据权利要求8所述的装置，其特征在于，所述摄像单元包括单目摄像头。
12.根据权利要求11所述的装置，其特征在于，所述单目摄像头为全景摄像头，所述摄像单元还包括反射镜，用于将外部光线反射至所述单目摄像头，所述装置还包括校正模块，所述校正模块用于在所述获取模块获取所述摄像单元拍摄的当前图像之后，根据预先建立的与所述反射镜对应的校正模型获取外部空间中任一点与所述摄像单元拍摄的当前图像中的对应点的坐标映射关系，利用所述坐标映射关系对所述摄像单元拍摄的当前图像进行校正。
13.根据权利要求5所述的装置，其特征在于，所述状态信息包括摄像单元的姿态、位置、速度、方向和周围的环境信息。
14.根据权利要求8至13任一项所述的装置，其特征在于，所述外部信息包括相对于外部对象的距离信息，所述内部信息包括加速度信息、方向信息、角速度信息、速度信息或里程信息中的一种或几种。
【文档编号】G05D1/00GK103914065SQ201410112714
【公开日】2014年7月9日 申请日期:2014年3月24日 优先权日:2014年3月24日
【发明者】周谷越, 杨硕, 刘昂 申请人:深圳市大疆创新科技有限公司