专利名称：一种无人机景象匹配辅助导航方法及系统的制作方法
技术领域：
本发明涉及导航技术领域，涉及一种无人机景象匹配辅助导航方法及系统。
背景技术：
无人机导航技术是指无人机使用机载的导航设备和飞行控制系统进行定位和控制并完成飞行任务的技术。无人机导航中常用的方法包括遥控导航、惯性导航、卫星导航、 组合导航等。无人机特别是作战用小型无人机的应用电磁环境恶劣，遥控通信链路难以维持， GPS信号也易受干扰。在众多导航方法中，惯性导航和景象匹配导航能够提高无人机导航的适应性。惯性导航系统是利用惯性元件感测载体运动中的角速度和加速度，通过积分计算，得出载体的速度、位置和姿态等导航信息，具有完全自主、全天候、不受外界环境干扰和无信号丢失等优点。然而，相对于无人机的体积和载荷来讲，高精度的惯性导航系统体积、 重量和耗电量超出了无人机的能力范围。同时，惯性导航系统长时间工作时存在累积误差， 不能完全满足实际应用需求。景象匹配辅助导航(Scene Matching Aided Navigation)是利用机载视觉传感器在飞行过程中采集的实时景象图与预先制备的基准景象图进行实时匹配计算以获得精确定位信息的技术。这种技术具有很高的自主性和精确度，极好的保密性和抗干扰性，已经引起了国内外导航界的普遍关注。同时，视觉传感器具有轻便、低功耗、体积小等优点，非常适合无人机应用。在景象匹配辅助导航中，选择景象匹配区是需要解决的首要问题。通过对指定景象区域的匹配定位性能进行评估、分析，从而确定该区域是否可作为合适的景象匹配区，保证飞行过程中机载传感器获取的实测图与基准图进行成功匹配。目前，匹配区的选择尚无成熟的解决方案，大部分由人工完成，通常很难满足实际应用的需求。本发明首次提出应用基于内容的图像检索方法选择景象匹配区，该方法可与后期的图像匹配工作无缝结合。由于存在环境、设备、拍摄形态等因素的影响，实时景象图与基准景象图之间会存在平移、旋转、尺度、视角、光照、扭曲等变化，因此实现高效准确的图像匹配是提供高精度导航信息源的关键。本发明采用基于局部特征的图像匹配算法，得到亚像素的匹配精度。本发明的优点在于无人机在执行任务过程中，可以不依靠其他信息，在大规模基准图像数据库中实时的选择最佳基准图并完成精确匹配。本发明适于在机载处理器上应用，可结合机载导航设备实现高精度的导航。本发明也可用于导弹中低空下的组合导航中。 除可见光景象匹配外，本发明同样适于红外景象匹配等其他形式的景象匹配中。
发明内容
为解决现有技术中的上述缺陷，本发明提出一种无人机景象匹配辅助导航方法及系统，用于实现精确的定位与导航。所述的方法利用机载视觉传感器在飞行过程中采集的实时景象图与预先制备的基准景象图进行实时匹配计算以获得精确定位信息。该方法还可用于修正其他机载导航设备的导航误差，并可作为一种备份导航手段。本发明提出应用基于内容的图像检索方法进行无人机景象匹配导航的景象匹配区选择，很好的解决了图像区域适配性问题。所述的适配性问题是指通过对指定景象区域的匹配定位性能进行评估、分析，从而确定该区域是否可作为合适的景象匹配区，保证飞行过程中机载传感器获取的实测图与基准图进行成功匹配。本发明应用基于分层k均值聚类法的词汇树模型进行图像检索，可以选出最佳图像适配区域。由于检索时应用了局部特征描述图像，可以与之后的匹配过程无缝结合。采用的图像匹配算法可克服实时景象图与基准景象图之间存在的平移、旋转、尺度、视角、光照、扭曲等变化，实现高效准确的图像匹配。本发明的实现步骤如下一种无人机景象匹配辅助导航方法，通过下列步骤来实现在无人机执行任务前，获取基准图像并进行预处理对视觉传感器获取的基准图像进行灰度化处理得到灰度图像，并对灰度图像进行中值滤波，获得基准图像数据库；提取灰度图像的图像特征检测基准图像数据库中灰度图像的兴趣点，利用兴趣点的邻域信息描述灰度图像，用局部信息和邻域信息的关系构造出具有旋转和尺度不变性的描述子，作为所述灰度图像的图像特征；建立基准图词汇树模型提取基准图像数据库中所有灰度图像的图像特征，应用分层k均值聚类法量化所述图像特征，构建基准图词汇树；在无人机执行任务时，选择基准景象匹配区提取实测图像中的图像特征；从基准图词汇树的根节点开始到基准图词汇树的叶节点，将实测图像的图像特征与基准图词汇树的下一层的k个聚类中心比较，选择欧氏距离最近的聚类中心，进行相似度评分，构建基准景象匹配区；实现景象匹配对实测图像和基准景象匹配区的图像进行匹配，应用最近邻搜索法进行特征点的匹配，通过比率测试比较特征点的最近邻和次近邻的距离对实测图像和基准景象匹配器进行匹配，实测图像与基准景象匹配器的匹配点；应用几何一致性校验算法去除错误匹配点采用随机抽样一致性算法对通过比率测试的匹配点进行校验，并利用满足对极几何学约束的匹配点计算单应性矩阵；修正导航误差利用获得的单应性矩阵计算无人机的位置信息，或将单应性矩阵与机载导航设备输出的高度和姿态信息相融合提高导航系统精度。所述提取实测图像或基准图像特征的方法为通过SURF特征描述实测图像或基准图像，
使用Hessian矩阵行列式计算并搜索实测图像或基准图像中三维尺度空间极值得到具有旋转和尺度不变性的特征点；对每个特征点周围的圆形区域定义一个特征方向，并根据特征点邻域内的灰度分布提取64维的描述子矢量，作为实测图像或基准图像的图像特征。所述实现景象匹配的方法为对于实测图的描述子矢量q，将基准图中与q的欧氏距离最近的图像描述子矢量记为P1和P2,将矢量间的距离分别表示为Cl1 = I I q-Pl Id2 = I I q-p21其中Cl1彡d2，当满足Cl1Al2 < r时，判定矢量q通过比率测试，其中0彡r彡1。所述应用几何一致性校验算法对通过比率测试的匹配点进行校验的方法为采用RANSAC算法去除错误匹配点，确保两幅图像特征点的匹配能够满足物理可实现的变换；其中，RANSAC算法包括假设模型的生成和验证两个步骤。一种应用于无人机景象匹配辅助导航的基准景象匹配区选择方法，其特征在于， 通过下列步骤来实现在无人机执行任务前，提取基准图像数据库中所有基准图的图像特征，应用分层k 均值聚类法构建基准图词汇树；在无人机执行任务时，提取实测图像中的图像特征；从基准图词汇树的根节点开始到基准图词汇树的叶节点，将实测图像的图像特征与基准图词汇树的下一层的k个聚类中心比较，选择欧氏距离最近的聚类中心，进行相似度评分，并构建基准景象匹配区。所述建立基准图词汇树的方法为对基准图的图像特征组成的集合进行基准图词汇树的无监督训练，将每个节点拥有的子节点个数定义聚类的分叉因子k ；采用k均值聚类方法将基准图的图像特征组成的集合分为k个描述子矢量组；利用k均值聚类方法将描述子矢量组递归分为k个新的组，一层层决定树的结构， 直到达到预定义的最大层数L。所述选择基准景象匹配区的方法为将实测图的图像特征从基准图词汇树的根节点开始，与下一层的k个聚类中心比较，选取一个欧氏距离最近的聚类中心，层层向下传播，直到叶节点；同时使用一个整数来表示沿树向下传播的路径，采用TF-IDF模型进行图像的相似度评分；选择基准图数据库中与实测图相似性评分最高的图像作为景象匹配区。一种无人机景象匹配辅助导航系统，包括图像预处理模块、图像特征提取模块、 基准图词汇树建立模块、景象匹配区选择模块、景象匹配模块、错误匹配去除模块、导航误差修正模块，其中图像预处理模块，用于对基准图像进行灰度化处理，对灰度图像进行应用中值滤波抑制图像噪声，获得基准图数据库；图像特征提取模块，检测基准图像数据库中灰度图像的兴趣点，利用兴趣点的邻域信息描述灰度图像，用局部信息和邻域信息的关系构造出具有旋转和尺度不变性的描述子，作为所述灰度图像的图像特征；
基准图词汇树建立模块，在无人机执行任务前，提取基准图像数据库中所有灰度图像的图像特征，应用分层k均值聚类法量化所述图像特征，构建基准图词汇树；景象匹配区选择模块，在无人机执行任务时，提取实测图像中的图像特征；从基准图词汇树的根节点开始到基准图词汇树的叶节点，将实测图像的图像特征与基准图词汇树的下一层的k个聚类中心比较，选择欧氏距离最近的聚类中心，进行相似度评分，构建基准景象匹配区；景象匹配模块，在无人机执行任务时，对实测图像和基准景象匹配区的图像进行匹配，应用最近邻搜索法进行特征点的匹配，通过比率测试比较特征点的最近邻和次近邻的距离对实测图像和基准景象匹配器进行匹配，实测图像与基准景象匹配器的匹配点；错误匹配去除模块，在无人机执行任务时，采用随机抽样一致性算法对通过比率测试的匹配点进行校验，并利用满足对极几何学约束的匹配点计算单应性矩阵；导航误差修正模块，利用获得的单应性矩阵计算无人机的位置信息，或将单应性矩阵与机载导航设备输出的高度和姿态信息相融合提高导航系统精度。本发明与现有技术相比具有如下优点(1)实时性高采用高效的SURF特征进行特征点提取，提取时间约为金标准-SIFT 算法的三分之一。对于640X480的图像，在包含一百万张图像的基准景象数据库中选择景象匹配区耗时约20毫秒。本方法的实时性能优于其他景象匹配方法。(2)精度高由于采用基于局部特征的图像匹配算法，通过线性插值精确定位特征点的X，y值以及尺度空间的精确坐标，达到亚像素精度，所得的匹配精度也为亚像素精度。(3)低存储需求采用词汇树进行图像表示，一百万张图像的数据库可存储在4GB 的内存(RAM)中。(4)适应性广在单独应用时，只需要图像信息而不需要其他外部信息，理论上可在任何环境(包括水下、峡谷、地下、遮挡环境)中应用。在进行辅助导航时，可与其他机载导航设备输出的高度和姿态信息相融合，提高导航系统精度。
图1为本发明一种无人机景象匹配辅助导航方法流程图；图2为本发明一种无人机景象匹配辅助导航方法的步骤二中积分图方法示意图；图3为本发明一种无人机景象匹配辅助导航方法的步骤二中方框滤波方法示意图；图4为本发明一种无人机景象匹配辅助导航方法的步骤二中描述子提取示意图；图5为本发明一种无人机景象匹配辅助导航方法的步骤三中分层k均值聚类法的空间分割图；图6为本发明一种无人机景象匹配辅助导航系统流程图。
具体实施例方式下面结合附图对本发明的技术方案进行详细说明如图1和图6所示，分别为本发明的方法和系统模块流程图。在方法和模块中，分别包括相互对应的，获取基准图像并进行预处理的图像预处理模块、提取图像特征的图像特征提取模块、用于建立基准图词汇树的基准图词汇树建立模块、对景象匹配区进行选择的景象匹配区选择模块、用于实现景象匹配的景象匹配模块、去除错误匹配点的错误匹配去除模块和修正导航误差的导航误差修正模块。下面就分别就所述系统中模块的处理方法进行介绍。1.获取图像并进行预处理对基准图和实测图进行预处理。针对无人机携带的视觉传感器不同，可获得的图像包括可见光图像和红外图像，其中红外图像为灰度图像。对原始的可见光图像进行灰度化处理Y = O. 299R+0. 596G+0. 21IB(1)将获取的彩色图像转化为灰度图像Y，式中R、G、B分别表示红、绿、蓝三种颜色分量。接着对图像进行滤波处理，可将图像中的噪声近似为高斯白噪声，采用中值滤波进行滤波处理，对图像的噪声进行抑制。2.提取图像的图像特征应用基于Hessian矩阵的尺度不变图像特征-SURF (Speeded Up Robust Features)特征对图像(实测图像或基准图像)进行描述。该特征的提取分为如下两个部分(1)检测兴趣点SURF算法使用积分图antegral images)进行计算，以提高图像特征的提取速度与匹配速度，如图2所示。通过搜索三维空间(x，y，σ)极值得到具有尺度不变的兴趣点。 利用Hessian矩阵行列式的极值得到X，y方向的极值。对于灰度图像I (χ)中的某个像素点X = (x, y)，三维空间X = (X，y，σ )下的Hessian矩阵Η(Χ，σ )可表示为
权利要求
1.一种无人机景象匹配辅助导航方法，其特征在于，该方法通过下列步骤来实现 在无人机执行任务前，获取基准图像并进行预处理对视觉传感器获取的基准图像进行灰度化处理得到灰度图像，并对灰度图像进行中值滤波，获得基准图像数据库； 提取灰度图像的图像特征检测基准图像数据库中灰度图像的兴趣点，利用兴趣点的邻域信息描述灰度图像，用局部信息和邻域信息的关系构造出具有旋转和尺度不变性的描述子，作为所述灰度图像的图像特征；建立基准图词汇树模型提取基准图像数据库中所有灰度图像的图像特征，应用分层k均值聚类法量化所述图像特征，构建基准图词汇树； 在无人机执行任务时， 选择基准景象匹配区提取实测图像中的图像特征；从基准图词汇树的根节点开始到基准图词汇树的叶节点，将实测图像的图像特征与基准图词汇树的下一层的k个聚类中心比较，选择欧氏距离最近的聚类中心，进行相似度评分，构建基准景象匹配区； 实现景象匹配对实测图像和基准景象匹配区的图像进行匹配，应用最近邻搜索法进行特征点的匹配，通过比率测试比较特征点的最近邻和次近邻的距离对实测图像和基准景象匹配器进行匹配，实测图像与基准景象匹配器的匹配点； 应用几何一致性校验算法去除错误匹配点采用随机抽样一致性算法对通过比率测试的匹配点进行校验，并利用满足对极几何学约束的匹配点计算单应性矩阵； 修正导航误差利用获得的单应性矩阵计算无人机的位置信息，或将单应性矩阵与机载导航设备输出的高度和姿态信息相融合提高导航系统精度。
2.根据权利要求1所述的一种无人机景象匹配辅助导航方法，其特征在于所述提取实测图像或基准图像特征的方法为通过SURF特征描述实测图像或基准图像，使用Hessian矩阵行列式计算并搜索实测图像或基准图像中三维尺度空间极值得到具有旋转和尺度不变性的特征点；对每个特征点周围的圆形区域定义一个特征方向，并根据特征点邻域内的灰度分布提取64维的描述子矢量，作为实测图像或基准图像的图像特征。
3.根据权利要求1所述的一种无人机景象匹配辅助导航方法，其特征在于所述实现景象匹配的方法为对于实测图的描述子矢量q，将基准图中与q的欧氏距离最近的图像描述子矢量记为 P1和P2,将矢量间的距离分别表示为 Ci1 = I I Q-P11d2 = I I Q-P21其中Cl1彡d2，当满足Cl1Al2 < r时，判定矢量q通过比率测试，其中0彡r彡1。
4.根据权利要求1所述的一种无人机景象匹配辅助导航方法，其特征在于所述应用几何一致性校验算法对通过比率测试的匹配点进行校验的方法为采用RANSAC算法去除错误匹配点，确保两幅图像特征点的匹配能够满足物理可实现的变换；其中，RANSAC算法包括假设模型的生成和验证两个步骤。
5.一种应用于无人机景象匹配辅助导航的基准景象匹配区选择方法，其特征在于，通过下列步骤来实现在无人机执行任务前，提取基准图像数据库中所有基准图的图像特征，应用分层k均值聚类法构建基准图词汇树；在无人机执行任务时，提取实测图像中的图像特征；从基准图词汇树的根节点开始到基准图词汇树的叶节点，将实测图像的图像特征与基准图词汇树的下一层的k个聚类中心比较，选择欧氏距离最近的聚类中心，进行相似度评分，并构建基准景象匹配区。
6.根据权利要求5所述的一种应用于无人机景象匹配导航的基准景象匹配区选择方法，其特征在于，所述建立基准图词汇树的方法为对基准图的图像特征组成的集合进行基准图词汇树的无监督训练，将每个节点拥有的子节点个数定义聚类的分叉因子k ；采用k均值聚类方法将基准图的图像特征组成的集合分为k个描述子矢量组； 利用k均值聚类方法将描述子矢量组递归分为k个新的组，一层层决定树的结构，直到达到预定义的最大层数L。
7.根据权利要求5所述的一种应用于无人机景象匹配辅助导航的基准景象匹配区选择方法，其特征在于，所述选择基准景象匹配区的方法为将实测图的图像特征从基准图词汇树的根节点开始，与下一层的k个聚类中心比较， 选取一个欧氏距离最近的聚类中心，层层向下传播，直到叶节点；同时使用一个整数来表示沿树向下传播的路径，采用TF-IDF模型进行图像的相似度评分；选择基准图数据库中与实测图相似性评分最高的图像作为景象匹配区。
8.一种无人机景象匹配辅助导航系统，其特征在于包括图像预处理模块、图像特征提取模块、基准图词汇树建立模块、景象匹配区选择模块、景象匹配模块、错误匹配去除模块、导航误差修正模块，其中图像预处理模块，用于对基准图像进行灰度化处理，对灰度图像进行应用中值滤波抑制图像噪声，获得基准图数据库；图像特征提取模块，检测基准图像数据库中灰度图像的兴趣点，利用兴趣点的邻域信息描述灰度图像，用局部信息和邻域信息的关系构造出具有旋转和尺度不变性的描述子， 作为所述灰度图像的图像特征；基准图词汇树建立模块，在无人机执行任务前，提取基准图像数据库中所有灰度图像的图像特征，应用分层k均值聚类法量化所述图像特征，构建基准图词汇树；景象匹配区选择模块，在无人机执行任务时，提取实测图像中的图像特征；从基准图词汇树的根节点开始到基准图词汇树的叶节点，将实测图像的图像特征与基准图词汇树的下一层的k个聚类中心比较，选择欧氏距离最近的聚类中心，进行相似度评分，构建基准景象匹配区；景象匹配模块，在无人机执行任务时，对实测图像和基准景象匹配区的图像进行匹配， 应用最近邻搜索法进行特征点的匹配，通过比率测试比较特征点的最近邻和次近邻的距离对实测图像和基准景象匹配器进行匹配，实测图像与基准景象匹配器的匹配点；错误匹配去除模块，在无人机执行任务时，采用随机抽样一致性算法对通过比率测试的匹配点进行校验，并利用满足对极几何学约束的匹配点计算单应性矩阵；导航误差修正模块，利用获得的单应性矩阵计算无人机的位置信息，或将单应性矩阵与机载导航设备输出的高度和姿态信息相融合提高导航系统精度。
全文摘要
本发明公开了一种无人机景象匹配辅助导航方法及系统。本发明中所述的方法主要包括以下七个步骤图像的获取与预处理、提取图像的局部特征、建立基准图词汇树模型、选择基准景象匹配区、实现景象匹配、去除错误匹配点以及修正导航误差。采用本发明可实现在大规模基准图像数据库中实时选择最佳基准图并完成精确匹配，用于高精度定位或辅助导航过程。本发明具有实时性好、精度高的优点，适于在无人机机载处理器上应用。
文档编号G01C21/24GK102426019SQ20111024686
公开日2012年4月25日 申请日期2011年8月25日 优先权日2011年8月25日
发明者安山, 张宏, 王兵, 王婷 申请人:航天恒星科技有限公司