一种机载图形图像虚实叠加方法
【专利摘要】本发明是一种高效、高精度的机载图形图像虚实叠加方法，在充分考虑数据纹理信息的基础上，实现图形图像这一虚一实两类数据的自然融合。该方法分为粗粒度处理和细粒度处理这两个阶段的处理；其中在粗粒度处理阶段采集实时状态的相关信息，快速定位视频图像的拍摄区域；然后读取机载数据库中相同位置和适配区域范围的高程数据和地形地貌数据，由计算机绘制生成相应的图形，并将观察视角与像机拍摄视角调整一致；在细粒度处理阶段首先利用特征检测算法，提取图形和图像的同名点特征信息，实现图形与图像的高精度配准；借助优化插值算法，将图形与图像数据进行融合，即显示输出图形图像虚实叠加的结果。
【专利说明】一种机载图形图像虚实叠加方法
【技术领域】
[0001]本发明属于机载图形图像处理领域，涉及一种机载图形图像虚实叠加方法。
【背景技术】
[0002]增强型合成视景系统(ESVS)，又称增强型飞行视景系统(EFVS)，将提供更符合人眼观测机制的视觉景象，即以一种直观感受方式显示在目视气象条件下才有的视觉信息和提示。它综合了增强视景系统(EVS)和合成视景系统(SVS)的优点，其重点是解决图形图像的虚实叠加问题。
[0003]传统的图形图像虚实叠加方法有三种:(I)固定位置开窗叠加，即:在显示界面的某一个固定位置开一个大小恒定的显示窗口，显示视频图像；(2)背景全窗叠加，即:将视频图像铺满整个显示界面，然后在该界面上叠加一些飞行状态信息；(3)Alpha叠加，即:通过调节显示参数Alpha的值，把视频图像以半透明的方式显示在数字航图上。上述三种方法，都属于硬性叠加，它们并没有考虑图形图像特有的纹理信息，无法做到图形图像的自然融合。
[0004]在已有的融合算法中，多是针对同一类型的数据(主要是针对图像数据)进行的融合，例如可见光与红外图像的融合、不同波段红外图像之间的融合、红外与毫米波图像的融合，等等。
【发明内容】
[0005]为了满足处理速度和精度要求，本发明提出了一种机载图形图像虚实叠加方法。
[0006]本发明的技术方案如下:
[0007]一种机载图形图像虚实叠加方法，其特征在于:该方法分为粗粒度处理和细粒度处理这两个阶段的处理；其中
[0008]在粗粒度处理阶段:首先采集机载GPS信息、高度信息、以及飞机姿态信息、像机参数信息，通过空间几何三维坐标变换和计算机视觉仿射变换方程，快速定位视频图像的拍摄区域；然后读取机载数据库中相同位置和适配区域范围的高程数据和地形地貌数据，由计算机绘制生成相应的图形(地形地貌纹理贴图)，并将观察视角与像机拍摄视角调整一致；
[0009]在细粒度处理阶段:首先利用特征检测算法，提取地形地貌纹理贴图和视频图像的同名点特征信息；然后基于邻域相关准则，完成同名点一对一的匹配；再根据每对同名点之间的尺度、平移和旋转差异，计算相应的配准参数，实现图形与图像的高精度配准；最后，借助优化插值算法，将图形与图像数据进行融合，即显示输出图形图像虚实叠加的结果O
[0010]基于上述方案，进一步作如下优化限定:
[0011]空间几何三维坐标变换和计算机视觉仿射变换包括尺度变换、平移变换、旋转变换、以及透视变换。
[0012]特征检测算法为Harris角点特征检测、SUSAN角点特征检测、Hough变换直线特征检测、SIFT特征检测、BRIEF特征检测、ORB特征检测、或者它们的改进型特征检测算法。
[0013]优化插值算法为邻域平均插值、加权平均插值、双线性插值、或者三次样条插值算法。
[0014]邻域相关准则采用欧式距离法或相关系数法。
[0015]本发明具有以下优点:
[0016]本发明是一种高效、高精度的机载图形图像虚实叠加方法，在充分考虑数据纹理信息的基础上，实现图形图像这一虚一实两类数据的自然融合。
[0017]本发明通过图形图像的虚实叠加、自然融合，能够改善飞行员在低能见度条件下(包括夜间和仪表飞行气象条件)对态势和空间感知的能力，进而在飞机起降过程中减少诸如可控飞行撞地、失控、跑道侵入等类型的事故，提高飞机的飞行安全性能。
【专利附图】
【附图说明】
[0018]图1机载图形图像虚实叠加流程示意图。
【具体实施方式】
[0019]如图1所示，该机载图形图像虚实叠加方法，分为粗粒度处理和细粒度处理两部分;
[0020]在粗粒度处理部分:首先利用机载GPS信息、高度信息、以及飞机姿态(俯仰、滚转、偏航)信息、像机参数(焦距、摆放自由度)信息，通过空间几何三维坐标变换和计算机视觉仿射变换方程，快速定位视频图像的拍摄区域；然后以此为参考，读取机载数据库中相同位置和相同区域范围(实际应用中，这个区域范围比像机拍摄的视频图像的区域范围要大一些，以便后续处理)的高程数据和地形地貌数据，由计算机绘制生成相应的图形，并将观察视角与像机拍摄视角调整一致。此时，图形与图像具备了一定的相似性，其尺度、平移和旋转差异将控制在一个很小的变化范围内。
[0021]在细粒度处理部分:首先利用点特征、线特征或其它特征检测算法，提取地形地貌纹理贴图和视频图像的同名点特征信息；然后通过欧式距离法、相关系数法等邻域相关准贝1J，完成同名点一对一的匹配；再根据每对同名点之间的尺度、平移和旋转差异(取平均值)，计算相应的配准参数，实现图形与图像的高精度配准；最后，借助优化插值算法，将图形与图像数据进行融合。此时，显示输出的结果即为图形图像虚实叠加的结果。
[0022]由于细粒度处理是在粗粒度处理之后，因此有关像素遍历的操作，只需要在一个很小的变化范围内执行即可，这将大大缩短处理时间，提高处理效率。
[0023]实际应用中，本发明在粗粒度处理部分所用到的GPS信息、高度信息和飞机姿态信息，可通过机载GPS接收机、高度计、以及陀螺仪、加速度计直接读取；像机参数信息，可通过前期静态标定和后期动态测量的方法得到。再有了这些信息后，通过大地坐标系、飞机坐标系、像机坐标系、像平面坐标系以及参考坐标系，即可构建实际应用场景的空间几何三维坐标变换和计算机视觉仿射变换方程，并可由此计算出视频图像拍摄区域的位置和范围。然后以此为参考，读取机载数据库中相同位置和相同区域范围(实际应用中，根据飞机飞行高度、飞行速度以及像机拍摄区域范围的不同，拟选取的区域范围可以向四周各扩展1-10千米不等)的高程数据和地形地貌数据，由计算机绘制生成相应的图形(也就是数字航图)，并通过计算机图形学的裁剪、消隐、视角变换等操作，将数字航图的观察视角与像机拍摄视角调整一致。
[0024]在细粒度处理部分，首先采用Harris角点特征检测算法(如果是涉及机场跑道的应用场景，将采用Hough变换直线特征检测算法)，提取地形地貌纹理贴图和视频图像的同名点特征信息。然后通过欧式距离法邻域相关准则，寻找欧式距离最小的同名点对，即为匹配点对。再计算这些匹配点对的尺度、平移和旋转差异，由于会出现多组匹配点对，因此要取多组差异的平均值，作为配准参数。在图形图像的数据融合时，可采用加权平均的优化插值算法。此时，即可显示输出最终的图形图像虚实叠加结果。
[0025]本发明提出的图形图像虚实叠加方法通过粗、细粒度的分别处理，能够满足处理速度和处理精度的要求；同时，由于充分利用了纹理信息，本发明能够实现图形图像这一虚一实两类数据的有机统一。作为增强型合成视景系统的核心关键，本发明将改善飞行员在低能见度条件下(包括夜间和仪表飞行气象条件)对态势和空间感知的能力，进而在飞机起降过程中减少诸如可控飞行撞地、失控、跑道侵入等类型的事故，提高飞机的飞行安全性會K。
【权利要求】
1.一种机载图形图像虚实叠加方法，其特征在于:该方法分为粗粒度处理和细粒度处理这两个阶段的处理；其中 在粗粒度处理阶段:首先采集机载GPS信息、高度信息、以及飞机姿态信息、像机参数信息，通过空间几何三维坐标变换和计算机视觉仿射变换方程，快速定位视频图像的拍摄区域；然后读取机载数据库中相同位置和适配区域范围的高程数据和地形地貌数据，由计算机绘制生成相应的图形，并将观察视角与像机拍摄视角调整一致； 在细粒度处理阶段:首先利用特征检测算法，提取地形地貌纹理贴图和视频图像的同名点特征信息；然后基于邻域相关准则，完成同名点一对一的匹配；再根据每对同名点之间的尺度、平移和旋转差异，计算相应的配准参数，实现图形与图像的高精度配准；最后，借助优化插值算法，将图形与图像数据进行融合，即显示输出图形图像虚实叠加的结果。
2.根据权利要求1所述的机载图形图像虚实叠加方法，其特征在于:空间几何三维坐标变换和计算机视觉仿射变换包括尺度变换、平移变换、旋转变换、以及透视变换。
3.根据权利要求1所述的机载图形图像虚实叠加方法，其特征在于:所述特征检测算法为Harris角点特征检测、SUSAN角点特征检测、Hough变换直线特征检测、SIFT特征检测、BRIEF特征检测、ORB特征检测、或者它们的改进型特征检测算法。
4.根据权利要求1所述的机载图形图像虚实叠加方法，其特征在于:所述优化插值算法为邻域平均插值、加权平均插值、双线性插值、或者三次样条插值算法。
5.根据权利要求1所述的机载图形图像虚实叠加方法，其特征在于:所述邻域相关准则采用欧式距离法或相关系数法。
【文档编号】H04N5/262GK104469155SQ201410736893
【公开日】2015年3月25日 申请日期:2014年12月4日 优先权日:2014年12月4日
【发明者】文鹏程, 牛文生, 谢建春, 程岳 申请人:中国航空工业集团公司第六三一研究所