本发明属于电子信息技术领域，具体涉及一种飞行参数与相机内参相结合的航空影像实时校正方法，适用于机载或弹载智能影像预处理系统。
背景技术
随着传感器技术、嵌入式计算机技术的发展，高清影像采集与处理系统得以在无人机、各种导弹武器实时运行。在军事领域，无人机侦察或导弹攻击目标均需要机载或弹载光学系统获取目标区域影像，进而对目标进行探测识别，然而由于飞行载体及相机姿态的实时变化导致采集的影像存在严重的几何畸变，为后续的图像处理带来了很大难度。而在民用航拍领域，大幅的航拍影像需要连续帧影像的无缝拼接，但由于飞行载体及相机姿态的变化无法实现精准的图像拼接，因此，航拍影像的正射校正是预处理中的必要技术。
目前，航空影像的正射校正一是采用地面控制点或参考图像的方法，如，“机载sar影像的正射纠正试验研究”(测绘通报，第1期，2007年3月)，此类方法需要人工采取控制点，成本高。中国专利cn103971334a：高光谱遥感图像校正方法及装置。该专利从提供的遥感影像本身特征出发，统计图像内部各行的相关数据，通过行相关误差最小和逐行位置平移进行校正，该方法属于线性扫描成像不适用于航空面阵相机，并且其算法计算复杂难以进行实时校正。一是采用共线方程建模或投影变换方法，如，“航空变焦距斜视成像几何畸变的自动校正”(光学精密工程第23卷，第10期，2015年10月)，此类方法需要利用gps测量相机的精确位置，从而计算像素点坐标和目标点空间坐标的映射。
技术实现要素：
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种飞行参数与相机内参相结合的航空影像实时校正方法，解决由于飞行器飞行姿态及搭载相机的姿态导致的航空遥感影像存在严重的几何形变问题，通过飞行载体的飞行参数及相机的内部参数构建单应变换矩阵，对实时采集的影像进行变换校正，达到消除几何形变的目的，为后续的深层次图像处理提供标准数据源。该算法可应用于机载或弹载信息感知系统，提升系统的感知精度。
本发明采用以下技术方案：
一种飞行参数与相机内参相结合的航空影像实时校正方法，采用相机焦距参数，传感器像元尺寸及影像尺寸参数实时构建相机内参，相机内参结合飞行器的姿态参数构建单应变换矩阵，对实时获取的影像进行校正插值变换，实现对影像的正射变换完成实时校正。
具体的，包括以下步骤：
s1、根据相机的传感器像元尺寸，图像尺寸，相机焦距等参数构建相机内部参数矩阵k；
s2、由飞行器姿态参数及相机的姿态参数构建旋转矩阵r；
s3、根据多视图几何理论，通过相机内部参数矩阵k和旋转矩阵r计算实时影像与正射图像之间的单应矩阵h；
s4、利用步骤s3得到的单应矩阵h对输入影像进行变换，在变换过程中进行间接双线性插值，以保证变换后图像的清晰度得到正射校正后图像p_orth。
进一步的，步骤s1中，相机内部参数矩阵k如下：
其中，f为相机的焦距，dx,dy分别为图像上每个像素在坐标轴方向的物理尺寸，(u0,v0)为图像的中心像素坐标。
进一步的，步骤s2中，旋转矩阵r如下：
其中，α,β,γ分别为无人机的翻滚角、俯仰角、偏航角，a,e分别为相机的方位角和高低角。
进一步的，步骤s3中，单应矩阵h如下：
h＝krk-1
其中，k为相机内部参数矩阵，r为旋转矩阵。
进一步的，步骤s4中，正射校正后图像p_orth如下：
p_orth＝h-1p_orig
其中，h为单应矩阵，p_orig为原始图像。
与现有技术相比，本发明至少具有以下有益效果：
本发明是一种飞行参数与相机内参相结合的航空影像实时校正方法，采用相机焦距参数，传感器像元尺寸及影像尺寸等参数实时构建相机内参，进一步结合飞行姿态参数构建单应变换矩阵，对实时获取的影像进行校正插值变换，实现对影像的正射变换。该方法不依赖地面控制点，无需输入参考图像及相机位置信息，仅需惯性测量器件提供飞行器姿态参数(翻滚角、俯仰角、偏航角)，相机的姿态参数(方位角、高低角)及相机的焦距传感器的像元尺寸，图像尺寸等简单信息，即可实现实时的航拍影像正射校正。
进一步的，为实现相机坐标系与像素坐标系之间的变换，构建相机内部参数矩阵k。
进一步的，为实现世界坐标系到相机坐标系之间的变换，构建旋转矩阵。
进一步的，为计算实时影像到正射影像的变换，根据多视图几何理论，该变换(单应矩阵)可由相机内参矩阵及旋转矩阵获得。
进一步的，本发明的校正精度依赖于飞行器姿态及相机姿态测量的精度，通过本发明校正结果与google影像进行比对，完全可满足后续图像处理的需求。
综上所述，本发明可作为机载或弹载光电系统的预处理子系统，为提升后续深层次影像数据处理提供良好数据源。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明流程示意图；
图2为实施例1无人机航拍红外图像，其中，(a)为焦距为25mm拍摄的机场场景红外图像，(b)为焦距为300mm且姿态角发生较大变化后拍摄的农田场景红外图像；
图3为图2中图像的正射校正结果图，其中，(a)为图2(a)的校正结果，(b)为图2(b)的校正结果；
图4为实施例1正下视的google影像；
图5为实施例2无人机航拍红外图像，其中，(a)为高速公路场景的红外图像，(b)为无人机姿态角及航拍位置变化后拍摄的高度公路场红外景图像；
图6为图5中图像的正射校正结果图，其中，(a)为图5(a)的校正结果，(b)为图5(a)的校正结果；
图7为图5场景对应的正下视google影像。
具体实施方式
本发明提供了一种飞行参数与相机内参相结合的航空影像实时校正方法，采用相机焦距参数，传感器像元尺寸及影像尺寸等参数实时构建相机内参，进一步结合飞行姿态参数构建单应变换矩阵，对实时获取的影像进行校正插值变换，实现对影像的正射变换。
请参阅图1，本发明一种飞行姿态参数与相机内参相结合的航空影像实时校正方法，具体步骤如下：
s1、根据相机的传感器像元尺寸，图像尺寸，相机焦距等参数构建相机内部参数矩阵k
其中，f为相机的焦距，dx,dy分别为图像上每个像素在坐标轴方向的物理尺寸，单位为mm/pixel，(u0,v0)为图像的中心像素坐标。
s2、由飞行器姿态参数及相机的姿态参数构建旋转矩阵r如下：
其中，α,β,γ分别为无人机的翻滚角、俯仰角、偏航角，a,e分别为相机的方位角和高低角。
s3、根据多视图几何理论，计算实时影像与正射图像之间的单应矩阵h如下：
h＝krk-1(3)
s4、利用(3)式对输入影像进行变换，在变换过程中进行间接双线性插值，以保证变换后图像的清晰度。
p_orth＝h-1p_orig(4)
其中，p_orig为原始图像，p_orth为正射校正后图像。
本发明设计的飞行参数与相机内参相结合的航空影像实时校正方法，无需地面控制点及相机空间位置，只需飞行载体姿态及相机内参，即可实时对采集图像进行校正，为后续的图像处理提供无畸变正射影像数据。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下给出本发明对无人机航拍的两组红外影像进行正射校正的实例，并于正下视影像进行了对比。第一组图像数据为某机场附近的制冷型红外相机拍摄的数据，分辨率为640×512；第二组非制冷型红外相机拍摄的某城市郊区的影像，分辨率为720×576。本发明对两组数据均获得良好效果。
实施例1
原始图像如图2所示，图2(a)的相机焦距为25mm，飞行三个姿态角分别为0.450，1.740和57.420，相机的高低角和偏航角分别为-29.680和-148.960，图2(b)的相机焦距为300mm,飞行三个姿态角分别为0.3202.320和246.980，相机的高低角和偏航角分别为-31.246和49.631，相机的像元尺寸为15μm。由本发明算法得到的校正后影像如图3所示，图4给出了正射的google影像，由结果的比对可以看出，本发明获得了较好的正射校正结果。
实施例2
原始图像如图5所示，相机焦距为51mm，图5(a)的飞行三个姿态角分别为2.90，0.50和268.60，相机的高低角和偏航角分别为-7.00和-25.00。图5(b)的飞行三个姿态角分别为-2.40，1.50和269.30，相机的高低角和偏航角分别为-6.00和-26.00，相机的像元尺寸为17μm。由本发明算法得到的校正后影像如图6所示，图7给出了正射的google影像，由比对可看出本发明得到了较好的校正结果。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。