一种航空图像检焦方法、检焦系统及相机与流程

本发明涉及航空航天成像领域，尤其涉及一种航空图像检焦方法、检焦系统及相机。

背景技术：

航空相机是安装在航空器上从空中摄取地面目标的光学仪器，用于在飞机上或其它飞行器上对地面、空中进行摄影测量、侦察、射击训练、确定战果等等的一种相机。由于航空相机所摄地面目标照片分辨率较高，便于识别小型目标，因而获得广泛应用。这种相机的镜头分辨率非常高，视角较大，可达70°左右。具有按一定的设定时间间隔自动连续摄影的功能。航空相机在空中成像时，由于温度、大气压力和照相距离的变化会造成离焦的现象，严重影响图像的清晰度和分辨率，长焦距相机尤其如此。所以要获得高清晰度的图像，就需要在相机拍照前进行检焦。目前面阵垂直航空相机检焦方式多采用光电自准直方式，当检焦时，需要扫描反射镜在垂直光轴位置匀速摆动，镜筒稳定在固定位置才能完成检焦。此类检焦光学机械结构复杂，检焦时间较长，无法在飞机飞行中短时间内完成检焦任务。

技术实现要素：

本发明提供了一种遥感图像的分类方法，用以解决上述背景技术中存在的检焦时间长的问题。

为了实现上述目的，航空图像检焦方法的步骤如下：

s1、在探测器范围内选取有效区域，所述有效区域在一个完整的检焦行程中都位于所述探测器范围内；

s2、在检焦起始位置拍摄含有特征点的第一帧图像；

s3、在所述一个完整的检焦行程中拍摄一组连续的图像，所述一组连续的图像中相邻两帧图像对应的行程小于1/2焦深；

s4、计算所述一组连续的图像中的每一帧图像的清晰度，得到清晰度最佳的图像位置；

s5、将检焦系统移动至所述清晰度最佳的图像位置处。

进一步的，所述探测器为高帧频探测。

进一步的，所述有效区域为(sx0:(sx0+δsx),sy0:(sy0+δsy))，其中，sx0和sy0分别为所述起始位置的水平和垂直坐标值，δsx和δsy分别为所述探测器在一个完整的检焦行程中所述探测器的平偏移量和垂直偏移量；

需要说明的是，在进行有效区域的选择时必须满足所述有效区域内所有点在所述拍摄一组连续图像的过程中,以所述含有特征点的第一帧图像的中心像元做开窗处理后,所述所有点和所述开窗区域均不会溢出探测器；同时满足最后一帧图像的中心像元做开窗处理后,所述所有点和所述开窗区域均不会溢出探测器。

进一步的，所述δsx和δsy的计算公式分别为：

其中，v为所述检焦系统的运动速度，θ为偏流角，t为所述检焦系统完成一个完整的检焦行程所用的时间，f为所述检焦系统的焦距，h为所述检焦系统的位置和待拍摄的目标物之间的垂直距离。

进一步的，所述在检焦起始位置拍摄含有特征点的第一帧图像之前还在所述检焦起始位置判断所述有效区域内是否有特征点，若无，继续在所述检焦起始位置拍摄直至所述有效区域内包含特征点。

进一步的，所述清晰度由梯度算子进行表征。

进一步的，所述梯度算子为sobel梯度算子；

有选的，所述sobel梯度算子的计算步骤包括：

s41、选取所述第一帧图像中的所述特征点为目标点；

s42、计算所述目标点在所述一组连续的图像中第n帧图像中的位置；

s43、以所述目标点为中心对所述第n帧图像进行开窗设计，开窗大小为m*n，其中m为开窗后所述第n帧图像在水平方向上的像元数量，n为开窗后所述第n帧图像在垂直方向的像元数量；

进一步的，采用公式计算所述一组连续的图像中所有帧图像的sobel梯度算子，其中，fsobel为sobel梯度算子，x和y分别为待计算的当前帧图像中所述目标点在水平方向和垂直方向的坐标值，ix为水平sobel算子与所述当前帧图像的卷积运算结果，iy为垂直sobel算子与所述当前帧图像的卷积运算结果。

进一步的，所述目标点在所述第n帧图像中的位置的计算公式为：

其中，x0和y0分别为所述目标点在所述第一帧图像中的水平方向和垂直方向的坐标；δt为第n帧图像拍摄时间与所述含有特征点的第一帧图像之间的时间间隔。

优选的，所述航空图像检焦方法中所述检焦系统系统均为匀速移动。

本发明还提供了一种航空图像检焦系统，用以解决上述背景技术中存在的检焦光学机械系统复杂的问题。

为了实现上述目的，航空图像检焦系统，包括：

探测器、光学系统、驱动机构、及图像处理模块，所述探测器用于在一个完整的检焦行程中拍摄一组连续的含有特征点的图像，所述驱动机构用于移动所述光学系统中检焦镜组模块，所述图像处理模块用于计算所述含有特征点的图像中的每一帧图像的清晰度，得到清晰度最佳的图像位置。进一步的，所述探测器为高帧频探测器。所述光学系统包括前镜组模块、检焦镜组模块和后镜组模块，所述检焦镜组模块位于所述前镜组模块的后端和所述后镜组模块的前端之间，所述高帧频探测器块位于所述后镜组模块的后端像面位置，所述驱动机构和所述检焦镜组模块连接，并用于驱动所述检焦镜组模块的移动。

本发明还提供了一种航空图像相机，用以简化现有技术中航空相机检焦时间长、结构复杂的问题。

为了实现上述目的，所述航空图像相机包括操纵器和所述航空图像检焦系统，所述操纵器用于远距离控制和检测所述航空图像检焦系统。

相对现有技术，本发明提供的一种航空图像检焦方法，是在所述驱动机构匀速走完检焦行程的同时，高帧频探测器连续拍摄一组图像。当相邻两帧图像所对应离焦量的差值不足半焦深时，即可用该组图像的清晰程度判断最佳相面位置。具体的，检焦开始时，检焦驱动机构匀速走完检焦行程，同时探测器拍摄一组图像；通过图像检焦算法对该组图像同一目标区域的清晰度进行计算并比较，取得最佳相面位置，最后驱动机构到达目标位置。在航空飞机飞行过程中可以在短时间内快速完成检焦任务。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将背景技术及本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了相机成像的原理示意图；

图2示出了本发明航空图像检焦方法流程简图；

图3示出了本发明有效区域的选择示意图；

图4示出了本发明图像特征点的位置变化关系图；

图5示出了本发明梯度因子和检焦系统位置关系函数图；

图6示出了本发明检焦系统结构组成简图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的步骤可以以各种不同的方式实现。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参照图1，图1示出了本发明相机成像的原理示意图。相机是一种利用光学成像原理形成影像并使用底片记录影像的设备，是用于摄影的光学器械。相机一般包括镜头，相机的镜头相当于一个凸透镜，来自物体的光经过照相机的镜头后会聚在胶片上，成倒立、缩小的实像。也就是说，光经过镜头聚集在成像平面上，从而形成清晰的照片。图1中的序号1为成像平面，序号2为被拍摄物体，a为相机的镜头，h为相机的镜头到被拍摄物体2之间的距离，f为相机的成像平面到镜头a之间的距离，也就是相机的焦距。由于实际情况中h远远大于f，可近似的认为h即为飞行高度。且根据光沿直线传播的原理，相机能够通过变换焦距进而调整被拍摄物体的范围及清晰度。

请参照图2和图3，图2示出了本发明航空图像检焦方法流程简图，图3示出了本发明有效区域选择的示意图。首先，在本实施例中，选取xx面阵垂直航空相机，其焦距为900mm，飞行高度12km～24km，速度和高度比值范围为0.007～0.014。探测器选取io公司的flare12m125cl型号，该款cmos探测器分辨率4096*3072，帧频124fps，像元尺寸为5.5微米，cameralink接口。检焦系统的驱动机构选取选取rorze公司步进电机m24241s。由相机参数可知探测器上景物移动速度最快时，飞行高度为12km，飞行速度为168m/s。相机由光学系统给出受环境影响离焦范围在±10倍焦深范围内，偏流角θ范围取0～45°。步骤s1中，在探测器范围内选取有效区域，有效区域在一个完整的检焦行程中都位于所述探测器范围内。具体而言，设计参数：检焦电机在0.33s匀速走完全部检焦行程，同时探测器拍摄41帧图像，每两帧图像间隔1/4焦深。那么探测器上某一目标点随时间推移沿航空机身方向偏移量计算公式为沿垂直航空机身方向偏移量计算公式为其中，ν为本实施例中检焦电机的速度，δt为本实施例中所述41帧图像中的当前帧图像和第1帧图像拍摄的时间间隔，f为本实施例中航空相机的焦距，h为本实施例中的飞行高度，也指相机的焦点到被拍摄物体之间的距离。同时，需要说明的是，在进行有效区域的选择时必须满足所述有效区域内所有点在所述拍摄一组连续图像的过程中,以所述含有特征点的第一帧图像的中心像元做开窗处理后,所述所有点和所述开窗区域均不会溢出探测器；同时满足最后一帧图像的中心像元做开窗处理后,所述所有点和所述开窗区域均不会溢出探测器。依此计算所述41帧图像的位置得到有效区域为(1100:2996，128:1572)。当然，也可以选择其他型号的航空相机、探测器或步进电机完成本检焦方法，甚至可以选择减速电机或其他动力机构作为驱动机构，得到的结果都是相同或相近似的。

步骤s2中，当检焦开始时，首先通过特征点选取算法在检焦电机起始位置检测探测器有效区域内是否存在特征点，当有效区域内不存在特征点时，继续在起始位置拍摄，直到当前帧图像在有效区域内存在特征点。其中特征点的选取方法为：若点(a,b)的灰度值p(a,b)可同时满足

|p(a,b)-p(a,b+50)|＞80、|p(a+2,b)-p(a+2,b+50)|＞80、

|p(a+4,b)-p(a+4,b+50)|＞80；①

|p(a,b)-p(a+50,b)|＞80、|p(a,b+2)-p(a+50,b+2)|＞80、

|p(a,b+4)-p(a+50,b+4)|＞80；②

可认为(a,b)点在水平向或垂直向与相邻部分有较大灰度值差异，即可选定(a,b)为特征点。并且经实际航拍图像测试，该算法可以快速有效的选出目标景物。

步骤s3中，相机在检焦电机匀速移动完成整个检焦行程时连续拍摄41帧图像，且每两帧图像之间的行程为1/4焦深。

步骤s4中，为了更客观的评价图像帧的清晰度，会选取一特征点作为目标点进行后续的计算和验证。首先，根据飞行参数(拍照距离、飞行速度、偏流角)与第一帧图像中特征点的位置，计算出由于航空飞机飞行，相面上景物发生偏移后该特征点在其他帧图像上的位置。其中，目标特征点沿航空机身方向偏移量计算公式为目标特征点沿航空机身垂直方向的偏移量计算公式为n为当前帧图像的序号，其他符号和本实施例中的相同符号的取值一样。进一步的，对目标特征点进行开窗设计，也就是说，以目标特征点为中心，开窗大小为256*256(就是水平和垂直坐标的方向上像元的数量均为256)。下表为不同照相距离下探测器像元与地面景物范围对应关系。可知该范围内可包含足够丰富的地面景物，能够作为评判最佳相面的参考图像。当然，在更多的实施例中，也可以开窗得到更多的像元，所得的sobel算子也更加精确，同样也会消耗更多的计算资源，在一定程度上降低检焦速度。

进一步的，采用fpga实现检焦算法，为了便于实现并且考虑到算法的快速性，选取sobel梯度算子作为评判图像清晰程度的方法，公式如下：

其中，m为开窗后所述第n帧图像在水平方向上的像元数量，n为开窗后所述第nn帧图像在垂直方向的像元数量；

ix表示水平sobel算子与图像的卷积运算结果，

iy表示垂直sobel算子与图像的卷积运算结果，

进一步的，对41帧图像进行运算，求得每帧图像的fsobel值，比较后得到fsobel值最大所对应图像帧序号nmax。则最佳相面位置为：

其中，l0为检焦电机初始位置，l为检焦总行程长度。

步骤s5中，驱动检焦电机使检焦系统到达lmax位置，完成检焦。

请参照图4，图4示出了本发明图像特征点的位置变化关系图。也就是说，所述目标点在所述第n帧图像中的位置的计算公式为：

其中，x0和y0分别为所述目标特征点在所述第一帧图像中的水平方向和垂直方向的坐标。如此可以快速定位目标特征点在任何一帧图像中的位置，从而对该帧图像的sobel梯度算子进行计算。

请参照图5，图5示出了本发明梯度因子和检焦系统位置关系函数图，由此图可以看出，sobel梯度算子和检焦系统的位置呈现正弦函数的关系，在函数的波峰处即为最佳检焦面，有利于快速检焦。

请参照图6，图6示出了本发明检焦系统结构组成简图，本检焦系统包括探测器7、驱动机构8、光学系统4～6及图像处理模块模块9，所述探测器7为高帧频探测器7，所述驱动机构8用于移动所述检焦镜组模块5。进一步的，所述光学系统4～6包括前镜组模块4、检焦镜组模块5、后镜组模块6，所述检焦镜组模块5位于所述前镜组模块4的后端和所述后镜组模块6的前端之间，所述高帧频探测器7位于所述后镜组模块6的后端，所述驱动机构8和所述检焦镜组模块5连接，并用于驱动所述检焦镜组模块5的移动。优选的，驱动机构可以选择步进电机、减速电机或其他能够使检焦镜组模块5移动的装置。所述图像处理模块模块9用于计算含有特征点的图像中的每一帧图像的清晰度，得到清晰度最佳的图像位置。所述计算模块9可以是一个单独的元器件并独立于驱动机构和探测器之外，也可以是一种集成电路芯片嵌入式的集成在所述探测器内部。需要说明的是，无论计算模块9以何种方式存在，其都与探测器7电连接，以便于计算模块9能够准确的接收图像信息，进而计算含有特征点的图像中的每一帧图像的清晰度。需要说明的是，所述计算模块9包括cpu或mcu、存储单元，所述cpu或mcu用于执行相应的计算程序，所述存储单元用于存储计算过程中产生的数据或计算结果数据。进一步的，所述存储单元的介质可以是dram颗粒，也可以是nand颗粒。有选的，为了确保数据的可追溯性或者避免突然断电引起的数据丢失，所述存储单元至少包含nand颗粒。

进一步的，本发明还提供一种航空相机，包括包括操纵器和如上所述的航空检焦系统；所述操纵器用于远距离控制和检测所述航空图像检焦系统，有选的，所述操纵器和所述航空图像检焦系统通过无线通信连接，该航空相机可用于在航空飞机飞行过程中短时间内快速完成检焦任务。

需要说明的是，在本文中，诸如第一和第二等之类的术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。