一种红外图像起落架自动识别方法与流程

本发明涉及一种红外图像起落架自动识别方法。

背景技术：

起落架的充分打开与锁定是飞机安全降落的必要前提。目前，虽然军民用飞机都安装有起落架状态的机械、灯光提示标志及仪表指示，部分飞机还具有舱外摄像头等监视设备可以观察起落架状态。但在飞机降落过程中往往还需在地面设立观察人员，人工确认起落架的打开状态，以确保绝对安全。而人工观察由于受制于天气、时段、光照强度等诸多外界因素的影响，极端情况下可能并不能及时、有效提供起落架状态的指示信息以满足飞机降落前迅速决策的需求，所以在红外光电助降系统中加入基于红外图像的起落架全自动识别技术就具有非常重要的意义。

在红外图像目标检测、识别领域，国内外学者已开展了大量研究，并取得许多研究成果，主要思路是根据图像中目标的边缘信息、目标局部灰度均值和方差、目标运动速度等自身的特征信息将目标与背景分割开。飞机起落架不能简单使用传统的目标检测方法，通过前景分割将起落架区域直接从飞机整体结构中区分出来加以分析。还需要解决以下关键问题：(1)在不确定的视场下准确定位飞机尺度和姿态，提取飞机的结构；(2)基于飞机框架对起落架区域进行恰当自适应分割、定位以及提取。(3)对提取的起落架区域进行起落架状态的自动识别；(4)多数现有的目标识别方法运算量大，不易于硬件实时实现。

技术实现要素：

本发明的目的是针对双发引擎的飞机，设计一种方法简单、适用性强、效果良好、且适合硬件实时实现的红外图像起落架自动识别技术。

本发明技术方案的实施步骤如下：

步骤1，输入红外图像i；

步骤2，统计红外图像i的直方图his，计算前景和背景的分割阈值th；

步骤3，利用分割阈值th将红外图像i二值化，得到二值图biimg；

步骤4，定位飞机两个发动机的位置pos1和pos2；

步骤5，计算前后起落架分布区域，分别为area1、area2和area3；

步骤6，在分布区域中计算起落架特征参数f1、f2和f3；

步骤7，根据特征参数f1、f2和f3完成起落架识别。

步骤2包括如下步骤：

步骤2-1，计算红外图像i的直方图his(k){k＝0,...,255}，k表示灰度级；

步骤2-2，设定门限t1，对直方图his从高灰度级向低灰度级进行1×n划窗处理，若划窗内当前灰度的像素数his(k)>t1，判定当前灰度级为背景值，否则，判定当前灰度级为前景值，其中，5≤n≤15，n表示窗口宽度，100≤t1≤150；

步骤2-3，统计1×n划窗内his(k)>t1的个数count，若count/n>0.8，则将n/2处的k值判定为分割阈值th，否则，继续从高灰度级向低灰度级进行1×n划窗处理，直到找到分割阈值为止。

步骤4包括：

红外成像灰度值取决于目标和背景的差值，差值越大，灰度值越高。飞机红外特征表现为发动机灰度值最高。为避免盲元、噪声等影响，在直方图his中从高灰度级向低灰度级查找，将首次像素数his(k)>40的灰度级判定为发动机灰度值，根据该灰度值在红外图像中定位发动机的位置pos1和pos2，它们的坐标分别为(x1,y1)和(x2,y2)，x1,y1分别表示位置pos1的横坐标和纵坐标，x2,y2分别表示位置pos2的横坐标和纵坐标，k表示灰度级。

步骤5包括：

起落架分布特征为：前起落架区域area1位于两个发动机的中轴线附近，后起落架区域area2和area3分别位于两个发动机的位置pos1和pos2附近，以两个发动机位置坐标(x1,y1)和(x2,y2)为参考点，x1<x2，建立直角坐标系，则：

area1表示为：在横轴x方向的起始位置为在横轴x方向的结束位置为在纵轴y方向的起始位置为在纵轴y方向的结束位置为

area2表示为：在横轴x方向的起始位置为x1；在横轴x方向的结束位置为在纵轴y方向的起始位置为在纵轴y方向的结束位置为

area3表示为：在横轴x方向的起始位置为在横轴x方向的结束位置为x2；在纵轴y方向的起始位置为在纵轴y方向的结束位置为

其中，t2表示长宽比，2≤t2≤4。

步骤6包括：

在二值图biimg中，假设前后起落架分布区域area1、area2和area3像素值为1的y方向最大位置分别为ymax1、ymax2和ymax3，则特征参数f1、f2和f3表达式如下：

步骤7包括：

若f1>t3，则判定前起落架处于放下状态，否则，判定前起落架处于收起状态；

若f2>t3，则判定后左起落架处于放下状态，否则，判定后左起落架处于收起状态；

若f3>t3，则判定后右起落架处于放下状态，否则，判定后右起落架处于收起状态；

其中，0.5≤t3≤1。根据实际情况判断t1、t2、t3的具体取值。

有益效果：本发明与现有技术相比，具有以下显著优点：(1)采用基于直方图统计的自适应目标分割方法，不受飞机尺度和姿态影响，能够精确分割目标；(2)通过建立起落架识别模型，在像素数少的前提下对起落架精确识别；(3)选用飞机发动机作为参考，对起落架定位，能提高起落架识别正确率；(4)不存在高阶运算和复杂结构，算法运算量小，易于硬件实时实现。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是本发明红外图像起落架自动识别技术的流程图。

图2a是原始图像。

图2b是二值图。

图2c是远距离起落架识别结果。

图3a是原始图像。

图3b是二值图。

图3c是近距离起落架识别效果图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明技术方案的实施步骤如下：

步骤1，输入红外图像i；

步骤2，统计红外图像i的直方图his，计算前景和背景的分割阈值th；

步骤3，利用分割阈值th将红外图像i二值化，得到二值图biimg；

步骤4，定位飞机两个发动机的位置pos1和pos2；

步骤5，计算前后起落架分布区域，分别为area1、area2和area3；

步骤6，在分布区域中计算起落架特征参数f1、f2和f3；

步骤7，根据特征参数f1、f2和f3完成起落架识别。

步骤2包括如下步骤：

步骤2-1，计算红外图像i的直方图his(k){k＝0,...,255}，k表示灰度级；

步骤2-2，设定门限t1，对直方图his从高灰度级向低灰度级进行1×n划窗处理，若划窗内当前灰度的像素数his(k)>t1，判定当前灰度级为背景值，否则，判定当前灰度级为前景值，其中，5≤n≤15，n表示窗口宽度，100≤t1≤150；

步骤2-3，统计1×n划窗内his(k)>t1的个数count，若count/n>0.8，则将n/2处的k值判定为分割阈值th，否则，继续从高灰度级向低灰度级进行1×n划窗处理，直到找到分割阈值为止。

步骤4包括：

红外成像灰度值取决于目标和背景的差值，差值越大，灰度值越高。飞机红外特征表现为发动机灰度值最高。为避免盲元、噪声等影响，在直方图his中从高灰度级向低灰度级查找，将首次像素数his(k)>40的灰度级判定为发动机灰度值，根据该灰度值在红外图像中定位发动机的位置pos1和pos2，它们的坐标分别为(x1,y1)和(x2,y2)，x1,y1分别表示位置pos1的横坐标和纵坐标，x2,y2分别表示位置pos2的横坐标和纵坐标，k表示灰度级。

步骤5包括：

起落架分布特征为：前起落架区域area1位于两个发动机的中轴线附近，后起落架区域area2和area3分别位于两个发动机的位置pos1和pos2附近，以两个发动机位置坐标(x1,y1)和(x2,y2)为参考点，x1<x2，建立直角坐标系，则：

area1表示为：在横轴x方向的起始位置为在横轴x方向的结束位置为在纵轴y方向的起始位置为在纵轴y方向的结束位置为

area2表示为：在横轴x方向的起始位置为x1；在横轴x方向的结束位置为在纵轴y方向的起始位置为在纵轴y方向的结束位置为

area3表示为：在横轴x方向的起始位置为在横轴x方向的结束位置为x2；在纵轴y方向的起始位置为在纵轴y方向的结束位置为

其中，t2表示长宽比，2≤t2≤4。

步骤6包括：

在二值图biimg中，假设前后起落架分布区域area1、area2和area3像素值为1的y方向最大位置分别为ymax1、ymax2和ymax3，则特征参数f1、f2和f3表达式如下：

步骤7包括：

若f1>t3，则判定前起落架处于放下状态，否则，判定前起落架处于收起状态；

若f2>t3，则判定后左起落架处于放下状态，否则，判定后左起落架处于收起状态；

若f3>t3，则判定后右起落架处于放下状态，否则，判定后右起落架处于收起状态；

其中，0.5≤t3≤1。

实施例

红外热像仪焦平面阵列大小是640×512，工作帧频是每秒50帧。图像处理平台采用dsp+fpga架构，红外图像起落架自动识别技术在dsp处理器中实现，满足实时处理的需求，如图1所示，具体实施步骤如下：

(1)获取输入红外图像i；

dsp处理器输入图像i是8位数字图像，图像尺寸是640×512。

(2)统计i直方图his，计算前景和背景的分割阈值th；

直方图his表示为his(k){k＝0...255}，设定门限t1＝120，划窗1×n取n＝10，根据count/n>0.8计算可得阈值th＝130。

(3)利用阈值th＝130将图像i二值化，得到二值图biimg，如图2b和图3b所示；

(4)定位飞机发动机位置pos1和pos2，即(x1,y1)和(x2,y2)；

在直方图his(k){k＝0...255}中，将首次像素数his(k)>40的灰度级认为是发动机灰度值，计算可得发动机灰度级为240，根据灰度值240可在红外图像中定位发动机的位置pos1和pos2，例如在图2a中为(320,304)和(398,296)，在图3a中为(158,412)和(182,396)。

(5)计算前后起落架分布区域分别为area1、area2和area3；

area1可表示为：在x方向的起始位置为在x方向的结束位置为在y方向的起始位置为在y方向的结束位置为

area2可表示为：在x方向的起始位置为x1；在x方向的结束位置为在y方向的起始位置为在y方向的结束位置为

area3可表示为：在x方向的起始位置为在x方向的结束位置为x2；在y方向的起始位置为在y方向的结束位置为

取长宽比t2＝3，根据上述表达式，计算可得：

在图2a中，area1在x方向的起始位置为351；在x方向的结束位置为367；在y方向的起始位置为300；在y方向的结束位置为326；area2可表示为：在x方向的起始位置为320；在x方向的结束位置为340；在y方向的起始位置为300；在y方向的结束位置为326；area3可表示为：在x方向的起始位置为378；在x方向的结束位置为398；在y方向的起始位置为300；在y方向的结束位置为326。

在图3a中，area1在x方向的起始位置为208；在x方向的结束位置为232；在y方向的起始位置为404；在y方向的结束位置为445；area2可表示为：在x方向的起始位置为158；在x方向的结束位置为189；在y方向的起始位置为404；在y方向的结束位置为445；area3可表示为：在x方向的起始位置为282；在x方向的结束位置为251；在y方向的起始位置为404；在y方向的结束位置为445。

(6)在area1、area2和area3计算起落架特征参数f1、f2和f3；

根据f1、f2和f3计算公式可得，在图2a中，f1＝0.53、f2＝0.81和f3＝0.79；在图3a中，f1＝0.57、f2＝0.83和f3＝0.85。

(7)根据特征参数f1、f2和f3参数完成起落架识别；

取t3＝0.5，根据起落架识别原则，图2a和图3a的起落架均可被识别，如图2c和图3c所示。

本发明提供了一种红外图像起落架自动识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。