一种基于多层次特征描述的跑道FOD图像探测方法及装置与流程

本发明涉及图像探测与物体识别领域，尤其是一种基于多层次特征描述的跑道FOD图像探测方法及装置。

背景技术：

跑道入侵异物(下文简称FOD)对航班安全有重大威胁。对FOD进行探测，当前主流的应用系统使用的技术为雷达探测技术和图像探测技术。图像探测技术因其成本相对较低，夜视技术和图像探测不断发展，正得到越来越多的接受和认可。

图像探测面临的技术难点主要来自跑道外观细节和FOD的多样性。首先，跑道本身并不是简单的灰色平面，而是有多种结构。跑道上有指引标识线、嵌入的跑道指示灯等结构，在跑道板块之间存在缝隙，混凝土石块材质的跑道在道面可见小石块材质。其次，FOD的种类繁多，常见的就涉及扳手、铁链、金属板、轮胎橡胶等十余个种类，因遗落姿态不同带来的外观差异更无法统计，甚至机场出现的一些FOD是不可预知的。第三，跑道和FOD在工作的环境中外貌可能发生多种多变。户外环境中，光照的变化、降雨、降雪、霜冻都会引起跑道和FOD外表的改变。使用的过程中，轮胎摩擦会在跑道上留下痕迹，风化作用也会导致跑道裂缝，甚至局部破损。

以上难点对现有的一些探测技术性能有较大限制。基于局部外貌的变化进行探测的方法(如边缘检测、颜色差异等)，容易探测到跑道自身结构发出虚警。对跑道进行拍照作为原始图像，每次探测中拍照与原始图像进行比对，探测差异从而探测FOD的方法，难以适应工作环境的变化性。而对常见FOD种类分别训练探测器，进行特定物体探测的方法，对非常见的FOD种类探测能力有限。如果对非常见FOD种类也训练探测器，则探测过程中需要识别的种类繁多，探测速度慢。

技术实现要素：

本发明所要解决的技术问题是：针对跑道FOD探测的难点和现有图像探测技术的缺陷，提供一种基于多层次特征描述的跑道FOD图像探测方法及装置。本发明通过将红绿蓝分量值转换为色度分量和亮度分量；然后根据色度绝对值生产二进制黑白图像后，进行若干连续域结合划分；根据若干个连续域划分得到对应的最小椭圆轮廓参数，根据该参数判断某一跑道区域图像是否存在FOD目标。进一步的，在此基础上，对采集跑道区域彩色图像存在色偏的相机，进行色偏矫正，提高跑道区域彩色图像的真实值。为后续处理提供基础。

本发明采用的技术方案如下：

一种基于多层次特征描述的跑道FOD图像探测方法包括：

跑道图像亮度色度值获取步骤：采集跑道区域图像，形成该跑道区域对应的跑道彩色图像，通过转换矩阵K将跑道彩色图像的红绿蓝分量转换为亮度-色度方式表示；其中红绿蓝分量分别对应是I_R、I_G、I_B；亮度-色度表示方式中，C_I表示亮度分量(本专利后续步骤未用到)，C_R、C_B表示两个色度分量；则：

二进制黑白图像获取步骤：计算色度绝对值C_A，令C_A中绝对值大于T_C的像素值为1，其余像素值为0，生成二进制黑白图像C_A'；其中“1”代表白色像素；“0”代表黑色像素；

连续域集合获取步骤：将二进制黑白图像C_A'中的白色像素按照8邻域相连法则分成若干连续域集合；

最小椭圆轮廓获取步骤：对于所述若干连续域集合中每个连续域集合进行计算，获得若干连续域集合对应的最小椭圆轮廓；其中最小椭圆轮廓包括连续域集合中所有像素，最小椭圆轮廓的参数为{E_a,E_b,E_x,E_y}；其中E_a,E_b分别表示最小椭圆的长轴和短轴长度，E_x,E_y分别表示最小椭圆的中心点坐标；

FOD目标判断步骤：对每个最小椭圆轮廓进行判断，如果同时满足条件：1)最小椭圆轮廓的短轴E_b长度大于T1；2)最小椭圆轮廓的长轴E_a与短轴E_b的乘积大于T2，则认定为该最小椭圆轮廓圈定了一个FOD目标；T1是第一判决门限，T2是第二判决门限。

进一步的，所述T_C的取值为0.05到0.2之间；其中T1的取值在5到20之间，T2的取值在200到1000之间；所述或

其中K_R、K_G、K_B表示转换系数，K_B的取值在0.05到0.12之间，K_R的取值在0.2到0.3之间，K_G＝1-K_B-K_R。

进一步的，所述最小椭圆轮廓获取步骤具体包括：

种子集合建立步骤：任意取二进制黑白图像C_A'中的一个白色像素，建立包含该点的种子集合，建立包含该点的连续域集合，将该像素置为黑色。

连续域集合遍历步骤：将种子集合中的第一个点删除，将该点的上、下、左、右、左上、右上、左下、右下8个相邻像素中的白色像素点加入种子集合，并同时加入连续域集合；同时，将这些白色像素置为黑色像素；

连续域集合形成步骤：重复连续域集合遍历步骤，直到当前的种子集合为空,当前的连续域集合为分割出的一个连续域集合；

连续域集合完成步骤：如果图像中仍有白色像素，在剩余白色像素中任意取一个点，重新建立包含该点的种子集合，同时重新建立包含该点的连续域集合，然后跳转至连续域集合遍历步骤；如果二进制黑白图像C_A'中无白色像素，则操作完成，所得分出的若干连续域集合为计算结果。

进一步的，所述最小椭圆轮廓获取步骤是对于每个连续域集合计算所有像素均能包括的最小椭圆轮廓，最小椭圆轮廓参数为{E_a,E_b,E_x,E_y}；具体包括：

连续域结合像素坐标设置步骤：令表示一个包含Nc个像素的连续域集合，连续域集合中像素坐标用(x,y)表示，坐标的角标表示像素的序号，计算椭圆中心点坐标

像素坐标平移步骤：移动该连续域集合中所有像素坐标，将椭圆中心平移到坐标原点，新坐标记为(x’,y’)，计算公式为x'＝x-E_x，y'＝y-E_y；所述坐标原点可以任意定义；

主要变化方向计算步骤：使用主要成分分析方法PCA计算平移后像素分布的主要变化方向(v_x,v_y)；令B为A的协方差矩阵，即A的转置乘以A本身，B＝A^TA，则(v_x,v_y)为B特征分解后的最大特征值对应的特征向量；

长轴E_a计算步骤：计算长轴长度，即在主要变化方向上像素分布的最大值和最小值的差，

短轴E_b计算步骤：计算短轴长度，即在垂直于主要变化方向上像素分布的最大值和最小值的差，

进一步的，所述跑道图像亮度色度值获取步骤之前还包括对于存在色偏的相机，在执行FOD图像探测方法前要进行色偏校正的矫正步骤：矫正步骤具体包括：

样本获取步骤：拍摄跑道多张不同区域的跑道彩色图像，提取来自跑道不同区域的像素作为样本，样本数量N_S不少于1万个。

色偏判断步骤：对所有样本，分别计算红色分量、绿色分量、蓝色分量，然后计算红色分量平均值、绿色分量平均值、蓝色分量平均值；如果三个平均值中的最高平均值与最低平均值的比值大于色偏门限值，则认为存在色偏，执行矫正系数计算步骤；否则认为不存在色偏，执行跑道图像亮度色度值获取步骤；色偏门限值一般取值为1.05到1.2；

矫正系数计算步骤：如果存在色偏，计算红色校正系数蓝色校正系数或者红色校正系数中任意两个矫正系数，计算方法是以第三个颜色分量为基准，计算矫正系数公式为：

其中代表两个矫正系数分量，Q是第三颜色分量标识；对应的颜色分量标识和Q表示的颜色分量标识是红色分量、绿色分量和蓝色分量中各不相同的分量；其中，i表示样本的编号；I_P-i表示I_R-i、I_G-i、I_B-i中任意两个颜色分量值，I_Q-i表示除过I_P-i之外的第三个颜色分量值；代表或中任意两个矫正系数；

矫正步骤：根据计算出的两个矫正系数，得到对对应颜色分量值I_P-i进行矫正；执行跑道图像亮度色度值获取步骤。

一种基于多层次特征描述的跑道FOD图像探测装置包括：

跑道图像亮度色度值获取模块：采集跑道区域图像，形成该跑道区域对应的跑道彩色图像，通过转换矩阵K将跑道彩色图像的红绿蓝分量转换为亮度-色度方式表示；其中红绿蓝分量分别对应是I_R、I_G、I_B；亮度-色度表示方式中，C_I表示亮度分量，C_R、C_B表示两个色度分量；则：

二进制黑白图像获取模块：计算色度绝对值C_A，令C_A中绝对值大于T_C的像素值为1，其余像素值为0，生成二进制黑白图像C_A'；其中“1”代表白色像素；“0”代表黑色像素；

连续域集合获取模块：将二进制黑白图像C_A'中的白色像素按照8邻域相连法则分成若干连续域集合；

最小椭圆轮廓获取模块：对于所述若干连续域集合中每个连续域集合进行计算，获得若干连续域集合对应的最小椭圆轮廓；其中最小椭圆轮廓包括连续域集合中所有像素，最小椭圆轮廓的参数为{E_a,E_b,E_x,E_y}；其中E_a,E_b分别表示最小椭圆的长轴和短轴长度，E_x,E_y分别表示最小椭圆的中心点坐标；

FOD目标判断模块：对每个最小椭圆轮廓进行判断，如果同时满足条件：1)最小椭圆轮廓的短轴E_b长度大于T1；2)最小椭圆轮廓的长轴E_a与短轴E_b的乘积大于T2，则认定为该最小椭圆轮廓圈定了一个FOD目标T1是第一判决门限，T2是第二判决门限。

进一步的，所述T_C的取值为0.05到0.2之间；其中T1的取值在5到20之间，T2的取值在200到1000之间；所述或

其中K_R、K_G、K_B表示转换系数，K_B的取值在0.05到0.12之间，K_R的取值在0.2到0.3之间，K_G＝1-K_B-K_R。

进一步的，所述最小椭圆轮廓获取模块具体包括：

种子集合建立模块：任意取二进制黑白图像C_A'中的一个白色像素，建立包含该点的种子集合，建立包含该点的连续域集合，将该像素置为黑色。

连续域集合遍历模块：将种子集合中的第一个点删除，将该点的上、下、左、右、左上、右上、左下、右下8个相邻像素中的白色像素点加入种子集合，并同时加入连续域集合；同时，将这些白色像素置为黑色像素；

连续域集合形成模块：重复连续域集合遍历模块，直到当前的种子集合为空,当前的连续域集合为分割出的一个连续域集合；

连续域集合完成模块：如果图像中仍有白色像素，在剩余白色像素中任意取一个点，重新建立包含该点的种子集合，同时重新建立包含该点的连续域集合，然后跳转至连续域集合遍历模块；如果二进制黑白图像C_A'中无白色像素，则操作完成，所得分出的若干连续域集合为计算结果。

进一步的，所述最小椭圆轮廓获取模块是对于每个连续域集合计算所有像素均能包括的最小椭圆轮廓，最小椭圆轮廓参数为{E_a,E_b,E_x,E_y}；具体包括：

连续域结合像素坐标设置模块：令表示一个包含Nc个像素的连续域集合，连续域集合中像素坐标用(x,y)表示，坐标的角标表示像素的序号，计算椭圆中心点坐标

像素坐标平移模块：移动该连续域集合中所有像素坐标，将椭圆中心平移到坐标原点，新坐标记为(x’,y’)，计算公式为x'＝x-E_x，y'＝y-E_y；所述坐标原点可以任意定义；

主要变化方向计算模块：使用主要成分分析方法PCA计算平移后像素分布的主要变化方向(v_x,v_y)；令B为A的协方差矩阵，即A的转置乘以A本身，B＝A^TA，则(v_x,v_y)为B特征分解后的最大特征值对应的特征向量；

长轴E_a计算模块：计算长轴长度，即在主要变化方向上像素分布的最大值和最小值的差，

短轴E_b计算模块：计算短轴长度，即在垂直于主要变化方向上像素分布的最大值和最小值的差，

进一步的，所述跑道图像亮度色度值获取模块之前还包括对于存在色偏的相机，在执行FOD图像探测方法前要进行色偏校正的矫正模块：矫正模块具体包括：

样本获取模块：拍摄跑道多张不同区域的跑道彩色图像，提取来自跑道不同区域的像素作为样本，样本数量N_S不少于1万个。

色偏判断模块：对所有样本，分别计算红色分量、绿色分量、蓝色分量，然后计算红色分量平均值、绿色分量平均值、蓝色分量平均值；如果三个平均值中的最高平均值与最低平均值的比值大于色偏门限值，则认为存在色偏，执行矫正系数计算模块；否则认为不存在色偏，执行跑道图像亮度色度值获取模块；色偏门限值一般取值为1.05到1.2；

矫正系数计算模块：如果存在色偏，计算红色校正系数蓝色校正系数或者红色校正系数中任意两个矫正系数，计算方法是以第三个颜色分量为基准，计算矫正系数公式为：

其中代表两个矫正系数分量，Q是第三颜色分量标识；对应的颜色分量标识和Q表示的颜色分量标识是红色分量、绿色分量和蓝色分量中各不相同的分量；其中，i表示样本的编号；I_P-i表示I_R-i、I_G-i、I_B-i中任意两个颜色分量值，I_Q-i表示除过I_P-i之外的第三个颜色分量值；代表或中任意两个矫正系数；

矫正模块：根据计算出的两个矫正系数，得到对对应颜色分量值I_P-i进行矫正；执行跑道图像亮度色度值获取模块。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明通过将红绿蓝分量值转换为色度分量和亮度分量；然后根据色度绝对值生产二进制黑白图像后，进行若干连续域结合划分；根据若干个连续域划分得到对应的最小椭圆轮廓参数，根据该参数判断某一跑道区域图像是否存在FOD目标。其中采用8邻域相连法分成若干连续域集合，花粉速度较快。

当对某两个三原色分量尽量矫正时，以第三种三原色分量为基础，得到更加精准的矫正系数值，为后续颜色分量矫正提供基础。

对采集跑道区域彩色图像存在色偏的相机，进行色偏矫正，提高跑道区域彩色图像的真实值。为后续处理提供基础。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

技术方案如下：

从跑道彩色图像中进行FOD探测输入为一幅彩色图像，输出为探测到FOD所在图像区域，具体步骤如下，

步骤1：对于存在色偏的相机，在执行FOD图像探测方法前要进行色偏校正；对于不存在色偏的相机，跳过此步骤。

步骤2：将彩色图像的红绿蓝表示方式转化为亮度-色度表示方式，转化后在亮度上有很大差异的黑白灰在色度上差异微小；红绿蓝表示方式中，分别用I_R、I_G、I_B分别表示图像的红绿蓝分量值；亮度-色度表示方式中，分别用C_I表示亮度分量，C_R、C_B表示两个色度分量；转换公式为

步骤3：计算色度绝对值，令C_A中绝对值大于T_C的像素值为1，其余像素值为0，生成二进制黑白图像C_A'；T_C的取值为0.05到0.2之间；其中，“1”代表白色像素，“0”代表黑色像素；

步骤4：将C_A'中的白色像素按照8邻域相连法则分成若干连续域集合；

步骤5：对于每个集合，计算将其所有像素均能包括的最小椭圆轮廓，椭圆轮廓的参数为{E_a,E_b,E_x,E_y}；其中E_a,E_b分别表示椭圆的长轴和短轴长度，E_x,E_y分别表示椭圆的中心点的坐标；

步骤6：对每个椭圆轮廓如果同时满足以下条件：短轴长度大于T1，长轴与短轴的乘积大于T2，则认定为该椭圆圈定了一个FOD目标；其中T1的取值在5到20之间，T2的取值在200到1000之间。

所述步骤1中，对于部分存在色偏的相机，在执行FOD图像探测方法前要进行色偏校正，其具体方法为：

步骤11：拍摄多张不同区域的跑道照片，提取来自跑道不同区域的像素作为样本，样本数量N_S不少于1万个；

步骤12：对所有样本，分别计算红色、绿色、蓝色的分量平均值；如果三个分量平均值中的最高平均值与最低平均值的比值大于色偏门限值则认为存在色偏，否则认为不存在色偏；色偏门限值一般取值为1.05到1.2之间；

步骤13：如果存在色偏，计算红色校正系数和蓝色校正系数

其中，i表示样本的编号，I_R-i、I_G-i、I_B-i分别表示第i个样本的红色、绿色、蓝色值；

步骤14：按照公式来替代I_R-i；按照公式代替I_B-i；

对红色和蓝色分量值进行校正，绿色分量值不变。

其中步骤13及步骤14可分别对应用步骤113以及步骤114代替：或者分别对应用步骤123级步骤124代替；

其中步骤113：如果存在色偏，计算绿色校正系数和蓝色校正系数

其中，i表示样本的编号，I_R-i、I_G-i、I_B-i分别表示第i个样本的红色、绿色、蓝色值；表示红色校正系数；

其中步骤114：按照公式来代替I_G-i；按照公式来代替I_B-i；

对绿色和蓝色分量值进行校正，红色分量值不变。

其中步骤123：如果存在色偏，计算红色校正系数和红色校正系数

其中，i表示样本的编号，I_R-i、I_G-i、I_B-i分别表示第i个样本的红色、绿色、蓝色分量值；

其中步骤124：按照公式来替代I_R-i；按照公式代替I_G-i；

对红色和绿色分量值进行校正，蓝色分量值不变。

所述步骤2中，转换矩阵K为

其中K_R、K_G、K_B表示转换系数，K_B的取值在0.05到0.12之间，K_R的取值在0.2到0.3之间，K_G＝1-K_B-K_R。

转换矩阵K也可以为

所述步骤4的具体步骤包括

步骤41：任意取一个白色像素，建立包含该点的种子集合，建立包含该点的连续域集合，将该像素置为黑色。

步骤42：将种子集合中的第一个点删除，将该点的上、下、左、右、左上、右上、左下、右下8个相邻像素中的白色像素点加入种子集合，并同时加入连续域集合；同时，将这些白色像素置为黑色。

步骤43：重复步骤42，直到当前的种子集合为空,当前的连续域集合为分出的一个集合。

步骤44：如果图像中仍有白色像素，在剩余白色像素中任意取一个点，重新建立包含该点的种子集合，同时重新建立包含该点的连续域集合，然后跳转至步骤42。如果图像中无白色像素，操作完成，所得分出的若干集合为计算结果。

所述步骤5中，对于每个集合，计算将其所有像素均能包括的最小椭圆轮廓，参数为{E_a,E_b,E_x,E_y}计算的具体方法为

步骤51：令表示一个包含Nc个像素的集合，像素的坐标用(x,y)表示，坐标的角标表示像素的序号，计算椭圆中心点坐标

步骤52：移动集合中所有像素坐标，将椭圆中心平移到坐标原点，新坐标记为(x’,y’)，计算公式为x'＝x-E_x，y'＝y-E_y。

步骤53：使用主要成分分析方法(PCA)计算平移后像素分布的主要变化方向(v_x,v_y)；令B为A的协方差矩阵，即A的转置乘以A本身，B＝A^TA，则(v_x,v_y)为B特征分解后的最大特征值对应的特征向量。

步骤54：计算长轴长度，即在主要变化方向上像素分布的最大值和最小值的差，

步骤55：计算短轴长度，即在垂直于主要变化方向上像素分布的最大值和最小值的差，

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。