一种基于雷达和图像信号的fod融合探测方法及装置的制造方法
【技术领域】
[0001] 本发明涉及雷达和图像的物体探测和物体识别领域，尤其是涉及一种基于雷达和 图像信号的F0D融合探测方法及装置。
【背景技术】
[0002] 跑道入侵异物（下文简称F0D)对航班安全有重大威胁。从法国协和号空难事故 后，多方研究机构与公司都在致力于F0D探测技术的研究和应用系统的开发。F0D探测系统 的性能对航班起降安全的保障有重要的作用。当前主流的应用系统使用的技术为雷达探测 技术或图像探测技术。
[0003] 雷达探测的优势在于对突出地表且雷达波反射率高的物体有很好的探测能力，但 是局限在于容易遗漏扁平或雷达波反射率低的物体，地表的反射杂波也可能造成虚警。图 像探测的优势在于对和跑道道面外貌差异较大的物体有很好的探测能力，不论物体的形状 和雷达波反射率，但是局限在于容易遗漏和跑道外貌相似的物体。
[0004] 从两种探测技术的自身特点看来，基于两种探测信号的融合探测方法可以弥补分 别独立探测的性能局限。针对目前主流F0D探测系统为单一雷达探测或单一图像探测的问 题，本发明提出了一种基于毫米波雷达和图像信号的融合探测方法和装置。相比简单叠加 的组合方式，融合探测能够进一步提尚F0D的探测能力。
【发明内容】
[0005] 本发明所要解决的技术问题是：针对现有技术存在的问题，提供一种基于雷达和 图像信号的F0D融合探测方法及装置。本发明通过两种探测技术的融合有效地解决了独立 探测中的局限问题，整体性能明显优于两种技术的简单叠加。
[0006] 本发明采用的技术方案如下：
[0007] -种基于雷达和图像信号的F0D融合探测方法包括：
[0008] 步骤1 :控制处理器控制雷达和图像探测器采集的跑道常见F0D目标雷达与图像 信号，作为正样本集合；控制处理器控制雷达和图像探测器采集跑道常见的非F0D目标雷 达与图像信号，作为负样本集合；常见F0D目标指的是金属零件、金属工具、轮胎橡胶、石 块、塑料零件或塑料管道；非F0D目标指的是指示灯、标识线、板块缝隙、轮胎痕迹、跑道道 面；
[0009] 步骤2 :在控制处理器上实现对对应雷达信号与图像信号进行特征融合的特征融 合方法；其中对应指的是雷达信号与图像信号采集自同一样本或同一探测目标；
[0010] 步骤3 :控制处理器使用步骤1得到正负样本集合，根据步骤2中的特征融合方法 进行特征融合，然后在决策级训练，组合单独雷达判定、单独图像判定、融合信号判定三种 弱F0D判定器的F0D融合判定器；
[0011] 步骤4:在探测过程中，控制处理器控制每个雷达或者是图像探测器对相应跑道 检测区域进行连续扫描，雷达或者是图像探测器采集的信号传送到控制处理器，分别对应 进行独立跑道FOD雷达探测或者独立跑道FOD图像探测，探测到的目标被称为疑似FOD目 标；
[0012] 步骤5 :当雷达探测发现疑似F0D目标后，控制处理器将雷达坐标系中疑似F0D目 标坐标转换为跑道坐标系坐标，然后转化为图像坐标系坐标，并按照此时图像坐标系坐标 使用图像探测器采集图像信号；当图像探测发现疑似目标后，控制处理器将图像坐标系中 目标坐标转换为跑道坐标系坐标，然后转化为雷达坐标系中坐标，并按照此时雷达坐标系 坐标使用雷达采集雷达信号；
[0013] 步骤6:控制处理器根据步骤2的特征融合方法，对步骤5中坐标对应的雷达信号 和图像信号进行特征融合；然后使用步骤3训练的F0D融合判定器进行F0D判定，对认定的 F0D目标进行报警。
[0014] 进一步的，所述步骤2中具体过程是：
[0015] 步骤21:令对跑道监测区域扫描采集的雷达信号为J，J为三维矩阵
[0016]
[0017]J的第一列d为一个跑道检测区域中Ml个雷达反射波信号的距离，第二列Θ为一 个跑道检测区域中Ml个雷达反射波信号的方位角，第三列τι为一个跑道检测区域中Ml个 雷达反射波信号的强度值，每一行为一个反射信号，共I个反射信号；
[0018] 步骤22:令跑道监测区域内雷达最远探测距离上直径3cm到10cm的橡胶物体 反射信号强度值为n_，跑道监测区域内最近探测距离上直径到l〇cm的金属物体反射信 号强度值为中所有雷达反射信号按照反射波信号的强度值分为（-0，η_)，
(η_，-Ο五个组；统计每个组中反射波信号的数量、距离的最大最小值差，方位角的最大 最小值差，每组3个数值，共计15个数值，记为特征向量
[0019] 步骤23:令对跑道检测区域采集的与雷达信号对应的图像信号为I，I为灰度图像 的子区域，是二维矩阵；使用特征描述方法将I转化为特征向量VT;
[0020] 步骤24 :将步骤22与步骤23中得到的特征向量合并为一个融合特征向量V= (VL，VT)。
[0021] 进一步的，所述步骤3中在决策级训练，组合单独雷达判定、单独图像判定、融合 信号判定三种弱F0D判定器的F0D融合判定器具体过程是：
[0022] 步骤31 :提取步骤1非F0D目标中指示灯、标识线、板块缝隙、轮胎痕迹四类跑道 表面物体的图像信号，分别建立四个图像信号排除样本集合；使用步骤1中F0D目标，作为 一个图像信号怀疑样本集合；使用将步骤23中方法将排除样本集合和怀疑样本集合中图 像转化为特征向量，然后进行识别训练，得到K个聚类的相似度函数Pk (V)，和K个对应的相 似度判定阈值Tk;
[0023] 步骤32:对步骤1正负样本中每个图像信号，使用将步骤23中方法计算得VT， 带入相似度函数计算得到K个聚类的相似度匕％)，1^ = 1，2，...，K，分别除以K个对 PiVt 应的相似度判定阈值Tk，k=1，2，. . .，K，取其中最小的一组1-4k值赋予图像判定 值Si，
2)，若Si大于0则判定为FOD，反之判定为非FOD;统计判定 错误概率ει，ει等于错误判定样本数量除以正负样本总数量，单独图像判定权重为
[0024] 步骤33:对每个正负样本i，计算其的权重值为
[0025]
[0026] 再将权重作归一化处?Ι
卩中若样本为正样本且判定为F0D目标，或 样本为负样本且判定为非F0D，则判定正确，否则判定错误；
[0027] 步骤34:对步骤1正负样本中每个雷达信号，取步骤21中反射波信号的最大值ris n2，...，"^，若ns_nt大于〇则判定为F0D，反之判定为非F0D;其中判定阈 值nt的值为在区间[η_，n_]内根据正负样本分布规律认为设定，使所有错误判定样本 的权重和最小；
[0028]步骤35:令单独雷达判定值s2= (ns-nt)八ηnt)，若s2大于〇则判定为fod，反之判定为非F0D;统计判定错误概率ε2,ε2等于所有错误判定样本的权重0,的和，单独 雷达判定权重为…加tS-); 上 ^2：
[0029] 步骤36 :重新计算每个正负样本i的权重值1\;
[0030]
其中若样本为正样本且判定为F0D目标，或样 本为负样本且判定为非F0D，则判定正确，否则判定错误；
[0031] 再将权重作归一化处理
[0032] 步骤37:将步骤1中正负样本使用步骤21到步骤24的方法转变为正负融合特征 向量；使用支持向量机（SVM)机器学习方法，带入样本权重0\，训练出参数W和z，其中W是 个参数向量，其维度与V维度相同，z为常数；
[0033] 步骤38:令融合信号判定值S3=V·W+z，若S3大于0则判定为F0D，反之判定为 非F0D;统计判定错误概率ε3,ε3等于所有错误判定样本的权重0\的和，融合信号判定 权重为
[0034] 步骤39:决策融合的最终判定值是S=α以+a2S2+a3S3，若S大于0则判定为 FOD，反之判定为非FOD。
[0035] 进一步的，所述步骤4中独立跑道F0D雷达探测具体包括：
[0036] 步骤41:令对跑道扫描采集的雷达信号为J，J为三维矩阵
[0037]
[0038]J的第一列d为反射波信号的距离，第二列Θ为反射波信号的方位角，第三列η 为反射波信号的强度值，每一行为一个反射信号，共I个反射信号；
[0039] 步骤42 :提取雷达扫描反射波信号的最大值ns=max(nun2，...，nM1);若 ns-nt大于〇则判定为F0D，且雷达反射波信号最大值对应的距离和方位角为F0D目标 坐标，反之认为不存在F0D;令跑道内最远探测距离上直径3cm到10cm的橡胶物体反射信 号强度值为n_，跑道内最近探测距离上直径3cm到10cm的金属物体反射信号强度值为 n_，判定阈值nt的取值在区间[n_，n_]内。
[0040] 进一步的，所述步骤4中独立跑道F0D图像探测包括：1)提取步骤1中非F0D目 标中指示灯、标识线、板块缝隙、轮胎痕迹四类跑道表面物体的图像信号，分别建立四个排 除样本图像集合；使用步骤1中F0D目标，作为一个怀疑样本图像集合；2)使用四个排除 样本图像集合和怀疑样本图像集合训练出基于多个聚类的跑道自身结构排除模型参数；3) 对实际跑道进行图像采集，对每张图像用边缘检测方法进行疑似目标探测；4)然后根据跑 道自身结构排除模型中的识别参数排除跑道表面物体，实现对跑道监视区域的完整F0D图 像检测，具体过程：
[0041] 步骤411 :将样本图像信号集合中所有彩色图像转化为灰度图像，分别使用特征 描述方法将每一副图像转化为一个特征向量，其中四个排除样本图像集合生成的特征向量 称为四个排除特征向量集合，怀疑样本图像集合生成的特征向量称为怀疑特征向量集合；
[0042] 步骤412:将每个排除特征向量集合，分别使用聚类分析方法将特征向量分成K个 聚类，设定指示灯聚类为al个、标识线聚类为a2个、板块缝隙聚类为a3个、轮胎痕迹聚类 为a4个，则K=al+a2+a3+a4 ;其中al、a2、a3、a4的取值均为1到5之间的整数；
[0043]步骤413:对每个聚类，计算其特征向量分布密度的近似高斯模型参数（μk，〇k)， 参数μk为聚类内所有特征向量的平均值，参数φk为聚类内所有特征向量的协方差矩阵， k为聚类的序号且1彡k彡κ;在特征空间中任意点X与聚类k相似度pk⑴计算公式为：
[0044] Pk ⑴=exp(_ (X-μk)τΦk1 (X-μk))
[0045] 步骤414 :对每个聚类，设其包含Ai个特征向量，每个特征向量用Χ;表示，其中 1 <i<Ai，计算本聚类中所有特征向量与本聚类的最低相似度/-? 设负特 征向量集合包含Λ2个特征向量，每个特征向量用，表示，其中1 <j<Λ2，计算怀疑特 征向量集合中所有特征向量与本聚类的最高相似度L= 聚类k相似度判定阈 值!；的计算公式为：
[0046]
[0047] 步骤415:对实际跑道中各个检测区域依次拍摄彩色图像，将拍摄的彩色图像转 变为灰度图像，对灰度图像使用平滑降噪处理；
[0048] 步骤416:对每张灰度图像使用Canny边缘检测算法生成二进制边缘图像， 得到图像中所有为1像素的坐标集合，设为1的像素共有八3个，则集合表示为C= {(xi,Yi), (x2,y2),... (χΛ3,Υλ3)1 ；
[0049] 步骤417:新建空集合D，将集合C中的第一个坐标移动到集合D;重复遍历集合C， 如果集合C中有坐标到集合D中任意坐标的距离小于或等于minW，则将集合C中的坐标转 移到集合D，直到集合C中的任意坐标到集合D中的任意坐标距离均大于minW，或者集合C 为空集合；其中minW单位为像素，minW取值为10到30;
[0050] 步骤418 :统计集合D中的所有点在X轴上最大坐标为maxX，最小坐标 为minX，统计集合D中的所有点在Y轴上最大坐标maxY，最小坐标minY，取以
为中心，max(maxX-minX,maxY-minY)为边长的正方形灰度 图像区域，使用步骤411的特征描述方法将该图像区域转化成特征向量V;
[0051] 步骤419:分别计算V与K个聚类的相似度匕以)，如果所有匕以）均满足Pk(V)〈Tk， 则认为发现F0D物体，发出F0D报警，并提供目标对应坐标
[0052] 步骤420:依次重复步骤416到419,直到集合C为空集合，完成对一张图像中F0D 的探测；
[0053] 步骤421:依次重复步骤416到419,