一种基于光学图像分析的机场跑道异物检测方法与流程

本发明涉及一种机场跑道异物检测方法，特别是一种基于光学图像分析的机场跑道异物检测方法。

背景技术：

1、机场跑道异物也称外来物(fod)，即可对航空器造成损害的外来物质，如散落的飞机零部件、金属工具、混凝土块、行李部件等。机场跑道异物可能会导致航空器损害，甚至酿成安全事故，后果不堪设想。

2、目前机场的跑道异物探测主要依靠人工巡场，近距离发现，这种处理方法一方面增加了工作人员的工作负荷，同时影响跑道的使用效率，同时异物发现也不够及时，存在一定的安全隐患，因而越来越多的厂家开始通过雷达和光学成像方式来进行机场跑道异物探测工作，进而保障机场安全运营。

3、目前雷达探测方式存在设备成本高，维护难，为降低成本，且能够更加直观的探测跑道异物，部分厂家开始通过光学图像的方式进行机场跑道异物探测，但是其中多数都是通过固定场景结合图像历史信息进行异物检测，容易受天气、相机抖动、光照变换等影响，鲁棒性差，在探测时存在漏检情况，且在天气不佳或者光照变换情况下，误检率很高，不能够满足实际现场的工程化需求。

技术实现思路

1、发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于光学图像分析的机场跑道异物检测方法。

2、为了解决上述技术问题，本发明公开了一种基于光学图像分析的机场跑道异物检测方法，包括如下步骤：

3、步骤1，拍摄机场跑道图像，并对机场跑道图像进行边缘处理，计算其边缘信息的分布，判定跑道所处图像区域；

4、步骤2，基于跑道所处图像区域，使用跑道边缘拟合计算跑道边缘处的直线方程，获取跑道边缘拟合直线，分割跑道，得到分割后的跑道图像；

5、步骤3，对异物进行初次检测：利用ac显著性检测和ostu阈值分割对分割后的跑道图像进行处理，保存异物的位置和尺寸信息；

6、步骤4，对异物进行二次检测：基于步骤3中获取的异物的位置和尺寸信息，按比例放大后，将异物对应区域的图像提取出来，利用k-means方法对提取后的图像进行处理，并基于中心位置的图像信息进行阈值分割；

7、步骤5，将两次异物的检测结果进行比对，结合跑道边缘处的直线方程，剔除干扰，完成基于光学图像分析的机场跑道异物检测。

8、进一步的，步骤1中所述的对机场跑道图像进行边缘处理，具体包括：

9、步骤1-1，使用canny算法对机场跑道图像img_src进行边缘检测，获取包含边缘信息结果图img_canny，其中，机场跑道图像img_src的大小为m像素宽，n像素高；

10、步骤1-2，对步骤1-1中获取的的包含边缘信息结果图img_canny进行形态学处理，顺序进行开运算和闭运算两次，生成结果二值图img_result；

11、步骤1-3，设定步骤1-2中的结果二值图img_result的图像区域范围，其中上半区域取所述图像中的第0至m行，下半区域取上述图像中的第n至最后一行即第n行，列取满整列即m列，统计上半区域和下半区域像素值为255的像素点的个数，并分别计算其在统计区域内所占比例系数，具体方法如下：

12、

13、

14、其中p(i,j)为结果二值图img_result在第i行和第j列位置对应的像素值，为二值图像，该值为0或255，rateup为上半区域比例系数，ratedown为下半区域的比例系数；

15、步骤1-4，利用步骤1-3计算得到的上半区域比例系数rateup和下半区域比例系数ratedown，判定跑道在图像中的区域。

16、进一步的，步骤1-4中所述的判定跑道在图像中的区域，具体判定方式如下：

17、

18、其中，rateval为设定比例系数阈值，l为跑道所处区域标志，表示如下：up代表跑道位于图像整个上半部分区域，图像下半部分区域存在跑道外区域；mid代表跑道位于图像中间区域，图像上半部分区域和下半部分区域皆存在跑道外区域；down代表跑道位于图像整个下半部分区域，图像上半部分区域存在跑道外区域；all代表跑道覆盖整个图像区域，不存在跑道外区域。

19、进一步的，步骤2中所述的分割跑道，具体包括：

20、步骤2-1，对步骤1-2生成的结果二值图img_result的像素分布进行分析，并据此生成第一位置信息表localup和第二位置信息表localdown；

21、步骤2-2，使用最小二乘法分别对步骤2-1中生成的第一位置信息表localup和第二位置信息表localdown中的位置点数据进行直线拟合，得到两条直线方程分别为：

22、y＝kupx+bup

23、y＝kdownx+bdown

24、其中，y为机场跑道图像的列坐标，x为机场跑道图像的行坐标，kup、kdown、bup和bdown为数据直线拟合求解的方程系数值；

25、步骤2-3，结合步骤1-4求解的跑道区域标志，利用步骤2-2中得到的直线方程，求解机场跑道图像中跑道上下边缘的直线方程，计算方法如下：

26、跑道上边缘直线方程：

27、

28、跑道下边缘直线方程：

29、

30、步骤2-4，根据步骤2-3求解的跑道边缘线方程，求解跑道上下边缘直线与图像左右两个边缘的四个交点，分别为(0，y1)(m，y2)(0，y3)、(m，y4)，此时求解y1,y2,y3,y4中的最小值ymin及最大值ymax；

31、步骤2-5，设定矩形区域，其中左上位置点为(0，ymin)，右下位置点为(m，ymax)，截取步骤1-1中机场跑道图像img_src中对应的矩形区域，完成对跑道区域的分割，生成跑道区域分割图像img_runway。

32、进一步的，步骤2-1中所述的生成第一位置信息表localup和第二位置信息表localdown，具体方法如下：

33、当结果二值图img_result在(x,y)位置的像素值为255时，其中x为img_result所在行位置，y为img_result所在列位置，分别统计结果二值图img_result中位置(x-1,y)至(x-index,y)中像素值为255及0的像素点个数num_up_white和num_up_black，同时分别统计结果二值图img_result中位置(x+1,y)至(x+index,y)中像素值为255及0的个数num_down_white和num_down_black，其中index为预设统计范围，计算其中像素占比，计算公式如下：

34、ratewhiteup＝num_up_white/index

35、rateblackup＝num_up_black/index

36、ratewhitedown＝num_down_white/index

37、rateblackdown＝num_down_black/index

38、其中，ratewhiteup及rateblackup分别为img_result在位置(x-1,y)至(x-index,y)中像素值为255和0像素个数占比，ratewhitedown及rateblackdown为img_result在(x+1,y)至(x+index,y)中像素值为255和0的像素个数占比；

39、当ratewhiteup>val且rateblackdown>val时，将位置点(x,y)放入第一位置信息表localup中；

40、当rateblackup>val且ratewhitedown>val时，将位置点(x,y)放入第二位置信息表localdown中。

41、进一步的，步骤3中所述的对异物进行初次检测，具体包括：

42、步骤3-1，使用ac显著性检测算法处理步骤2-5生成的跑道区域分割图像img_runway，得到ac图像img_ac；

43、步骤3-2，对步骤3-1中的ac图像img_ac进行ostu阈值处理，得到ostu图像img_ostu；

44、步骤3-3，利用中值滤波对步骤3-2中的ostu图像img_ostu进行降噪处理，得到降噪图像img_blur；

45、步骤3-4，将降噪图像img_blur向外膨胀n1个像素，得到膨胀图像img_dilate，然后再将图像img_dilate向内腐蚀n1个像素，得到腐蚀图像img_result；

46、步骤3-5，通过轮廓查找，对步骤3-4得到腐蚀图像img_result中异物进行检测和定位，获取异物在跑道区域分割图像中的初步尺度和位置信息rect_ac。

47、进一步的，步骤4中所述的对异物进行二次检测，具体包括：

48、步骤4-1：根据步骤3-5中获取的异物在跑道区域分割图像中的初步尺度和位置信息rect_ac，设定目标区域范围rect_roi，以异物中心位置为矩形中心，设定矩形宽高分别为异物宽度和高度的n2倍；

49、步骤4-2：将步骤2-5生成的跑道区域分割图像img_runway按照步骤4-1中设定的目标区域rect_roi进行提取分割，得到分割图像img_roi；

50、步骤4-3：使用k-means算法处理步骤4-2得到的分割图像img_roi，得到分割图像img_kmeans；

51、步骤4-4：查询步骤4-3中的分割图像img_kmeans中心位置的像素值，并将该图像img_kmeans中与其像素值相同的位置像素值设定为255，不相同的设置为0，生成二值化图像img_bina；

52、步骤4-5：通过轮廓查找，对步骤4-4得到的二值化图像img_bina中异物进行检测和定位，获取异物在图像中的二次尺度和位置信息rect_kmeans。

53、进一步的，步骤5中所述的剔除干扰，具体包括：

54、步骤5-1：计算步骤3-5中获得的初步尺度和位置信息rect_ac和步骤4-5中获得的二次尺度和位置信息rect_kmeans的两次检测目标的iou交并比rateiou；并计算其面积比ratearea＝maxarea/minarea，其中maxarea为两个检测目标的最大面积，minarea为最小面积，同时计算两个目标的中心点的距离distance，当rateiou>iouval，ratearea<areval，distance<disval时，判定检测结果符合要求，否则判定为干扰，进行剔除，其中iouval、areval和disval为预设的阈值；

55、步骤5-2：判定步骤5-1符合要求的检测结果所在位置与步骤2-3求解的上下跑道边缘线的关系，当其位于两条边缘直线之间时，判定为真实异物，否则为干扰，进行剔除。

56、进一步的，步骤1-4中所述的比例系数阈值rateval，取值为0.15。

57、进一步的，步骤2-1中所述的预设统计范围index取值为50。

58、有益效果：

59、本发明解决了基于光电图像的跑道异物检测误检率高、漏挂率高、鲁棒性低等问题。首先通过对图像进行边缘处理，统计边缘信息分布规律，判定跑道所处图像区域；基于跑道区域，利用跑道所在区域的边缘像素分布规律，使用最小二乘法拟合跑道边缘直线，实现对跑道区域图像的分割；接着对分割后的跑道图像进行ac显著性检测和ostu阈值分割，完成跑道异物的初次检测定位；然后基于初次检测定位信息，将异物所在区域等比例放大，提取放大区域对应的图像，利用k-means对图像进行聚类分割处理，并且基于中心像素信息对图像进行二值化处理，实现对异物的二次检测；最后将初次检测和二次检测到的异物信息进行比对，剔除干扰信息，再结合跑道边缘直线方程，判定异物所处区域后，剔除误检信息，实现光学图像中跑道异物的自动检测。本发明在多种场景下进行了性能测试，可在黑夜、强光等环境下正确对图像中的异物进行检测定位，每张图像的平均检测时间在100ms，充分验证了本发明的有效性。