一种无人机的机场跑道FOD自动探测方法与流程

本发明涉及机场跑道探测领域，特别涉及一种无人机的机场跑道fod自动探测方法。

背景技术：

目前，民航业快速发展，机场的不断扩建扩容，机场的繁忙程度不断增加，导致运行安全问题也被频繁提出。

各类型的飞机在起飞和着陆的过程中偶尔会丢失一些小部件。这些部件留在跑道上，可能会损坏其他起落飞机的轮胎、机身或挡风玻璃，并很可能吸入发动机，导致严重的安全事故。全球范围内出现fod(跑道异物)导致的直接和间接事故成本高达130亿美元每年。目前fod是导致多起航空事故的主要原因之一。所以跑道上fod的检测和清理对保障机场运行安全起到了重要的作用。然而，现有的机场fod(跑道异物)检测，对人力的需求很大，检测时间长，并且人通过视觉检测fod不一定可靠。

技术实现要素：

本发明的目的在于克服现有技术中所存在的人力需求大、检测时间长、可靠性低的不足，提供一种无人机的机场跑道fod自动探测方法。

为了实现上述发明目的，本发明提供了以下技术方案：

一种无人机的机场跑道fod自动探测方法，包括如下步骤：

步骤一、根据输入的待进行fod探测的机场跑道的参数数据以及无人机的参数数据，确定所述探测任务；

步骤二、根据所述探测任务，控制无人机/无人机队沿设定的飞行航线飞行时，拍摄无任何障碍物时所述机场跑道的图像；

步骤三、根据所述探测任务，控制无人机/无人机队沿所述飞行航线飞行时，拍摄运行一段时间后所述机场跑道的图像；

步骤四、通过对比所述步骤二和所述步骤三中拍摄的所述机场跑道的图像，判断运行一段时间后的所述机场跑道上是否有fod。

优选的，所述步骤二和所述步骤三中，根据所述探测任务，控制无人机/无人机队在所述飞行航线上设定的拍照点，拍摄所述机场跑道的图像；所述步骤四中，通过对比同一拍照点拍摄的所述机场跑道的图像，以判断运行一段时间后的所述机场跑道上是否有fod。

优选的，所述步骤四中，将步骤二和步骤三分别在同一拍照点拍摄的图像转换为灰度图像；然后对齐两个灰度图像，确定二者之间的绝对差异；将存在绝对差异的部分锐化成二进制图像；根据所述二进制图像，确定运行一段时间后的所述机场跑道上是否有fod。

优选的，所述二进制图像的fod周围绘制fod边框；在运行一段时间后的所述机场跑道的图像中覆盖上所述fod边框；将覆盖了所述fod边框的所述图像用显示屏进行显示。

优选的，所述步骤一，所述机场跑道的参数数据包括机场跑道的宽度、数量和布局，所述无人机的参数数据包括无人机机载相机的地面覆盖区域范围；根据机场跑道的宽度、数量和布局，以及无人机机载相机的地面覆盖区域范围，确定执行所述探测任务的无人机的数量和每架无人机的飞行航线。

优选的，所述飞行航线包括起飞点、航线关键点；所述航线关键点包括无人机飞行航线拐角点的经度、纬度和飞行高度。

优选的，所述飞行高度h与地面采样间隔gsd相关：

其中，dw是无人机机载相机的地面覆盖区域范围，是图像帧的尺寸，以像素为单位；

其中cw是相机光线传感器的物理尺寸，f是焦距。

优选的，所述探测任务包括设置每个拍照点在所述飞行航线上的坐标以及每个拍照点的拍摄角度；其中，所述坐标包括在相应拍照点触发拍照时无人机的经度、纬度和飞行高度；所述拍摄角度包括触发拍照时无人机云台的俯仰角及其相对于无人机机头的航向角。

优选的，所述探测任务还包括设置无人机的最大飞行速度；在无人机/无人机队执行所述探测任务时，根据剩余飞行航线的长度、飞行速度以及风力状况计算完成探测需要的时间。

优选的，步骤三还包括，根据控制指令，控制无人机/无人机队执行停止探测、恢复探测、终止探测、部分探测和特定探测；其中，所述停止探测为无人机/无人机队原地待命；所述恢复探测，原地待命的无人机/无人机队继续探测；所述终止探测，无人机/无人机队直接返回起飞点；所述部分探测，无人机/无人机队在探测区间内飞行时，进行拍照；所述特定探测，无人机/无人机队在探测出fod的地点，进行近距离拍照。

与现有技术相比，本发明的有益效果：

本发明采用无人机/无人机队根据探测任务，控制无人机/无人机队沿设定的飞行航线飞行时，拍摄无任何障碍物时所述机场跑道的图像；根据所述探测任务，控制无人机/无人机队沿所述飞行航线飞行时，拍摄运行一段时间后所述机场跑道的图像；通过对比无任何障碍物时所述机场跑道的图像和运行一段时间后所述机场跑道的图像，判断运行一段时间后的所述机场跑道上是否有fod，实现了机场跑道fod的自动探测，降低了人工检测fod的成本，也提高了检测fod的精确度，缩短了检测时间。

附图说明：

图1为本发明的流程示意图。

图2为实施例1的结构示意图。

图3为数据处理中心的结构示意图。

图4为无人机编程界面的示意图。

图5为gui界面的示意图。

图6为无人机飞行航线规划示意图。

图7为影响gsd的参数示意图。

图中标记：100-无人机队，200-数据处理中心，300-地面保障人员，210-无人机编程软件，220-matlab软件。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

联系机场管制和航空公司签派，得到该机场检测fod的指定跑道哪些时段没有航班运行，在这些时段采用一种无人机的机场跑道fod自动探测方法。

如图1，一种无人机的机场跑道fod自动探测方法，包括如下步骤：

步骤一、根据输入的待进行fod探测的机场跑道的参数数据以及无人机的参数数据，确定所述探测任务；

其中，机场跑道的参数数据包括机场跑道的宽度、数量和布局，所述无人机的参数数据包括无人机机载相机的地面覆盖区域范围，通过无人机编程软件(210)对指定跑道进行无人机队(100)的飞行编程，编程界面如图4所示。

具体的无人机规格：大疆mavic2pro最长飞行时间：31分钟，最长悬停时间：26-30分钟，最大续航里程：18km，最大飞行海拔高度：6000m，最大遥控距离：8000m，最大上升速度：5m/s(s模式)，最大下降速度：3m/s(s模式)，最大水平飞行速度：72km/h(s模式)，感知系统类型为多方向避障，使用环境温度：-10℃-40℃，机身尺寸：214×91×84mm，机身重量：907g，其实时传图质量达到1080p。远程遥控规格：支持接口类型：lightning、microusb(type-b)、usb-c，最大信号有效距离7-9km，工作频率：2.400-2.483ghz。相机规格：4k一英寸哈苏l1d-20c相机，10-bitdlog-m，f/2.8-f/11可调光圈，支持4倍变焦，2000万有效像素，视角：77°，等效焦距：28mm，电子快门速度：8-1/8000s，iso范围：100-12800(手动)，照片最大分辨率：5472×3684，图片格式：jpeg/dng(raw)。

根据机场跑道的宽度、数量和布局，以及无人机机载相机的地面覆盖区域范围，确定执行所述探测任务的无人机的数量和每架无人机的飞行航线。飞行航线包括起飞点、航线关键点；航线关键点包括无人机飞行航线拐角点的经度、纬度和飞行高度。

其中，飞行高度h与地面采样间隔gsd相关：

其中，地面采样间隔gsd是地面上两个连续像素中心之间的物理距离；如图7，dw是无人机机载相机的地面覆盖区域范围，是图像帧的尺寸，以像素为单位；

其中cw是相机光线传感器的物理尺寸，f是焦距。

飞行高度太高不能保证图像对比后的准确性，飞行高度过低又不能保证在机场运行的安全性，所以要根据机场的相关安全要求设置合适的无人机飞行高度，在试验期间无人机队(100)高度设定为2m到8m，增量为1m，f28是相机传感器的焦距，对应于28mm的等效值，“34.6”是4:3比率下基于对角线的等效焦距常数，我们可以得到相机的实际焦距f，

探测任务还包括设置无人机/无人机队在固定的位置以固定角度进行拍照：根据设置好的每个拍照点在所述飞行航线上的坐标(经度、纬度和飞行高度)以及每个拍照点的拍摄角度(俯仰角、航向角)。

无人机飞行航线规划：对于不同机场的不同跑道来看，无人机队(100)的飞行航线也一定是不同的。其中也要考虑到滑行道、停机坪与跑道相互位置，飞行航线尽可能的将跑道、滑行道覆盖全面。以图6为例的机场所示，其中粗虚线代表跑道上的飞行航线，细虚线代表滑行道上的飞行航线，无人机队(100)探测任务结束后都会返回探测起点。

步骤二、根据所述探测任务，控制无人机/无人机队沿设定的飞行航线飞行时，拍摄无任何障碍物时所述机场跑道的图像；

拍摄无任何障碍物时所述机场跑道的图像之前可通过该机场原有的fod检测方式检测fod并进行彻底的清理，保证跑道上已经没有fod。

具体实施时，无人机队(100)通过无人机编程软件(210)从一个固定位置进行飞行编程，沿着跑道尽头(或以某特定区域位起点，包括停机坪和滑行道)飞出一条固定且安全的路线进行探测(即fod扫描)。无人机队(100)以一个高于地平面的恒定高度处穿过整个跑道(包括停机坪和滑行道)并拍摄静止图像，然后对其进行处理和存储，无线传输给执行fod检测的数据处理中心(200)。

步骤三、根据所述探测任务，控制无人机/无人机队沿所述飞行航线飞行时，拍摄运行一段时间后所述机场跑道的图像；

操作人员使用计算机与无人机队(100)建立通信，允许在必要时改变不同任务参数和监控任务的执行。如果检测到fod，操作员会立即收到检测到的潜在fod及其位置的通知。操作员可以要求更仔细地查看所发现的fod，然后派地面保障人员(300)去核实并移除它。

操作人员还可以下达控制指令，控制无人机/无人机队执行停止探测、恢复探测、终止探测、部分探测和特定探测；其中，所述停止探测为无人机/无人机队原地待命；所述恢复探测，原地待命的无人机/无人机队继续探测；所述终止探测，无人机/无人机队直接返回起飞点；所述部分探测，无人机/无人机队在探测区间内飞行时，进行拍照；所述特定探测，无人机/无人机队在探测出fod的地点，进行近距离拍照。

具体的，matlabgui界面的设计是在matlab开发环境中使用appdesigner工具完成的。利用matlab的图像处理和计算机视觉系统工具箱，为图像处理、转换、过滤和其他过程提供各种功能。可设置多个面板，实现不同的功能。

如图5所示，使用第一个面板中的工具(在界面的左上角)，操作员操作下方菜单选择机场和特定跑道进行探测。选择后，机场图显示在gui界面的右侧部分。所选跑道的长度和宽度的相应值将在同一面板中的相应字段中弹出。然后操作员可以调整沿跑道移动的无人机队(100)速度。

在第二个面板(在第一个面板下方)，操作员选择相机和高度。选择的相机规格(视野和分辨率等)和无人机队(100)飞行高度确定了可以检测fod的尺寸以及执行特定跑道所需的无人机队(100)数量。

在第三个面板中，操作员可以选择完整扫描，对应于整个跑道的探测，或部分扫描，以便仅探测跑道的特定部分。第三个选项允许同时探测多个区域，指定它们之间的转折点以设置扫描路线。一旦确定了要探测的区域，探测距离和时间将显示在第三个面板内，探测路径长度和根据所选速度和当时风况计算出扫描任务的预计时间。

在第四个面板中，操作员可以通过的切换开关来开始执行所规定的任务。正在进行探测fod时指示灯变为绿色，并且通过扫描距离显示跑道扫描的进度。在这期间操作员都可以通过开关来停止和恢复该过程。如果要求重新开始探测，可以单击“重置探测”按钮，这意味着无人机队(100)应该返回到初始位置。还有一些特定按钮，可以使无人机队(100)返回到探测出fod的地点处进行近距离观察，并可以实现在不同角度和不同高度下观察。

在无人机/无人机队执行所述探测任务时，根据剩余飞行航线的长度、飞行速度以及风力状况计算完成探测需要的时间。

步骤四、通过对比所述步骤二和所述步骤三中拍摄的所述机场跑道的图像，判断运行一段时间后的所述机场跑道上是否有fod。

具体的，步骤四中，将步骤二和步骤三分别在同一拍照点拍摄的图像转换为灰度图像；然后对齐两个灰度图像，确定二者之间的绝对差异；将存在绝对差异的部分锐化成二进制图像；所述二进制图像的fod周围绘制fod边框；在运行一段时间后的所述机场跑道的图像中覆盖上所述fod边框；将覆盖了所述fod边框的所述图像用显示屏进行显示，然后地面保障人员(300)根据显示结果进行核实并清理。

如图2所示，无人机或无人机队(100)、数据处理中心(200)、地面保障人员(300)；其中数据处理中心(200)是由操作人员控制的装有无人机编程软件(210)，matlab软件(220)的计算机，关系如图3所示。