一种基于深度学习的机场廊桥移动作业规范检测方法与流程

1.本发明涉及一种机器视觉领域的监控报警技术领域，具体涉及一种基于深度学习的机场廊桥移动作业规范检测方法，


背景技术：

2.民航运输业作为连接城市之间市场与生产要素的纽带，随着中国经济的发展和产业结构的转型升级，其在城市交通基础设施的地位不断提升，发展异常迅速。随着机场客运量日益增长，对机场设施的作业规范性提出了更高的要求。但是对于停机坪的廊桥移动作业规范性的检测，还是依赖于传统的人眼监控方式，需要花费极高的人力成本和时间成本。
3.在停机坪场景中，飞机停靠到预置位置后，操作人员需要操作廊桥从登机门延伸至飞机机舱门，方便乘客进出机舱。为了实现廊桥作业的规范性检测，我们需要判断移动作业状态下的廊桥底下是否存在廊桥移动操作人员(因为飞机停靠到停机坪后，廊桥的移动需要有操作人员在廊桥底下操作电源接通飞机，监察周围异常情况，最后完成对接，所以如果无操作员的情况下，廊桥发生移动是不符合安全规范)，并且需要判断操作人员的穿戴是否符合规范。由于廊桥存在两种工作状态(静止状态，移动作业状态)，所以我们不仅需要对廊桥进行目标检测，还需要通过轨迹追踪技术，判断廊桥的移动状态，监测廊桥移动区域内是否存在车辆和其他人员入侵的情况，而且停机坪的环境分为白天、黑夜、雨天、晴天，对廊桥和操作人员在不同环境下进行目标检测和轨迹跟踪是一个难题。
4.cn202010283725.1一种机场停机坪作业人员作业规范及数量的自动识别方法中提到了一种基于深度学习技术，对现场人员作业规范的检测方法。
5.该方法有如下几个问题：(1)该方法只对现场作业人员和是否穿反光背心作检测，缺少对作业人员的目标跟踪，无法判断作业人员的运动轨迹(2)没有建立停机坪的廊桥轨迹追踪模型，缺少对廊桥移动作业的规范性的判断(3)采用mobilenet-ssd模型，mobilenet模型是google针对手机等嵌入式设备提出的一种轻量级的深层神经网络，ssd是一种one-stage目标检测方法，其主要思路是利用cnn提取特征后，均匀地在图片的不同位置进行密集抽样，抽样时可以采用不同尺度和长宽比，物体分类与预测框的回归同时进行，但是均匀的密集采样的一个重要缺点是训练比较困难，这主要是因为正样本与负样本(背景)极其不均衡，导致模型在复杂天气背景下的鲁棒性不高，模型准确度稍低。
6.在传统的检测方式中，主要是通过现场摄像头传回实时的视频，使用人眼去判断廊桥在移动作业的规范性，需要花费极高的人力成本和时间成本。
7.在实际应用中，场景天气复杂多变，而且需要对飞机、停机坪的廊桥以及操作人员在进行目标检测的同时，还需要对目标进行轨迹追踪，检测过程困难。


技术实现要素：

8.本发明所要解决的技术问题是提供了一种基于深度学习的机场廊桥移动作业规范检测方法；通过采用基于深度学习的机场廊桥移动作业规范检测方法，利用庞大丰富的
数据，通过深度学习完成模型的训练，从而使得算法的健壮性更高，泛化能力更强，自适应学习不同角度和背景下的图片特征，以更准确地追踪到每个目标的运动轨迹，更容易应用于廊桥移动作业场景的规范性检测。
9.本发明基于深度学习的机场廊桥移动作业规范检测方法是通过以下技术方案来实现的：具体步骤如下：
10.s1：从现场摄像头获取视频流；
11.s2：对连续图像先进行飞机目标检测，判断停机坪位置是否有飞机停靠；
12.s3：如果飞机已经停靠了，再进行廊桥检测，判断廊桥目前的状态是已经停靠到飞机，还是未停靠到飞机；
13.s4：如果廊桥还未停靠到飞机，就对廊桥进行追踪，获取廊桥的运动轨迹，判断廊桥是否在移动作业；
14.s5：如果廊桥在移动作业，通过目标检测和轨迹追踪判断操作人员是否在廊桥底下(因为飞机停靠到停机坪后，廊桥的移动需要有操作人员在廊桥底下操作电源接通飞机，监察周围异常情况，最后完成对接，所以如果无操作员操纵下，廊桥发生移动是不符合安全规范)；
15.s6：如果不存在操作人员作业，发出告警，提示目前作业不规范；
16.s7：如果检测出操作人员轨迹，还需要对操作人员进行反光衣检测判断；
17.s8：如果操作人员穿戴不符合规范，提示告警；如果符合规范，则无需处理；
18.s9：如果在廊桥的移动范围内检测出车辆和其他工作人员，提示入侵告警。
19.作为优选的技术方案，s5中的轨迹追踪包括检测器和追踪器两个部分，
20.轨迹追踪方法包括：
21.ss1`输入的图像通过目标检测器，获取目标的检查框信息和目标特征信息，然后利用检测目标特征与目标预测轨迹进行级联匹配和iou匹配，得到已经匹配的轨迹、未匹配的检测目标、未匹配轨迹，最后把已经匹配的轨迹更新到图像中；
22.2、判断目标是否在入侵区域的技术路线，首先通过目标检测获取目标框的信息(x1,y1,w,h)，然后通过上述坐标信息计算出目标框的中心点位置坐标，然后通过射线法，判断目标中心点是否在区域内容，从而判断检测的目标是否入侵到指定区域内。
23.本发明的有益效果是：
24.1、对于不同天气环境下的廊桥和操作人员目标进行轨迹追踪，不受场景限制；
25.2、对于不同摄像头下的廊桥和操作人员都可以进行轨迹追踪，无需人工调整阈值；
26.3、对于不同摄像头下的廊桥移动范围了车辆和其他人员进行检测，无需人工调整阈值；
27.4、目标在被遮挡后，也可以进行有效的轨迹追踪，无需人工干预。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图，
29.图1为本发明基于深度学习的机场廊桥移动作业规范检测方法的流程图；
30.图2为轨迹追踪技术方案图；
31.图3为目标检测模型的训练流程的示意图；
32.图4为目标检测模型整体结构的示意图；
33.图5为判断目标是否在入侵区域的技术路线示意图；
34.图6为射线法判断目标中心点是否在停机位区域内的示意图；
35.图7和图8为计算射线与线段交点的x坐标的公式示意图。
具体实施方式
36.本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合，
37.本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换，即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已，
38.在本发明的描述中，需要理解的是，术语“一端”、“另一端”、“外侧”、“上”、“内侧”、“水平”、“同轴”、“中央”、“端部”、“长度”、“外端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制，
39.此外，在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定，
40.本发明使用的例如“上”、“上方”、“下”、“下方”等表示空间相对位置的术语是出于便于说明的目的来描述如附图中所示的一个单元或特征相对于另一个单元或特征的关系，空间相对位置的术语可以旨在包括设备在使用或工作中除了图中所示方位以外的不同方位，例如，如果将图中的设备翻转，则被描述为位于其他单元或特征“下方”或“之下”的单元将位于其他单元或特征“上方”，因此，示例性术语“下方”可以囊括上方和下方这两种方位，设备可以以其他方式被定向(旋转90度或其他朝向)，并相应地解释本文使用的与空间相关的描述语，
41.在本发明中，除非另有明确的规定和限定，术语“设置”、“套接”、“连接”、“贯穿”、“插接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义，
42.如图1所示，本发明的一种基于深度学习的机场廊桥移动作业规范检测方法，具体步骤如下：
43.s1：收集停机坪场景下飞机、廊桥、机坪人员、特种车辆的图像数据，然后对数据进行标注；
44.s2：通过k-means聚类算法得到先验框的尺寸，按照不同尺度聚类出9种尺寸的先验框；
45.s3：配置yolov4网络模型训练的参数，使用划分的训练集对预训练模型进行迭代训练，通过设置的训练策略，当检测到损失函数不再收敛后，保存训练好的网络模型；
46.s4：通过s3训练好的模型对视频帧进行飞机、廊桥、机坪人员和特种车辆检测，获取所检测目标的目标框位置信息和置信度信息detection boxes，获取操作人脸穿戴类别检测信息；
47.s5：基于当前视频帧的廊桥和操作人员目标检测框通过卡尔曼滤波算法进行轨迹预测，获取对应的目标轨迹框信息，track boxes，并利用训reid模型计算当前帧中所有目标的128维深度特征信息；
48.s6：利用所有的detection boxes和track boxes之间的运动相似度和外观特征表现，构建代价矩阵；
49.s7：根据匈牙利算法对关联成本代价矩阵中的关联代价相继进行级联匹配和iou关联匹配；
50.s8：记录每个匹配成功的目标跟踪轨迹，用其对应的检测结果更新卡尔曼滤波器，为每个对象分配id；
51.s9：最后根据廊桥移动的跟踪轨迹信息和操作人员的移动轨迹，就可以判断是否存在操作人员在操作飞机廊桥移动作业，通过反光衣检测模型可以判断操作人员的穿戴是否合规，从而判断飞机廊桥移动作业整个过程是否合规；
52.s10：通过对廊桥移动轨迹，划分廊桥移动区域，区域内检测是否存在特种车辆和其他机坪人员，判断是否发生区域入侵，从而判断飞机廊桥移动作业整个过程是否合规。
53.本实施例中，s1具体步骤如下：
54.ss1、使用不同角度的固定摄像头在各个停机坪场景(白天、黑夜、雨天、晴天)下拍摄图像，对每张现场图像进行人工标注，每张图像中每个飞机、廊桥、机坪人员和特种车辆都有相应的检测框，检测框标记为[(x1,y1),(x2,y2)]，(x1,y1)表示的是检测框左上角坐标(x2,y2)则表示检测框的右下角坐标，廊桥模型标签类型：飞机、未靠近飞机的廊桥、靠近飞机的廊桥；反光衣模型标签类型：穿反光衣人体、穿普通工作服人体、普通人体，特种车辆模型标签：17类作业车辆；
[0055]
ss2、针对现场数据量不足的情况，我们使用数据增强方法减少网络的过拟合现象，训练泛化能力更强的网络，数据增强包括对数据样本进行数据合成、随机裁剪、翻转、颜色抖动、加入噪声、旋转等方法，最后形成停机坪廊桥、操作人员和特种车辆的数据库。
[0056]
本实施例中，s3具体步骤如下：
[0057]
ss1、目标检测模型有三个，一、廊桥检测模型，包括目标有飞机、未靠近飞机的廊桥、靠近飞机的廊桥；二、反光衣检测模型，包括目标有反光衣人体、穿普通工作服人士、普通人体，三、特种车辆检测模型，包括机坪作业的17类特种车辆类型；
[0058]
ss2、模型的训练流程如图3所示，首先把图片输入到cspdarknet53主干网络中，进行特征提起，最后生成不同尺度的特征图，输入格式为：608*608*3，生成多尺度特征图的格式为：76*76*256，38*38*512，19*19*1024；
[0059]
ss3、通过spp+pan结构融合不同尺寸特征图的特征信息；
[0060]
ss4、把特征输入到置信度预测器，获取置信度图(76*76*21，38*38*21，19*19*21)，通过置信度图与目标图真实值信息，计算每个尺度特征的类别损失、置信度损失、位置
损失，把3个尺度的特征图的3个类型的损失值加起来，得出模型总的损失值；
[0061]
ss5、最后通过总的损失函数信息，利用随机梯度下降的方式，进行反向传播，不断迭代更新模型的网络权重，模型的整体结构如图4所示。
[0062]
本实施例中，s2具体步骤如下：
[0063]
k-means算法：即k均值聚类算法(k-means clustering algorithm)是一种迭代求解的聚类分析算法，其步骤是，预将数据分为k组，则随机选取k个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心，聚类中心以及分配给它们的对象就代表一个聚类，每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算，这个过程将不断重复直到满足某个终止条件，对于给定的一个包含n个d维数据点的数据集x以及要分得的类别k，选取欧式距离作为相似度指标，聚类目标是使得各类的聚类平方和最小，即最小化，公式如下：
[0064][0065]
本实施例中，s5具体步骤如下：
[0066]
卡尔曼滤波算法使用8个维度向量来进行运动状态描述，(u,v)是bounding box的中心坐标，r是长宽比，h表示高度；其余四个变量表示对应的速度信息；基于track在t-1时刻的状态x来预测其在t时刻的状态,公式如下：
[0067]
x
′
＝fx
[0068]
其中，x为track在t-1时刻的均值，f为状态转移矩阵，将t-1时刻系统的状态与t时刻的状态关联；
[0069]
p
′
＝fpf
t
+q
[0070]
其中p为目标轨迹在t-1时刻的协方差，q为系统的噪声矩阵，代表整个系统的可靠程度，一般初始值很小，p
′
为预测t时刻的协方差。
[0071]
本实施例中，s6具体步骤如下：
[0072]
ss1、首先利用平方马氏距离的方法计detection和track的距离，计算相似度；
[0073][0074][0075]dj
代表第j个detection，yi代表第i个track，代表d和y的协方差，第二个公式是一个指示器，比较的是马氏距离和卡方分布的阈值，通过阈值衡量detection和track的匹配程度；
[0076]
ss2、然后使用cosine距离来度量表观特征之间的距离，reid模型抽出得到一个128维的向量，使用余弦距离来进行比对：
[0077][0078]
计算的是余弦相似度，而余弦距离＝1－余弦相似度，通过cosine距离来度量track的表观特征和detection对应的表观特征，来更加准确地预测id，
[0079]
[0080]
同上，余弦距离这部分也使用了一个指示器，如果余弦距离小于t
(2)
,则认为匹配上，
[0081]
ss3、最后综合匹配度是通过运动模型和外观模型的加权得到的：
[0082]c(i,j)
＝λd
(1)
(i,j)+(1-λ)d
(2)
(i,j)
[0083][0084]b(i,j)
也是指示器，只有b
(i,j)
＝1的时候才会被认为初步匹配上。
[0085]
本实施例中，s7具体步骤如下：
[0086]
ss1、在级联匹配中，针对每一个检测器都会分配一个跟踪器，每个跟踪器会设定一个参数，如果跟踪器完成匹配并进行更新，那么参数会重置为0，否则就会+1，根据这个参数来对跟踪器分先后顺序，参数小的先来匹配，参数大的后匹配，也就是给上一帧最先匹配的跟踪器高的优先权，给好几帧都没匹配上的跟踪器降低优先权(慢慢放弃)，上述对过滤后的代价矩阵进行匈牙利算法匹配，整个级联匹配过程是一个循环迭代的过程；
[0087]
ss2、最后对未匹配上的跟踪轨迹进行基于iou匹配，可以减少目标在被遮挡之后，卡尔曼滤波预测的不确定性，避免因为目标被遮挡后跟踪轨迹被破坏，最后得到已匹配目标的轨迹、未匹配轨迹的目标、未匹配目标的轨迹，以下为iou计算公式：
[0088][0089]
loss
iou
＝1-iou。
[0090]
8.根据权利要求1所述的基于深度学习的机场廊桥移动作业规范检测方法，其特征在于：s8具体步骤如下：
[0091]
ss1、记录每个匹配成功的跟踪目标的轨迹，用于更新卡尔曼滤波器的参数，当匹配成功次数等于3次，表示目标被连续3帧被跟踪成功，才认为是跟踪成功，如果目标只是被跟踪成功1次，但是接下来的2帧也未被成功匹配到对应的检测目标，且超过了最大的循环次数，则被认为跟踪失败，删除目标，
[0092]
ss2、基于卡尔曼滤波算法对轨迹进行更新处理，更新公式如下：
[0093][0094][0095][0096]
是t时刻的先验状态估计值，是滤波的中间计算结果，即根据上一时刻(t-1时刻)的最优估计预测的t时刻的结果，是预测方程的结果，p
t
是t时刻的先验估计协方差，h是状态变量到测量(观测)的转换矩阵，表示将状态和观测连接起来的关系，z
t
是测量值(观测值)，是滤波的输入，
[0097]kt
是滤波增益矩阵，是滤波的中间计算结果，卡尔曼增益，或卡尔曼系数，测量噪声协方差，r是滤波器实际实现时，测量噪声协方差r一般可以观测得到，是滤波器的已知条件。
[0098]
本实施例中，s10具体步骤如下：
[0099]
在图像中根据廊桥移动轨迹描绘出廊桥移动区域的形状，获取形状每个像素点的坐标信息，然后利用opencv的cvpolyline函数，在图像中描绘出停机位的位置。
[0100]
通过射线法判断目标中心点是否在停机位区域内，射线法就是以判断点开始，向右(或向左)的水平方向作一射线，计算该射线与多边形每条边的交点个数，如果交点个数为奇数，则点位于多边形内，偶数则在多边形外；如下图所示：如图6所示。
[0101]
根据多边形的所有点的集合，筛选出maxlng,minlng,maxlat,minlat(即最大最小的x坐标和y坐标值)，比较中心点(x,y)坐标和maxlng,minlng,maxlat,minlat的值，当x》maxlng或者x《minlng或者y》maxlat或者y《minlat的时候，可以直接判断点在区域外，目标在区域外。
[0102]
当不满足上述条件，我们需要进一步对中心点位置进行判断，通过循环判断中心点(x,y)坐标与停机位多边形区域的坐标点(xi,yi)是否存在相同的点，如果有，则可以判断中心点与多边形的点重合，目标在区域内容。
[0103]
判断多变形的线段两个端点是否在射线两侧，例如：线段(x1,y1),(x2,y2)，如果当y》y1并且y《y2或者y》y2并且y《y1，可以判断中心点的射线与线段是存在交点。因为我们设定射线方向是沿着中心点水平向左，所以需要判断射线与多边形线段的交点是在中心点的左侧还是右侧；利用以下公式计算射线与线段交点的x坐标，如图7所示。
[0104]
如果xseg＝x，那么可以判断交点就是中心点位置，可以认为目标在区域内；如果xseg《x，那么就可以判断交点在中心点的左侧，交点数累计加一，然后循环所有多边形的线段做判断，当交点数为奇数，可以判断中心点在区域内，认为目标在范围内，当交点为偶数，则判断中心点不在区域内，认为目标不在范围内。
[0105]
本实施例中，如图2和图5所示，s5中的轨迹追踪包括检测器和追踪器两个部分，
[0106]
轨迹追踪方法包括：
[0107]
ss1、输入的图像通过目标检测器，获取目标的检查框信息和目标特征信息，然后利用检测目标特征与目标预测轨迹进行级联匹配和iou匹配，得到已经匹配的轨迹、未匹配的检测目标、未匹配轨迹，最后把已经匹配的轨迹更新到图像中；
[0108]
ss2、判断目标是否在入侵区域的技术路线，首先通过目标检测获取目标框的信息(x1,y1,w,h)，然后通过上述坐标信息计算出目标框的中心点位置坐标，然后通过射线法，判断目标中心点是否在区域内容，从而判断检测的目标是否入侵到指定区域内。
[0109]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。