客梯车作业状态的检测方法与系统与流程

本申请涉及图像识别与检测技术领域，特别是涉及一种客梯车作业状态的检测方法与系统。

背景技术：

机场安保工作是机场有序工作的根本保证。其中，机场的客梯车作业状态的管理是机场安保工作中重要的组成部分。客梯车作业状态非常重要，其关系到乘客登记，乘客撤离，飞机按时起飞等基础安保工作。随着空中交通发展以及机场业务扩增，客梯车作业状态的检测方法层出不穷。

传统的客梯车作业状态的检测方法，目前主要是采用人工识别与记录客梯车作业状态的方法。然而，传统的客梯车作业状态的检测方法存在一个严重的问题：无法实时反馈客梯车作业状态。

由于人工识别与记录客梯车作业状态，存在较大的时间误差，因此不能够实时反馈客梯车作业状态。随着大量客梯车同时工作的现象越来越频繁出现，这种方法不但会出现较多误差，而且造成机场人员工作量成倍增加，导致客梯车调配效率下降。

技术实现要素：

基于此，有必要针对传统的客梯车作业状态的检测方法，无法实时反馈客梯车作业状态的问题，提供一种客梯车作业状态的检测方法与系统。

本申请提供一种客梯车作业状态的检测方法，包括：

获取原始图像数据，基于所述原始图像数据建立客梯车数据集；

利用所述客梯车数据集，训练目标检测网络；

每隔预设时间段连续获取多个待测原始图像，将所述多个待测原始图像输入至所述目标检测网络；

运行所述目标检测网络，输出在所述预设时间段内的客梯车作业状态和客梯车作业信息；所述客梯车作业状态为客梯车在作业过程中出现的所有工作状态中的一种；

将所述客梯车作业状态和所述客梯车作业信息发送至服务器存储。

本申请还提供一种客梯车作业状态的检测系统，包括：

图像获取装置，用于每隔预设时间段连续获取多个待测原始图像；

作业状态检测装置，与所述图像获取装置通信连接，用于执行前述内容提及的客梯车作业状态的检测方法，以实时检测客梯车作业状态，生成客梯车作业状态和客梯车作业信息；

服务器，与所述作业状态检测装置通信连接，用于存储所述作业状态检测装置发送的客梯车作业状态和客梯车作业信息。

本申请涉及一种客梯车作业状态的检测方法与系统，通过依据原始图像数据对搭载于作业状态检测装置的目标检测网络进行训练，使得目标检测网络在识别待测原始图像时，可以精确识别待测原始图像中出现的飞机和客梯车，并以目标矩形框的形式抓取。进一步地，通过运行目标检测网络，输出在所述预设时间段内的客梯车作业状态和客梯车作业信息，可以实时获知在所述预设时间段内客梯车的作业状态，检测速度快，准确度高。

附图说明

图1为本申请一实施例提供的客梯车作业状态的检测方法的方法流程图；

图2为本申请一实施例提供的客梯车作业状态的检测系统的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供一种客梯车作业状态的检测方法。

需要说明的是，本申请提供的客梯车作业状态的检测方法不限制其应用领域与应用场景。可选地，本申请提供的客梯车作业状态的检测方法可以应用于机场保障工作，具体应用于检测旅客在陆续登机时客梯车的作业状态。

本申请提供的客梯车作业状态的检测方法不限制其执行主体。可选地，本申请提供的客梯车作业状态的检测方法的执行主体可以为一种作业状态检测装置20。具体地，所述作业状态检测装置20可以为任意具有数据处理功能的终端，例如计算机。

如图1所示，在本申请的一实施例中，所述客梯车作业状态的检测方法包括：

s100，获取原始图像数据，基于所述原始图像数据建立客梯车数据集。

具体地，所述原始图像数据可以包括任意待检测区域的任意张图像。所述待检测区域可以为客梯车活动频繁的监控范围，例如停机坪。由于所述原始图像数据用于后续目标检测网络的训练，因此所述原始图像数据的数据量要大，覆盖的范围要广。

s200，利用所述客梯车数据集，训练目标检测网络。

具体地，所述客梯车数据集包括飞机图像数据、加油车图像数据、客梯车图像数据、巡逻车图像数据、牵引车图像数据、食品车图像数据、垃圾车图像数据和摆渡巴士图像数据中的一种或多种。本步骤中，将所述客梯车数据集作为训练集，训练所述目标检测网络。

s300，每隔预设时间段连续获取多个待测原始图像，将所述多个待测原始图像输入至所述目标检测网络。

具体地，所述预设时间段的设置可以由客梯车监控人员预先设定。可选地，所述预设时间段可以为1秒，以确保可以实时获取所述待测原始图像。所述原始图像数据可以通过图像获取装置10获取。所述图像获取装置10可以为任意具有拍摄或录像功能的设备，例如，监控摄像头。所述图像获取装置10与所述作业状态检测装置20通信连接。所述图像获取装置10在预设时间段内，连续获取多个待测原始图像后，将所述多个待测原始图像发送至所述作业状态检测装置20。这里的连续获取是指按时间先后顺序连续获取。例如，图像获取装置10在1秒内连续拍摄10张图像。

s400，运行所述目标检测网络，输出在所述预设时间段内的客梯车作业状态和客梯车作业信息。所述客梯车作业状态为客梯车在作业过程中出现的所有工作状中的一种。

具体地，需要说明的是，本实施例中提及的客梯车作业状态可以包括，但不仅仅包括客梯车未启用、客梯车停靠和客梯车撤离这三种作业状态。所述客梯车作业信息为与所述客梯车作业状态对应的客梯车作业参数。举例说明，当客梯车作业状态未客梯车停靠时，所述客梯车作业信息为客梯车开始停靠的时间节点，客梯车停靠的时间长度等。

s500，将所述客梯车作业状态和所述客梯车作业信息发送至服务器30存储。

具体地，步骤s100至步骤s200为目标检测网络的前期训练过程。步骤s300至步骤s500为实际运用目标检测网络检测客梯车作业状态的检测过程。客梯车监控人员可以依据所述客梯车作业状态和所述客梯车作业信息，及时发现待检测区域的客梯车作业状态，一旦发现不正常的作业状态，可以及时采取补救措施，有效保障了登机安全。

本实施例中，通过依据原始图像数据对搭载于作业状态检测装置20的目标检测网络进行训练，使得目标检测网络在识别待测原始图像时，可以精确识别待测原始图像中出现的飞机和客梯车，并以目标矩形框的形式抓取。进一步地，通过运行目标检测网络，输出在所述预设时间段内的客梯车作业状态和客梯车作业信息，可以实时获知在所述预设时间段内客梯车的作业状态，检测速度快，准确度高。

在本申请的一实施例中，所述客梯车数据集包括飞机图像数据、加油车图像数据、客梯车图像数据、巡逻车图像数据、牵引车图像数据、食品车图像数据、垃圾车图像数据和摆渡巴士图像数据中的一种或多种。

具体地，基于所述原始图像数据建立客梯车数据集的过程，是数据筛选的过程，去除与客梯车作业状态无关的一些图像数据，例如天空图片。

本实施例中，通过客梯车数据集的具体内容设置，体现了数据筛选的全面性。

在本申请的一实施例中，所述步骤s200包括：

s210，选取目标检测网络。

具体地，目标检测网络有多种类型，本步骤首先要选取一个类型的目标检测网络。

s220，读取所述目标检测网络的原始锚点，判断所述目标检测网络的原始锚点是否具有大目标检测功能。

具体地，由于客梯车作业状态需要检测与识别飞机，客梯车，而飞机和客梯车均为大目标。因此，目标检测网络需要具有大目标检测的能力。为了描述方便，这里使用锚点描述anchor。后文提及到的“锚点”，都与目标检测领域的“anchor”为同一含义，不再重复解释说明。

s230，若所述目标检测网络的原始锚点不具有大目标检测功能，则对所述目标检测网络的原始锚点进行锚点修改，使得经锚点修改后的目标检测网络具有大目标检测功能。

具体地，例如，在步骤s210中选取yolov3-spp检测网络，作为所述目标检测网络。yolov3-spp检测网络是不具备大目标检测能力的，这是因为yolov3-spp检测网络的原始锚点不适合大目标检测。因此，需要修改yolov3-spp检测网络的原始锚点，使得修改后的yolov3-spp检测网络具有大目标检测功能。

s240，依据所述客梯车数据集，采用迁移学习训练方法对所述经锚点修改后的目标检测网络进行训练。

具体地，当然，本步骤中也可以采用其他方法对目标检测网络进行训练。

本实施例中，通过对目标检测网络的原始锚点进行锚点修改，使得经锚点修改后的目标检测网络具有大目标检测功能，从而使得经锚点修改后的目标检测网络能够准确且快速的识别图像中的飞机或客梯车等大目标对象。

在本申请的一实施例中，所述步骤s230包括：

s231，采用k-means聚类算法对所述客梯车数据集进行锚点回归，得到标准锚点集。所述标准锚点集的形式为：

具体地，后文提及到的“锚点集”，都与目标检测领域的“anchors”为同一含义，不再重复解释说明。

s232，基于所述标准锚点集对所述目标检测网络的算法yolo层进行锚点修改，利用所述标准锚点集中的多个标准锚点替换掉所述算法yolo层中的多个原始锚点，生成所述经锚点修改后的目标检测网络。

具体地，也可以采用其他锚点修改方式对目标检测网络的原始锚点进行修改。本实施例中，采用的是一一替换的方式。步骤s231中的标准锚点集有9个标准锚点，在替换锚点时，需要将目标检测网络的算法yolo层中的9个原始锚点一一替换为9个标准锚点。

在本申请的一实施例中，所述步骤s400包括：

410，所述目标检测网络对所述多个待测原始图像进行分析计算，输出在所述预设时间段内的飞机运行状态。

具体地，要想知晓客梯车的作业状态，首先需要知晓飞机的运行状态。这是因为客梯车是与飞机协同工作的。

420，依据在所述预设时间段内的飞机运行状态，进一步对多个待测原始图像进行分析计算，输出在所述预设时间段内的客梯车作业状态。

具体地，在知晓飞机运行状态之后，可以依据飞机运行状态和多个待测原始图像，分析计算得出客梯车作业状态。

本实施例中，通过对飞机运行状态的分析，从而可以为客梯车作业状态的分析检测提供基础。

在本申请的一实施例中，所述步骤s410包括：

s411，选取一个待测原始图像，作为当前原始图像。进一步地，采集所述当前原始图像中的目标框信息。所述目标框信息包括多个目标矩形框。

具体地，所述待测原始图像和原始图像数据不同。原始图像数据为目标检测网络训练时使用的大量原始图像。所述待测原始图像是训练后的目标检测网络在实际应用过程中的待测原始图像。

s412，遍历所有目标矩形框，读取每一个目标矩形框对应的目标。进一步地，判断是否存在一个目标矩形框对应的目标为飞机。

具体地，目标检测网络可以将一个待测原始图像分解为多个目标矩形框。每一个目标矩形框具有一个目标。飞机是一个目标，客梯车也是一个目标。

s413，若所有的目标矩形框对应的目标均不为飞机，则输出飞机未停靠的飞机运行状态。

具体地，若所有的目标矩形框对应的目标均不为飞机，则表明待检测区域中飞机并没有出现。此时，可以表明飞机未停靠。

本实施例中，通过遍历所有目标矩形框，读取每一个目标矩形框对应的目标，可以筛选出有飞机出现的目标矩形框，保证了识别精确度。

在本申请的一实施例中，所述步骤s410还包括：

s414，若存在一个目标矩形框对应的目标为飞机，则将该目标框定义为飞机目标框。

具体地，若存在一个目标矩形框对应的目标为飞机，则表明待检测区域中飞机有出现。此时，尚不能确定飞机是否处于停靠状态。因为图像分析和拍摄图像中均有可能出现误差。预设时间段内有多个待测原始图像，仅确定一个待测原始图像中出现飞机是远远不够的，不具有说服力。我们需要进一步确定其他待测原始图像中是否出现飞机。

s415，选取拍摄时间与所述当前原始图像最接近的一个待测原始图像，作为相邻原始图像。进一步地，分别计算当前原始图像中飞机目标框的面积，以及相邻原始图像中飞机目标框的面积。

具体地，飞机目标框为一个矩形形状的方框，飞机目标框的面积的计算方法，就是飞机目标框在水平方向上的长度乘以在垂直方向上的长度。

s416，基于当前原始图像中飞机目标框的面积，以及相邻原始图像中飞机目标框的面积，采用公式1飞机目标框重合度：

其中，ov为飞机目标框重合度。areaoverlap为当前原始图像中飞机目标框。与相邻原始图像中飞机目标框的重合面积。areanow为当前原始图像中飞机目标框的面积。arealast为相邻原始图像中飞机目标框的面积。

具体地，飞机目标框重合度可以为具体数值，也可以为百分比。

s417，判断所述飞机目标框重合度是否大于预设重合度阈值。

具体地，所述预设重合度阈值可以由客梯车监控人员预先设定。所述预设重合度阈值可以为90％。

s418，若所述飞机目标框重合度大于所述预设重合度阈值，则输出飞机已停靠的飞机运行状态。

具体地，若所述飞机目标框重合度大于所述预设重合度阈值，则表明飞机确实出现在待检测区域，且处于已停靠状态。

s419，若所述飞机目标框重合度小于或等于所述预设重合度阈值，则输出飞机未停靠的飞机运行状态。

具体地，若所述飞机目标框重合度小于或等于所述预设重合度阈值，则此时判定飞机确实出现在待检测区域，但是飞机处于正在停靠的状态。

本实施例中，通过计算当前原始图像中飞机目标框的面积，与相邻原始图像中飞机目标框的面积的重合度，可以判断所述飞机运行状态为飞机已停靠还是为飞机正在停靠，判断逻辑简易且准确度高。

在本申请的一实施例中，所述步骤s420包括：

s421，判断所述飞机运行状态是否飞机已停靠。

s422，若所述飞机运行状态为飞机未停靠或飞机正在挺好，则输出客梯车未启用的客梯车作业状态。

具体地，前述内容已经提及，要想知晓客梯车的作业状态，首先需要知晓飞机的运行状态。若所述飞机运行状态为飞机未停靠，则表明飞机尚未出现在待检测区域或者出现了但是并未停靠，此时客梯车不必启用，因此输出客梯车未启用的客梯车作业状态。若所述飞机运行状态为飞机正在停靠，则表明飞机出现在待检测区域，但是正在停靠，此时也不必启用客梯车，等到飞机完全已停靠再启用客梯车，因此此时也输出客梯车未启用的客梯车作业状态。

在本申请的一实施例中，所述步骤s420还包括：

s423，若所述飞机运行状态为飞机已停靠，则进一步选取拍摄时间与所述当前原始图像的拍摄时间最接近的，且拍摄时间在所述当前原始图像的拍摄时间之前的一个待测原始图像，作为在前原始图像。选取拍摄时间与所述当前原始图像的拍摄时间最接近的，且拍摄时间在所述当前原始图像的拍摄时间之后的一个待测原始图像，作为在后原始图像。

具体地，所述飞机运行状态为飞机已停靠，此时客梯车表明已启用。然而，客梯车有停靠和撤离两种作业状态，本实施例需要进一步分析具体客梯车处于哪一种状态。

s424，分别获取所述在前原始图像、所述待测原始图像和所述在后原始图像中的飞机目标框和客梯车目标框。所述客梯车目标框为目标为客梯车的目标矩形框。

具体地，在步骤s411中已经介绍了采集所述当前原始图像中的目标框信息的步骤。本步骤s424的工作原理与工作步骤s424的原理相同，此处不再赘述。

s425，基于所述在前原始图像、所述待测原始图像和所述在后原始图像中的飞机目标框和客梯车目标框之间的位置关系，进一步分析客梯车的作业状态，输出在所述预设时间段内的客梯车作业状态。

具体地，可以通过在前原始图像的飞机目标框和客梯车目标框的位置关系，待测原始图像的飞机目标框和客梯车目标框的位置关系，以及在后原始图像的飞机目标框和客梯车目标框的位置关系，分析客梯车的作业状态。业即每一个原始图像分别进行位置关系的分析。

本实施例中，通过对原始图像中飞机目标框和客梯车目标框之间的位置关系的分析，可以快速且准确的获知客梯车的作业状态。

在本申请的一实施例中，所述步骤s425包括：

s425a，选取所述在前原始图像作为待分析图像。

s425b，依据公式2，计算所述待分析图像中飞机目标框的中心点坐标，依据公式3计算所述待分析图像中客梯车目标框的中心点坐标：

其中，centerplane为飞机目标框的中心点坐标。xcenter_plane为飞机目标框的中心点横坐标。ycenter_plane为飞机目标框的中心点纵坐标。xplane为飞机目标框的左上角坐标点的横坐标。wplane为飞机目标框在水平方向上的长度。yplane为飞机目标框的左上角坐标点的纵坐标，hplane为飞机目标框在垂直方向上的长度。

其中，centercar为客梯车目标框的中心点坐标。xcenter_car为客梯车目标框的中心点横坐标。ycenter_car为客梯车目标框的中心点纵坐标。xcar为客梯车目标框的左上角坐标点的横坐标。wcar为客梯车目标框在水平方向上的长度。ycar为客梯车目标框的左上角坐标点的纵坐标。hcar为客梯车目标框在垂直方向上的长度。

s425c，采用公式4计算所述待分析图像中，飞机目标框的中心点坐标与客梯车目标框的中心点坐标的直线距离，记为中心点距离。

其中，lplane_car为中心点距离。xcenter_plane为飞机目标框的中心点横坐标。ycenter_plane为飞机目标框的中心点纵坐标。xcenter_car为客梯车目标框的中心点横坐标。ycenter_car为客梯车目标框的中心点纵坐标。

s425d，将所述待测原始图像和所述在后原始图像均作为待分析图像，并对所述待测原始图像和所述在后原始图像分别执行一次所述步骤s425b至s425c，最终得出所述在前原始图像的中心点距离l1。所述待测原始图像的中心点距离l2，以及所述在后原始图像的中心点距离l3。

s425e，判断l1，l2和l3三者的大小关系为l1〉l2>l3还是l1<l2<l3。

s425f，若l1，l2和l3三者的大小关系为l1〉l2>l3，则输出客梯车停靠的客梯车作业状态。

s425g，若l1，l2和l3三者的大小关系为l1<l2<l3，则输出客梯车撤离的客梯车作业状态。

具体地，若l1，l2和l3三者的大小关系为l1〉l2>l3，则表明随着时间推移，三张原始图像的中心点距离逐渐减小，表明飞机和客梯车的距离越来越近，表明客梯车应当处于停靠状态。

反之，若l1，l2和l3三者的大小关系为l1<l2<l3，则表明随着时间推移，三张原始图像的中心点距离逐渐增大小，表明飞机和客梯车的距离越来越远，表明客梯车应当处于撤离状态。

本实施例中，通过计算原始图像中飞机目标框中心点和客梯车目标框中心点的直线距离，并依据三个相邻拍摄时间的原始图像的直线距离的大小关系，实现对飞机和客梯车的位置关系的推断，从而判定客梯车的作业状态。

在本申请的一实施例中，所述步骤s425还包括：

s425o，若l1，l2和l3三者的大小关系为l1〉l2>l3，则确定客梯车处于停靠状态。进一步获取l1，l2和l3中的最大值和最小值。

具体地，本实施例中，若l1，l2和l3三者的大小关系为l1〉l2>l3，则不直接输出客梯车停靠的客梯车作业状态。因为客梯车停靠还包括正在停靠和停靠完毕两种具体的作业状态。

s425p，计算所述最大值和所述最小值的差值，判断所述差值是否小于预设停靠差值。

具体地，所述预设停靠差值可以由客梯车监控人员预先设定。可选地，所述预设停靠差值可以为20米。

s425q，若所述差值小于预设停靠差值，则输出客梯车停靠完毕的客梯车作业状态。

具体地，若所述差值小于预设停靠差值，则表明随着时间推移，客梯车和飞机的距离变化较小，表明客梯车处于停靠完毕的状态。

s425r，若所述差值大于或等于所述预设停靠差值，则输出客梯车正在停靠的客梯车作业状态。

具体地，若所述差值大于或等于所述预设停靠差值，则表明随着时间推移，客梯车和飞机的距离变化较大，表明客梯车处于正在停靠的状态。

本实施例中，通过计算l1，l2和l3中的最大值和最小值的差值，并将差值与预设停靠差值做比较，细化了对客梯车在停靠状态下的具体停靠状态的判定。通过本实施例，可以知晓客梯车处于正在停靠状态，还是处于停靠完毕状态，

在本申请的一实施例中，所述步骤s425还包括：

s425w，若l1，l2和l3三者的大小关系为l1<l2<l3，则确定客梯车处于撤离状态。进一步获取l1，l2和l3中的最大值和最小值。

s425x，计算所述最大值和所述最小值的差值，判断所述差值是否小于预设撤离差值。

s425y，若所述差值小于预设撤离差值，则输出客梯车撤离完毕的客梯车作业状态。

s425z，若所述差值大于或等于所述预设撤离差值，则输出客梯车正在撤离的客梯车作业状态。

具体地，本实施例中步骤s425w至步骤s425z与上述实施例中的步骤s425o至步骤s425r原理类似，此处不再赘述。

若所述差值小于预设撤离差值，则表明随着时间推移，客梯车和飞机的距离变化较小，表明客梯车处于撤离完毕的状态。

若所述差值大于或等于所述预设撤离差值，则表明随着时间推移，客梯车和飞机的距离变化较大，表明客梯车处于正在撤离的状态。

本实施例中，通过计算l1，l2和l3中的最大值和最小值的差值，并将差值与预设撤离差值做比较，细化了对客梯车在撤离状态下的具体撤离状态的判定。通过本实施例，可以知晓客梯车处于正在撤离状态，还是处于撤离完毕状态。

如图2所示，本申请还提供一种客梯车作业状态的检测系统。

在本申请的一实施例中，所述客梯车作业状态的检测系统包括图像获取装置10、作业状态检测装置20和服务器30。所述图像获取装置10与所述作业状态检测装置20通信连接。所述服务器30与所述作业状态检测装置20通信连接。

所述图像获取装置10，用于每隔预设时间段连续获取多个待测原始图像。所述作业状态检测装置20，用于执行前述内容多个实施例中提及的客梯车作业状态的检测方法。所述作业状态检测装置20，用于实时检测客梯车作业状态，审查客梯车作业状态和客梯车作业信息。服务器30用于存储所述作业状态检测装置20发送的客梯车作业状态和客梯车作业信息。

具体地，客梯车作业信息可以为客梯车开始停靠的时间节点、客梯车停靠完毕的时间节点、客梯车停靠的时间长度、客梯车开始撤离的时间节点、客梯车撤离完毕的时间节点、以及客梯车撤离的时间长度中的一种或多种。

本实施例中，通过设置图像获取装置10，可以实现在预设时间段内的待测原始图像获取。通过设置作业状态检测装置20，可以实时输出在所述预设时间段内的客梯车作业状态和客梯车作业信息，从而可以实时获知在所述预设时间段内客梯车的作业状态，检测速度快，准确度高。通过设置服务器30，可以实现对客梯车作业状态对应的客梯车作业信息进行及时存储。

以上所述实施例的各技术特征可以进行任意的组合，各方法步骤也并不做执行顺序的限制，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。