一种客运站旅客与行李信息关联方法及装置与流程

本发明涉及数据处理技术领域，尤其涉及一种客运站旅客与行李信息关联方法及装置。

背景技术：

铁路客运站旅客众多，且旅客大都携带有式样各异的行李。围绕旅客携带的行李，铁路客运站主要有两方面的业务需求：一是安全方面，对于客站出现的遗留物，需要甄别遗留物来源，是谁遗留的物体；二是服务旅客方面，针对丢失的行李，需要甄别行李的归属问题，判断是哪位旅客遗失的行李。

目前，现有的行李归属，仅能由人为通过摄像图像对行李进行追溯的方式来确定行李对应的旅客，需要耗费大量的人力和时间，效率低下。

技术实现要素：

由于现有方法存在上述问题，本发明实施例提供一种客运站旅客与行李信息关联方法及装置。

第一方面，本发明实施例提供了一种客运站旅客与行李信息关联方法，包括：

在安检仪处采集旅客拾取行李时的待检测目标图片；

从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息；

从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息；其中，所述人脸数据库包括与各旅客信息一一对应的第二人脸图像。

进一步地，所述在安检仪处获取旅客拾取行李时的待检测目标图片，具体包括：

将从所述安检仪处采集的安检图像输入到预设的拾取图片检测模型中，得到所述待检测目标图片；其中，所述待检测目标图片包含在所述安检图像中，所述拾取图片检测模型为，预先以对待检测目标图片经过标注的安检训练图像为样本进行训练得到的。

进一步地，所述从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息，具体包括：

根据预设的人脸识别模型和行李识别模型分别从所述待检测目标图片中识别出第一人脸图像，以及至少一个手臂图像、至少一个行李图像和各行李图像对应的行李信息；

根据所述各行李图像和各手臂图像的重叠关系，将满足预设行李筛选条件的行李图像的行李信息作为与所述第一人脸图像对应的行李信息。

进一步地，所述行李筛选条件具体为：所述行李图像与手臂图像的重叠度iou超过预设重叠阈值。

进一步地，所述客运站旅客与行李信息关联方法，还包括：

若根据所述人脸识别模型识别出的第一人脸图像的数量超过一个，或者根据所述行李识别模型识别出的手臂图像的数量超过两个，则将所述待检测目标图片丢弃。

进一步地，所述根据预设的行李识别模型识别出各行李图像对应的行李信息，具体包括：

从预设的行李数据库中，根据预设的行李识别模型获取到各行李图像匹配的行李形状和行李颜色；并根据所述行李图像中行李所占居的像素面积获取行李尺寸。

进一步地，所述拾取图片检测模型和行李识别模型为基于vgg16卷积神经网络和faster-rcnn算法构建。

第二方面，本发明实施例提供了一种客运站旅客与行李信息关联装置，包括：

图片获取模块，用于在安检仪处采集旅客拾取行李时的待检测目标图片；

图片识别模块，用于从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息；

数据匹配模块，用于从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息；其中，所述人脸数据库包括与各旅客信息一一对应的第二人脸图像。

第三方面，本发明实施例还提供了一种电子设备，包括：

处理器、存储器、通信接口和通信总线；其中，

所述处理器、存储器、通信接口通过所述通信总线完成相互间的通信；

所述通信接口用于该电子设备的通信设备之间的信息传输；

所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述程序指令能够执行如下方法：

在安检仪处采集旅客拾取行李时的待检测目标图片；

从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息；

从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息；其中，所述人脸数据库包括与各旅客信息一一对应的第二人脸图像。

第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如下方法：

在安检仪处采集旅客拾取行李时的待检测目标图片；

从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息；

从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息；其中，所述人脸数据库包括与各旅客信息一一对应的第二人脸图像。

本发明实施例提供的客运站旅客与行李信息关联方法及装置，通过在安检处采集符合拾取行李动作的待检测目标图片，并从所述待检测目标图片中识别出第一人脸图像和对应的行李信息，再从人脸数据库中找到与第一人脸图像对应的第二人脸图像，从而能够简单快速得将与第二人脸图像对应的旅客信息与所述行李信息进行关联。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的客运站旅客与行李信息关联方法流程图；

图2为本发明实施例的另一客运站旅客与行李信息关联方法流程图；

图3为本发明实施例的客运站旅客与行李信息关联装置结构示意图；

图4示例了一种电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例的客运站旅客与行李信息关联方法流程图，如图1所示，所述方法包括：

步骤s01、在安检仪处采集旅客拾取行李时的待检测目标图片。

在客运站的安检仪旁设置视频采集设备，用于采集行李通过安检仪后各旅客在拾取行李时的图像，作为待检测目标图片。

进一步地，所述步骤s01具体包括：

步骤s011、将从所述安检仪处采集的安检图像输入到预设的拾取图片检测模型中，得到所述待检测目标图片；其中，所述待检测目标图片包含在所述安检图像中，所述拾取图片检测模型为，预先以对待检测目标图片经过标注的安检训练图像为样本进行训练得到的。

对于待检测目标图片的获取方法有很多，例如，可以通过摄像头对每件行李进行跟踪，并且在行李存在向上位移时进行拍摄。而本发明实施例仅给出了其中的一种举例说明。

通过预设的神经网络模型构建拾取图片检测模型，并采集大量安检训练图像作为样本进行训练，所述安检训练图像上标注出符合拾取行李动作的框图。所述拾取行李动作可定义为：旅客的手与行李直接接触，而与旅客的其他姿势和行李的位置无关。

通过视频采集设备实时采集安检仪处的安检图像，并将所述安检图像逐一输入到经过预先训练的拾取图片检测模型中。由所述拾取图片检测模型从输入的安检图像中识别出是否存在检测目标得分高于预设目标得分阈值的框图，例如0.9。若存在，则说明该框图为符合拾取行李动作的正样本，从而提取出该框图对应的图像作为输出，并存储为待检测目标图片；若不存在，则将所述安检图像丢弃。在实际的应用过程中，对于一个安检图像，可获取到多个待检测目标图片，分别保存并设置唯一对应人-物身份标识id。

步骤s02、从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息。

对每个待检测目标图片继续进行识别，以获取所述待检测目标图片中的旅客的第一人脸图像，以及被该旅客拾取的行李的行李信息，从而将所述第一人脸图像与所述行李信息进行关联。

步骤s03、从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息；其中，所述人脸数据库包括与各旅客信息一一对应的第二人脸图像。

在旅客进入客运站时，通过预先设置在入口处的图像采集设备和信息采集设备，获取每个旅客的第二人脸图像和旅客信息，进行关联后存入人脸数据库中。

当从待检测目标图片中识别出第一人脸图像时，将所述第一人脸图像与人脸数据库中的各第二人脸图像进行人脸比对，例如，可采用1：n人脸比对算法，将比对得分高于预设得分阈值，例如0.9，的第二人脸图像，作为与第一人脸图像对应的第二人脸图像。根据人脸数据库中与第二人脸图像关联的旅客信息，以及第一人脸图像关联的行李信息，得到了各旅客信息关联的行李信息。

若得到多个相同的旅客信息与行李信息的配对信息，则删除重复的配对信息。

本发明实施例通过在安检处采集符合拾取行李动作的待检测目标图片，并从所述待检测目标图片中识别出第一人脸图像和对应的行李信息，再从人脸数据库中找到与第一人脸图像对应的第二人脸图像，从而能够简单快速得将与第二人脸图像对应的旅客信息与所述行李信息进行关联。

图2为本发明实施例的另一客运站旅客与行李信息关联方法流程图，如图2所示，所述步骤s02具体包括：

步骤s021、根据预设的人脸识别模型和行李识别模型分别从所述待检测目标图片中识别出第一人脸图像，以及至少一个手臂图像、至少一个行李图像和对应的行李信息。

为了能够从所述待检测目标图片中得到第一人脸图像和对应的行李信息。可先根据实际的需要预先构建人脸识别模型和行李识别模型，并进行训练。所述人脸识别模型可以采用预先获取的人脸识别通用算法构建。

将得到待检测目标图片，分别输入到所述人脸识别模型和行李识别模型中。所述人脸识别模型将输出识别得到的第一人脸图像，进行保存，设置与所述第一人脸图像唯一对应的人脸id，并与待检测目标图片的人-物id进行关联。而所述行李识别模型将输出识别得到的手臂图像和行李图像，以及每个行李图像对应的行李信息，进行保存，分别设置与各手臂图像和各行李图像唯一对应的手臂id和行李id，并与所述待测目标图片的人-物id进行关联。从而对于每个人-物id形成对应人脸id、行李id和手臂id组成的元组。

进一步地，所述客运站旅客与行李信息关联方法，还包括：

若根据所述人脸识别模型识别出的第一人脸图像的数量超过一个，或者根据所述行李识别模型识别出的手臂图像的数量超过两个，则将所述待检测目标图片丢弃。

若所述人脸识别模型没有输出第一人脸图像，则说明所述待检测目标图片中不存在旅客的可识别的脸部图像，无法用于后续的关联操作，可将所述待检测目标图片，以及对应的人-物id等相关信息进行丢弃。

若所述人脸识别模型输出了两个以上的第一人脸图像，则说明所述待检测目标图片中除了拾取行李的旅客外，还包括其它旅客，由于无法准确对旅客进行判断，该待检测目标图片无法用于后续的关联操作，可将所述待检测目标图片，以及对应的人-物id等相关信息进行丢弃。

若所述行李识别模型中输出了三个以上的手臂图像，则说明所述待检测目标图片中除了拾取行李的旅客的手臂外，还包括了其它旅客的手臂，由于法准确对旅客的手臂进行判断，该待检测目标图片无法用于后续的关联操作，可将所述待检测目标图片，以及对应的人-物id等相关信息进行丢弃。

进一步地，所述根据预设的行李识别模型识别出各行李图像对应的行李信息，具体包括：

从预设的行李数据库中，根据预设的行李识别模型获取到各行李图像匹配的行李形状和行李颜色；并根据所述行李图像中行李所占居的像素面积获取行李尺寸。

预先构建行李数据库，所述行李数据库将所有的行李按照形状和颜色两个维度进行分类。所述行李形状包括立方体行李箱形、挎包形、背包形、塑料袋形等，行李颜色包括黑、白、红、黄、蓝、绿等常见的纯色，还包括任意2种或多种纯色的组合，以及其他颜色等。从而将所述行李数据库中的种类分为例如：黑色的立方体行李箱、白色的背包、黑白相间的挎包等。

所述行李识别模型，在从所述待检测目标图片识别出行李图像时，同时还要识别出在行李数据库中与所述行李图像对应的行李种类，从而得到所述行李图像的行李形状和行李颜色。

同时，通过计算所述行李图像中行李所占居的像素面积，与预设的尺寸分类进行比较，例如，可以分为大，中，小三种尺寸，从而得到了所述行李尺寸。

识别得到的行李图像对应的行李信息至少包括：行李形状、行李尺寸和行李颜色。

步骤s022、根据所述各行李图像和各手臂图像的重叠关系，将满足预设行李筛选条件的行李图像的行李信息作为与所述第一人脸图像对应的行李信息。

由于待检测目标图片中可能识别出多个行李图像，因此，需要从中筛选出由第一人脸图像对应的旅客拾取的行李的行李图像，即在从每个人-物id对应的元组中的多个行李id中筛选出正确的行李id。具体的筛选方法有很多，例如，可以通过各个行李图像与第一人脸图像的距离的变动过程等。本发明实施例由通过识别得到的各行李图像和各手臂图像之间的重叠关系来进行筛选，若所述重叠关系满足预设行李筛选条件，则判定对应的行李图像为所述第一人脸图像对应的行李图像，从而在元组中将该行李图像对应的行李id保留；而若所述行李图像与各手臂图像之间的重叠关系均不满足预设的行李行筛选条件，则在元组中将该行李图像对应的行李id剔除。

进一步地，所述行李筛选条件具体为：所述行李图像与手臂图像的重叠度iou超过预设重叠阈值。

所述各行李图像与手臂图像的重叠关系可具体通过计算得到的所述行李图像与手臂图像的重叠度iou来表示。

所述iou为所述行李图像与手臂图像在待检测目标图像上的交集部分面积与并集部分面积的比值。

若所述行李图像与手臂图像的iou大于预设的重叠阈值，例如0.03，则判定所述行李图像与手臂图像的重叠关系满足所述行李筛选条件，从而确定该行李图像的行李信息与所述第一人脸图像相对应。相当于，确定了与第一人脸图像对应的行李形状和行李颜色。

本发明实施例通过预设的人脸识别模型和行李识别模型分别得到第一人脸图像，手臂图像和行李图像，以及行李图像对应的行李信息，再根据手臂图像与行李图像的重叠关系，确定第一人脸图像与行李信息的对应关系，从而通过后续通过第一人脸图像与旅客信息的对应关系，准确得到各旅客信息对应的行李信息。

基于上述实施例，进一步地，所述拾取图片检测模型和行李识别模型基于vgg16卷积神经网络和faster-rcnn算法构建。

在上述实施例中所采用的拾取图片检测模型和行李识别模型的构建方式可以根据实际的需要进行设定。本发明实施例仅以基于vgg16卷积神经网络和faster-rcnn算法为例来进行构建。可采用由iamgenet训练好的vgg16预训练模型进行训练，并固定模型的前2层卷积层网络参数，以提升训练效率。在训练过程中可根据实际的需要设置faster-rcnn模型参数，例如，可设置训练次数为70000次，每5000次输出一次训练模型，将用于训练拾取图片检测模型的安检训练图像归化为1080p分辨率，而将用于训练行李识别模型的待检测目标训练图片归一化为1000*600分辨率。另外，根据实际的需要为各训练完成后的模型设置对应的目标得分阈值，用于检测过程中判断出正样本。

本发明实施例通过基于vgg16卷积神经网络和faster-rcnn算法构建所述拾取图片检测模型和行李识别模型，从而能够更加快速准确对待检测目标图片、第一人脸图像、行李图像、手臂图像进行检测。

图3为本发明实施例的客运站旅客与行李信息关联装置结构示意图，如图3所示，所述装置包括：图片获取模块10、图片识别模块11和数据匹配模块12，其中：

所述图片获取模块10用于在安检仪处采集旅客拾取行李时的待检测目标图片；所述图片识别模块11用于从所述待检测目标图片中识别出第一人脸图像和与所述第一人脸图像对应的行李信息；所述数据匹配模块12用于从预先获取的进站的人脸数据库中，找到与所述第一人脸图像相匹配的第二人脸图像，以确定与所述行李信息对应的旅客信息；其中，所述人脸数据库包括与各旅客信息一一对应的第二人脸图像。具体地：

通过图片获取模块10采集行李通过安检仪后各旅客在拾取行李时的图像，作为待检测目标图片。

进一步地，所述图片获取模块10具体用于：

将从所述安检仪处采集的安检图像输入到预设的拾取图片检测模型中，得到所述待检测目标图片；其中，所述待检测目标图片包含在所述安检图像中，所述拾取图片检测模型为，预先以对待检测目标图片经过标注的安检训练图像为样本进行训练得到的。

图片获取模块10通过预设的神经网络模型构建拾取图片检测模型，并采集大量安检训练图像作为样本进行训练，所述安检训练图像上标注出符合拾取行李动作的框图。所述拾取行李动作可定义为：旅客的手与行李直接接触，而与旅客的其他姿势和行李的位置无关。

通过图片获取模块10实时采集安检仪处的安检图像，并将所述安检图像逐一输入到经过预先训练的拾取图片检测模型中。由所述拾取图片检测模型从输入的安检图像中识别出是否存在检测目标得分高于预设目标得分阈值，的框图。若存在，则说明该框图为符合拾取行李动作的正样本，从而提取出该框图对应的图像作为输出，并存储为待检测目标图片；若不存在，则将所述安检图像丢弃。在实际的应用过程中，对于一个安检图像，可获取到多个待检测目标图片，分别保存并设置唯一对应人-物身份标识id。

图片识别模块11对每个待检测目标图片继续进行识别，以获取所述待检测目标图片中的旅客的第一人脸图像，以及被该旅客拾取的行李的行李信息，从而将所述第一人脸图像与所述行李信息进行关联，并发关给数据匹配模块12。

在旅客进入客运站时，数据匹配模块12通过预先设置在入口处的图像采集设备和信息采集设备，获取每个旅客的第二人脸图像和旅客信息，进行关联后存入人脸数据库中。

当接收到从待检测目标图片中识别出第一人脸图像时，数据匹配模块12将所述第一人脸图像与人脸数据库中的各第二人脸图像进行人脸比对，例如，可采用1：n人脸比对算法，将比对得分高于预设得分阈值，的第二人脸图像，作为与第一人脸图像对应的第二人脸图像。根据人脸数据库中与第二人脸图像关联的旅客信息，以及从图片识别模块11获取到的第一人脸图像关联的行李信息，数据匹配模块12得到了各旅客信息关联的行李信息。

数据匹配模块12若得到多个相同的旅客信息与行李信息的配对信息，则删除重复的配对信息。

本发明实施例提供的装置用于执行上述方法，其功能具体参考上述方法实施例，其具体方法流程在此处不再赘述。

本发明实施例通过在安检处采集符合拾取行李动作的待检测目标图片，并从所述待检测目标图片中识别出第一人脸图像和对应的行李信息，再从人脸数据库中找到与第一人脸图像对应的第二人脸图像，从而能够简单快速得将与第二人脸图像对应的旅客信息与所述行李信息进行关联。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(communicationsinterface)403、存储器(memory)402和通信总线404，其中，处理器401，通信接口403，存储器402通过通信总线404完成相互间的通信。处理器401可以调用存储器402中的逻辑指令，以执行上述方法。

进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。

进一步地，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。

本领域普通技术人员可以理解：此外，上述的存储器402中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。