行李箱识别方法、电子设备和存储介质与流程

本申请涉及目标检测技术领域，尤其涉及一种行李箱识别方法、电子设备和存储介质。

背景技术：

在行李托运时，例如民航进行行李托运时，需要对传送带上的行李进行追踪识别，以确定将各个行李传送至合适的航班进行托运，以避免行李的丢失。

目前，常采用二维图像识别技术来进行行李追踪识别。而由于在传输过程中，不同时刻同一行李的位置、角度、光线及背景等外部条件均可能会发生改变，使得二维图像识别技术无法准确地追踪到每件行李，可能会导致行李丢失，给客户造成不良的体验效果。

技术实现要素：

本申请提供了一种行李箱识别方法、电子设备和存储介质，旨在提高目标行李箱传输过程中识别的准确率，以防止行李箱丢失，提高客户体验效果。

第一方面，本申请实施例提供了一种行李箱识别方法，包括：

获取目标行李箱的第一点云数据；

根据所述第一点云数据和各个第二点云数据，确定所述目标行李箱的三维数据模型，所述第二点云数据为各种预设类别行李箱的三维点云数据；

将所述目标行李箱的三维数据模型和各预设类别行李箱的三维数据模型进行对比，识别所述目标行李箱。

第二方面，本申请实施例提供了一种电子设备，包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如上述第一方面所述的行李箱识别方法。

第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述第一方面所述的行李箱识别方法。

本申请实施例提供了一种行李箱识别方法、电子设备和存储介质，通过获取目标行李箱的第一点云数据；根据目标行李箱的第一点云数据，计算目标行李箱的三维数据模型；进而实现将目标行李箱的三维数据模型和各预设类别行李箱的三维数据模型进行对比，识别目标行李箱。弥补二维图像识别技术在部分条件下无法准确识别行李箱的弱点。以提高对目标行李箱的识别效果，有效防止行李箱在传输过程中丢失，提高用户体验效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例的公开内容。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的行李箱识别方法的应用场景示意图；

图2是本申请实施例提供的行李识别方法的实现流程示意图；

图3是图2中s201的具体实现流程示意图；

图4是本申请实施例提供的行李箱识别装置的示意性框图；

图5是本申请实施例提供的电子设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

请参阅图1，图1是本申请实施例提供的行李箱识别方法的应用场景示意图。如图1所示，在本实施例中，行李箱识别方法可应用于行李识别系统100。其中，行李识别系统100包括电子设备101和相机102；电子设备101和相机102通讯连接，电子设备101可以包括终端设备或服务器；其中，终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；服务器可以为独立的服务器，也可以为服务器集群。

在本实施例中，电子设备101用于获取目标行李箱的第一点云数据，并根据第一点云数据和各种预设类别行李箱的三维点云数据，确定目标行李箱的三维数据模型，进而根据目标行李箱的三维数据模型，识别目标行李箱。以提高对目标行李箱的识别效果，有效防止行李箱在传输过程中丢失，提高用户体验效果。

其中，目标行李箱的第一点云数据，由相机102采集的场景深度信息和预设的背景深度信息进行确定。在本实施例中，相机102用于采集行李跟踪区域内的场景深度信息，以使电子设备101根据相机102采集的行李跟踪区域内的场景深度信息和预设的背景深度信息，确定目标行李箱的前景深度信息，进而根据相机102的标定参数和目标行李箱的前景深度信息，确定目标行李箱的第一点云数据。通过从场景深度信息中剔除背景深度信息来得到目标行李箱的前景深度信息，进而根据相机标定参数和目标行李箱的前景深度信息，来得到准确性高的目标行李箱的第一点云数据。

请参阅图2所示，图2是本申请实施例提供的行李识别方法的实现流程示意图。本实施例提供的行李识别方法可由图1实施例中所示的电子设备101的硬件或软件执行实现。详述如下：

s201，获取目标行李箱的第一点云数据。

具体地，在本实施例中，目标行李箱为行李跟踪区域内的行李箱，电子设备获取行李跟踪区域内的目标行李箱的第一点云数据。示例性地，电子设备通过预先标定完成的相机，采集行李跟踪区域内的场景深度信息，进而从场景深度信息中剔除预设的背景深度信息，得到准确地目标行李的前景深度信息，在得到准确的前景深度信息之后，可以根据相机参数将前景深度信息转换为目标行李箱的第一点云数据。以实现快速准确地获取目标行李箱的第一点云数据。

示例性地，如图3所示，图3是图2中s201的具体实现流程图。由图3可知，s201包括s2011至s2013。详述如下：

s2011，通过预先标定完成的相机，采集行李跟踪区域内的场景深度信息。

示例性地，在本实施例中，可以采用传统相机标定法、主动视觉相机标定法或相机自标定法中的任意一种相机标定法对相机预先进行标定。标定完成之后，通过该相机采集行李跟踪区域内的场景深度信息。其中，行李跟踪区域可以预先进行设置，例如，行李跟踪区域为行李传送带的特定区域；场景深度信息包括背景深度信息和前景深度信息。在行李跟踪区域，背景深度信息为固定的，前景深度信息为行李传送带上的物体深度信息。例如，如果行李传送带上正在进行行李传送，则前景深度信息为正在传送行李的深度信息。

s2012，根据预设的背景深度信息与所述场景深度信息，确定所述目标行李箱的前景深度信息。

其中，根据预设的背景深度信息与场景深度信息，确定目标行李箱的前景深度信息，包括：计算场景深度信息和背景深度信息之间的深度差，得到目标行李箱的前景深度信息。

在本实施例中，通过计算场景深度信息和背景深度信息之间的深度差，从场景深度信息中剔除背景深度信息，可以得到较为准确地前景深度信息。由于在行李传送带上，除了正在传送的目标行李箱之外，正常情况下不可能出现别的前景对象。因此，从场景深度信息中剔除背景深度信息，即可得到目标行李箱的前景深度信息。

s2013，基于相机的标定参数和所述前景深度信息，确定所述第一点云数据。

其中，相机的标定参数包括相机内参和外参。基于相机的标定参数和所述前景深度信息，确定所述第一点云数据，可以包括：基于相机内参和外参，确定前景深度信息中各点与行李箱上对应点的三维几何位置之间的坐标转换关系；根据坐标转换关系，将前景深度信息中的各点投射为对应的三维点云数据，得到第一点云数据。

在目标行李箱传送过程中，当目标行李箱经过行李跟踪区域的跟踪监测节点(对应相机采集数据的点)时，相机获取当前场景深度图，电子设备将当前场景深度图与预设的背景深度图(预先采集的背景深度图)进行比较，得到目标行李箱的前景深度信息；然后，根据相机标定结果计算出前景深度信息对应的三维点云数据，即可得到目标行李箱的第一点云数据。其中，根据相机标定结果计算出前景深度信息对应的三维点云数据中通常包含有离群点的数据，在本实施例中，可以对三维点云数据中的离群点数据进行剔除。得到目标行李箱更集中准确的第一点云数据。

s202，根据所述第一点云数据和各个第二点云数据，确定所述目标行李箱的三维数据模型，所述第二点云数据为各种预设类别行李箱的三维点云数据。

其中，根据所述第一点云数据和各个第二点云数据，确定所述目标行李箱的三维数据模型，包括：对第一点云数据进行降采样，得到第一点云数据的第一关键特征点；分别对各个第二点云数据进行降采样，得到各个第二点云数据各自对应的第二关键特征点；根据第一关键特征点和各个第二关键特征点，确定目标行李箱的三维数据模型。

可选地，根据所述第一关键特征点和各个所述第二关键特征点，确定所述目标行李箱的三维数据模型，可以包括：确定第一关键特征点的第一方向直方图和各个第二关键特征点的第二方向直方图；基于预设的搜索匹配算法，将第一方向直方图和各个第二方向直方图分别进行匹配，基于匹配结果确定目标行李箱的三维数据模型。

其中，基于预设的搜索匹配算法，将第一方向直方图和各个第二方向直方图分别进行匹配，基于匹配结果确定目标行李箱的三维数据模型，可以包括：基于多维空间分割树匹配算法，分别将第一方向直方图中的点与各个第二方向直方图中的点进行匹配，得到对应的匹配点对；分别确定各个匹配点对的相似性，根据各个匹配点对的相似性确定目标行李箱的三维数据模型。

在本实施例中，首先对第一点云数据和各种预设类别行李箱的三维点云数据提取关键点，示例性地，为了提高关键点提取速度，可以具体采用基于体素降采样算法对第一点云数据和各种预设类别行李箱的三维点云数据分别进行降采样处理，以对第一点云数据降采样后的点作为第一关键特征点，以对各自预设类别行李箱的三维点云数据分别进行降采样处理之后的点作为各个第二关键特征点。然后，分别确定第一关键特征点的第一方向直方图和各个第二关键特征点的第二方向直方图，利用方向直方图分别描述第一关键特征点和第二关键特征点，基于预设的搜索匹配算法，将第一方向直方图和各个第二方向直方图分别进行匹配，基于匹配结果确定目标行李箱的三维数据模型。

其中，以第一方向直方图的构建过程为例，对方向直方图的构建过程进行示例性地说明。在本实施例中，以预设的任意第一关键特征点为查询点p，以查询点p为中心构造半径为r的球形区域，沿球形区域的径向、方位、俯仰3个方向划分网格；具体地，沿不同的方向划分网格的次数可以相同也可以不同，且沿任意方向划分网格的次数可以预先设置。例如，可以沿径向划分2次，沿方位划分8次，沿俯仰划分2次划分网格，将球形区域划分成32个空间区域。在每个空间区域计算落入该区域点的法线nv和中心点p法线np之间的夹角余弦cosθ＝nv·np，再根据计算的余弦值对落入每一个空间区域的点数进行直方图统计，对统计结果进行归一化之后，使得对点云密度具有鲁棒性。并在各个第一关键特征点处建立局部坐标系，将各个第一关键特征点的邻域点的空间位置信息和几何特征统计信息结合起来描述该第一关键特征点，得到对应的第一直方图。

此外，预设的搜索匹配算法可以为例如kd-tree算法，其可以对k维空间中的实例点进行存储以便对其进行快速检索。在本实施例中，基于kd-tree算法分别将第一方向直方图中的点与各个第二方向直方图中的点进行匹配，得到对应的匹配点对之后，分别确定各个匹配点对的相似性，根据各个匹配点对的相似性确定目标行李箱的三维数据模型，以实现快速从预设类别行李箱的三维点云数据中匹配出目标行李箱的三维数据模型，提高确定目标行李箱的三维数据模型的效率。

s203，将所述目标行李箱的三维数据模型和各预设类别行李箱的三维数据模型进行对比，识别所述目标行李箱。

在本实施例中，预先设置有行李箱的三维数据模型与行李箱类别之间的对应关系，当确定了目标行李箱的三维数据模型之后，可以根据目标行李箱的三维数据模型，从预先设置的对应关系中匹配出目标行李箱的类别，完成对目标行李箱的识别。

通过上述分析可知，本申请实施例提供的行李箱识别方法，通过获取目标行李箱的第一点云数据；根据目标行李箱的第一点云数据，计算目标行李箱的三维数据模型；进而实现根据目标行李箱的三维数据模型和各预设类别行李箱的三维数据模型进行对比，识别目标行李箱。弥补二维图像识别技术在部分条件下无法准确识别行李箱的弱点，以提高对目标行李箱的识别效果，有效防止行李箱在传输过程中丢失，提高用户体验效果。

请参阅图4所示，图4是本申请实施例提供的行李箱识别装置的示意性框图。如图4所示，本申请实施例提供的行李箱识别装置400包括：

获取模块401，用于获取目标行李箱的第一点云数据；

确定模块402，用于根据所述第一点云数据和各个第二点云数据，确定所述目标行李箱的三维数据模型，所述第二点云数据为各种预设类别行李箱的三维点云数据；

识别模块403，用于将所述目标行李箱的三维数据模型和各预设类别行李的三维数据模型进行对比，识别所述目标行李箱。

在一实施例中，获取模块401，包括：

采集单元，用于通过预先标定完成的相机，采集行李跟踪区域内的场景深度信息；

第一确定单元，用于根据预设的背景深度信息与所述场景深度信息，确定所述目标行李箱的前景深度信息；

第二确定单元，用于基于相机的标定参数和所述前景深度信息，确定所述第一点云数据。

在一实施例中，确定模块402，包括：

第一得到单元，用于对所述第一点云数据进行降采样，得到所述第一点云数据的第一关键特征点；

第二得到单元，用于分别对各个所述第二点云数据进行降采样，得到各个所述第二点云数据各自对应的第二关键特征点；

第三确定单元，用于根据所述第一关键特征点和各个所述第二关键特征点，确定所述目标行李箱的三维数据模型。

在一实施例中，所述根据所述第一关键特征点和各个所述第二关键特征点，确定所述目标行李箱的三维数据模型，包括：

确定所述第一关键特征点的第一方向直方图和各个所述第二关键特征点的第二方向直方图；

基于预设的搜索匹配算法，将所述第一方向直方图和各个所述第二方向直方图分别进行匹配，基于匹配结果确定所述目标行李箱的三维数据模型。

在一实施例中，所述基于预设的搜索匹配算法，将所述第一方向直方图和各个所述第二方向直方图分别进行匹配，基于匹配结果确定所述目标行李箱的三维数据模型，包括：

基于多维空间分割树匹配算法，分别将所述第一方向直方图中的点与各个所述第二方向直方图中的点进行匹配，得到对应的匹配点对；

分别确定各个匹配点对的相似性，根据各个匹配点对的相似性确定所述目标行李箱的三维数据模型。

在一实施例中，第一确定单元，具体用于：

计算所述场景深度信息和所述背景深度信息之间的深度差，得到所述目标行李箱的前景深度信息。

在一实施例中，所述相机的标定参数包括相机内参和外参。

在一实施例中，第二确定单元，具体用于：

基于所述相机内参和外参，确定所述前景深度信息中各点与行李箱上对应点的三维几何位置之间的坐标转换关系；

根据所述坐标转换关系，将所述前景深度信息中的各点投射为对应的三维点云数据，得到所述第一点云数据。

本申请实施例提供的行李箱识别装置的各模块的具体原理和实现方式均与前述实施例的行李箱识别方法类似，此处不再赘述。

请结合上述实施例参阅图5，图5是本申请实施例提供的电子设备的示意性框图。

示例性的，电子设备101可以包括终端设备或服务器；其中，终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；服务器可以为独立的服务器，也可以为服务器集群。

所述电子设备101包括处理器501和存储器502。

示例性的，处理器501和存储器502通过总线503连接，所述总线503比如为i2c(inter-integratedcircuit)总线。

具体地，处理器501可以是微控制单元(micro-controllerunit，mcu)、中央处理单元(centralprocessingunit，cpu)或数字信号处理器(digitalsignalprocessor，dsp)等。

具体地，存储器502可以是flash芯片、只读存储器(rom，read-onlymemory)磁盘、光盘、u盘或移动硬盘等。

其中，所述处理器501用于运行存储在存储器502中的计算机程序，并在执行所述计算机程序时实现前述的目标检测方法。

示例性的，所述处理器501用于运行存储在存储器502中的计算机程序，并在执行所述计算机程序时实现如下步骤：

获取目标行李箱的第一点云数据；

根据所述第一点云数据和各个第二点云数据，确定所述目标行李箱的三维数据模型，所述第二点云数据为各种预设类别行李箱的三维点云数据；

将所述目标行李箱的三维数据模型和各预设类别行李箱的三维数据模型进行对比，识别所述目标行李箱。

在一实施例中，所述获取目标行李箱的第一点云数据，包括：

通过预先标定完成的相机，采集行李跟踪区域内的场景深度信息；

根据预设的背景深度信息与所述场景深度信息，确定所述目标行李箱的前景深度信息；

基于相机的标定参数和所述前景深度信息，确定所述第一点云数据。

在一实施例中，所述根据所述第一点云数据和各个第二点云数据，确定所述目标行李箱的三维数据模型，包括：

对所述第一点云数据进行降采样，得到所述第一点云数据的第一关键特征点；

分别对各个所述第二点云数据进行降采样，得到各个所述第二点云数据各自对应的第二关键特征点；

根据所述第一关键特征点和各个所述第二关键特征点，确定所述目标行李箱的三维数据模型。

在一实施例中，所述根据所述第一关键特征点和各个所述第二关键特征点，确定所述目标行李箱的三维数据模型，包括：

确定所述第一关键特征点的第一方向直方图和各个所述第二关键特征点的第二方向直方图；

基于预设的搜索匹配算法，将所述第一方向直方图和各个所述第二方向直方图分别进行匹配，基于匹配结果确定所述目标行李箱的三维数据模型。

在一实施例中，所述基于预设的搜索匹配算法，将所述第一方向直方图和各个所述第二方向直方图分别进行匹配，基于匹配结果确定所述目标行李箱的三维数据模型，包括：

基于多维空间分割树匹配算法，分别将所述第一方向直方图中的点与各个所述第二方向直方图中的点进行匹配，得到对应的匹配点对；

分别确定各个匹配点对的相似性，根据各个匹配点对的相似性确定所述目标行李箱的三维数据模型。

在一实施例中，所述根据预设的背景深度信息与所述场景深度信息，确定所述目标行李箱的前景深度信息，包括：

计算所述场景深度信息和所述背景深度信息之间的深度差，得到所述目标行李箱的前景深度信息。

在一实施例中，所述相机的标定参数包括相机内参和外参。

在一实施例中，所述基于相机的标定参数和所述前景深度信息，确定所述第一点云数据，包括：

基于所述相机内参和外参，确定所述前景深度信息中各点与行李箱上对应点的三维几何位置之间的坐标转换关系；

根据所述坐标转换关系，将所述前景深度信息中的各点投射为对应的三维点云数据，得到所述第一点云数据。

本申请实施例提供的电子设备的具体原理和实现方式均与前述实施例的行李箱识别方法类似，此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述实施例提供的行李箱识别方法的步骤。

其中，所述计算机可读存储介质可以是前述任一实施例所述的电子设备的内部存储单元，例如所述电子设备的硬盘或内存。所述计算机可读存储介质也可以是所述电子设备的外部存储设备，例如所述电子设备上配备的插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)等。

应当理解，在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。

还应当理解，在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。