行李智能跟踪监测方法和系统与流程

1.本发明涉及行李跟踪监测技术领域，具体是指一种行李智能跟踪监测方法和系统。


背景技术：

2.目前常用的民航行李处理系统在托运口由工作人员录入行李条码信息、旅客信息等，但在环线运输过程中，大多只对行李进行单点检测跟踪，且该信息无法和实现记录的行李数据对应起来。一旦出现行李异常，比如行李分拣错误、卡包、丢包等，需要耗费人力成本、时间成本进行问题排查，缺少对行李运输系统中全流程数据的智慧化管理。


技术实现要素：

3.基于以上技术问题，本发明提供了一种智能跟踪监测方法和系统，在实际应用中，可以将行李在各阶段的数据关联起来，形成一条完整的行李数据流，以对行李全流程跟踪监测的实施提供保障。
4.为解决以上技术问题，本发明采用的技术方案如下：一种行李智能跟踪监测方法，包括：构建基础数据库，基础数据库包括多组行李数据，行李数据包括唯一识别编号、条码号、安检信息、图像数据和三维模型；构建跟踪数据库，跟踪数据库包括多组监测数据，监测数据包括视频序列图像和行李状态；将相对应的监测数据和行李数据进行关联。
5.作为一种优选的方式，将相对应的监测数据和行李数据进行关联包括：对基础数据库进行初步筛选获取行李数据的初选集合；提取视频序列图像上的行李图像；将行李图像和初选集合中的图像数据输入深度学习网络识别模型进行匹配识别；若匹配成功，则将与图像数据同组的唯一识别编号存入监测数据中。
6.作为一种优选的方式，对基础数据库进行初步筛选获取行李数据的初选集合包括：提取视频序列图像上的行李三维图像；将行李三维图像和三维模型的外形尺寸进行比对；基于比对结果获取与行李三维图像相似的三维模型集合；基于三维模型集合获得行李数据的初选集合。
7.作为一种优选的方式，获取行李状态的方法包括：获取视频序列图像上的行李数量和行李位置；若行李数量大于一，则基于行李位置获取行李之间的位置差；判断位置差是否大于预设阈值，是则行李状态为正常状态，否则行李状态为异常
状态。
8.作为一种优选的方式，获取行李状态的方法还包括：若行李数量等于一，则行李状态为正常状态。
9.作为一种优选的方式，异常状态包括：当位置差在零和预设阈值范围之间时，异常状态为连包状态；当位置差小于零时，异常状态为叠包状态。
10.作为一种优选的方式，获取视频序列图像上的行李数量和行李位置包括：获取视频序列图像的rgbd深度图像数据；利用3d感知分析算法解析rgbd深度图像数据获得行李数量和行李位置。
11.作为一种优选的方式，监测数据还包括跟踪节点编号和监测时间。
12.同时，本发明还公开了一种行李智能跟踪监测系统，包括：基础数据采集系统，用于构建基础数据库；基础数据库包括多组行李数据，行李数据包括唯一识别编号、条码号、安检信息、图像数据和三维模型；监测数据采集系统，用于构建跟踪数据库；跟踪数据库包括多组监测数据，监测数据包括视频序列图像和行李状态；数据管理系统，用于将相对应的监测数据和行李数据进行关联，数据管理系统与基础数据采集系统和监测数据采集系统通信连接。
13.作为一种优选的方式，基础数据采集系统包括光眼传感器、读码设备、安检设备和视觉信息采集节点，光眼传感器位于行李入口端；监测数据采集系统包括多个布设在输送环线上的跟踪监测采集节点。
14.与现有技术相比，本发明的有益效果是：1、本发明提出在行李运输流程中对行李多维度基础数据、跟踪监测数据等进行关联，实现建立完整的行李运输数据流，以对行李全流程跟踪监测的实施提供保障；2、本发明提出在跟踪监测采集节点对行李数据进行关联，实现行李状态信息的及时更新，便于其他控制系统及时响应；3、本发明提出以关联后的行李运输数据建立行李智能跟踪监测系统，实现用户对行李运输全流程的监管、回溯查询，为行李运输全流程管控提供了保障；4、本发明提出以关联后的行李运输数据建立行李智能跟踪监测系统，实现行李历史数据收集，为大数据分析提供数据基础，具有较大的研究意义。
附图说明
15.本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述，其中：图1为行李智能跟踪监测系统示意图。
16.图2为行李数据和监测数据的关联方法流程示意图。
17.图3为获取行李状态方法流程示意图。
18.图4为行李跟踪监测系统各设备在输送环线上的布设示意图。
具体实施方式
19.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
20.图1和图4为一些实施例中所述行李智能跟踪监测方法的应用环境示意图，参阅图1，该应用环境涉及基础数据采集系统、监测数据采集系统和数据管理系统，数据管理系统与基础数据采集系统和监测数据采集系统通信连接。此外，对于数据管理系统而言，除配备数对据储存分析的服务器之外，一般还会配备用户终端方便操作人员对数据进行查询、修改等操作。其中，用户终端包括台式终端和移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一个。服务器可以用独立的服务器或者由多个服务器组成的服务器集群来实现。
21.参阅图4，具体的，对于基础数据采集系统基本由光眼传感器、读码设备、安检设备和视觉信息采集节点构成。
22.参阅图4，具体的，数据管理系统基本由多个布设在输送环线上的跟踪监测采集节点构成。
23.在一些实施例中，一种行李智能跟踪监测方法包括：构建基础数据库，基础数据库包括多组行李数据，行李数据包括唯一识别编号、条码号、安检信息、图像数据和三维模型；构建跟踪数据库，跟踪数据库包括多组监测数据，监测数据包括视频序列图像和行李状态；将相对应的监测数据和行李数据进行关联。
24.其中，唯一识别编号通过光眼传感器进行分配，将光眼传感器安装在行李入口端，当行李从光眼传感器前经过时，光眼传感器为行李分配唯一识别编号，用于作为监测行李的索引。
25.后续行李经过读码设备、安检设备和视觉信息采集节点分别获得条码号、安检信息和图像数据和三维模型存入行李数据中，由此获得一组行李数据。
26.其中，视觉信息采集节点包括至少三台深度相机和边缘计算板，三维扫描设备对行李箱进行三维建模。多相机从不同视角对行李进行视觉测量，每个相机都只能获得行李一部分几何信息。因此，为了获得被测物体的完整三维信息，就需要将不同视角即不同参考坐标下的两组或者多组点云变换到同一坐标系下。根据设备标定结果，可以直接将多视角点云变换到统一坐标系中，但此时得到的点云在空间中杂乱分布，物体的表面不明显。
27.对点云配准后的结果进行数据融合，能提高图像三维模型重建的精度。将经点云配准后的数据空间划分为若干细小矩形，称其为体素。将体素附加上有效距离场（sdf），有效距离场的值为体素到模型表面的最短距离，有效距离场值越接近零，证明体素与重建的图像三维模型表面的距离越接近，若该距离大于零，证明体素位于重建模型表面的前方，反之，位于重建模型的后方。采用tsdf（truncated signed distance field ，阶段符合距离场）算法，存储距真实表面较近的数层体素，以降低内存消耗和冗余点，增大三维模型的重建范围。tsdf 算法用立体网格表示物体的三维空间，其公式为：
其中，d表示体素的融合tsdf值， d表示体素当前帧的tsdf值，w表示融合权重值，w表示当前帧权重值，(x, y, z)表示体素在全局坐标系下的坐标，i表示当前帧，i
‑
1表示上一帧。
28.通过上述公式便可将新的帧融合进融合帧内，在tsdg算法中，如果当前帧是第一帧，则第一帧即是融合结果，否则需要当前帧与之前的融合结果再进行融合。
29.对数据实施融合操作。tsdf算法通过最小二乘法对三维模型进行优化，扩大了三维模型的重建范围，点云融合过程中也采用了权重，对点云数据的降噪性能较强。
30.图像三维模型重建中表面生成的目的是建立物体的可视等值面，对原始灰度数据的处理采用体素级重建算法。体素级重建算法即移动立方体法，将处于点云数据中心的8个数据置于立方体的8个顶点上，对处于同一条棱上的两个数据点，若存在一个数据大于给定常数t，另一个数据小于给定常数t，说明该立方体上的这条棱上一定存在等值面的一个点，计算立方体上12条棱与等值面的交点，对三角面进行构建。将该立方体构建的所有三角面相连构成等值面，合并立方体的所有等值面得到完整的三维表面。表面重构是对图像进行处理操作后将得到图像进行配准操作的过程，能够得到完整的、将不同视角图像融合在一起的点云模型。使用三角面构建物体三维模型的方法称为三角网格，在对图像三维模型进行重建时，对复杂物体表面模型重建的效果良好，且属性简单，物体表面易于渲染。
31.优选的，监测数据还包括跟踪节点编号和监测时间。跟踪节点编号和监测时间可以提供更加全面的跟踪监测信息，其中，跟踪节点编号是根据监测数据采集系统中的跟踪监测采集节点的位置确定的，通过跟踪节点编号便可快速确定监测位置。通过以上信息，方便在后续行李发生异常时，快速对其异常位置、异常时间区间进行定位。
32.参阅图2，在一些实施例中，将相对应的监测数据和行李数据进行关联包括：对基础数据库进行初步筛选获取行李数据的初选集合；提取视频序列图像上的行李图像；将行李图像和初选集合中的图像数据输入深度学习网络识别模型进行匹配识别；若匹配成功，则将与图像数据同组的唯一识别编号存入监测数据中。
33.在本实施例中，利用行李图像的图像特征进行初筛选后目标的识别，具体采用深度学习网络识别模型，对行李图像和图像数据进行目标重识别。通过收集大量在传送带上的行李图片，训练适应于当前场景的efficientnets模型，根据初筛选后的候选图像数据更新待查询特征库，输入当前行李图像，然后计算待查询特征库中各候选图像数据特征和当前行李图像特征的相似度，满足设定阈值便认为识别到该目标图像数据。
34.识别到与行李图像匹配的图像数据后，将与图像数据同组的行李数据中的唯一识别编号存入监测数据中，便将行李数据和监测数据通过唯一识别编号关联在一起。
35.采用深度学习网络识别模型对行李图像和图像数据进行识别匹配的优势在于，在行李输送过程中，行李并不是会保持一个稳定状态，在分拣等过程中，行李位置、摆放均可
能发生变动。如果采用现有的标签跟踪的方式，第一标签可能会遮挡、脱落，识别率不高，不能很好的起到跟踪监测的效果，第二标签仅能提供行李经过跟踪监测节点的信息，不能提供更全面的跟踪监测数据，比如此刻行李所呈状态等，不利于行李异常状态的排除。
36.优选的，对基础数据库进行初步筛选获取行李数据的初选集合包括：提取视频序列图像上的行李三维图像；将行李三维图像和三维模型的外形尺寸进行比对；基于比对结果获取与行李三维图像相似的三维模型集合；基于三维模型集合获得行李数据的初选集合。
37.由于不同行李之间其外形尺寸可能存在较大差异，比如行李箱与背包在外形方面存在较大差异，比如20寸行李箱和24寸行李箱在尺寸方面存在较大差异。为此，利用外形尺寸特征可对基础数据库中的行李数据进行快速筛选，将与视频序列图像上的行李三维图像相似的三维模型汇总，从而利用三维模型获取符合初步筛选的行李数据集合。
38.以此缩小视频序列图像上行李与行李数据的匹配识别范围，提高匹配识别速度。
39.参阅图3，在一些实施例中，获取行李状态的方法包括：获取视频序列图像上的行李数量和行李位置；若行李数量大于一，则基于行李位置获取行李之间的位置差；判断位置差是否大于预设阈值，是则行李状态为正常状态，否则行李状态为异常状态。
40.优选的，获取行李状态的方法还包括：若行李数量等于一，则行李状态为正常状态。
41.优选的，异常状态包括：当位置差在零和预设阈值范围之间时，异常状态为连包状态；当位置差小于零时，异常状态为叠包状态。
42.在本实施例中，当相邻行李之间的位置差距离小于预设阈值时，自动分拣系统会将离得较近的行李认为是一件行李，分拣到同一条分拣线上，如果两个行李属于不同的航班，则会造成误分拣，导致乘客无法及时取回行李。
43.行李状态跟踪监测通过对连包状态、叠包状态这些异常状态的监测，实时上报行李状态至跟踪数据库，该跟踪数据库信息会和行李运输系统的其他控制系统共享，或进行异常报警通知其他控制系统，将该组相邻行李推到人工分拣线（采用人工干预的方式完成对呈异常状态的行李的分拣，避免出现异常状态导致的分拣错误）。
44.具体的，预设阈值代表的是安全分拣距离，在实际分拣过程中，预设阈值参数一般为20cm。
45.优选的，获取视频序列图像上的行李数量和行李位置包括：获取视频序列图像的rgbd深度图像数据；利用3d感知分析算法解析rgbd深度图像数据获得行李数量和行李位置。
46.在本实施例中，整个行李状态的获取流程是，在视频序列图像中，分为三种情形，无行李，有一个行李或多个行李。其中，若只有一个行李，不会出现异常状态，行李的行李状态只会是正常状态。在多个行李的情形中，行李状态由行李位置差决定。若位置差大于预设值，行李状态变为正常状态，否则行李状态为异常状态。
47.其中，为了完成上述行李状态判断，我们首先需要获取传送机构上的行李信息，包
括行李的数量和位置。此处，我们采用3d感知分析算法，3d感知技术是机器视觉的重要核心，其在人机交互、环境识别、自动驾驶、机器人导航、无人机控制等领域有着广泛应用。由此，我们可以利用3d感知分析算法对传送机构上的行李进行识别。
48.参阅图1，本发明还公开了一种行李智能跟踪监测系统，包括：基础数据采集系统，用于构建基础数据库；基础数据库包括多组行李数据，行李数据包括唯一识别编号、条码号、安检信息、图像数据和三维模型；监测数据采集系统，用于构建跟踪数据库；跟踪数据库包括多组监测数据，监测数据包括视频序列图像和行李状态；数据管理系统，用于将相对应的监测数据和行李数据进行关联，数据管理系统与基础数据采集系统和监测数据采集系统通信连接。
49.在本实施例中，提出对民航行李在运输过程中的多维度数据进行关联，使用行李数据管理系统对数据进行管理，该行李信息管理系统支持行李信息查询，如支持以行李条码信息，查询行李的安检信息，以及行李在运输过程中各个跟踪监测节点的状态、视频序列等，便于工作人员对行李进行回溯稽查等操作。
50.参阅图4，在一些实施例中，基础数据采集系统包括光眼传感器、读码设备、安检设备和视觉信息采集节点，光眼传感器位于行李入口端；监测数据采集系统包括多个布设在输送环线上的跟踪监测采集节点。
51.具体的，视觉信息采集节点包括至少三台深度相机和边缘计算板；跟踪监测采集节点包括一台深度相机和边缘计算板。
52.具体的，读码设备为rfid读码设备或ocr读码设备。
53.如上即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明的验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。