遗留物检测的方法、电子设备、计算机可读介质与流程

1.本公开实施例涉及计算机视觉技术领域，特别涉及一种遗留物检测的方法、一种电子设备、一种计算机可读介质。


背景技术：

2.遗留物检测是安全视频监控的一个重要领域，涉及图像处理、模式识别、计算机视觉等多种技术。遗留物检测技术可以应用与银行、机场、车站、商场等各种公共场合，具体可以用于解决公共场合中行李、物品等的遗留、丢失等问题。
3.但是，银行、机场、车站、商场等公共场合人员较为密集且环境复杂，对遗留物检测的准确性提出了严峻的挑战。


技术实现要素：

4.本公开实施例提供一种遗留物检测的方法、一种电子设备、一种计算机可读介质。
5.第一方面，本公开实施例提供一种遗留物检测的方法，包括：
6.基于yolov5算法对原始视频中的行人和物品进行检测，获取所述原始视频的每一帧中行人和物品的坐标；
7.根据所述原始视频的每一帧中行人和物品的坐标，利用sort跟踪器匹配行人和物品的轨迹；
8.根据行人和物品的轨迹，确定物品是否为遗留物。
9.在一些实施例中，根据行人和物品的轨迹，确定物品是否为遗留物，包括：
10.在得到匹配成功的轨迹的情况下，确定物品从属的目标行人；
11.根据物品与其从属的目标行人的位置关系，确定物品是否为遗留物。
12.在一些实施例中，确定物品从属的目标行人，包括：
13.针对任意一个物品，判断所述原始视频中是否存在候选行人，其中，所述候选行人为连续第一数量的帧中与所述物品的距离均小于第一距离阈值的行人；
14.在存在所述候选行人的情况下，将所述候选行人中与所述物品的距离最小的一者确定为所述物品从属的目标行人。
15.在一些实施例中，根据行人和物品的轨迹，确定物品是否为遗留物，还包括：
16.在不存在所述候选行人的情况下，将所述物品确定为遗留物。
17.在一些实施例中，根据物品与其从属的目标行人的位置关系，确定物品是否为遗留物，包括：
18.针对任意一个物品，监听所述物品与其从属的目标行人的距离；
19.在所述物品与其从属的目标行人的距离大于第二距离阈值的情况下，将所述物品确定为遗留物。
20.在一些实施例中，根据物品与其从属的目标行人的位置关系，确定物品是否为遗留物，包括：
21.针对任意一个物品，监听所述物品从属的目标行人是否离开监控范围；
22.在所述物品从属的目标行人离开监控范围的情况下，将所述物品确定为遗留物。
23.在一些实施例中，根据行人和物品的轨迹，确定物品是否为遗留物，包括：
24.在得到未匹配的轨迹的情况下，针对任意一个物品，在连续第二数量的帧中，重新匹配所述物品的轨迹；
25.在重新匹配失败的情况下，将所述物品确定为遗留物。
26.在一些实施例中，根据行人和物品的轨迹，确定物品是否为遗留物，包括：
27.在得到未匹配物品的情况下，在连续第三数量的帧中，匹配所述未匹配物品的轨迹；
28.在匹配所述未匹配物品的轨迹失败的情况下，将所述未匹配物品确定为遗留物。
29.第二方面，本公开实施例提供一种电子设备，包括：
30.一个或多个处理器；
31.存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开实施例第一方面所述的遗留物检测的方法。
32.第三方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开实施例第一方面所述的遗留物检测的方法。
33.本公开实施例提供的遗留物检测的方法中，基于yolov5算法对原始视频中的行人和物品进行检测，提高了对行人和物品检测的准确率和效率，在获取原始视频的每一帧中行人和物品的坐标的基础上，利用sort跟踪器匹配行人和物品的轨迹，有效地将行人和物品与各自的轨迹关联，提升了对行人和物品跟踪的实时性，进而根据行人和物品的轨迹确定物品是否为遗留物，提升了遗留物检测的准确性、实时性，在人员密集、环境复杂的场景中也能获得理想的遗留物检测效果。
附图说明
34.附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。在附图中：
35.图1为本公开实施例中一种遗留物检测的方法的流程图。
36.图2为本公开实施例提供的另一种遗留物检测的方法中部分步骤的流程图。
37.图3为本公开实施例提供的一种电子设备的组成框图。
38.图4为本公开实施例提供的一种计算机可读介质的组成框图。
39.图5为一种遗留物检测的实施例的示意图。
具体实施方式
40.为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的遗留物检测的方法、电子设备、计算机可读介质进行详细描述。
41.在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
42.在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
43.如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
44.本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
45.除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
46.在一些相关技术中，采用双背景差法进行遗留物检测。基于双背景差法的遗留物检测依赖于建立一个较快的背景和一个较慢的背景，根据检测对比区分出展示静止物体，然后对暂时静止物体的静止时间进行判定，从而确定出可疑遗留物。但是，基于双背景差法的遗留物检测在情况复杂的实际场景中的效果并不理想。由于双背景差法没有与人进行关联，对静止的背景依赖很大，容易产生前景误检，限制了采用双背景差法进行遗留物检测的性能的提升。
47.有鉴于此，第一方面，参照图1，本公开实施例提供一种遗留物检测的方法，包括：
48.s1、基于yolov5算法对原始视频中的行人和物品进行检测，获取所述原始视频的每一帧中行人和物品的坐标；
49.s2、根据所述原始视频的每一帧中行人和物品的坐标，利用sort跟踪器匹配行人和物品的轨迹；
50.s3、根据行人和物品的轨迹，确定物品是否为遗留物。
51.在本公开实施例中，yolov5算法是一种基于卷积神经网络的目标检测算法，相比于yolov4算法，在目标检测时具有更高的准确率和速度。
52.在本公开实施例中，sort跟踪器是基于sort算法的跟踪器。sort算法是一种多目标的跟踪算法，sort算法结合了卡尔曼滤波和匈牙利算法，其中，卡尔曼滤波是利用当前时刻的先验值和测量值更新当前时刻的估计值，匈牙利算法将检测框和轨迹进行匹配，能够有效地关联目标和轨迹，提升跟踪的实时性，达到理想的跟踪效果。
53.本公开实施例提供的遗留物检测的方法中，基于yolov5算法对原始视频中的行人和物品进行检测，提高了对行人和物品检测的准确率和效率，在获取原始视频的每一帧中行人和物品的坐标的基础上，利用sort跟踪器匹配行人和物品的轨迹，有效地将行人和物品与各自的轨迹关联，提升了对行人和物品跟踪的实时性，进而根据行人和物品的轨迹确定物品是否为遗留物，提升了遗留物检测的准确性、实时性，在人员密集、环境复杂的场景中也能获得理想的遗留物检测效果。
54.本公开实施例对于如何根据行人和物品的轨迹确定物品是否为遗留物不做特殊限定。
55.在一些实施例中，利用sort跟踪器匹配行人和物品的轨迹，会得到行人和物品匹配成功的轨迹，在此情况下，判断物品与行人的从属关系，即确定物品是属于哪一个行人
(属主)，进一步根据物品与属主的位置关系即可判断物品是否为遗留物。
56.相应地，在一些实施例中，参照图2，根据行人和物品的轨迹，确定物品是否为遗留物，包括：
57.s311、在得到匹配成功的轨迹的情况下，确定物品从属的目标行人；
58.s312、根据物品与其从属的目标行人的位置关系，确定物品是否为遗留物。
59.需要说明的是，在本公开实施例中，物品从属的目标行人就是指该物品的属主，也就是该物品属于该目标行人。
60.本公开实施例对于如何确定物品从属的目标行人不做特殊限定。
61.当一个物品输入目标行人时，该物品的轨迹与目标行人的轨迹应该具有一致性，例如，该物品与目标行人始终保持在一定的距离范围之内，并且在该物品的轨迹与多个行人的轨迹具有一致性的情况下，通常与该物品距离最近的行人为目标行人，故而根据物品与行人的距离特征，能够确定物品的属主，即物品从属的目标行人。
62.相应地，在一些实施例中，确定物品从属的目标行人，包括：针对任意一个物品，判断所述原始视频中是否存在候选行人，其中，所述候选行人为连续第一数量的帧中与所述物品的距离均小于第一距离阈值的行人；在存在所述候选行人的情况下，将所述候选行人中与所述物品的距离最小的一者确定为所述物品从属的目标行人。
63.本公开实施例对第一数量不做特殊限定。在一些实施例中，第一数量为10，连续第一数据的帧为连续的10帧。
64.本公开实施例对第一距离阈值不做特殊限定。在实际应用中，可以根据环境、准确性要求等进行设置。
65.在本公开实施例中，物品可能从检测开始时就是遗留物，也可能是在检测过程中转变成遗留物。本公开实施例对此不做特殊限定。
66.在一些实施例中，若能够确定物品从属的目标行人，即能够确定物品的属主的情况下，只有物品与目标行人的位置关系满足特定条件的情况下，才认为物品转变成遗留物；若无法确定物品从属的目标行人，则认为物品从检测开始是就是遗留物。
67.在一些实施例中，针对任意一个物品，在不存在候选行人，即不存在连续第一数量的帧中与所述物品的距离均小于第一距离阈值的行人的情况下，将该物品确定为遗留物。
68.相应地，在一些实施例中，参照图2，根据行人和物品的轨迹，确定物品是否为遗留物，还包括：
69.s313、在无法确定物品从属的目标行人的情况下，将所述物品确定为遗留物。
70.本公开实施例对于在能够确定物品从属的目标行人的情况下，如何根据物品与其从属的目标行人的位置关系确定物品是否为遗留物不做特殊限定。
71.如上文所述，当一个物品输入目标行人时，该物品的轨迹与目标行人的轨迹应该具有一致性，例如，该物品与目标行人始终保持在一定的距离范围之内。在一些场景中，当该物品与目标行人之间的距离大于一定范围时，则认为该物品为遗留物。
72.相应地，在一些实施例中，根据物品与其从属的目标行人的位置关系，确定物品是否为遗留物，包括：针对任意一个物品，监听所述物品与其从属的目标行人的距离；在所述物品与其从属的目标行人的距离大于第二距离阈值的情况下，将所述物品确定为遗留物。
73.本公开实施例对于第二距离阈值不做特殊限定。在实际应用中，可以根据环境、准
确性要求等进行设置。第二距离阈值与第一距离阈值可以相等，也可以不相等。本公开实施例对此也不做特殊限定。
74.在一些场景中，当目标行人离开监控范围，而物品留在监控范围，则认为该物品为遗留物。
75.相应地，在一些实施例中，根据物品与其从属的目标行人的位置关系，确定物品是否为遗留物，包括：针对任意一个物品，监听所述物品从属的目标行人是否离开监控范围；在所述物品从属的目标行人离开监控范围的情况下，将所述物品确定为遗留物。
76.在一些实施例中，利用sort跟踪器匹配行人和物品的轨迹，会得到行人和物品未匹配成功的轨迹，在此情况下，重新匹配物品的轨迹，若重新匹配成功，则按照步骤s311至s313确定该物品是否为遗留物；若重新匹配失败，则认为该物品为遗留物。
77.相应地，在一些实施例中，参照图2，根据行人和物品的轨迹，确定物品是否为遗留物，包括：
78.s321、在得到未匹配的轨迹的情况下，针对任意一个物品，在连续第二数量的帧中，重新匹配所述物品的轨迹；
79.s322、在重新匹配失败的情况下，将所述物品确定为遗留物。
80.本公开实施例对第二数量不做特殊限定。在一些实施例中，第二数量为10，连续第二数据的帧为连续的10帧。
81.在一些实施例中，利用sort跟踪器匹配行人和物品的轨迹，会得到未匹配物品，在此情况下，重新未匹配物品的轨迹，若匹配成功，则按照步骤s311至s313确定该未匹配物品是否为遗留物；若匹配失败，则认为该未匹配物品为遗留物。
82.相应地，在一些实施例中，参照图2，根据行人和物品的轨迹，确定物品是否为遗留物，包括：
83.s331、在得到未匹配物品的情况下，在连续第三数量的帧中，匹配所述未匹配物品的轨迹；
84.s332、在匹配所述未匹配物品的轨迹失败的情况下，将所述未匹配物品确定为遗留物。
85.本公开实施例对第三数量不做特殊限定。在一些实施例中，第三数量为5，连续第三数据的帧为连续的5帧。
86.在一些实施例中，未匹配物品为检测过程中进入监控范围的新的物品。
87.第二方面，参照图3，本公开实施例提供一种电子设备，其包括：
88.一个或多个处理器101；
89.存储器102，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本公开实施例第一方面所述的遗留物检测的方法；
90.一个或多个i/o接口103，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。
91.其中，处理器101为具有数据处理能力的器件，其包括但不限于中央处理器(cpu)等；存储器102为具有数据存储能力的器件，其包括但不限于随机存取存储器(ram，更具体如sdram、ddr等)、只读存储器(rom)、带电可擦可编程只读存储器(eeprom)、闪存(flash)；i/o接口(读写接口)103连接在处理器101与存储器102间，能实现处理器101与存储器102的
信息交互，其包括但不限于数据总线(bus)等。
92.在一些实施例中，处理器101、存储器102和i/o接口103通过总线104相互连接，进而与计算设备的其它组件连接。
93.第三方面，参照图4，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现本公开实施例第一方面所述的遗留物检测的方法。
94.为了使本领域技术人员能够更清楚地理解本公开实施例提供的技术方案，下面通过具体的实施例，对本公开实施例提供的技术方案进行详细说明：
95.实施例
96.本实施例基于yolov5算法和sort算法进行遗留物检测，可以实现高速、高准确率的遗留物检测，如图5所示，具体包括以下步骤。
97.s401、输入原始视频。
98.s402、通过基于行人和物品的yolov5检测算法得到每帧中的行人和物品的坐标。
99.s403、将得到的行人和物品的坐标，输入到sort跟踪器中，匹配当前帧行人和物品的轨迹。
100.s404、通过sort跟踪器，得到匹配成功的轨迹，执行步骤s405至s412。
101.s405、循环遍历每个行人和物品，判断连续10帧是否超过行人和物品的第一距离阈值。
102.s406、连续10帧行人和物品的距离小于第一距离阈值，选取距离该物品最近的行人，作为该物品的属主，配对成功(即物品找到自己的属主)。
103.s407、监听物品和属主之间的距离是否大于第二距离阈值。
104.s408、如果物品和属主之间的距离大于第二距离阈值，则认为该物品为遗留物。
105.s409、监听属主是否离开摄像头的监控范围。
106.s410、如果属主离开摄像头的监控范围，则认为该物品为遗留物。
107.s411、在匹配成功的轨迹中，如果连续10帧内，物品与行人的距离大于第一距离阈值，则行人和物品配对失败。
108.s412、如果人和物品配对失败，则该物品为遗留物。
109.s413、通过sort跟踪器，得到未匹配的轨迹，执行步骤s414至s415。
110.s414、对于未匹配的轨迹，判断连续10帧，是否重新成功匹配到自己的轨迹。
111.s415、如果该物品重新匹配轨迹失败，则该物品为遗留物；如果重新匹配轨迹成功，执行步骤s405至s412。
112.s416、根据sort跟踪器，得到当前帧未匹配物品，执行步骤s417至s418。
113.s417、判断该未匹配物品连续5帧是否匹配为轨迹。
114.s418、如果该未匹配物品匹配轨迹失败，则该未匹配物品为遗留物；如果匹配轨迹成功，执行步骤s405至s412。
115.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理
器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其它存储器技术、cd-rom、数字多功能盘(dvd)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
116.本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。