基于AI模型的徘徊人员检测方法、边缘设备和存储介质与流程

本申请涉及计算机，尤其涉及一种基于ai模型的徘徊人员检测方法、边缘设备和存储介质。

背景技术：

1、行人徘徊指某个人长时间闲逛、逗留于特定区域，通过行人徘徊检测，可以判别嫌疑人员进行报警，来取代传统人力监控值守。行人徘徊检测目前主要应用于公共场所的安防监控以及商业场所的行为分析领域。随着人工智能技术的不断发展及智能监控系统的推送，行人徘徊检测的应用场景将会逐渐增加，其重要性也会日益提高。

2、现有技术中徘徊检测主要是：首先跟踪监控场景中的单个目标，记录该目标的行进轨迹，随后根据该目标的轨迹长度或存在时间，判断其是否存在徘徊行为。然而现有的徘徊检测技术只能对监控区域中单个目标单次的逗留时间或轨迹长度进行记录，而对同一个人多次进入监控区域的情况无法进行有效甄别，故会造成对某些多次进入目标区域且构成徘徊行为的目标人员进行漏检的情况。

3、因此，有必要针对上述问题提供一种解决方法。

技术实现思路

1、本申请提供了一种基于ai模型的徘徊人员检测方法、边缘设备、存储介质。

2、第一方面，本申请实施例提供了一种基于ai模型的徘徊人员检测方法，包括：

3、获取摄像头在roi区域采集的视频帧序列，所述视频帧序列中包括若干基于时间顺序排列的视频帧图像；

4、启动预先存储的徘徊检测应用对所述视频帧序列进行处理，其中，所述预先存储的徘徊检测应用包括至少一个ai模型及协同配置信息；所述徘徊检测应用用于实现包括如下步骤a～c：

5、步骤a：基于所述视频帧序列对行人进行目标跟踪以获取所述行人的跟踪结果，其中，所述跟踪结果包括所述行人在所述roi区域的滞留时间；

6、步骤b：用于在所述目标跟踪过程中，对跟踪到的行人对应的任一所述视频帧图像进行特征提取以获取行人特征信息，其中，所述行人特征信息与所述滞留时间具有唯一映射关系，所述行人特征信息与所述滞留时间为对所述行人进行目标跟踪的跟踪结果，所述行人特征信息包括人脸特征向量；

7、步骤c：将跟踪记录库中的跟踪结果进行聚类以输出至少一个聚类簇，其中，每一所述聚类簇内为同一行人特征信息对应的跟踪结果的聚合，不同的聚类簇为不同的行人特征信息对应的的跟踪结果的聚合，所述跟踪记录库包括从历史视频帧序列中获得的跟踪结果、及从所述视频帧序列中获得的所述跟踪结果；

8、读取所述至少一个聚类簇内包含的所述跟踪结果的数量值，并读取所述聚类簇内每一所述跟踪结果包含的滞留时间进行累计以获得累计滞留时间；当所述数量值大于或等于第一阈值和/或所述累计滞留时间大于或等于第二阈值时，将对应的行人特征信息对应的行人确定为徘徊人员。

9、第二方面，本申请实施例提供了一种边缘设备，包括存储器和处理器；

10、所述存储器用于存储计算机程序；

11、所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如上第一方面所述的基于ai模型的徘徊人员检测方法的步骤。

12、第三方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上第一方面所述的基于ai模型的徘徊人员检测方法的步骤。

13、本申请实施例提供了一种基于ai模型的徘徊人员检测方法、边缘设备、存储介质，该方法通过预先训练好的模型来执行徘徊检测应用，提高了徘徊检测的实时性，且通过聚类模型对同一行人的跟踪结果进行集合，使得本方法可以从滞留时间和进入次数双维度对徘徊检测进行认定，不仅提高了徘徊检测的准确度，同时也避免了对某些多次进入目标区域且构成徘徊行为的目标人员进行漏检的情况。

14、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例的公开内容。

技术特征：

1.一种基于ai模型的徘徊人员检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述至少一个ai模型包括：目标跟踪模型，用于基于所述视频帧序列对行人进行目标跟踪以获取所述行人的跟踪结果，其中，所述跟踪结果包括所述行人在所述roi区域的滞留时间；特征提取模型，用于在所述目标跟踪过程中，对跟踪到的行人对应的任一所述视频帧图像进行特征提取以获取行人特征信息，其中，所述行人特征信息与所述滞留时间具有唯一映射关系，所述行人特征信息与所述滞留时间为对所述行人进行目标跟踪的跟踪结果，所述行人特征信息包括人脸特征向量；聚类模型，用于将跟踪记录库中的跟踪结果进行聚类以输出至少一个聚类簇，其中，每一所述聚类簇内为同一行人的跟踪结果的聚合，不同的聚类簇为不同的行人的跟踪结果的聚合，所述跟踪记录库包括从历史视频帧序列中获得的跟踪结果、及从所述视频帧序列中获得的所述跟踪结果；所述协同配置信息包括，调度所述各个模型的顺序及各个所述模型的数据流向信息。

3.根据权利要求2所述的方法，其特征在于，所述目标跟踪模型，包括：行人检测模型，用于对每一所述视频帧图像进行行人检测并输出包含行人的行人检测框，行人跟踪模型，用于对所述检测出的行人检测框进行状态估计，且对所述行人的状态进行预测以获得预测结果，并将实际检测出的行人检测框与所述预测结果进行关联匹配，其中：所述行人检测模型，包括r-cnn目标检测模型、spp-net目标检测模型、yolov5目标检测模型、yolov7目标检测模型、retinanet目标检测模型中的至少一种；所述行人跟踪模型包括基于deep-sort的目标跟踪模型、基于jde的目标跟踪模型的至少一种。

4.根据权利要求3所述的方法，其特征在于，所述特征提取模型用于对所述检测框中的行人进行人脸检测及人脸特征提取以获取对应的人脸特征向量，所述特征提取模型由基于行人检测数据集对卷积神经网络(cnn)进行训练获取，所述特征提取模型的输入为所述行人检测数据集的样本图像，输出为预测的行人的人脸特征向量，所述行人检测数据集数据集包括标注了行人人脸信息的样本图像；所述聚类模型，包括人脸聚类模型，由基于行人特征重识别数据集对深度度量学习网络进行训练获取，所述行人特征重识别模型的输入为所述特征重识别数据集的样本图像，输出为聚类簇，所述样本图像包括行人人脸高相似的正样本对及行人人脸低相似的负样本对；所述行人检测模型、所述行人跟踪模型、所述特征提取模型、所述聚类模型为通过automl技术预先训练好的模型。

5.根据权利要求3所述的方法，其特征在于，获取所述行人在所述roi区域的滞留时间包括，获取所述行人检测框的id，在所述目标跟踪过程中，记录每一行所述人检测框id出现的总帧数，根据摄像头的采集频率及所述帧数即可计算每一所述行人在所述roi区域的滞留时间；步骤b中所述行人特征信息与所述滞留时间具有唯一映射关系包括：将所述特征提取模型对所述检测框中的行人进行人脸检测及人脸特征提取以获取对应的人脸特征向量与所述检测框的id进行对应，进而使得所述人脸特征向量与所述滞留时间具有所述唯一映射关系。

6.根据权利要求3或5所述的方法，其特征在于，所述协同配置信息包括各ai模型调用顺序及所述各个ai模型的数据流信息，其中，将所述行人检测模型作为所述视频帧序列的第一入口；将所述行人检测模型检测出的所述包含行人的行人检测框作为所述行人跟踪模型的第一输入，使得所述目标跟踪模型输出所述行人的跟踪结果；将所述行人检测模型检测出的包含所述行人的行人检测框作为所述特征提取模型的第二输入，使得所述特征提取模型输出与所述跟踪结果具有所述唯一映射关系的行人特征信息；将所述跟踪结果、所述行人特征信息作为所述聚类模型的输入，使得所述所述聚类簇输出至少一个聚类簇。

7.一种边缘设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行基于基于ai模型的徘徊人员检测方法的计算机程序，所述基于ai模型的徘徊人员检测方法的计算机程序被所述处理器执行时实现如下步骤：

8.根据权利要求7所述的边缘设备，其特征在于，所述目标跟踪模型，包括：行人检测模型，用于对每一所述视频帧图像进行行人检测并输出包含行人的行人检测框，行人跟踪模型，用于对所述检测出的行人检测框进行状态估计，且对所述行人的状态进行预测以获得预测结果，并将实际检测出的行人检测框与所述预测结果进行关联匹配，其中：所述行人检测模型，包括r-cnn目标检测模型、spp-net目标检测模型、yolov5目标检测模型、yolov7目标检测模型、retinanet目标检测模型中的至少一种；所述行人跟踪模型包括基于deep-sort的目标跟踪模型、基于jde的目标跟踪模型的至少一种。

9.根据权利要求7所述的边缘设备，其特征在于，所述至少一个ai模型包括：目标跟踪模型，用于基于所述视频帧序列对行人进行目标跟踪以获取所述行人在所述roi区域的滞留时间；特征提取模型，用于在所述目标跟踪过程中，对跟踪到的行人对应的任一所述视频帧图像进行特征提取以获取行人特征信息，其中，所述行人特征信息与所述滞留时间具有唯一映射关系，所述行人特征信息与所述滞留时间为对所述行人进行目标跟踪的跟踪结果，所述行人特征信息包括人脸特征向量；聚类模型，用于将跟踪记录库中的跟踪结果进行聚类以输出至少一个聚类簇，其中，每一所述聚类簇内为同一行人的跟踪结果的聚合，不同的聚类簇为不同的行人的跟踪结果的聚合，所述跟踪记录库包括从历史视频帧序列中获得的跟踪结果、及从所述视频帧序列中获得的所述跟踪结果；所述协同配置信息包括，调度所述各个模型的顺序及各个所述模型的数据流向信息。

10.一种计算机存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括基于ai模型的徘徊人员检测程序，所述基于ai模型的徘徊人员检测程序被处理器执行时实现如权利要求1～7中任一项所述的基于ai模型的徘徊人员检测方法中的步骤。

技术总结
本申请提供了一种基于AI模型的徘徊人员检测方法，包括：获取摄像头在ROI区域采集的视频帧序列，所述视频帧序列中包括若干基于时间顺序排列的视频帧图像；启动预先存储的徘徊检测应用对所述视频帧序列进行处理，其中，所述预先存储的徘徊检测应用包括至少一个AI模型及协同配置信息；所述徘徊检测应用用于对行人进行徘徊检测。该方法通过预先训练好的模型来执行徘徊检测应用，提高了徘徊检测的实时性，且通过聚类模型对同一行人的跟踪结果进行集合，使得本方法可以从滞留时间和进入次数双维度对徘徊检测进行认定，不仅提高了徘徊检测的准确度，同时也避免了对某些多次进入目标区域且构成徘徊行为的目标人员进行漏检的情况。

技术研发人员：陈醒身,李思晋,赵丛
受保护的技术使用者：共达地创新技术（深圳）有限公司
技术研发日：
技术公布日：2024/1/12