乘客行为检测方法、装置、电子设备和计算机可读介质与流程

本公开的实施例涉及计算机，具体涉及乘客行为检测方法、装置、电子设备和计算机可读介质。

背景技术：

1、乘客行为检测，是用于对乘客不文明行为进行实时检测，以便及时制止和报警，保证乘客的生命安全。对于乘客的行为进行检测，通常采用的方式为：使用普通摄像机对乘客行为进行采集，得到监控视频，然后将监控视频发送至服务器进行存储，以及对乘客监控视频进行全身关键点追踪检测，并与异常行为数据库中的异常行为进行相似度计算，确定乘客异常行为。

2、然而，发明人发现，当采用上述方式来检测乘客行为时，经常会存在如下技术问题：

3、第一，由于使用普通摄像机进行采集，并将采集的监控视频直接发送至服务器端，导致传输时间较长，占用较多的通信资源，仅仅对监控视频进行异常行为检测，难以检测出遮挡区域的异常行为，造成检测准确率较低，导致存在大量冗余数据，导致存储资源的浪费。

4、第二，由于对监控视频进行全身关键点追踪检测，并与异常行为数据库中的异常行为进行相似度计算，导致得到的关键点数据中存在大量冗余数据，导致存储和内存资源的浪费。

5、第三，由于普通摄像机无法检测滞留乘客，只能将视频发送至服务器进行滞留乘客的检测，导致传输时间较长和占用较多的通信资源，不能及时发现滞留乘客，导致乘客的安全性较低。

6、该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了乘客行为检测方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。

3、第一方面，本公开的一些实施例提供了一种乘客行为检测方法，包括：响应于检测到乘客进入目标车辆，控制上述目标车辆中的摄像机对上述目标车辆进行视频和音频采集，得到监控视频和监控音频；基于上述监控视频和上述监控音频，执行以下添加步骤：对上述监控视频进行异常行为检测处理，得到乘客异常行为信息；对上述监控音频进行异常音频检测处理，得到乘客异常音频信息；确定上述乘客异常行为信息和上述乘客异常音频信息对应的乘客信息集，以及对上述乘客信息集对应的乘客集发送警告信息；确定被发送警告信息的乘客信息集中每个乘客信息对应的警告次数，得到警告次数集；响应于确定上述警告次数集中存在警告次数达到预设警告次数阈值的警告次数，确定达到预设警告次数阈值的告警次数对应的至少一位乘客信息，作为拦截乘客信息集；将上述拦截乘客信息集添加至预设乘客拦截名单，以及将上述乘客异常音频信息、上述乘客异常行为信息和上述预设乘客拦截名单发送至存储服务器。

4、第二方面，本公开的一些实施例提供了一种乘客行为检测装置，包括：控制单元，被配置成响应于检测到乘客进入目标车辆，控制上述目标车辆中的摄像机对上述目标车辆进行视频和音频采集，得到监控视频和监控音频；执行单元，被配置成基于上述监控视频和上述监控音频，执行以下添加步骤：对上述监控视频进行异常行为检测处理，得到乘客异常行为信息；对上述监控音频进行异常音频检测处理，得到乘客异常音频信息；确定上述乘客异常行为信息和上述乘客异常音频信息对应的乘客信息集，以及对上述乘客信息集对应的乘客集发送警告信息；确定被发送警告信息的乘客信息集中每个乘客信息对应的警告次数，得到警告次数集；响应于确定上述警告次数集中存在警告次数达到预设警告次数阈值的警告次数，确定达到预设警告次数阈值的告警次数对应的至少一位乘客信息，作为拦截乘客信息集；将上述拦截乘客信息集添加至预设乘客拦截名单，以及将上述乘客异常音频信息、上述乘客异常行为信息和上述预设乘客拦截名单发送至存储服务器。

5、第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

6、第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

7、本公开的上述各个实施例中具有如下有益效果：本公开的一些实施例的乘客行为检测方法结合视频和音频对乘客进行异常检测，可以提高异常检测的准确性，减少存储资源的浪费。具体来说，造成相关的存储资源的浪费的原因在于：由于使用普通摄像机进行采集，并将采集的监控视频直接发送至服务器端，导致传输时间较长，占用较多的通信资源，仅仅对监控视频进行异常行为检测，难以检测出遮挡区域的异常行为，造成检测准确率较低，导致存在大量冗余数据，导致存储资源的浪费。基于此，本公开的一些实施例的乘客行为检测方法可以第一步，响应于检测到乘客进入目标车辆，控制上述目标车辆中的摄像机对上述目标车辆进行视频和音频采集，得到监控视频和监控音频。在这里，得到的监控视频和监控音频便于后续进行异常行为检测和异常音频检测。第二步，基于上述监控视频和上述监控音频，执行以下添加步骤：首先，对上述监控视频进行异常行为检测处理，得到乘客异常行为信息。在这里，异常行为检测处理可以实时检测乘客的异常行为，避免现有技术中将监控视频发送至服务器进行异常行为检测，可以减少通信资源的浪费以及提高乘客的安全。其次，对上述监控音频进行异常音频检测处理，得到乘客异常音频信息。在这里，异常音频检测处理可以实时检测乘客异常音频，避免现有技术中将监控音频发送至服务器进行异常音频检测，可以减少通信资源的浪费，以及提高乘客的安全。再次，确定上述乘客异常行为信息和上述乘客异常音频信息对应的乘客信息集，以及对上述乘客信息集对应的乘客集发送警告信息。在这里，结合监控音频和监控视频进行异常检测可以检测到仅仅使用监控视频进行异常检测中的检测盲区，可以提高异常检测的准确性和全面性，进而可以提高乘客信息确定的准确性和警告信息发送的准确性。随后，确定被发送警告信息的乘客信息集中每个乘客信息对应的警告次数，得到警告次数集。在这里，得到的告警次数集便于后续确定待拦截乘客信息。然后，响应于确定上述警告次数集中存在警告次数达到预设警告次数阈值的警告次数，确定达到预设警告次数阈值的告警次数对应的至少一位乘客信息，作为拦截乘客信息集。在这里，得到的拦截乘客信息集可以减少目标车辆中的拦截乘客，提高乘客的安全。最后，将上述拦截乘客信息集添加至预设乘客拦截名单，以及将上述乘客异常音频信息、上述乘客异常行为信息和上述预设乘客拦截名单发送至存储服务器。在这里，得到的准确率较高的乘客异常音频信息、乘客异常行为信息和预设乘客拦截名单，可以减少存储资源的浪费。由此可得，该乘客行为检测方法结合视频和音频对乘客进行异常检测，可以提高异常检测的准确性，减少存储资源的浪费。

技术特征：

1.一种乘客行为检测方法，包括：

2.根据权利要求1所述的方法，其中，所述方法还包括：

3.根据权利要求2所述的方法，其中，所述方法还包括：

4.根据权利要求1所述的方法，其中，所述对所述监控视频进行异常行为检测处理，得到乘客异常行为信息，包括：

5.根据权利要求1所述的方法，其中，所述对所述监控音频进行异常音频检测处理，得到乘客异常音频信息，包括：

6.根据权利要求1所述的方法，其中，所述摄像机包括：摄像机芯片、采集组件、电源电路组件、行为异常检测组件、音频异常检测组件、生命体征识别组件、设备联动组件、设备接口和存储组件，其中：

7.一种乘客行为检测装置，包括：

8.一种电子设备，包括：

9.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。

技术总结
本公开的实施例公开了乘客行为检测方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：控制摄像机进行视频和音频采集，得到监控视频和监控音频；对监控视频进行异常行为检测处理，得到乘客异常行为信息；对监控音频进行异常音频检测处理，得到乘客异常行为信息；确定乘客异常行为信息和乘客异常音频信息对应的乘客信息集，以及对乘客信息集发送警告信息；确定每个乘客信息对应的警告次数；确定达到预设警告次数阈值的告警次数对应的至少一位乘客信息，作为拦截乘客信息集；将拦截乘客信息集添加至预设乘客拦截名单。该实施方式结合视频和音频对乘客进行异常检测，可以提高异常检测的准确性，减少存储资源的浪费。

技术研发人员：本惠杰,张超
受保护的技术使用者：河南海融软件有限公司
技术研发日：
技术公布日：2024/1/16