一种行为预警方法及装置、电子设备与流程

本发明涉及人工智能技术领域，特别是指一种行为预警方法及装置、电子设备。

背景技术：

目前，有些学校存在校园霸凌现象，强势方单次或多次对弱势方实施肢体霸凌或是心理霸凌，对弱势方造成严重的财产损失、身体和精神伤害。为了防止校园霸凌事件的发生，学校通过校园内监控系统监控校内情况，同时安排保安人员定时定点巡逻，不仅费时费力，而且及时性不高。

技术实现要素：

有鉴于此，本发明的目的在于提出一种行为预警方法及装置、电子设备，能够及时进行行为预警。

基于上述目的，本发明提供了一种行为预警方法，包括：

获取包括多个人体对象的图像信息；

对所述图像信息进行处理，确定每个人体对象的当前行为；所述当前行为包括正常行为模式和危险行为模式；

当所述人体对象的当前行为为所述危险行为模式时，进行预警。

可选的，所述对所述图像信息进行处理，确定每个人体对象的当前行为，包括：

对所述图像信息进行处理，提取出每个人体对象的人体轮廓；

根据每个人体对象的人体轮廓，确定所述人体对象的个数；

根据每个人体对象的人体轮廓及所述人体对象的个数，确定各人体对象的相对位置；

根据每个人体对象的人体轮廓，跟踪每个人体对象的行动轨迹；

根据各人体对象的相对位置和行动轨迹，确定每个人体对象的当前行为。

可选的，所述相对位置包括危险相对位置和正常相对位置，当所述多个人体对象的相对位置符合预设的危险位置条件时，判断为所述危险相对位置，否则为正常相对位置。

可选的，所述行动轨迹包括上肢、下肢行动轨迹，若所述上肢行动轨迹属于第一预警动作，且所述相对位置为危险相对位置，则确定所述当前行为为所述危险行为模式；若所述上肢、下肢行动轨迹属于第二预警动作，所述上肢、下肢行动轨迹的范围扩大、动作频率增加，且所述相对位置为所述危险相对位置，则确定所述当前行为为所述危险行为模式。

可选的，所述方法还包括：

当所述相对位置为所述危险相对位置，则对所述图像信息中的人体对象进行面部识别处理，确定所述图像信息中是否存在危险对象，确定所述人体对象的情绪类型，若存在所述危险对象和/或所述情绪类型为预设的危险情绪，则进行预警。

可选的，所述方法还包括：

获取红外图像信息，对所述红外图像信息进行处理，确定所述人体对象的情绪类型。

可选的，所述方法还包括：

对所述图像信息进行处理，判断所述图像信息中是否存在危险物品；当存在所述危险物品时，进行预警。

本发明实施例还提供一种行为预警装置，包括：

图像获取模块，用于获取包括多个人体对象的图像信息；

行为识别模块，用于对所述图像信息进行处理，确定每个人体对象的当前行为；所述当前行为包括正常行为模式和危险行为模式；

预警模块，用于当所述人体对象的当前行为为所述危险行为模式时，进行预警。

可选的，所述行为识别模块包括：

轮廓提取子模块，用于对所述图像信息进行处理，提取出每个人体对象的人体轮廓；

人数确定子模块，用于根据每个人体对象的人体轮廓，确定所述人体对象的个数；

位置确定子模块，用于根据每个人体对象的人体轮廓及所述人体对象的个数，确定各人体对象的相对位置；

轨迹确定子模块，用于根据每个人体对象的人体轮廓，跟踪每个人体对象的行动轨迹；

行为确定子模块，用于根据各人体对象的相对位置和行动轨迹，确定每个人体对象的当前行为。

可选的，所述相对位置包括危险相对位置和正常相对位置，当所述多个人体对象的相对位置符合预设的危险位置条件时，判断为所述危险相对位置，否则为正常相对位置。

可选的，所述行动轨迹包括上肢、下肢行动轨迹，若所述上肢行动轨迹属于第一预警动作，且所述相对位置为危险相对位置，则确定所述当前行为为所述危险行为模式；若所述上肢、下肢行动轨迹属于第二预警动作，所述上肢、下肢行动轨迹的范围扩大、动作频率增加，且所述相对位置为所述危险相对位置，则确定所述当前行为为所述危险行为模式。

可选的，所述装置还包括：

面部识别模块，用于当所述相对位置属于所述危险相对位置时，对所述图像信息中的人体对象进行面部识别处理，确定所述图像信息中是否存在危险对象，确定所述人体对象的情绪类型；

预警模块，用于当所述面部识别模块识别出图像信息中存在所述危险对象和/或所述情绪类型为预设的危险情绪时，进行预警。

可选的，所述装置还包括：

所述图像获取模块，用于获取包括多个人体对象的红外图像信息；

所述面部识别模块，用于对所述红外图像信息进行处理，确定所述人体对象的情绪类型。

可选的，所述装置还包括：

物品识别模块，用于对所述图像信息进行处理，确定所述图像信息中是否存在危险物品；

预警模块，用于当所述物品识别模块识别出所述图像信息中存在所述危险物品时，进行预警。

本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述行为预警方法。

从上面所述可以看出，本发明提供的行为预警方法及装置、电子设备，通过获取包括多个人体对象的图像信息，对图像信息进行处理，确定每个人体对象的当前行为；当判断人体对象的当前行为为危险行为模式时，进行声音预警和行动预警，本发明能够识别危险行为，以便及时进行预警。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的方法流程示意图；

图2为本发明实施例的识别人体对象当前行为的方法流程示意图；

图3为本发明实施例的装置结构框图；

图4为本发明实施例的行为识别模块的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

图1为本发明实施例的方法流程示意图。如图所示，本发明实施例提供的行为预警方法，包括：

s10：获取包括多个人体对象的图像信息；

于一些实施例中，利用图像采集设备采集包括人体对象的视频信息，按照预定时间从视频信息中提取视频帧图像作为图像信息进行后续识别处理。例如，每隔1.5秒从视频信息中提取一幅图像信息。

在学校的应用场景，于校园内多个特定位置安装图像采集设备，如在库房、配电室、角落等偏僻人少的地点布设摄像头，利用摄像头采集监控范围之内的视频信息，将采集的视频信息传输至服务器，服务器接收视频信息，按照预定时间从视频信息中提取图像信息，然后对提取出的图像信息进行后续处理。

s11：对图像信息进行处理，确定每个人体对象的当前行为；

图2为本发明实施例的识别人体对象当前行为的方法流程示意图。如图所示，对图像信息进行处理，确定每个人体对象的当前行为，包括：

s110：对图像信息进行处理，提取出每个人体对象的人体轮廓；

对图像信息进行处理，识别人体对象的关键部位，包括头部、肩部、上肢、下肢、脚部等，根据关键部位的位置，确定人体对象的整体轮廓。

s111：根据每个人体对象的人体轮廓，确定人体对象的个数；

s112：根据每个人体对象的人体轮廓及人体对象的个数，确定各人体对象的相对位置；

根据提取的人体轮廓，确定各人体对象的相对位置。预设正常相对位置和危险相对位置，根据各人体对象的相对位置，确定各人体对象的相对位置为正常相对位置或是危险相对位置，其中，危险相对位置是指多个人体对象的相对位置符合预设的危险位置条件，不符合危险位置条件的相对位置为正常相对位置。例如，识别出五个人体对象，有四个人体对象围成圆形，第五个人在圆形中间，确定五个人体对象的相对位置为危险相对位置；识别出四个人体对象，有三个人站成一排，第四个人相距三个人一定距离，确定四个人体对象的相对位置为危险相对位置；识别出两个人体对象，两个人体对象的相对位置在危险范围之内变化，确定两个人体对象的相对位置为危险相对位置，若两个人体对象的相对位置在正常范围之内变化，确定两个人体对象的相对位置为正常相对位置。

s113：根据每个人体对象的人体轮廓，跟踪每个人体对象的行动轨迹；

根据人体对象的人体轮廓，跟踪人体对象的行动轨迹，包括上肢、下肢、头部行动轨迹，人体轮廓的移动范围等。

s114：根据各人体对象的相对位置和行动轨迹，确定每个人体对象的当前行为。

根据各人体对象的相对位置和行动轨迹，确定人体对象的当前行为。

具体的，预设有正常行为模式、危险行为模式。根据人体对象的上肢、下肢行动轨迹，若上肢、下肢行动轨迹属于正常的摆动范围，则判断人体对象的当前行为为正常行为模式(如正常走路)；若上肢行动轨迹属于推、拉、拍等第一预警动作，识别人体对象的当前行为可能是危险行为模式，同时，若人体对象的相对位置为危险相对位置，则确定人体对象的当前行为为危险行为模式，若人体对象的相对位置为正常相对位置，则确定人体对象的当前行为为正常行为模式(如判断为同学之间的打闹行为)；若上肢行动轨迹属于拳打、阻挡，下肢行动轨迹属于踢打等第二预警动作，且上肢、下肢行动轨迹的范围扩大、动作频率增加，识别人体对象的当前行为可能是危险行为模式，同时，若人体对象的相对位置为危险相对位置，则确定人体对象的当前行为为危险行为模式，若人体对象的相对位置为正常相对位置，则确定人体对象的当前行为为正常行为模式。

s12：当人体对象的当前行为为危险行为模式时，进行预警。

根据确定出的每个人体对象的当前行为，若人体对象的当前行为属于正常行为模式，则无需进行预警。若人体对象的当前行为属于危险行为模式，可通过广播等方式进行声音预警，同时，可通过推送消息给值班人员，由值班人员到现场进行行动预警。

于一些实施例中，所述行为预警方法还包括：

根据提取出的每个人体对象的人体轮廓及人体对象的个数，确定各人体对象的相对位置，若各人体对象的相对位置属于危险相对位置，则对图像信息中的人体对象进行面部识别处理，识别出各人体对象的面部关键特征，识别出各人体对象的面部表情；根据各人体对象的面部关键特征，匹配预设的危险对象数据库，若存在匹配结果，则判断图像信息中存在需要重点关注的危险对象，直接启动声音预警和行动预警；若不存在匹配结果，则根据识别出的人体对象的面部表情，判定情绪类型，若情绪类型为痛苦、害怕、伤心、愤怒等危险情绪，则直接启动声音预警和行动预警。

可选的，图像采集设备采用可调焦的摄像头，当确定各人体对象的相对位置属于危险相对位置时，调整摄像头的焦距，利用摄像头采集包括各人体对象的面部的图像信息，以对图像信息中的人体对象进行面部识别处理。

可选的，图像采集设备可配置有红外感应器的摄像头，通过摄像头采集红外图像信息，根据红外图像信息辅助识别人体对象的情绪类型。

于一些实施例中，所述行为预警方法还包括：

对图像信息进行处理，提取出人体对象的手部轮廓，判断手部轮廓是否为握持状态，若为握持状态，识别手部附近是否存在符合危险物品特征的危险物品，危险物品例如是匕首、棍棒、砖头等凶器，危险物品特征包括物品的长度、形状等特征。当识别出图像信息中存在危险物品时，启动预警。

图3为本发明实施例的装置结构框图。如图所示，本发明实施例提供的行为预警装置，包括：

图像获取模块，用于获取包括多个人体对象的图像信息；

行为识别模块，用于对图像信息进行处理，确定每个人体对象的当前行为；

预警模块，用于根据每个人体对象的当前行为，确定是否进行预警。

于一些实施例中，利用图像采集设备采集包括人体对象的视频信息，按照预定时间从视频信息中提取视频帧图像作为图像信息进行后续识别处理。例如，每隔1.5秒从视频信息中提取一幅图像信息。

在学校的应用场景，于校园内多个特定位置安装图像采集设备，如在库房、配电室、角落等偏僻人少的地点布设摄像头，利用摄像头采集监控范围之内的视频信息，将采集的视频信息传输至服务器，服务器接收视频信息，按照预定时间从视频信息中提取图像信息，利用图像获取模块对提取出的图像信息进行后续处理。

图4为本发明实施例的行为识别模块的结构框图。如图所示，于一些实施例中，行为识别模块包括：

轮廓提取子模块，用于对图像信息进行处理，提取出每个人体对象的人体轮廓；可选的，对图像信息进行处理，识别人体对象的关键部位，包括头部、肩部、上肢、下肢、脚部等，根据关键部位的位置，确定人体对象的整体轮廓。

人数确定子模块，用于根据每个人体对象的人体轮廓，确定人体对象的个数；

位置确定子模块，用于根据每个人体对象的人体轮廓及人体对象的个数，确定各人体对象的相对位置；

轨迹确定子模块，用于根据每个人体对象的人体轮廓，跟踪每个人体对象的行动轨迹；可选的，根据人体对象的人体轮廓，根据人体对象的行动轨迹，包括上肢、下肢、头部行动轨迹，人体轮廓的移动范围等。

行为确定子模块，用于根据各人体对象的相对位置和行动轨迹，确定每个人体对象的当前行为。

其中，位置确定子模块根据提取的人体轮廓，确定各人体对象的相对位置。预设正常相对位置和危险相对位置，根据各人体对象的相对位置，确定各人体对象的相对位置为正常相对位置或是危险相对位置。例如，识别出五个人体对象，有四个人体对象围成圆形，第五个人在圆形中间，确定五个人体对象的相对位置为危险相对位置；识别出四个人体对象，有三个人站成一排，第四个人相距三个人一定距离，确定四个人体对象的相对位置为危险相对位置；识别出两个人体对象，两个人体对象的相对位置在危险范围之内变化，确定两个人体对象的相对位置为危险相对位置，若两个人体对象的相对位置在正常范围之内变化，确定两个人体对象的相对位置为正常相对位置。

其中，行为确定子模块根据各人体对象的相对位置和行动轨迹，确定人体对象的当前行为。

具体的，预设有正常行为模式、危险行为模式。根据人体对象的上肢、下肢行动轨迹，若上肢、下肢行动轨迹属于正常的摆动范围，则判断人体对象的当前行为为正常行为模式(如正常走路)；若上肢行动轨迹属于推、拉、拍等第一预警动作，识别人体对象的当前行为可能是危险行为模式，同时，若人体对象的相对位置为危险相对位置，则确定人体对象的当前行为为危险行为模式，若人体对象的相对位置为正常相对位置，则确定人体对象的当前行为为正常行为模式(如判断为同学之间的打闹行为)；若上肢行动轨迹属于拳打、阻挡，下肢行动轨迹属于踢打等第二预警动作，且上肢、下肢行动轨迹的范围扩大、动作频率增加，识别人体对象的当前行为可能是危险行为模式，同时，若人体对象的相对位置为危险相对位置，则确定人体对象的当前行为为危险行为模式，若人体对象的相对位置为正常相对位置，则确定人体对象的当前行为为正常行为模式。

其中，预警模块根据确定出的每个人体对象的当前行为，若人体对象的当前行为属于正常行为模式，则不进行预警；若人体对象的当前行为属于危险行为模式，可通过广播等方式进行声音预警，同时，可通过推送消息给值班人员，由值班人员到现场进行行动预警。

于一些实施例中，所述行为预警装置还包括：

面部识别模块，用于当各人体对象的相对位置属于危险相对位置时，对图像信息中的人体对象进行面部识别处理，识别图像信息中是否存在危险对象，识别人体对象的情绪类型；

预警模块，用于当所述面部识别模块识别出图像信息中存在危险对象和/或人体对象的情绪类型为危险情绪时，启动预警。

根据提取出的每个人体对象的人体轮廓及人体对象的个数，确定各人体对象的相对位置，若各人体对象的相对位置属于危险相对位置，则对图像信息中的人体对象进行面部识别处理，识别出各人体对象的面部关键特征，识别出各人体对象的面部表情；根据各人体对象的面部关键特征，匹配预设的危险对象数据库，若存在匹配结果，则判断图像信息中存在需要重点关注的危险对象，直接启动声音预警和行动预警；若不存在匹配结果，则根据识别出的人体对象的面部表情，判定情绪类型，若情绪类型为痛苦、害怕、伤心、愤怒等危险情绪，则直接启动声音预警和行动预警。

可选的，图像采集设备采用可调焦的摄像头，当确定各人体对象的相对位置属于危险相对位置时，调整摄像头的焦距，利用摄像头采集包括各人体对象的面部的图像信息，以对图像信息中的人体对象进行面部识别处理。

可选的，图像采集设备可配置有红外感应器的摄像头，通过摄像头采集红外图像信息，根据红外图像信息辅助识别人体对象的情绪类型。

于一些实施例中，所述行为预警装置还包括：

物品识别模块，用于对图像信息进行处理，判断图像信息中是否存在危险物品；

预警模块，用于当所述物品识别模块识别出图像信息中存在危险物品时，启动预警。

物品识别模块对图像信息进行处理，提取出人体对象的手部轮廓，判断手部轮廓是否为握持状态，若为握持状态，识别手部附近是否存在符合危险物品特征的危险物品，危险物品例如是匕首、棍棒、砖头等凶器，危险物品特征包括物品的长度、形状等特征。

基于上述目的，本发明实施例还提出了一种执行所述行为预警方法的装置的一个实施例。所述装置包括：

一个或多个处理器以及存储器。

所述执行所述行为预警方法的装置还可以包括：输入装置和输出装置。

处理器、存储器、输入装置和输出装置可以通过总线或者其他方式连接。

存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的行为预警方法对应的程序指令/模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的行为预警方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据执行所述行为预警方法的装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置可接收输入的数字或字符信息，以及产生与执行行为预警方法的装置的用户设置以及功能控制有关的键信号输入。输出装置可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任意方法实施例中的行为预警方法。所述执行所述行为预警方法的装置的实施例，其技术效果与前述任意方法实施例相同或者类似。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的列表项操作的处理方法。所述非暂态计算机存储介质的实施例，其技术效果与前述任意方法实施例相同或者类似。

最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。所述计算机程序的实施例，其技术效果与前述任意方法实施例相同或者类似。

此外，典型地，本公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(pda)、平板电脑(pad)、智能电视等，也可以是大型终端设备，如服务器等，因此本公开的保护范围不应限定为某种特定类型的装置、设备。本公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。

此外，根据本公开的方法还可以被实现为由cpu执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被cpu执行时，执行本公开的方法中限定的上述功能。

此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。

此外，应该明白的是，本文所述的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦写可编程rom(eeprom)或快闪存储器。易失性存储器可以包括随机存取存储器(ram)，该ram可以充当外部高速缓存存储器。作为例子而非限制性的，ram可以以多种形式获得，比如同步ram(dram)、动态ram(dram)、同步dram(sdram)、双数据速率sdram(ddrsdram)、增强sdram(esdram)、同步链路dram(sldram)以及直接rambusram(drram)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。