目标事件检测方法、装置、计算机设备和存储介质与流程

文档序号:22738021发布日期:2020-10-31 09:18阅读:76来源:国知局
目标事件检测方法、装置、计算机设备和存储介质与流程
本申请涉及计算机
技术领域
,特别是涉及一种目标事件检测方法、装置、计算机设备和存储介质。
背景技术
:随着计算机视觉技术的发展,越来越多的安防业务中利用计算机视觉对画面场景中的目标或者事件进行识别和判断,并在满足一定的条件时产生报警提示用户。然而相关技术中,通常采用先获取人体的检测框,再将其和标注为警戒区域的预设警戒区域计算相交关系,通过判断人体检测框与预设警戒区域的相交关系,进而判定是否发生人体与预设警戒区域交互的目标事件,若是则直接报警。这样做虽然能够对常规的目标事件进行报警,但同时也可能产生大量的对于出现在预设警戒区域附近的人的误判。技术实现要素:基于此,有必要针对上述技术问题,提供一种能够减少误判的目标事件检测方法、装置、计算机设备和存储介质。一种目标事件检测方法,所述方法包括:获取当前视频帧,从所述当前视频帧中识别出预设警戒区域;在所述当前视频帧中进行目标检测,当在所述当前视频帧中检测到目标时,得到目标检测框;若所述目标检测框与所述预设警戒区域满足预设位置关系条件,依次识别在后续连续的各视频帧内,所述目标与所述预设警戒区域的延续交互动作;基于初始动作以及各所述延续交互动作构成的交互动作序列,确定是否发生目标事件,所述初始动作为所述目标检测框中所述目标对应的动作。一种目标事件检测装置,所述装置包括:区域识别模块,用于获取当前视频帧,从所述当前视频帧中识别出预设警戒区域;目标检测模块,用于在所述当前视频帧中进行目标检测,当在所述当前视频帧中检测到目标时,得到目标检测框;动作识别模块,用于若所述目标检测框与所述预设警戒区域满足预设位置关系条件,依次识别在后续连续的各视频帧内,所述目标与所述预设警戒区域的延续交互动作;目标事件检测模块,用于基于初始动作以及各所述延续交互动作构成的交互动作序列,确定是否发生目标事件,所述初始动作为所述目标检测框中所述目标对应的动作。一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取当前视频帧,从所述当前视频帧中识别出预设警戒区域;在所述当前视频帧中进行目标检测,当在所述当前视频帧中检测到目标时,得到目标检测框;若所述目标检测框与所述预设警戒区域满足预设位置关系条件,依次识别在后续连续的各视频帧内,所述目标与所述预设警戒区域的延续交互动作;基于初始动作以及各所述延续交互动作构成的交互动作序列,确定是否发生目标事件,所述初始动作为所述目标检测框中所述目标对应的动作。一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:获取当前视频帧,从所述当前视频帧中识别出预设警戒区域;在所述当前视频帧中进行目标检测,当在所述当前视频帧中检测到目标时,得到目标检测框;若所述目标检测框与所述预设警戒区域满足预设位置关系条件,依次识别在后续连续的各视频帧内,所述目标与所述预设警戒区域的延续交互动作;基于初始动作以及各所述延续交互动作构成的交互动作序列,确定是否发生目标事件,所述初始动作为所述目标检测框中所述目标对应的动作。上述目标事件检测方法、装置、计算机设备和存储介质,获取到当前视频帧之后,在当前视频帧中识别出预设警戒区域,对当前视频帧进行目标检测,当在当前视频帧中检测到目标时得到目标检测框,若目标检测框与预设警戒区域满足目标检测框与预设警戒区域满足预设位置关系条件,依次在后续连续的各视频帧内识别该目标与预设警戒区域的延续交互动作;根据目标检测框中目标对应的初始动作以及各延续交互动作构成交互动作序列,确定是否发生了目标事件。通过上述方法,不仅对于目标与警戒区域的位置关系进行检测,还结合目标在一定时间内的动作状态变化来确定是否发生目标事件,可以提高检测目标事件的准确性,减少误判。附图说明图1为一个实施例中目标事件检测方法的应用环境图;图2为一个实施例中目标事件检测方法的流程示意图;图3为一个具体实施例中根据目标点确定的三个表示墙体区域的示意图;图4为一个实施例中通过resnet对当前视频帧进行分类的流程示意图;图5为另一个实施例中目标事件检测方法的流程示意图;图6为另一个实施例中目标事件检测方法的流程示意图;图7为一个实施例中确定目标在下一视频帧中的预测目标检测框的流程示意图;图8为一个实施例中目标事件检测装置的结构框图;图9为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。本申请提供的目标事件检测方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与终端104通过网络进行通信。终端104从终端102中获取到当前视频帧之后,终端104在当前视频帧中识别出预设警戒区域,对当前视频帧进行目标检测,当在当前视频帧中检测到目标时得到目标检测框,若目标检测框与预设警戒区域满足目标检测框与预设警戒区域满足预设位置关系条件,依次在后续连续的各视频帧内识别该目标与预设警戒区域的延续交互动作;根据目标检测框中目标对应的初始动作以及各延续交互动作构成交互动作序列,确定是否发生了目标事件。其中,终端102可以但不限于是各种视频采集设备、视频成像设备等,在另一些实施例中,终端102也可以是各种与视频采集设备等连接用于存储采集的视频数据的设备;终端104可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。在另一些实施例中,上述目标事件检测方法也可以用于终端与服务器的应用场景中,其中终端可以但不限于是各种视频采集设备、视频成像设备,或者与视频采集设备等连接用于存储采集的视频数据的设备,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一个实施例中,如图2所示,提供了一种目标事件检测方法,以该方法应用于图1中的终端104为例进行说明,包括步骤s210至步骤s240。步骤s210,获取当前视频帧,从当前视频帧中识别出预设警戒区域。本实施例中的目标事件检测方法可以应用于对监控摄像头等视频采集设备采集的监控画面进行检测,判断监控画面中是否发生了目标事件。在安防业务中,对于某些特殊的位置,可能需要监控此处是否发生一些特定的目标事件,在发生特定的目标事件时,可以通过产生警告信息以提醒相关工作人员。在一个实施例中,终端104可以直接从监控摄像头等设备直接获取视频帧进行分析;在另一个实施例中,终端104也可以先从监控摄像头等设备处获取视频帧数据进行存储,然后由终端104的目标事件检测装置中的视频帧获取模块从存储视频帧的模块中获取视频进行分析;可以理解地,在另一个实施例中,监控摄像头拍摄的画面也可以由与监控摄像头连接的设备进行存储,本实施例中终端104也可以从该存储视频画面的设备中获取视频帧。在一个实施例中,当前视频帧为视频的当前时刻的视频帧;可以理解地,当前视频帧中的画面为所监控的特定位置的画面,本实施例中,需对该视频画面中的预设警戒区域进行检测是否发生目标事件。在一个具体实施例,上述目标事件检测方法用于检测是否发生人体翻墙事件,预设警戒区域为墙体区域。进一步地,在一个实施例中,从当前视频帧中确定预设警戒区域包括:获取目标点位置信息,基于目标点位置信息确定预设警戒区域。其中,目标点位置信息可以是用户输入,例如具体可通过鼠标在显示屏中进行点击选中目标点以输入目标点的位置信息,又如用户可以直接输入目标点的位置信息;目标点至少包括四个。在本实施例中,用户可以通过输入预设警戒区域的边界点作为目标点输入,服务器在获取到目标点的位置信息后,基于该目标点的位置信息确定预设警戒区域。进一步地,服务器获取目标点位置后,依次连接各目标点获得预设警戒区域。在一个具体实施例中,预设警戒区域为墙体区域,以四个目标点位置为例,服务器以前两个目标点连接并标注为墙头线,后两个目标点连接并标注为墙脚线,同时可视化在界面上;其中根据用户输入的先后顺序区分前两个目标点和后两个目标点。而在终端中,则会记录为三种区域,分别是前两个目标点组成墙头线,后两个目标点组成墙脚线的双线区域;后两个目标点组成墙头线,前两个目标点组成墙脚线的双线区域;以及四个目标点共同组成的预设警戒区域,如图3所示为本实施例中根据目标点确定的三个表示墙体区域的示意图。在另一个实施例中,从当前视频帧中确定预设警戒区域包括:在当前视频帧中识别预设边界位置点,根据识别到的预设边界位置点确定预设警戒区域。在本实施例中,对于预设警戒区域设置了边界点设置了具有可识别的目标,可在当前视频帧中通过识别预设的目标获得预设边界位置点,进而根据预设边界位置点确定预设警戒区域的位置。步骤s220,在当前视频帧中进行目标检测,当在当前视频帧中检测到目标时,得到目标检测框。目标检测也叫目标提取,是一种基于目标几何和统计特征的图像分割,它将目标的分割和识别合二为一,其准确性和实时性是整个系统的一项重要能力。进一步地,具体可通过神经网络中的分类网络对当前视频帧进行识别目标。在当前视频帧中检测到目标时,获得将该目标包围在内的框,即为目标检测框。在一个实施例中,得到目标检测框包括:得到目标检测框的坐标位置;如目标检测框的四个顶点对应的坐标位置。本实施例中,目标为需要检测的目标事件中的执行的主体,在一个具体实施例中,目标事件为人体翻越墙体,则目标为人体。在一个实施例中,当前视频帧中可能检测到一个或者多个目标。进一步地,在一个实施例中,在当前视频帧中进行目标检测并在检测到目标时生成检测框可通过目标检测的神经网络实现;在一个实施例中,可采用任意一种目标检测的神经网络实现对当前视频帧进行目标检测的过程。步骤s230,若目标检测框与预设警戒区域满足预设位置关系条件,依次识别在后续连续的各视频帧内,目标与预设警戒区域的延续交互动作。其中,目标检测框与预设警戒区域需满足的预设位置关系条件可以根据实际情况设置。在一个实施例中,当目标检测框的有效区域与预设警戒区域相交时,判定目标检测框与预设警戒区域满足预设位置关系条件;其中,目标检测框的有效区域为目标检测框中的预设位置部分。目标检测框的有效区域与预设警戒区域相交即表示目标检测框的有效区域与预设警戒区域各自包括的区域存在相交的部分。在一个具体实施例中,目标检测框的有效区域是指的目标检测框的靠近下边缘的20%部分,当目标为人体时,目标检测框靠近下边缘的20%部分对应的是站立的人体的脚部位置。后续连续的各视频帧是指当前视频帧之后连续的各视频帧;目标与预设警戒区域的延续交互动作包括目标与该预设警戒区域之间的交互动作,在后续连续的各视频帧中目标的动作形成延续动作,记为目标与预设警戒区域的延续交互动作。在一个实施例中,对于后续连续的各视频帧,同样需检测是否目标检测框与预设警戒区域是否满足预设位置关系条件,若满足则执行对各视频帧识别目标与预设警戒区域的延续交互动作的步骤。在一个实施例中,依次识别在后续连续的各视频帧内,目标与预设警戒区域的延续交互动作,包括:若后续连续的各视频帧内,目标对应的连续目标检测框与预设警戒区域满足预设位置关系条件,依次识别在后续连续的各视频帧内目标对应的动作,确定为目标与预设警戒区域的延续交互动作。在一个实施例中,识别各视频帧内目标与预设警戒区域的延续交互动作可以通过分类神经网络实现;在一个具体实施例中,可以采用resnet(residualnetwork,残差网络)实现对检测框进行图像特征提取并进行识别,确定检测框中是否出现目标。其中,残差网络是预先通过训练确定的。残差网络的特点是容易优化,并且能够通过增加相当的深度来提高准确率,从而可以获得准确率较高的分类结果。在一个实施例中,依次识别在后续连续的各视频帧内,目标与所述预设警戒区域的延续交互动作,还包括:依次对后续连续的各视频帧内目标检测框中的目标提取图像特征,基于提取的图像特征进行动作分类,确定目标检测框中目标对应的动作分类结果,获得各视频对应的动作分类结果;根据后续连续的各视频帧对应的动作分类结果得到目标与预设警戒区域的延续交互动作。进一步地,在一个实施例中,通过预设分类器对目标检测框中的目标进行动作分类。更进一步地,在一个实施例中,预设分类器提供多个预设动作类别。例如,目标为人体时,目标对应的动作分类结果为人体在当前视频帧中做出的动作,例如预设的动作类别具体包括站立、弯腰、蹲坐、抬手、抬腿和其他动作。将目标检测框输入预设分类器,获得预设分类器输出的目标对应的动作类别。在一个具体实施例中,预设分类器可以采用resnet(残差网络)实现。本实施例中对于目标检测框设置了有效区域,当目标检测框的有效区域与预设警戒区域相交时,认为检测到有效动作,此时对该目标开始进行跟踪,识别后续连续的各视频帧中该目标与预设警戒区域的延续交互动作。在一个具体实施例中,对于目标进行目标追踪可以采用ioutracker(iou跟踪器)实现。iou(intersectionoverunion,交并比)计算的是“预测的边框”和“真实的边框”的交并比(交集和并集的比值)。在本实施例中,具体通过对前后相邻视频帧中检测到目标的目标检测框计算交并比,以确定是否在相邻两视频帧中是否出现同一目标;其中,“预测的边框”表示相邻两视频帧中的后一视频帧中的目标检测框,“真实的边框”表示相邻两视频帧中的前一视频帧中的目标检测框。本实施例中,通过iou跟踪器确定后续连续的各视频帧内是否存在当前视频帧中的同一目标;确定后续连续的各视频帧内存在当前视频帧中的同一目标之后,再进行对后续各视频帧识别该目标与预设警戒区域的延续交互动作。其中,同一目标在后续连续的各视频帧内与预设警戒区域产生的交互动作即为本实施例中的延续交互动作;在一个实施例中,在后续连续的各视频帧中的目标与预设警戒区域进行位置关系检测,当目标与预设警戒区域满足交互条件时,确定目标对应的动作,即为目标与预设警戒区域的延续交互动作;即对于目标与预设警戒区域的位置为交互状态时,识别得到目标的动作即为本实施例中的延续交互动作。在目标事件为人体翻越墙体的一个实施例中,即为人体在后续连续的各视频帧中与墙体之间发生的交互动作。在一个实施例中,依次识别在后续连续的各视频帧内,目标与预设警戒区域的延续交互动作,包括:获取下一视频帧,当在下一视频帧中检测到与上一视频帧中包含同一目标时,识别下一视频帧中目标与预设警戒区域的延续交互动作;返回获取下一视频帧的步骤。本实施例中,通过循环获取下一视频帧,并在下一视频帧中检测是否存在同一目标,实现对该目标进行追踪,若存在则识别该目标在该下一视频帧中与预设警戒区域的延续交互动作,可获得当前视频帧的后续连续的各视频帧内目标与预设警戒区域的延续交互动作。在一个实施例中,与当前视频帧中检测是否存在目标类似地,在获取下一视频帧之后,在下一视频帧中确定待定目标检测框;从待定目标检测框中提取的图像特征,当根据图像特征确定待定目标检测框中包含待定目标时,且确定待定目标与目标为同一目标时,判定在下一视频帧检测到目标。其中,下一视频帧的待定目标检测框可能包括一个或者多个。本实施例中将下一视频帧中确定的目标检测框记为待定目标检测框,当在待定目标检测框中提取图像特征确定待定目标检测框中包含待定目标时,对该待定目标与当前视频帧中的目标进行判断是否为同一目标,具体为对待定目标与当前视频帧中的目标进行匹配。在一个具体实施例中,可以对下一视频帧中的目标与当前视频帧中的目标之间进行iou计算,待定目标与目标之间的交并比大于交并比阈值时,判定待定目标与目标为同一目标。在一个具体实施例中,对于当前视频帧检测到多个目标(目标检测框),以及下一视频帧中存在多个待定目标检测框时,采用匈牙利算法确定各待定目标检测框对应的目标检测框,即对于下一视频帧中的各个目标确定在当前视频帧中对应的目标。其中,匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法。在另一个实施例中,目标事件为其它事件,对应的预设动作顺序根据实际情况设置为其它动作顺序。步骤s240,基于初始动作以及各延续交互动作构成的交互动作序列,确定是否发生目标事件。其中,初始动作为当前视频帧内目标检测框内目标对应的动作,而延续交互动作为当前视频帧的后续连续的各视频帧中目标的动作;在一个实施例中,按照时间先后顺序将初始动作以及各延续交互动作排列,获得目标对应的交互动作序列。在一个实施例中,基于初始动作以及各延续交互动作构成的交互动作序列,确定是否发生目标事件,包括:按照时间先后顺序,根据初始动作和各延续交互动作确定交互动作序列;当交互动作序列符合目标事件的预设动作顺序时,判定发生目标事件。目标事件为一系列动作组成的事件,因此在本实施例中,对于交互动作序列,判断是否与目标事件的预设动作顺序一致,若一致则判定目标与预设警戒区域之间发生了交互的目标事件。其中,预设动作顺序可根据实际情况进行设置。在一个具体实施例中,目标事件为人体翻越墙体。在一个实施例中,对于交互动作序列判断是否分别判断是否依次符合人体翻越墙体这一目标事件对应的预设动作顺序,若是则判定发生了人体翻越墙体的目标事件。在另一个实施例中,人体翻越墙体也可以划分为人体上墙、在墙中和下墙的动作顺序,而对于人体上墙、在墙中和下墙又可以分别划分为更加细化的动作,具体地,例如人体从站立的动作变为爬的动作,从坐的动作变为爬的动作,或者爬的动作均可确定为人体上墙的这一动作;而人体执行弯腰的动作和人体执行坐的动作均可确定为人体在墙中的这一动作;人体下墙这一动作可以对应包括弯腰变为爬,弯腰变为坐,弯腰变为站立,或者从坐变为站立这些动作。如表1所示,人体上墙、在墙中和下墙的动作的对应动作顺序;当在交互动作序列中检测到任意一种动作顺序的组合满足人体上墙、在墙中和下墙的动作顺序,即可判定发生了人体翻越墙体的目标事件。可以理解地,在其它实施例中,目标事件的预设动作顺序也可以设置为其它动作顺序。上墙在墙中下墙动作顺序站立→爬弯腰弯腰→爬动作顺序坐→爬坐弯腰→坐动作顺序爬弯腰→站立动作顺序坐→站立表1本实施例中对于目标事件划分为多个动作,对于各动作按照顺序确定了预设动作顺序,将交互动作序列与预设动作顺序进行比对,确定是否发生了目标事件中的预设动作;进一步地,对交互动作序列与目标事件的预设动作顺序进行比对,若交互动作序列与目标事件的预设动作顺序一致,则判定发生了目标事件。即本实施例中,不仅对于目标在某一时刻与预设警戒区域发生交互动作,还需结合一段时间内目标与预设警戒区域之间的交互动作的变化确定是否发生了目标事件,可以提高检测目标事件的准确性,减少误判。上述目标事件检测方法,获取到当前视频帧之后,在当前视频帧中识别出预设警戒区域以及确定目标检测框,当在目标检测框中间检测区域,且满足事件起始条件时,依次在后续连续的各视频帧内识别该目标与预设警戒区域的延续交互动作;根据目标检测框中目标对应的初始动作以及各延续交互动作构成交互动作序列,确定是否发生了目标事件。其中,事件起始条件为目标检测框与预设警戒区域满足预设位置关系。通过上述方法,不仅对于目标与警戒区域的位置关系进行检测,还结合目标在一定时间内的动作状态变化来确定是否发生目标事件,可以提高检测目标事件的准确性,减少误判。在一个实施例中,当在当前视频帧中检测到目标时,得到目标检测框之后,还包括:将目标检测框输入预设神经网络进行分类,获得分类结果;当分类结果为特定目标时,进入若目标检测框与预设警戒区域满足预设位置关系条件,依次识别在后续连续的各视频帧内,目标与预设警戒区域的延续交互动作的步骤;在本实施例中,初始动作为基于分类结果确定的目标检测框中特定目标对应的初始动作,延续交互动作为基于分类结果确定的在后续连续的各视频帧内,特定目标与预设警戒区域的延续交互动作。其中,预设神经网络可以是预先通过训练确定的分类网络;根据分类结果识别目标是否为特定目标可以是用于确定目标检测框中是人体还是背景,也可以是识别目标检测框是否为特定的某个目标(如特定的某个人)。进一步地,在一个实施例中,识别目标是否为特定目标,以及对于目标的动作分类可以通过同一残差网络完成,如图4所示为通过resnet对当前视频帧进行目标检测和分类的流程示意图,在本实施例中,resnet为主干网络,头部网络采用两个全连接层分别预测两个属性各自的概率(目标检测框中检测到目标的概率,以及目标对应的动作分类结果的概率)。将当前视频帧输入resnet,输出两个分类结果,分别为当前视频帧中的检测框中为目标的概率以及目标对应的动作分类结果的概率,即通过预设分类网络确定目标检测框中是否包括特定目标以及目标的动作。本实施例中,通过一个预设的神经网络对目标检测框进行分类,可获得目标检测框对应的目标是否为特定目标,以及该目标在该目标检测框中对应的动作,通过神经网络进行分类可以获得较为准确的分类结果。在目标事件为人体翻越墙体的一个具体实施例中,通过预设神经网络对目标检测框确定为人或者背景,以及目标检测框中为人时对应的动作。进一步地,如图5所示,在一个实施例中,若目标检测框与预设警戒区域满足预设位置关系条件,还包括步骤s510,构建目标序列,将目标检测框中目标对应的初始动作存储在目标序列;在本实施例中,依次识别在后续连续的各视频帧内,目标与预设警戒区域的延续交互动作,包括步骤s520,获取在后续连续的各视频帧,确定后续连续的各视频帧中目标与预设警戒区域的延续交互动作,并存储到目标对应的目标序列。在数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。本实施例中,对于各视频帧中识别出的动作作为目标序列中的元素进行存储,目标序列中依次包括初始动作以及各延续交互动作。在本实施例中,构建目标序列之后,识别当前视频帧中的目标检测框中目标的动作,记为初始动作,将其存储至目标序列中。在一个实施例中,在当前视频帧中检测到多个目标时,对于该多个目标分别构建对应的目标序列;在后续连续的各视频帧中,分别对各目标与预设警戒区域的延续交互动作,并将在后续连续的各视频帧中检测到的延续交互动作分别存储到对应为同一目标的目标序列中。在本实施例中,通过构建与目标对应的目标序列,对于目标在当前视频帧中的初始动作,以及在后续连续的各视频帧中的延续交互动作进行存储,在确定交互动作序列时,可直接从目标序列中按照时间顺序读取各延续交互动作获得交互动作序列。在另一个实施例中,如图6所示,构建目标序列之后,还包括步骤s610:将目标检测框以及对应的初始动作存储在目标序列;在本实施例中,在依次识别在后续连续的各视频帧内,目标与预设警戒区域的延续交互动作之后,还包括步骤s620:在下一视频帧中检测到目标时,确定目标在下一视频帧中的预测目标检测框,并将预测目标检测框存储到目标对应的目标序列。在一个实施例中,将目标检测框存储在目标序列包括目标检测框对应的位置信息。在本实施例中,对于目标序列,将目标检测框以及对应的初始动作存储在目标序列;当在当前视频帧中存在多个目标时,可以通过目标检测框的位置信息区分各目标,在后续连续的各视频帧中检测各目标对应的延续交互动作时,可基于各目标的位置信息分别进行识别各目标的延续交互动作,并将识别到的各目标与预设警戒区域的延续交互动作存储至对应的目标序列中。进一步地,在一个实施例中,如图7所示,确定目标在下一视频帧中的预测目标检测框,包括步骤s710:获取目标序列中目标在上一视频帧中的第一目标检测框,确定为参考目标检测框;步骤s720,计算参考目标检测框与下一视频帧中的各待定目标检测框的交并比,将交并比大于交并比阈值的待定目标检测框,确定为目标在下一视频帧中预测目标检测框。其中,待定目标检测框是指下一视频帧中的目标检测框。目标序列中目标的上一视频帧是指:该目标在目标序列中对应存储的初始动作或者延续交互动作对应的最后一帧视频帧;进一步地,为了更好的区分,本实施例中,将该目标在上一视频帧中对应的目标检测框记为参考目标检测框,将下一视频帧中的各目标检测框记为待定目标检测框;可以理解地,待定目标检测框可能存在多个。分别计算各待定目标检测框与参考目标检测框之间的交并比,将交并比大于交并比阈值的待定目标检测框确定为该参考目标检测框对应的目标在下一视频帧中的预测目标检测框。在一个具体实施例中,将上一视频帧中的目标记为目标a,对应的参考目标检测框x,对该目标a识别后续连续的各视频帧中的延续交互动作时,假设在下一视频帧中检测到的多个待定目标检测框1、2、3,…n,分别对各待定目标检测框1、2、3,…n与参考目标检测框x计算交并比,假设待定目标检测框3与参考模板检测框的交并比大于交并比阈值,则确定该待定目标检测框3为目标a在下一视频帧中的预测目标检测框。本实施例中,构建目标对应的目标序列,存储目标检测框(位置信息)以及各视频帧中识别出的目标对应的动作(包括初始动作以及延续交互动作),可以应用于在一个视频帧中检测到多个目标的情形中,分别对多个目标进行单独追踪,分别判断各目标是否正在执行目标事件对应的动作。在一个实施例中,当在后续连续的各视频帧中未识别到目标与预设警戒区域的延续交互动作时,获取目标序列中的延续交互动作对应的最后更新时间;若最后更新时间距离当前时间超过预设时间阈值,结束对目标序列的更新。其中,在后续连续的各视频帧中未检测到目标,或者,在后续连续的各视频帧中检测到目标但目标与预设警戒区域不存在交互动作时,判定在后续连续的各视频帧中未识别到目标与预设警戒区域的延续交互动作。延续交互动作对应的最后更新时间指的是目标序列中加入的最后一个延续交互动作所对应的加入时间。本实施例中,当在后续连续的各视频帧中未识别到目标与预设警戒区域的延续交互动作时,对于目标序列进行判断,决定是否需要继续对该目标进行追踪识别动作,具体为根据目标序列中延续交互动作对应的最后更新时间距离当前时刻的时间间隔来确定,当时间间隔超过预设的时间阈值时,可能该目标已经离开预设警戒区域,或者并未继续执行目标事件的动作,此时可结束对该目标的更新,不再对后续连续的各视频帧中该目标的延续交互动作进行识别。在另一个实施例中,若最后更新时间距离当前时间时间间隔未超过预设时间阈值时,可继续对后续连续的各视频帧识别与预设警戒区域的延续交互动作。在一个实施例中,每隔预设时间段对目标序列中存储的动作数量进行检测,当检测到目标序列中存储的动作数量大于预设阈值时,进入基于交互动作序列确定是否发生目标事件的步骤。在另一个实施例中,也可以直接在每隔预设时间段之后对目标序列中已有交互动作序列进行检测,判断是否发生目标事件。其中,预设时间段可以根据实际情况进行设置。在另一个实施例中,当检测到存在目标序列时,对于目标序列中的每一个新加入的延续交互动作以及目标序列中的初始动作确定的交互动作序列进行检测,即只要存在目标序列则不断的对交互动作序列进行检测是否发生目标事件,如此可提高检测的时效性,避免检测不及时带来的其它问题。进一步地,在一个实施例中,在确定发生目标事件时,生成报警信息发送至对应的预设监管人员。即在确定发生目标事件时,可以生成报警信息提示相关的人员采取相应的措施。在一个具体实施例中,以检测人体翻越墙体的目标事件为例,对上述目标事件检测方法进行详细描述。获取当前视频帧,从当前视频帧中识别出预设警戒区域。在当前视频帧中检测到人体时,得到人体检测框(上述目标检测框),采用预设分类器对人体检测框中的目标提取图像特征,并输出2个属性的分类结果,包括人体检测框中的目标是否为人体,以及人体检测框中的目标对应的动作。一方面,可以进一步筛选掉非人目标(借助第一个输出结果,判定是否为人);另一方面,人体检测框中的目标为人体时,提取检测框中的人体特征,对人体特征分类,输出该人体检测框中的人体对应的动作类别。在一个实施例中,该预设分类器提供了6个动作状态类别:站立、弯腰、蹲坐、抬手、抬腿和其他。在一个具体实施例中,预设分类器采用resnet(残差网络)为主干网络,头部网络采用两个全连接层分别预测两个属性各自的概率(人体检测框中包含人体的概率,人体对应的动作为各动作类别的概率)。同时对于的当前视频帧的人体检测框与预设警戒区域的位置关系进行判断,在检测到人体检测框的有效区域(有效区域为人体检测框的20%下边缘,称validbox)与预设警戒区域相交时,判定满足事件起始条件,此时构建与该人体检测框对应的目标序列,将人体检测框的位置信息以及对应的初始动作存储至目标序列。若当前视频帧中存在多个人体检测框与预设警戒区域相交时,分别构建与各人体检测框对应的目标序列。采用ioutracker对构建了目标序列的各人体检测框进行目标追踪。获取后续连续的下一视频帧,将当前视频帧中的人体检测框记为候选框,确定下一视频帧中的人体检测框,记为预测框。对于下一视频帧中的各预测框分别与各候选框进行匹配,进行iou计算,然后根据匈牙利算法挑选出每个预测框对应匹配的候选框所在的目标序列。若候选框与当前匹配的目标序列生成的预测框的iou超过设定阈值,则认为匹配成功,将预测框加入该目标的目标序列中。反之匹配失败。若当前某一个目标序列没有匹配到任何预测框,则根据目标序列的中的最后更新时间决定是否结束该目标序列;具体为最后更新时间距离当前时间的时间间隔超过预设时间阈值时,结束对该目标序列的追踪。进一步地,在一个实施例中,若当前某一个预测框没有匹配到任何目标序列,则新建一个与该预测框对应的目标序列对该目标进行记录和追踪。根据每一个目标序列记录各人体检测框对应的动作,获得对应人体与警戒区域发生的交互动作序列,然后根据交互动作序列中该目标人体的动作状态变化,确定是否发生了人体翻越墙体的目标事件。上述目标事件检测方法,不仅对于目标与警戒区域的位置关系进行检测,还结合目标在一定时间内的动作状态变化来确定是否发生人体翻越墙体的目标事件,可以提高检测目标事件的准确性,减少误判。同时由于根据一定时间内的动作状态变化确定是否发生目标事件,上述方法具有高效、精准、高鲁棒性的特点。应该理解的是,虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-7中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。在一个实施例中,如图8所示,提供了一种目标事件检测装置,包括:区域识别模块810、目标检测模块820、动作识别模块830和目标事件检测模块840,其中:区域识别模块810,用于获取当前视频帧,从当前视频帧中识别出预设警戒区域;目标检测模块820,用于在当前视频帧中进行目标检测,当在当前视频帧中检测到目标时,得到目标检测框;动作识别模块830,用于若目标检测框与预设警戒区域满足预设位置关系条件时,依次识别在后续连续的各视频帧内,目标与预设警戒区域的延续交互动作;目标事件检测模块840,用于基于初始动作以及各延续交互动作构成的交互动作序列,确定是否发生目标事件,初始动作为目标检测框中目标对应的动作。上述目标事件检测装置,获取到当前视频帧之后,在当前视频帧中识别出预设警戒区域,对当前视频帧进行目标检测,当在当前视频帧中检测到目标时得到目标检测框,若目标检测框与预设警戒区域满足目标检测框与预设警戒区域满足预设位置关系条件,依次在后续连续的各视频帧内识别该目标与预设警戒区域的延续交互动作;根据目标检测框中目标对应的初始动作以及各延续交互动作构成交互动作序列,确定是否发生了目标事件。通过上述方法,不仅对于目标与警戒区域的位置关系进行检测,还结合目标在一定时间内的动作状态变化来确定是否发生目标事件,可以提高检测目标事件的准确性,减少误判。在一个实施例中,上述装置还包括:目标序列构建模块,用于构建目标序列,将目标检测框对应的初始动作存储在目标序列;在本实施例中,动作识别模块830用于获取在后续连续的各视频帧,确定后续连续的各视频帧中目标与预设警戒区域的延续交互动作,并存储到目标对应的目标序列。在一个实施例中,上述装置的目标序列构建模块还用于将目标检测框以及对应的初始动作存储在目标序列;在本实施例中,上述目标检测模块820还用于在下一视频帧中检测到目标时,确定目标在下一视频帧中的预测目标检测框,并将预测目标检测框存储到目标对应的目标序列。在一个实施例中,上述装置的目标检测模块820包括:获取单元,用于获取目标序列中目标在上一视频帧中的目标检测框,确定为参考目标检测框;以及,交并比计算单元,用于计算参考目标检测框与下一视频帧中的各待定目标检测框的交并比,将交并比大于交并比阈值的待定目标检测框,确定为目标在下一视频帧中的预测目标检测框。其中,待定目标检测框为目标在下一视频帧中的预测目标检测框。在一个实施例中,上述装置还包括:更新时间获取模块,用于当在后续连续的各视频帧中未识别到目标与预设警戒区域的延续交互动作时,获取目标序列中的延续交互动作对应的最后更新时间;以及判断模块,用于若最后更新时间距离当前时间超过预设时间阈值,结束对目标序列的更新。在一个实施例中,目标事件检测模块840,包括:交互动作序列确定单元,用于按照时间先后顺序,根据初始动作和各延续交互动作确定交互动作序列;以及,判断单元,用于当交互动作序列符合目标事件的预设动作顺序时,判定发生目标事件。在一个实施例中,上述装置的动作识别模块830具体用于若后续连续的各视频帧内,目标对应的连续目标检测框与预设警戒区域满足预设位置关系条件,依次识别在后续连续的各视频帧内所述目标对应的动作,确定为目标与预设警戒区域的延续交互动作。在一个实施例中,上述装置还包括分类模块,用于将目标检测框输入预设神经网络进行分类,获得分类结果;在本实施例中,当分类结果为特定目标时,跳转至识别模块830执行若目标检测框与预设警戒区域满足预设位置关系条件时,依次识别在后续连续的各视频帧内,目标与预设警戒区域的延续交互动作。在本实施例中,初始动作为基于分类结果确定的目标检测框中特定目标对应的初始动作,延续交互动作为基于分类结果确定的在后续连续的各视频帧内,特定目标与预设警戒区域的延续交互动作。关于目标事件检测装置的具体限定可以参见上文中对于目标事件检测方法的限定,在此不再赘述。上述目标事件检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种目标事件检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取当前视频帧,从当前视频帧中识别出预设警戒区域;在当前视频帧中进行目标检测,当在当前视频帧中检测到目标时,得到目标检测框;若目标检测框与预设警戒区域满足预设位置关系条件,依次识别在后续连续的各视频帧内,目标与所述预设警戒区域的延续交互动作;基于初始动作以及各延续交互动作构成的交互动作序列,确定是否发生目标事件,初始动作为目标检测框中目标对应的动作。在一个实施例中,处理器执行计算机程序时还实现以下步骤:构建目标序列,将目标检测框中目标对应的初始动作存储在目标序列;获取在后续连续的各视频帧,确定后续连续的各视频帧中目标与预设警戒区域的延续交互动作,并存储到目标对应的目标序列。在一个实施例中,处理器执行计算机程序时还实现以下步骤:将目标检测框以及对应的初始动作存储在目标序列;在下一视频帧中检测到目标时,确定目标在所述下一视频帧中的预测目标检测框,并存储到目标对应的目标序列。在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取目标序列中目标在上一视频帧中的目标检测框,确定为参考目标检测框;计算参考目标检测框与下一视频帧中的各待定目标检测框的交并比,将交并比大于交并比阈值的待定目标检测框,确定为目标在下一视频帧中的预测目标检测框。在一个实施例中,处理器执行计算机程序时还实现以下步骤:当在后续连续的各视频帧中未识别到目标与预设警戒区域的延续交互动作时,获取目标序列中的延续交互动作对应的最后更新时间;若最后更新时间距离当前时间超过预设时间阈值,结束对目标序列的更新。在一个实施例中,处理器执行计算机程序时还实现以下步骤:按照时间先后顺序,根据初始动作和各延续交互动作确定交互动作序列;当交互动作序列符合目标事件的预设动作顺序时,判定发生目标事件。在一个实施例中,处理器执行计算机程序时还实现以下步骤:当目标检测框中的预设位置部分区域与预设警戒区域相交时,判定目标检测框与预设警戒区域满足预设位置关系条件。在一个实施例中,处理器执行计算机程序时还实现以下步骤:若后续连续的各视频帧内,目标对应的连续目标检测框与预设警戒区域满足预设位置关系条件,依次识别在后续连续的各视频帧内目标对应的动作,确定为目标与预设警戒区域的延续交互动作。在一个实施例中,将目标检测框输入预设神经网络进行分类,获得分类结果;当分类结果为特定目标时,进入若所述目标检测框与预设警戒区域满足预设位置关系条件,依次识别在后续连续的各视频帧内,目标与所述预设警戒区域的延续交互动作的步骤。在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取当前视频帧,从当前视频帧中识别出预设警戒区域;在当前视频帧中进行目标检测,当在当前视频帧中检测到目标时,得到目标检测框;若目标检测框与预设警戒区域满足预设位置关系条件,依次识别在后续连续的各视频帧内,目标与所述预设警戒区域的延续交互动作;基于初始动作以及各延续交互动作构成的交互动作序列,确定是否发生目标事件,初始动作为目标检测框中目标对应的动作。在一个实施例中,计算机程序被处理器执行时还实现以下步骤:构建目标序列,将目标检测框中目标对应的初始动作存储在目标序列;获取在后续连续的各视频帧,确定后续连续的各视频帧中目标与预设警戒区域的延续交互动作,并存储到目标对应的目标序列。在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将目标检测框以及对应的初始动作存储在目标序列;在下一视频帧中检测到目标时,确定目标在所述下一视频帧中的预测目标检测框,并存储到目标对应的目标序列。在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取目标序列中目标在上一视频帧中的目标检测框,确定为参考目标检测框;计算参考目标检测框与下一视频帧中的各待定目标检测框的交并比,将交并比大于交并比阈值的待定目标检测框,确定为目标在下一视频帧中的预测目标检测框。在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当在后续连续的各视频帧中未识别到目标与预设警戒区域的延续交互动作时,获取目标序列中的延续交互动作对应的最后更新时间;若最后更新时间距离当前时间超过预设时间阈值,结束对目标序列的更新。在一个实施例中,计算机程序被处理器执行时还实现以下步骤:按照时间先后顺序,根据初始动作和各延续交互动作确定交互动作序列;当交互动作序列符合目标事件的预设动作顺序时,判定发生目标事件。在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当目标检测框中的预设位置部分区域与预设警戒区域相交时,判定目标检测框与预设警戒区域满足预设位置关系条件。在一个实施例中,计算机程序被处理器执行时还实现以下步骤:若后续连续的各视频帧内,目标对应的连续目标检测框与预设警戒区域满足预设位置关系条件,依次识别在后续连续的各视频帧内目标对应的动作,确定为目标与预设警戒区域的延续交互动作。在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将目标检测框输入预设神经网络进行分类,获得分类结果;当分类结果为特定目标时,进入若所述目标检测框与预设警戒区域满足预设位置关系条件,依次识别在后续连续的各视频帧内,目标与所述预设警戒区域的延续交互动作的步骤。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(randomaccessmemory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(staticrandomaccessmemory,sram)或动态随机存取存储器(dynamicrandomaccessmemory,dram)等。以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1