目标对象行为识别方法、装置、电子设备及介质与流程

文档序号:31054094发布日期:2022-08-06 10:36阅读:来源:国知局

技术特征:
1.一种目标对象行为识别方法,其特征在于,用于识别视频中目标对象的目标行为,所述目标行为被拆分为多个子行为,所述方法包括:对输入视频进行采样,得到待识别图像序列,所述待识别图像序列包括按照时间先后顺序排列的多帧图像;对所述待识别图像序列进行特征提取,得到特征数据序列;基于所述特征数据序列,得到所述输入视频中目标对象的子行为预测结果,所述子行为预测结果包括:所述待识别图像序列对应的时间段中目标对象所产生的子行为类别;基于所述子行为预测结果,得到目标对象在所述待识别图像序列中发生的目标行为类别识别结果。2.根据权利要求1所述的方法,其特征在于,在得到所述目标行为类别识别结果之后,还包括:若所述识别结果为未发生所述目标行为,且所述子行为预测结果中包含所述多个子行为中的特征子行为,则按照预设步长增大采样周期,并根据增大后的采样周期重新采样待识别图像序列,对重新采样的待识别图像序列进行目标对象行为识别,得到新的目标行为类别识别结果;其中,增大后采样周期的起始时间点位于所述特征子行为对应的时间点之前,终止时间点位于增大前采样周期的终止时间点之后。3.根据权利要求1所述的方法,其特征在于,在得到所述目标行为类别识别结果之后,还包括:若所述识别结果为未发生所述目标行为,且所述子行为预测结果中不包含所述多个子行为中的特征子行为,或者,所述目标行为识别结果为发生所述目标行为,则按照当前采样周期继续进行下一周期的目标对象行为识别。4.根据权利要求1所述的方法,其特征在于,对所述待识别图像序列进行特征提取,得到特征数据序列,包括:对所述待识别图像序列中的每帧图像进行特征提取,得到一个特征图;对所述特征图进行特征提取,并对所提取的特征按照时间维度进行拆分,得到时间特征序列;将所述时间特征序列输入预先训练的循环神经网络,得到所述特征数据序列,其中,所述循环神经网络利用连接时序分类损失函数训练得到。5.根据权利要求4所述的方法,其特征在于,对所述待识别图像序列中的每帧图像进行特征提取,得到一个特征图,包括:对所述待识别图像序列中的每帧图像分别进行特征提取,得到所述每帧图像的序列特征;按照时间顺序对所得到的序列特征进行拼接,并对拼接结果进行维度转换,得到所述特征图。6.根据权利要求4所述的方法,其特征在于,所述基于所述子行为预测结果,得到目标对象在所述待识别图像序列中发生的目标行为类别识别结果,包括:对所述子行为预测结果中包含的子行为类别进行组合处理,得到子行为组合结果;通过将所述子行为组合结果与预设的行为组合策略进行匹配,确定目标对象在所述待
识别图像序列中发生的目标行为类别识别结果,其中,所述行为组合策略包括每种目标行为对应的子行为组合策略。7.根据权利要求6所述的方法,其特征在于,所述子行为预测结果中还分布有分隔占位符,对所述子行为预测结果中包含的子行为类别进行组合处理,得到子行为组合结果,包括:对所述子行为预测结果中相邻且重复的子行为类别进行去重处理;在完成所述去重处理后,删除所述子行为预测结果中的分隔占位符,得到所述子行为组合结果。8.根据权利要求1所述的方法,其特征在于,所述基于所述特征数据序列,得到所述输入视频中目标对象的子行为预测结果,包括:将所述特征数据序列输入预设的激活函数,得到所述输入视频中目标对象的子行为预测结果。9.根据权利要求1所述的方法,其特征在于,所述输入视频为车载摄像头采集的车内或车外目标人员的视频数据,所述目标对象为所述车内或车外目标人员。10.一种目标对象行为识别装置,其特征在于,用于识别视频中目标对象的目标行为,所述目标行为被拆分为多个子行为,所述装置包括:采样模块,用于对输入视频进行采样,得到待识别图像序列,所述待识别图像序列包括按照时间先后顺序排列的多帧图像;特征提取模块,用于对所述待识别图像序列进行特征提取,得到特征数据序列;预测模块,用于基于所述特征数据序列,得到所述输入视频中目标对象的子行为预测结果,所述子行为预测结果包括:所述待识别图像序列对应的时间段中目标对象所产生的子行为类别;识别模块,用于基于所述子行为预测结果,得到目标对象在所述待识别图像序列中发生的目标行为类别识别结果。11.一种电子设备,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1-9中任一项所述方法的步骤。12.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该程序被处理器执行时实现权利要求1-9中任一项所述方法的步骤。

技术总结
本说明书实施例提供了一种目标对象行为识别方法、装置、电子设备及介质,通过将目标对象在场景中的目标行为拆分为子行为,在此基础上,对输入视频进行采样,得到按照时间先后顺序排列的待识别图像序列,然后经过特征提取,得到特征数据序列,接着,基于特征数据序列进行子行为预测,得到输入视频中目标对象的子行为预测结果,该结果中包括待识别图像序列对应的时间段中目标对象所产生的子行为类别;再根据子行为预测结果,得到目标对象在待识别图像序列中发生的目标行为类别识别结果,有利于提高行为识别结果的准确性。高行为识别结果的准确性。高行为识别结果的准确性。


技术研发人员:韦国钧
受保护的技术使用者:斑马网络技术有限公司
技术研发日:2022.04.06
技术公布日:2022/8/5
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1