一种行为识别方法、装置和存储介质与流程

本发明涉及人工智能领域，尤其涉及一种行为识别方法、装置和存储介质。

背景技术：

1、相关技术中，针对行为进行分析的方法可分为深度学习方法和传统学习方法。

2、深度学习方法为一种端到端的机器学习方法，在将原始数据输入模型后，模型自动进行特征提取及模型训练并给出学习结果，常用的方法有自编码器、卷积神经网络等。深度学习模型都是针对图像而构建，无法很好地描述具有时间序列的运动信息，即对于视频数据的学习能力有限，因此，运用深度学习方法进行行为分析时还需进一步对网络结构改进，比如构建三维卷积神经网络或双流卷积神经网络从而对时空特征进行提取。而网络结构的加深将进一步提高算法复杂度同时对于算力也有更高的要求，且深度学习方法由于自动进行特征的学习，也存在可解释性较低、学习结果无法修正的问题。

3、传统方法为基于低层图像的行为分析，该方法利用运动轨迹、几何特征、纹理特征等图像信息，通过人工构造输入特征实现行为分析，如代表方法有通过高斯光流模型获取候选运动区域，然后对目标区域提取光流直方图并利用svm模型进行训练和分类。传统方法主要基于光流特征信息进行研究，常见的方法有阈值法、直方图法，但此类方法的识别效果与输入特征直接相关，若输入特征不足，将导致打斗行为识别的准确率有限，漏检、误检率较高。

技术实现思路

1、有鉴于此，本发明的主要目的在于提供一种行为识别方法、装置和存储介质。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、本发明实施例提供了一种行为识别方法，所述方法包括：

4、对目标视频进行前景目标提取，确定所述目标视频中每帧图像的运动区域；

5、运用预设的特征提取方法对所述运动区域进行特征提取，得到特征结果；所述特征结果至少包括：第一特征值、第二特征值；所述第一特征值为光流方向周期一致性特征值，所述第二特征值为光流幅度周期一致性特征值；

6、运用预设的行为识别模型识别所述每帧图像对应的特征结果，得到识别结果；所述识别结果表征所述目标视频是否具有目标行为。

7、上述方案中，所述方法还包括：训练得到所述行为识别模型；所述训练得到所述行为识别模型，包括：

8、获取样本集；所述样本集包括：至少一个数据样本，每个数据样本包括：每帧图像的特征值向量和每帧图像对应的标签；

9、根据所述样本集，以所述bp神经网络为基学习器进行训练，得到第一弱分类器；

10、基于预设算法对每个数据样本的权重进行调整，得到至少一个优化样本集；

11、根据所述至少一个优化样本集中每个优化样本集分别训练一个bp神经网络模型，得到至少一个第二弱分类器；

12、根据所述第一弱分类器和至少一个第二弱分类器的分类误差，对所述第一弱分类器和至少一个第二弱分类器赋予权重，集成赋予权重后的所述第一弱分类器和至少一个第二弱分类器，得到所述行为识别模型。

13、上述方案中，所述获取样本集，包括：

14、对每个样本视频进行前景目标提取，确定所述样本视频中每帧图像的样本运动区域；

15、运用预设的特征提取方法对所述样本运动区域进行特征提取，得到特征结果，作为数据样本。

16、上述方案中，运用所述预设的特征提取方法对相应运动区域进行特征提取，得到特征结果，包括：

17、在相应运动区域内对光流特征进行提取，得到光流矢量；

18、根据所述光流矢量，确定光流幅度值和光流方向角；

19、根据所述光流方向角进行光流方向周期一致性计算，得到第一特征值；和/或，根据所述光流幅度值进行光流幅度周期一致性计算，得到第二特征值；

20、其中，相应运动区域可以包括：从目标视频中任意一帧图像提取得到的运动区域、从样本视频中任意一帧图像提取得到的样本运动区域。

21、上述方案中，所述根据所述光流方向角进行光流方向周期一致性计算，得到第一特征值，包括：

22、确定第一图像区间对应的第一矩阵，所述第一图像区间为以第j帧图像为起始、连续x帧图像形成的图像区间；所述第一矩阵包括：第一图像区间中每帧图像对应的光流方向角集合；

23、确定至少一个第二图像区间中每个第二图像区间对应的第二矩阵，所述第二图像区间为在第j帧图像前的图像区间内的、连续x帧图像形成的图像区间；所述第二矩阵包括：第二图像区间中每帧图像对应的光流方向角集合；

24、分别计算每个第二图像区间对应的第二矩阵与所述第一矩阵的第一相似度结果；

25、确定所述至少一个第二图像区间对应的第一相似度结果中的最大值，作为所述第j帧图像的第一特征值。

26、上述方案中，计算第二矩阵和第一矩阵的所述第一相似度结果，包括：

27、将所述第二矩阵中第i帧图像对应的光流方向角集合与所述第一矩阵中第i帧图像对应的光流方向角集合进行光流幅度相似度计算，得到x个光流幅度相似度值；

28、将x个光流幅度相似度值的平均值作为所述第一相似度结果。

29、上述方案中，所述根据所述光流幅度值进行光流幅度周期一致性计算，得到第二特征值，包括：

30、确定第一图像区间对应的第三矩阵，所述第一图像区间为以第j帧图像为起始、连续x帧图像形成的图像区间；所述第三矩阵包括：第一图像区间中每帧图像对应的光流幅度值集合；

31、确定至少一个第二图像区间中每个第二图像区间对应的第四矩阵，所述第二图像区间为在第j帧图像前的图像区间内的、连续x帧图像形成的图像区间；所述第四矩阵包括：第二图像区间中每帧图像对应的光流幅度值集合；

32、分别计算每个第二图像区间对应的第四矩阵与所述第三矩阵的第二相似度结果；

33、确定所述至少一个第二图像区间对应的第二相似度结果中的最大值，作为所述第j帧图像的第二特征值。

34、上述方案中，计算第四矩阵和第三矩阵的所述第二相似度结果，包括：

35、将所述第四矩阵中第i帧图像对应的光流方向角集合与所述第三矩阵中第i帧图像对应的光流方向角集合进行光流幅度相似度计算，得到x个光流幅度相似度值；

36、将x个光流幅度相似度值的平均值作为所述第二相似度结果。

37、上述方案中，所述对所述运动区域进行特征提取，得到特征结果，还包括：

38、对所述运动区域进行光流方向熵、基于幅值加权的方向熵、角点平均动能中至少一个特征的提取，得到至少一个特征的特征值。

39、上述方案中，所述方法还包括：

40、针对第j帧图像的第x个特征，将第j-z帧图像至第j帧图像的第x个特征的特征值进行均值、方差、上四分位数、中位数、下四分位数、平均绝对偏差中的至少之一的计算，得到第x个特征的特征集；z大于等于1。

41、本发明实施例提供了一种行为识别装置，所述装置包括：

42、第一处理模块，用于对目标视频进行前景目标提取，确定所述目标视频中每帧图像的运动区域；

43、第二处理模块，用于运用预设的特征提取方法对所述运动区域进行特征提取，得到特征结果；所述特征结果至少包括：第一特征值、第二特征值；所述第一特征值为光流方向周期一致性特征值，所述第二特征值为光流幅度周期一致性特征值；

44、识别模块，用于运用预设的行为识别模型识别所述每帧图像对应的特征结果，得到识别结果；所述识别结果表征所述目标视频是否具有目标行为。

45、上述方案中，所述装置还包括训练模块，用于训练得到所述行为识别模型；所述训练得到所述行为识别模型，包括：

46、获取样本集；所述样本集包括：至少一个数据样本，每个数据样本包括：每帧图像的特征值向量和每帧图像对应的标签；

47、根据所述样本集，以所述bp神经网络为基学习器进行训练，得到第一弱分类器；

48、基于预设算法对每个数据样本的权重进行调整，得到至少一个优化样本集；

49、根据所述至少一个优化样本集中每个优化样本集分别训练一个bp神经网络模型，得到至少一个第二弱分类器；

50、根据所述第一弱分类器和至少一个第二弱分类器的分类误差，对所述第一弱分类器和至少一个第二弱分类器赋予权重，集成赋予权重后的所述第一弱分类器和至少一个第二弱分类器，得到所述行为识别模型。

51、上述方案中，所述训练模块，用于对每个样本视频进行前景目标提取，确定所述样本视频中每帧图像的样本运动区域；

52、运用预设的特征提取方法对所述样本运动区域进行特征提取，得到特征结果，作为数据样本。

53、上述方案中，运用所述预设的特征提取方法对相应运动区域进行特征提取，得到特征结果，包括：

54、在相应运动区域内对光流特征进行提取，得到光流矢量；

55、根据所述光流矢量，确定光流幅度值和光流方向角；

56、根据所述光流方向角进行光流方向周期一致性计算，得到第一特征值；和/或，根据所述光流幅度值进行光流幅度周期一致性计算，得到第二特征值；

57、其中，相应运动区域可以包括：从目标视频中任意一帧图像提取得到的运动区域、从样本视频中任意一帧图像提取得到的样本运动区域。

58、上述方案中，所述根据所述光流方向角进行光流方向周期一致性计算，得到第一特征值，包括：

59、确定第一图像区间对应的第一矩阵，所述第一图像区间为以第j帧图像为起始、连续x帧图像形成的图像区间；所述第一矩阵包括：第一图像区间中每帧图像对应的光流方向角集合；

60、确定至少一个第二图像区间中每个第二图像区间对应的第二矩阵，所述第二图像区间为在第j帧图像前的图像区间内的、连续x帧图像形成的图像区间；所述第二矩阵包括：第二图像区间中每帧图像对应的光流方向角集合；

61、分别计算每个第二图像区间对应的第二矩阵与所述第一矩阵的第一相似度结果；

62、确定所述至少一个第二图像区间对应的第一相似度结果中的最大值，作为所述第j帧图像的第一特征值。

63、上述方案中，计算第二矩阵和第一矩阵的所述第一相似度结果，包括：

64、将所述第二矩阵中第i帧图像对应的光流方向角集合与所述第一矩阵中第i帧图像对应的光流方向角集合进行光流幅度相似度计算，得到x个光流幅度相似度值；

65、将x个光流幅度相似度值的平均值作为所述第一相似度结果。

66、上述方案中，所述根据所述光流幅度值进行光流幅度周期一致性计算，得到第二特征值，包括：

67、确定第一图像区间对应的第三矩阵，所述第一图像区间为以第j帧图像为起始、连续x帧图像形成的图像区间；所述第三矩阵包括：第一图像区间中每帧图像对应的光流幅度值集合；

68、确定至少一个第二图像区间中每个第二图像区间对应的第四矩阵，所述第二图像区间为在第j帧图像前的图像区间内的、连续x帧图像形成的图像区间；所述第四矩阵包括：第二图像区间中每帧图像对应的光流幅度值集合；

69、分别计算每个第二图像区间对应的第四矩阵与所述第三矩阵的第二相似度结果；

70、确定所述至少一个第二图像区间对应的第二相似度结果中的最大值，作为所述第j帧图像的第二特征值。

71、上述方案中，计算第四矩阵和第三矩阵的所述第二相似度结果，包括：

72、将所述第四矩阵中第i帧图像对应的光流方向角集合与所述第三矩阵中第i帧图像对应的光流方向角集合进行光流幅度相似度计算，得到x个光流幅度相似度值；

73、将x个光流幅度相似度值的平均值作为所述第二相似度结果。

74、上述方案中，所述第二处理模块，还用于对所述运动区域进行光流方向熵、基于幅值加权的方向熵、角点平均动能中至少一个特征的提取，得到至少一个特征的特征值。

75、上述方案中，所述第二处理模块，还用于针对第j帧图像的第x个特征，将第j-z帧图像至第j帧图像的第x个特征的特征值进行均值、方差、上四分位数、中位数、下四分位数、平均绝对偏差中的至少之一的计算，得到第x个特征的特征集；z大于等于1。

76、本发明实施例提供了一种行为识别装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上任一项所述方法的步骤。

77、本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上任一项所述方法的步骤。

78、本发明实施例所提供的一种行为识别方法、装置和存储介质，所述方法包括：对目标视频进行前景目标提取，确定所述目标视频中每帧图像的运动区域；运用预设的特征提取方法对所述运动区域进行特征提取，得到特征结果；所述特征结果至少包括：第一特征值、第二特征值；所述第一特征值为光流方向周期一致性特征值，所述第二特征值为光流幅度周期一致性特征值；运用预设的行为识别模型识别所述每帧图像对应的特征结果，得到识别结果；所述识别结果表征所述目标视频是否具有目标行为。如此，通过光流方向周期一致性和光流幅度周期一致性两个特征，区分目标行为与正常行为在运动周期一致性上的差异，有效提升模型识别结果的准确性。