基于双目视觉的人群行为识别方法、系统及存储介质

本发明涉及计算机视觉，尤其是涉及一种基于双目视觉的人群行为识别方法、系统及存储介质。

背景技术：

1、人群行为识别是计算机视觉领域的重要研究内容，通过对视频中人群行为的分析，可以决定人群行为的类别。人群行为识别有许多实际的应用，如机场、车站、广场等的异常情况分析。早期方法使用的是人为设计的特征，而随着深度学习的强势崛起，利用深度模型取得的特征已经成为主要采用的特征。在视频序列中不仅包含时间特征，而且包含空间特征，仅考虑时间特征，会忽略个体变化及个体间的联系，而仅考虑空间特征，会忽略个体行为随时间的变化,现有技术中未考虑个体行为变化、个体间的联系以及深度线索，导致因深度信息丢失，从而导致人群行为识别性能受影响。

技术实现思路

1、本发明的目的是解决上述技术问题。

2、为实现上述目的，本发明提供了一种基于双目视觉的人群行为识别方法，具体步骤如下：

3、步骤s1:双目图像的获取，即获取左右相机拍摄的同一人群场景的视频，并将左右相机各自拍摄的视频离散成左图像序列和右图像序列；

4、步骤s2:将上述获得的左图像序列和右图像序列中其中一个图像序列的第一帧作为参考，利用立体匹配计算视差图和三角法取得深度图，使用该帧的r、g、b通道且深度图作为第4个通道，利用残差网络提取特征以取得特征图，对左图像序列和右图像序列中的所有帧依序进行相同处理；

5、步骤s3:对步骤s1获取的左图像序列通过双流法依序确定人群中个体的位置和约束框，利用两者确定人群中个体在步骤s2取得的特征图上的位置和区域；

6、步骤s4:通过步骤s1获取的左图像序列和步骤s3中的特征图，对每个个体的序列特征图利用长短期存储网络提取个体的时间特征；

7、步骤s5:通过步骤s4中获得的时间特征，利用图结构表示个体间的空间联系且采用时间特征间的相似度作为权值，通过图卷积神经网络进行空间特征提取；

8、步骤s6:融合步骤s4中提取得到的时间特征和步骤s5中提取得到的空间特征得到人群的时空特征，通过全连接网络完成人群行为识别。

9、优选的，步骤s2具体为：

10、步骤s21：考虑同一时刻取得的左帧fl(x,y)和右帧fr(x,y)，以左帧fl(x,y)为参考，利用立体匹配计算视差图和三角法计算深度图d；

11、步骤s22：使用左帧的r、g、b通道且深度图d作为第4个通道，维度将从(3,h,w)变换为(4,h,w)，其中，h和w分别是该帧的高度和宽度，使用残差网络对4通道数据进行特征提取，从而取得特征图；

12、步骤s23：从帧序列的开始到结束，重复步骤s21和步骤s22，直到所有帧特征提取完毕，得到序列特征图。

13、优选的，步骤s3具体为：

14、步骤s31：通过左图像序列，根据个体表观检测人群中个体的位置和外接约束框，利用连续帧间个体的运动线索辅助预测，取得左图像序列中所有个体的位置和外接约束框；

15、步骤s32：对左图像序列中每帧，使用个体位置和外接约束框在该帧对应的特征图中找到对应的个体的特征子图；

16、步骤s33：考虑左图像序列中同一个体，使用双线性插值把所有特征子图映射到固定尺寸；

17、步骤s34：对左图像序列的所有个体进行上述步骤s31-步骤s33。

18、优选的，步骤s4具体为：

19、步骤s41：对于左图像序列中同一个体的所有特征子图经固定大小处理后依序提供给长短期记忆网络，取得该个体的时间特征；

20、步骤s42：对左图像序列中每个个体进行个体的时间特征的提取，取得所有个体的时间特征。

21、优选的，步骤s5具体为：

22、步骤s51：把左图像序列中每个个体当作一个图节点，使用个体的时间特征间的相似性作为边的权值，用图表示人群中所有个体的空间联系；

23、步骤s52：使用邻接矩阵存储图的边的权值，构造具有两层图卷积的图卷积神经网络并用于人群图表示，提取人群的空间特征。

24、优选的，在步骤s51中，个体的时间特征间的相似性的计算公式如下：

25、

26、其中，函数ψ()是线性化运算符，用于把固定大小的二维特征子图转换为一维向量，参数d是一维向量的长度，tfi和tfj分别表示第i和第j个个体的二维时间特征子图。

27、优选的，在步骤s52中，两层图卷积的计算公式如下：

28、z＝softmax(atw)

29、其中，函数softmax用于将结果以概率形式输出，a是存储图的边的权重的邻接矩阵，w是图卷积所使用的权值，t＝relu(axw)，x表示人群的图表示，函数relu是激活函数。

30、优选的，步骤s6具体为：

31、步骤s61：利用残差结构融合时间特征和空间特征，得到时空特征；

32、步骤s62：把时空特征作为全连接网络的输入，进行人群行为识别；

33、步骤s63：通过反向传播对长短期记忆网络、图的邻接矩阵和全连接网络组成的模型的参数进行迭代更新，直到模型收敛；

34、步骤s64：通过收敛后的模型进行人群行为识别。

35、一种基于双目视觉的人群行为识别方法的人群行为分析系统，包括，

36、双目视觉获取深度图模块，用于获得左右视频序列在同一时刻对应的深度图信息；

37、时间特征获取模块，用于对于视频中的所有行人进行检测追踪，获取行人边界框，根据行人边界框获取行人特征和行人的时间特征；

38、空间特征获取模块，用于构建行人之间的关系图结构并进行显示，然后基于关系图结构，使用图卷积神经网络执行图卷积操作，获得空间特征；

39、人群行为分析模块，用于将获取的时间特征和空间特征进行融合，得到时空特征，然后基于时空特征使用分类器输出人群行为类别。

40、一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于执行基于双目视觉的人群行为识别方法。

41、因此，本发明采用上述一种基于双目视觉的人群行为识别方法、系统及存储介质，有益效果为：

42、人群行为识别考虑的是人群的整体行为，关注人群中个体的行为变化以及个体间的联系，在个体时间特征提取时使用长短期记忆网络捕获视频帧序列中个体的行为变化，然后使用图表示视频中的所有个体，其中，节点对应每个个体且个体属性对应个体的时间特征，而边描述了个体间的联系，使用图卷积网络从图中提取个体间的空间联系特征，之后，使用残差结构融合时间特征和空间特征，从而取得时空特征。利用从双目视频中取得的深度线索，强化时间和空间特征，以增强用于人群行为识别的特征的表示力，从而提升人群行为识别的性能。

43、所使用的特征不仅定征个体随时间的行为变化、个体间的空间关联，而且定征深度线索，解决因深度信息丢失而导致的表示歧义问题。对比传统方法，本发明提出方法融合图像特征和深度线索，可以弱化因深度信息丢失而导致的表示歧义，个体时间特征、个体间的空间特征以及人群时空特征中均包含了深度信息，有助于增强特征的表示力，从而为人群行为识别提供支持。

44、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。