基于多尺度3D卷积与时空注意力的步态识别系统

本发明属于步态识别，涉及一种基于多尺度3d卷积与时空注意力的步态识别系统。

背景技术：

1、步态作为人体在行走过程中展现的一种生物行为特征，其包含了人体不同部位动态信息的综合表现。与传统的人脸、指纹等生物认证方式相比，步态具有揭示内在生物特性的独特优势，如非侵入性、操作简便、采集设施要求低和对环境适应性强等。这些特性使得步态识别在智能视频监控、刑侦侦查及身份认证等领域表现出显著的应用潜力。然而，步态识别的技术实现依赖于对个体步态时空特征的精准把握与分析，挑战在于如何克服个体差异、服装多样性、速度变化及复杂场景等问题的干扰。步态时空特征涉及步行时身体各部位沿时间轴的序列变化、整体动态节奏、步频、步长、肢体协调性以及姿态稳定性等多维数据。精确把握这些时空特征需通过先进的计算模型，处理不同步态数据的多维和连续特性，并解决光照变化、背景噪声等环境因素的影响。这些技术难题凸显了构建高效稳定步态识别系统所涉及的复杂性，对生物识别领域来说，是一项充满挑战性的科学课题。

2、现有步态识别技术通常利用步态模板方法来捕捉个体步态的关键特征。这些模板，如步态能量图(gait energy image,gei)，其是过对多帧图像进行汇总得到代表性的表示，强调周期性步态的整体属性，用于简化步态动态并实现有效识别。步态模板的显著优点是处理速度快且对于不同视角和个体间的步态差异具有一定的鲁棒性。然而，这种方法可能无法捕捉步态动作的全部细节，对步态周期的稳定性和规律性要求较高，且对外在变化如服装、速度和负重敏感。在识别不规则步态或复杂步态模式面临局限性。在深度学习的背景下，步态识别技术已经进一步发展，超越了传统的步态模板方法，进入了以学习时空特征为导向的新阶段。深度学习模型，尤其是卷积神经网络(cnns)和循环神经网络(rnns)被广泛应用于步态识别上，因为这些模型在从原始步态序列中学习复杂的时空特征方面显示出强大的性能。cnns在提取图像或视频帧中的空间特征方面表现出色，尤其适用于从步态序列中学习区分特征。它们可以自动识别关键步态模式，无需复杂的前期特征工程。然而，cnns主要关注单个帧，这使得它们在捕捉时间上的动态关联不如rnns有效。另一方面，rnns，特别是其变体lstm(长短期记忆)和gru(门控循环单元)，非常擅长处理序列数据，因此可以更好地捕捉步态数据中的时序依赖和动态变化。但这种方式较难训练，且对参数和模型结构的选择非常敏感。整体来看，虽然深度学习方法在步态识别上取得了长足的发展，学习关注到步态在时间和空间中的有效信息仍是一件艰巨的任务。

技术实现思路

1、有鉴于此，本发明的目的在于进一步挖掘步态中潜在的时空信息，提供一种基于多尺度3d卷积与时空注意力的步态识别网络模型，该模型建模人体轮廓步态的整体和分层局部之间的关系，旨在提供更高的识别准确性和更强的适应性，建模步态数据中潜在且复杂的时空依赖。

2、为达到上述目的，本发明提供如下技术方案：

3、一种基于多尺度3d卷积与时空注意力的步态识别系统，包括：

4、步态轮廓图像采集模块：用于从视频中获取顺序帧并进行预处理，按时间维度拼接得到步态轮廓图像序列；

5、初级时空特征生成模块：用于利用3d卷积块，将步态轮廓图像序列处理获得初级步态特时空特征f；

6、多尺度层次3d卷积模块：包括三条支路，第一支路用于将初级步态时空特征f水平划分成4个部分，每个部分采用一个3d卷积块进行卷积，以提取部分级尺度的时空特征fli；第二支路用于利用一个3d卷积块对整个初级步态时空特征f进行3d卷积，从全局尺度获取步态的整体时空特征fg；第三支路用于将特征fli和fg进行级联，然后再通过3d卷积块处理并展平，得到最终的多尺度融合特征fm；

7、特征融合模块：用于采用时间注意力机制对时间和空间特征进行融合；

8、模型训练模块：采用三元组损失函数和交叉熵损失函数联合训练步态识别模型；

9、步态识别模块：利用训练好的步态识别模型对视频中的步态进行识别。

10、进一步，所述步态轮廓图像采集模块从视频中获取的顺序帧，通过前进分割、二值化处理以及归一化对齐，得到步态轮廓图像序列g＝{gi|i＝1,2,...,n}，其中gi代表第i帧步态轮廓图，n代表步态序列的帧数；将步态轮廓图像序列按时间维度拼接在一起，送入初级时空特征生成模块获取初级的时空特征f。

11、进一步，所述多尺度层次3d卷积模块的第一支路将初级步态时空特征f水平划分成4个部分，分别对应身体的肩部及以上部分、躯干部分、腿部和脚部；然后利用4个3d卷积块分别处理这些分区特征，以提取部分级尺度的时空特征fli；令步态轮廓序列g由t帧组成，每一帧图像的宽度为w，高度为h，步态轮廓图的单帧表示为1个通道，输入序列的通道c的数量与序列长度t一致，对于每层部分级尺度的时空特征提取公式如下：

12、

13、其中代表3d卷积运算，其卷积核的大小为3×3×3；代表拼接运算。

14、进一步，所述多尺度层次3d卷积模块的第二支路直接利用3d卷积块对初级步态时空特征f进行处理，以获取全局尺度的步态时空信息，对于每层步态整体时空特征的提取公式如下：

15、

16、其中代表3d卷积运算，其卷积核的大小为3×3×3。

17、进一步，所述多尺度层次3d卷积模块的第三支路将部分级特征和整体特征进行级联，然后再通过3d卷积块φ3×3×3处理如下式：

18、

19、此处的l为1或2；将最终得到的特征相加再送入3d卷积块，以获得多尺度特征f'm：

20、

21、此处的l为3；然后将多尺度特征进行展平flatten(·)，得到最终的多尺度融合特征fm：

22、

23、其中dm是fm的维度。

24、进一步，所述特征融合模块中，假设每个步态样本的序列在时间维度按照长度l进行划分，以获得时间上数量为的特征如下式：

25、

26、其中d代表划分后每个特征的尺寸。之后，每个划分特征采用两个3d卷积组成的时间注意模块ta(·)产生时间维度上划分级尺度的1×l维注意力向量v，以用于对这些划分特征进行加权，如下式：

27、

28、

29、其中σm(·)代表softmax操作；φm，1和φm，2代表两层3d卷积；

30、采用最大池化maxp(·)来获取每个划分中最具表达力的信息如下式：

31、

32、最后通过级联形成特征fm-ta。

33、进一步，所述三元组损失函数如下式：

34、

35、其中dap和dan分别表示锚样本a之间形成正实例和负实例的距离；m是手动设置的偏移量；wp和wn表示正实例和负实例的权重。

36、所述交叉熵损失函数如下式：

37、

38、其中fc(·)代表全连接层，class代表分类数，yi代表真实标签，代表预测结果。

39、所述联合损失函数如下式：

40、l＝lc+ltriplet

41、本发明的有益效果在于：本发明建模人体轮廓步态的整体和分层局部之间的关系，提高了识别准确性，增强了适应性，建模步态数据中潜在且复杂的时空依赖，获取步态更强有力的特征表达，从多尺度信息的角度提高步态识别准确性的方案提供一些思路。

42、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。