基于视觉算法的人体运动轨迹提取方法及系统

本发明涉及计算机视觉，尤其涉及基于视觉算法的人体运动轨迹提取方法及系统。

背景技术：

1、计算机视觉是人工智能领域的一个分支，专注于开发算法和技术，使计算机能够理解和解释视觉信息，就像人类眼睛一样。这个领域的目标是让计算机能够从图像和视频中获取信息、识别对象、分析场景以及理解运动等，以便用于各种应用，包括图像识别、目标跟踪、人机交互、自动驾驶等。

2、其中，基于视觉算法的人体运动轨迹提取方法是计算机视觉领域的一个具体应用，它涉及开发算法和技术，用于从图像或视频中提取人体运动轨迹的信息。通常，这种方法会使用计算机视觉技术来检测和跟踪人体在运动中的位置和姿势，以便获得运动的轨迹信息。这种方法的主要目的是追踪和记录人体在运动中的轨迹，以获取有关运动行为的信息。这可以应用于多种领域，如体育分析、医学研究、动作捕捉、虚拟现实等。例如，在体育分析中，可以使用这种方法来跟踪运动员的动作，以评估他们的技能水平和改进训练。

3、在现有人体运动轨迹提取方法中，许多传统方法仅使用基础的图像处理算法进行特征提取，很容易受到图像质量、光线、遮挡等因素的影响。现有的方法往往仅基于单一时间点的数据进行分析，难以准确捕获人体运动的动态和连续性。许多算法没有有效的去噪机制，特别是在复杂的外部环境中，数据很容易受到噪声的干扰。传统的运动轨迹提取方法通常无法进行多尺度和多分辨率的分析，因此得到的运动轨迹比较粗糙，无法满足高精度分析的需要。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点，而提出的基于视觉算法的人体运动轨迹提取方法及系统。

2、为了实现上述目的，本发明采用了如下技术方案：基于视觉算法的人体运动轨迹提取方法，包括以下步骤：

3、s1：输入多模态数据，采用图像校正算法进行预处理，生成校正后的多模态图像数据；

4、s2：基于所述校正后的多模态图像数据，利用深度卷积神经网络进行特征提取，获取目标的特征表示；

5、s3：基于所述目标的特征表示，运用关键点追踪技术与图神经网络对人体关键点进行跟踪分析，生成人体关键点的图结构信息；

6、s4：根据所述人体关键点的图结构信息，使用长短时记忆网络进行时空序列建模，建立时空序列的运动轨迹模型；

7、s5：基于所述时空序列的运动轨迹模型，采用卡尔曼滤波技术进行轨迹滤波和去噪，生成平滑且去噪后的运动轨迹；

8、s6：对所述平滑且去噪后的运动轨迹，利用多尺度和多分辨率分析进行细化，获取多尺度分析后的细致运动轨迹。

9、作为本发明的进一步方案，输入多模态数据，采用图像校正算法进行预处理，生成校正后的多模态图像数据的步骤具体为：

10、s101：采用直方图均衡化方法进行图像亮度调整，通过改变图像的灰度值分布增强整体图像对比度，获取亮度均衡后的多模态数据；

11、s102：基于所述亮度均衡后的多模态数据，运用畸变校正算法进行几何畸变修正，对摄像头引起的径向和切向畸变进行校正，获取畸变校正后的数据；

12、s103：基于所述畸变校正后的数据，采用双边滤波技术进行图像去噪，保留边缘信息，获取去噪后的图像数据；

13、s104：基于去噪后的图像数据，运用sift算法进行图像间的特征匹配，获取校正后的多模态图像数据。

14、作为本发明的进一步方案，基于所述校正后的多模态图像数据，利用深度卷积神经网络进行特征提取，获取目标的特征表示的步骤具体为：

15、s201：采用随机旋转、裁剪和翻转技术对所述校正后的多模态图像数据进行数据增强，获取增强后的多模态数据；

16、s202：基于所述增强后的多模态数据，利用卷积神经网络的卷积层和批量归一化技术进行特征提取，生成激活后的特征图像；

17、s203：基于所述激活后的特征图像，运用最大池化层对特征进行降维，并提取管件特征，获取降维后的特征表示；

18、s204：基于所述降维后的特征表示，利用全连接层和软最大函数层进行特征整合和分类，获取目标的特征表示。

19、作为本发明的进一步方案，基于所述目标的特征表示，运用关键点追踪技术与图神经网络对人体关键点进行跟踪分析，生成人体关键点的图结构信息的步骤具体为：

20、s301：基于目标的特征表示，运用热力图生成技术确定关键点的初步位置，获取人体初步关键点位置信息；

21、s302：对所述人体初步关键点位置信息，采用图构建技术和邻接矩阵表示建立关键点之间的初步图结构，生成初步的关键点图结构；

22、s303：基于所述初步的关键点图结构，运用图卷积网络和注意力机制对关键点信息进行加强和优化，获取加强后的关键点图结构；

23、s304：对所述加强后的关键点图结构，采用梯度下降法进行关键点的精细化调整，以更准确地反映人体结构，生成人体关键点的图结构信息。

24、作为本发明的进一步方案，根据所述人体关键点的图结构信息，使用长短时记忆网络进行时空序列建模，建立时空序列的运动轨迹模型的步骤具体为：

25、s401：基于所述人体关键点的图结构信息，使用时间窗口分割方法将连续关键点信息分成一系列时间片段，获取时间分段的关键点序列；

26、s402：基于所述时间分段的关键点序列，采用时间序列的主成分分析，对关键点信息进行维度压缩，生成维度压缩后的关键点序列；

27、s403：基于所述维度压缩后的关键点序列，运用长短时记忆网络对序列数据进行深度学习，获取长短时记忆网络学习后的特征表示；

28、s404：对所述长短时记忆网络学习后的特征表示，使用包括正则化和激活函数的后处理技术，对输出结果进行调整和优化，建立时空序列的运动轨迹模型。

29、作为本发明的进一步方案，基于所述时空序列的运动轨迹模型，采用卡尔曼滤波技术进行轨迹滤波和去噪，生成平滑且去噪后的运动轨迹的步骤具体为：

30、s501：依据所述时空序列的运动轨迹模型，对卡尔曼滤波器的初始状态进行最大似然估计以设定最优初始值，得到卡尔曼滤波器的初始状态；

31、s502：基于所述卡尔曼滤波器的初始状态，执行预测方程来得到中间估计值，并减小不确定性，获得中间轨迹估计；

32、s503：利用所述中间轨迹估计，执行更新步骤进行卡尔曼增益的计算，修正预测误差，生成修正后的轨迹估计；

33、s504：基于所述修正后的轨迹估计，循环执行预测方程和更新步骤，直到轨迹估计满足设定的稳定准则，产生平滑且去噪后的运动轨迹。

34、作为本发明的进一步方案，对所述平滑且去噪后的运动轨迹，利用多尺度和多分辨率分析进行细化，获取多尺度分析后的细致运动轨迹的步骤具体为：

35、s601：采用所述平滑且去噪后的运动轨迹，通过离散小波变换进行多分辨率分析，提取运动细节，形成多分辨率的运动轨迹表示；

36、s602：基于所述多分辨率的运动轨迹表示，运用细节系数阈值化法对细节系数进行阈值处理，得到细节增强的轨迹表示；

37、s603：依据所述细节增强的轨迹表示，采用层次聚类算法对运动轨迹进行多尺度聚合，形成多尺度聚合后的轨迹表示；

38、s604：基于所述多尺度聚合后的轨迹表示，利用逆小波变换将轨迹恢复到原始空间分辨率，完成多尺度分析后的细致运动轨迹。

39、基于视觉算法的人体运动轨迹提取系统用于执行上述基于视觉算法的人体运动轨迹提取方法，所述基于视觉算法的人体运动轨迹提取系统包括图像预处理模块、数据增强与特征提取模块、关键点定位与图构建模块、深度序列学习模块、轨迹滤波模块、多尺度轨迹分析模块、综合输出模块。

40、作为本发明的进一步方案，所述图像预处理模块采用直方图均衡化方法进行图像亮度调整，运用畸变校正算法进行几何畸变修正，通过双边滤波技术进行图像去噪，生成去噪与校正后的图像数据；

41、所述数据增强与特征提取模块基于去噪与校正后的图像数据，采用随机旋转、裁剪和翻转技术进行数据增强，并利用卷积神经网络进行特征提取，生成激活后的特征图像；

42、所述关键点定位与图构建模块基于激活后的特征图像，运用热力图生成技术和图构建技术建立关键点之间的初步图结构，生成初步的关键点图结构；

43、所述深度序列学习模块基于初步的关键点图结构，运用长短时记忆网络进行深度学习，生成长短时记忆网络学习后的特征表示；

44、所述轨迹滤波模块基于长短时记忆网络学习后的特征表示，运用卡尔曼滤波技术进行轨迹滤波和去噪，生成平滑且去噪后的运动轨迹；

45、所述多尺度轨迹分析模块基于平滑且去噪后的运动轨迹，采用离散小波变换和层次聚类算法进行多尺度轨迹分析，生成多尺度分析后的细致运动轨迹；

46、所述综合输出模块基于多尺度分析后的细致运动轨迹，进行数据格式转换和可视化处理，生成可用数据和图像输出。

47、作为本发明的进一步方案，所述图像预处理模块包括亮度均衡子模块、畸变校正子模块、图像去噪子模块；

48、所述数据增强与特征提取模块包括数据增强子模块、特征提取子模块、批量归一化子模块；

49、所述关键点定位与图构建模块包括热力图生成子模块、图构建子模块、关键点优化子模块；

50、所述深度序列学习模块包括时间窗口分割子模块、主成分分析子模块、长短时记忆网络学习子模块；

51、所述轨迹滤波模块包括卡尔曼初始化子模块、轨迹预测子模块、轨迹修正子模块；

52、所述多尺度轨迹分析模块包括小波变换子模块、细节增强子模块、多尺度聚合子模块；

53、所述综合输出模块包括数据格式转换子模块、可视化子模块、报告生成子模块。

54、与现有技术相比，本发明的优点和积极效果在于：

55、本发明中，通过多模态数据的校正和深度特征提取，能够更准确地获取目标特征，并通过关键点追踪与图神经网络的结合，增强了关键点的准确性和稳定性。采用长短时记忆网络进行时空序列建模，不仅可以实时分析人体动态，还能更准确地捕捉人体运动的连续性和复杂性。卡尔曼滤波技术用于轨迹滤波和去噪，能够有效地消除由于传感器误差和环境噪声导致的数据不准确。多尺度和多分辨率的分析提供了更细致、更高解析度的运动轨迹。