一种多视角融合的三维行人姿态估计与追踪方法与流程

本发明涉及一种多视角融合的三维行人姿态估计与追踪方法，属于行人姿态估计与追踪领域。

背景技术：

1、行人追踪技术是一种计算机视觉技术，可以使用摄像头和相关的软件程序来自动追踪行人的动态信息，例如他们的位置、方向和速度。这种技术在许多领域都有应用，包括安全监控、智能交通系统、运动分析和人群管理等。

2、目前行人追踪通常是在二维图像上进行的，这些图像通常来自摄像机或其他类似的视频设备。行人追踪系统的目的是识别图像中的行人，并且能够跟踪行人在图像中的运动。这样可以帮助系统跟踪人群动态，有助于改善交通流量管理、安全监控和人群控制等方面的工作。

3、在二维图像中，行人可能会被其他物体遮挡，这可能会导致追踪算法无法准确地追踪行人。同时，行人所处的环境可能会发生变化，例如光照变化或背景变化，这也会对追踪算法造成挑战。

4、三维空间中的行人追踪相比二维图像上的行人追踪有一些优点。首先，三维空间中的行人追踪更容易识别行人的三维姿态，这对于识别行人的动作和姿态来说非常重要。其次，三维空间中的行人追踪更容易处理遮挡问题，因为它可以利用行人在空间中的深度信息来解决遮挡问题。此外，三维空间中的行人追踪可以更准确地识别行人的特征，这有助于提高识别的准确率。

技术实现思路

1、由于在三维空间上进行行人追踪相较二维图像上进行追踪有着种种优点，本发明公开了一种多视角融合的三维行人姿态估计与追踪方法，方法相比于二维空间的分析更能准确的获取行人的位置和运动状态，避免了传感器单视角下行人的遮挡问题，并且利用多传感器下行人的信息，实现多角度全面的行人姿态融合。

2、为了实现上述目的，本发明公开了一种多视角融合的三维行人姿态估计与追踪方法，步骤包括：

3、步骤s10：空间三维模型构建，利用场景中人行横道的二维语义信息和三维位置信息获取二维空间和三维空间的射影变换矩阵。

4、步骤s101：构建空间模型。以路口的中心为三维空间原点，以东方为x轴正方向，北方为y轴正方向，上方为z轴正方向，构建路口三维空间坐标系。测量各个传感器在路口三维空间坐标系的位置，并测量人行横道在真实世界中的长宽、人行横道中点在路口三维空间坐标系的位置，确定人行横道每一根斑马线的位置。

5、步骤s102：检测斑马线位置信息。利用传感器采集到的图像，提取像素纹理、形状、梯度等语义信息，并回归出每根斑马线的图像位置及其概率。

6、步骤s103：获取射影变换矩阵。利用每根斑马线的图像位置即其在路口三维空间坐标系中的位置，根据相机投影模型确定二维图像空间和路口三维空间的射影变换矩阵组，并根据每根斑马线的回归概率对射影变换矩阵组进行加权求积，得到最终的射影变换矩阵。

7、步骤s20：行人三维姿态估计，结合传感器采集图像流的时空信息获取每个行人的三维姿态。

8、步骤s201：检测行人的二维空间位置。首先对图像流进行特征提取，得到具有时空信息的高维特征张量，接着将特征张量分割成若干长宽一致的矩形特征块，然后用不同大小的特征框对矩形特征块进行分类预测，得到场景中行人的位置和置信度，最终采用非极大值抑制算法筛选出可靠的目标。

9、步骤s202：检测行人的二维姿态。使用步骤s201的特征张量和目标检测位置，获取每个行人的高维特征，并构建特征金字塔，从不同尺度下的特征中提取并聚合出行人人头、臀部、双脚关节点的位置热图，最终输出行人的二维姿态。

10、步骤s203：恢复行人的三维姿态。使用步骤s103的射影变换矩阵和步骤s101传感器的三维位置，利用三角关系恢复出各个二维位置点的高度，并对最终输出行人的三维姿态。

11、步骤s30：多传感器信息融合和追踪，结合路口多个传感器提取到的行人的三维姿态进行融合，并根据行人姿态的空间位置和特征差异对目标进行匹配和追踪。

12、步骤s301：行人目标匹配。将不同传感器中行人的三维姿态的空间位置和语义特征的差异归一化为代价，并在时空上构建行人之间的代价矩阵，随后采用贪心算法将不同传感器中和前后帧最相似的行人进行匹配。

13、步骤s302：行人目标追踪。采用kalman滤波方法对匹配目标进行追踪，得到目标的轨迹，并根据目标三维姿态和s201中目标的置信度对轨迹进行更新。

14、步骤s303：运动特征提取。根据轨迹历史的位置，计算目标的速度，输出目标轨迹的运动特征。

15、与现有技术相比，本发明提出了一种多视角融合的三维行人姿态估计与追踪方法，存在诸多优势：

16、1. 在三维空间进行追踪和运动分析，相比于二维空间的分析更能准确的获取行人的位置和运动状态。

17、2. 通过提取具有时空信息的高维特征张量，避免了传感器单视角下行人的遮挡问题。

18、3. 通过利用多传感器下行人的信息，可以在多角度检测行人的姿态。

19、4. 通过利用多角度的行人姿态信息，对光照变化具有鲁棒性。

技术特征：

1.一种多视角融合的三维行人姿态估计与追踪方法，包括空间三维模型构建步骤s10，行人三维姿态估计步骤s20，多传感器信息融合和追踪步骤s30，其特征在于：

2.根据权利要求项1所述的一种多视角融合的三维行人姿态估计与追踪方法，其特征在于，所述的传感器为鱼眼彩色相机。

技术总结
本发明公开了一种多视角融合的三维行人姿态估计与追踪方法，用于路口人行横道场景中的行人监控，利用二维图像在三维空间中估计并追踪行人的姿态，获取行人物理的位置、速度等信息。本发明通过人行横道实际中的位置与其在二维图像中投影的映射关系去构建路口三维模型，并通过对图像流进行高维特征提取估计行人的三维姿态，最后结合多路口传感器的信息融合并追踪行人，得到行人的运动信息。本发明在三维空间进行追踪和运动分析，相比于二维空间的分析更能准确的获取行人的位置和运动状态；提取具有时空信息的高维特征张量，避免了传感器单视角下行人的遮挡问题；利用多传感器下行人的信息，实现多角度全面的行人姿态融合。

技术研发人员：刘泰廷,吴佳昱
受保护的技术使用者：南京美基森信息技术有限公司
技术研发日：
技术公布日：2024/1/13