人体姿态估计与跟踪系统及人体姿态估计与跟踪的方法与流程

1.本发明大致涉及图像识别技术领域，尤其涉及一种人体姿态估计与跟踪系统，以及用于视频图像的人体姿态估计与跟踪的方法。


背景技术：

2.现有的人体姿态估计和追踪系统可以分为两大类：自上而下的方法和自下而上的方法。自下而上的方法首先生成一张图片中的所有人体关节点的候选，然后再将生成的关节点候选分组，每组为一个单独的人体。之后，这些分组好的关节点会进行跨帧关联以生成最终的人体姿态估计和跟踪的结果。自上而下的方法会首先进行人体检测，生成每个人的边界框。之后在每个边界框中进行关节点检测，生成每个人的人体姿态。对这些生成的人体姿态进行跨帧关联就可以得到人体姿态估计和跟踪的结果。
3.尽管这两类方法都取得了不错的结果，但是之前的工作提出的人体姿态估计和跟踪方法仍然容易出现漏检测的情况，尤其是在背景复杂和快速运动的场景下。产生这样的问题的一个很重要原因是因为这些方法都严重依赖于先检测再关联的流程：首先根据图像信息估计当前帧中的关节点或人体，然后对这些检测出来的结果进行帧内或者跨帧的数据关联，最后得到跟踪的结果。在一些具有挑战性的场景下(例如拥挤或模糊的场景)，因为缺乏充分的图像信息，人体关节点或者人体检测器不可避免的会出现漏检测的情况，进而导致之后的过程中无法对这些漏检测的人体关节点进行恢复。虽然之前也有一些工作提出了一些方法来纠正和改进这一缺陷，他们本质上仍然很大程度上取决于纯视觉上的信息，因此无法从根本上解决这些漏检测的情况。
4.背景技术部分的内容仅仅是公开人所知晓的技术，并不当然代表本领域的现有技术。


技术实现要素：

5.有鉴于现有技术的至少一个缺陷，本发明提供一种人体姿态估计与跟踪系统，包括：
6.姿态估计单元，配置成对当前帧图像中的人体姿态进行估计，输出估计结果；
7.姿态预测单元，配置成根据当前帧之前的连续多帧图像中人体姿态的动态变化对当前帧中的人体姿态进行预测，输出预测结果；
8.融合单元，配置成将所述姿态估计单元的估计结果和所述姿态预测单元的预测结果进行匹配、融合。
9.根据本发明的一个方面，其中所述姿态估计单元进一步配置成：
10.在当前帧图像中进行人体检测，生成至少一个人体边界框；
11.分别剪裁每个所述人体边界框，并将剪裁后的图片缩放至预设尺寸；
12.根据缩放后的图片输出人体关节点的特征图和热力图，根据所述热力图获得所述估计结果。
13.根据本发明的一个方面，其中所述姿态估计单元进一步配置成：
14.将所述缩放后的图片输入骨干网络，由所述骨干网络输出所述人体关节点的特征图和热力图。
15.根据本发明的一个方面，其中所述人体关节点的热力图的数量为人体关节点的数量。
16.根据本发明的一个方面，其中所述人体关节点的特征图包括：每一个人体关节点的视觉特征、位置特征和类型特征。
17.根据本发明的一个方面，其中所述人体关节点的视觉特征通过所述骨干网络获得。
18.根据本发明的一个方面，其中所述人体关节点的位置特征通过各个关节点对应的热力图中的最大值的位置、人体姿态的中心到对应的人体边界框的距离和图片缩放比例确定。
19.根据本发明的一个方面，其中所述类型特征通过可学习的嵌入特征矩阵得到。
20.根据本发明的一个方面，其中所述姿态预测单元进一步配置成：
21.将当前帧之前的连续多帧的人体姿态跟踪序列输入图神经网络，输出对当前帧的人体姿态进行预测的结果。
22.根据本发明的一个方面，其中所述人体姿态跟踪序列包括人体姿态跟踪序列图，所述人体姿态跟踪序列图中的节点为当前帧之前的连续多帧中的人体关节点，所述人体姿态跟踪序列图中的连线为每一帧内的人体关节点之间的连接与相邻帧的对应人体关节点之间的连接。
23.根据本发明的一个方面，其中所述人体姿态跟踪序列图包括：每一个人体关节点的视觉特征、位置特征和类型特征。
24.根据本发明的一个方面，其中所述人体关节点的视觉特征、类型特征通过所述姿态估计单元对所述当前帧之前的连续多帧进行估计的过程中获得。
25.根据本发明的一个方面，其中所述人体关节点的位置特征根据人体姿态跟踪序列的最后一帧中的人体姿态的中心进行归一化后得到。
26.根据本发明的一个方面，其中所述融合单元进一步配置成：
27.将所述姿态估计单元的估计结果和所述姿态预测单元的预测结果通过匈牙利算法进行一对一的映射，其中相似度基于所有人体关节点的位置进行计算。
28.根据本发明的一个方面，其中所述融合单元进一步配置成：
29.将所述预测结果中的第一人体关节点对应到所述估计结果中；
30.当所述估计结果中没有对应的人体关节点时，将所述第一人体关节点作为第二人体关节点映射到所述估计结果中。
31.根据本发明的一个方面，其中所述融合单元进一步配置成：
32.将所述估计结果的热力图中心与所述预测结果的热力图中心进行对齐，通过对热力图求平均将其融合在一起。
33.本发明还提供一种用于视频图像的人体姿态估计与跟踪的方法，通过如上文所述的人体姿态估计与跟踪系统完成。
34.本发明提供了一种人体姿态估计与跟踪系统，通过将当前帧之前的连续多帧的人
体姿态跟踪序列输入图神经网络，输出对于当前帧的人体姿态预测。之后，将预测的人体姿态和当前帧的人体姿态检测结果做匹配和融合，进而得到当前帧最终的人体姿态估计和跟踪结果。本发明所提供的融合方式可以同时使用来自人体姿态的动力学信息和来自图像本身的视觉信息。得益于图神经网络的姿态预测，本发明所提供的基于人体动力学建模的人体姿态估计和跟踪方法，即使在有运动模糊和遮挡情况下也可以产生可靠的人体姿态估计和跟踪的结果。本发明不依赖于对人体关节点或者是人体边界框的检测，进而从更本质的角度解决了漏检测的问题。
附图说明
35.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
36.图1示出了本发明的一个实施方式的人体姿态估计与跟踪系统；
37.图2示出了本发明的一个实施方式的人体姿态估计与跟踪系统的工作过程；
38.图3示出了本发明的一个实施方式的姿态预测单元的工作过程；
39.图4示出了本发明的一个实施方式的对历史跟踪序列中的人体关节点特征进行信息聚合的过程；
40.图5示出了本发明的一个实施方式的人体姿态检测结果；
41.图6示出了本发明的一个实施方式的用于视频图像的人体姿态估计与跟踪的方法。
具体实施方式
42.在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
43.在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。
44.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
45.在本发明中，除非另有明确的规定和限定，第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它
们之间的另外的特征接触。而且，第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。
46.下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
47.以下结合附图对本发明的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
48.本发明通过图像序列对人体姿态进行动力学建模，并基于这种建模提出了一种人体姿态估计和跟踪的系统。
49.根据本发明的一个优选实施方式，如图1所示，本发明所提供的人体姿态估计与跟踪系统100，包括姿态估计单元110、姿态预测单元120和融合单元130。其中：
50.姿态估计单元110配置成对当前帧图像中的人体姿态进行估计，输出估计结果。
51.姿态预测单元120配置成根据当前帧之前的连续多帧图像中人体姿态的动态变化对当前帧中的人体姿态进行预测，输出预测结果。
52.融合单元130配置成将所述姿态估计单元110的估计结果和所述姿态预测单元120的预测结果进行匹配、融合。
53.下面参照图2对人体姿态估计与跟踪系统100的工作过程进行说明。本发明所提供的人体姿态估计与跟踪系统100由两路组成：一路执行单帧姿态估计，另一路执行姿态预测。对于传入的当前帧(t)，首先由姿态估计单元110对当前帧(t)的人体姿态进行估计，得到基于纯视觉信息的检测结果。同时，姿态预测单元120对当前帧做出姿态预测。姿态预测单元120基于历史帧，如图中所示的历史帧(t-1)，(t-2)，(t-3)中的人体姿态跟踪结果对当前帧(t)进行姿态预测。融合单元130将这两组结果：单帧姿态估计结果和姿态预测结果进行匹配，将匹配后的姿态进行融合，得到融合后的人体姿态。如图2中所示，1号、3号和4号溜冰运动员的运动姿态均被姿态估计单元110检测出，而2号溜冰运动员由于在当前帧中被3号溜冰运动员遮挡，并未被姿态估计单元110检测出，因此在姿态估计结果中，漏检了2号溜冰运动员的运动姿态。而姿态预测单元120根据历史帧(t-1)，(t-2)，(t-3)中的人体姿态跟踪结果，可以预测得到2号溜冰运动员在当前帧中的运动姿态，因此在姿态预测结果中，存在2号溜冰运动员的运动姿态。通过融合单元130进行融合，使得漏检测的2号溜冰运动员的运动姿态在最终检测结果中得到了恢复。
54.现有技术中的自上而下、自下而上的人体姿态检测方法，都依赖于对人体关节点或者是人体边界框的检测，因此容易在这些检测失效的时候出现漏检测的情况。例如，上述实施例中，由于2号溜冰运动员在当前帧中被3号溜冰运动员遮挡，未生成人体边界框，因此未对2号溜冰运动员进行人体关节点的检测和姿态估计。本发明的优选实施方式所提供的人体姿态估计和跟踪系统100，根据历史帧中的人体姿态跟踪结果，在当前帧中做出人体姿
态预测，这种预测不依赖于人体关节点或者人体边界框的检测，进而从更本质的角度解决了漏检测的问题。
55.根据本发明的一个优选实施方式，人体姿态估计与跟踪系统100中，所述姿态估计单元110进一步配置成：
56.在当前帧图像中进行人体检测，生成至少一个人体边界框；
57.分别剪裁每个所述人体边界框，并将剪裁后的图片缩放至预设尺寸；
58.根据缩放后的图片输出人体关节点的特征图和热力图，根据所述热力图生成所述估计结果。
59.继续参考图2，对于单帧的人体姿态估计，本发明遵循自上而下的人体姿态检测方法。首先，人体姿态估计单元110在当前帧中进行人体检测，生成至少一个人体边界框(如图中所示的检测出溜冰运动员的边界框)，再根据人体边界框分别剪裁当前帧中的每一个人体，将剪裁之后的图片重新缩放为固定大小，将缩放后的图像作为输入，并根据缩放后的固定大小的图像输出人体关节点的特征图和热力图，根据人体关节点的热力图生成人体姿态估计结果，将人体关节点的特征图存储，以备后续的人体姿态预测使用。
60.根据本发明的一个优选实施方式，人体姿态估计与跟踪系统100中，所述姿态估计单元110进一步配置成：
61.将所述缩放后的图片输入骨干网络，由所述骨干网络输出所述人体关节点的特征图和热力图。
62.例如，如果使用hrnet作为骨干网络，对每一个人体检测结果，将人体边界框剪裁后，重新缩放为固定大小384像素
×
288像素。将384像素
×
288像素的人体边界框内的图片输入hrnet骨干网络，在中间过程中输出人体关节点的特征图并存储，最终输出人体关节点的热力图，并根据各个人体关节点的热力图生成人体姿态估计结果。
63.根据本发明的一个优选实施方式，人体姿态估计与跟踪系统100中，所述人体关节点的热力图的数量为人体关节点的数量。
64.生成的热力图的大小通常小于输入图像，例如，以hrnet为骨干网络的时候，热力图大小为96像素
×
72像素。热力图的数量设置为人体关节点的数量，例如，常见的人体关节点数量的设定为15或17，本发明中以15个人体关节点为例进行说明。令h
ijk
为第k个热力图中(i，j)位置处的值，则第k个关节的位置为：
[0065][0066]
其中，是热力图中第k个关节点的位置，第k个关节点的位置特征可以通过计算第k个热力图中最大值的位置，然后根据人体姿态的中心到人体边界框的距离和图像缩放的比例信息进行转换。
[0067]
单帧姿态估计模型的训练损失是根据热力图计算的。裁剪后的人体样本首先被缩放到固定大小，并且相应的真实关节位置被转换为热力图中的坐标。令lk为热力图中第k个关节的真实位置。真实关节点的热力图是按照二维高斯分布生成的：
[0068][0069]
其中σ2设置为3。通过最小化损失来训练人体姿态估计模型：
[0070][0071]
其中h和w表示热力图的高度和宽度，k是关节数。
[0072]
根据本发明的一个优选实施方式，人体姿态估计与跟踪系统100中，所述人体关节点的特征图包括：每一个人体关节点的视觉特征、位置特征和类型特征。
[0073]
根据本发明的一个优选实施方式，每一个人体关节点的视觉特征通过骨干网络直接获得；每一个人体关节点的位置特征通过计算对应热力图中的最大值位置，人体姿态中心到人体边界框的距离和图像缩放比例进行信息转换获得，每一个人体关节点的类别特征通过嵌入式可学习矩阵获得。
[0074]
根据本发明的一个优选实施方式，人体姿态估计与跟踪系统100中，所述姿态预测单元130进一步配置成：
[0075]
将当前帧之前的连续多帧的人体姿态跟踪序列输入图神经网络，输出对当前帧的人体姿态进行预测的结果。
[0076]
图3示出了本发明的人体姿态动力学建模和预测的流程图。给定历史帧中的人体姿态跟踪结果，图神经网络显式地捕捉时空人体运动历史姿态的动态变化并在当前帧中做出姿态预测。在图神经网络的输入图中，节点为所有历史帧跟踪结果中的人体关节点，边分为帧内关节点之间的连接和相邻帧中所有关节点之间的连接。这种输入图的构建，有助于图神经网络捕获关节点之间的相对位置约束以及建模人体的运动。
[0077]
根据本发明的一个优选实施方式，人体姿态估计与跟踪系统100中，所述人体姿态跟踪序列包括人体姿态跟踪序列图，所述人体姿态跟踪序列图中的节点为当前帧之前的连续多帧中的人体关节点，所述人体姿态跟踪序列图中的连线为每一帧内的人体关节点之间的连接与相邻帧的对应人体关节点之间的连接。
[0078]
对于输入图中的每一个节点，本发明使用三种特征进行描述：视觉特征，位置特征，类型特征。其中视觉特征来自于骨干网络，类型特征通过一个可学习的嵌入特征矩阵得到，视觉特征和类型特征均可以在姿态估计单元对当前帧之前的连续多帧进行姿态估计的过程中输出并存储，位置特征根据历史帧跟踪序列的最后一个人体姿态的中心进行归一化后得到。图神经网络将通过跨时间的消息传递和跨空间的消息传递更新每个节点的特征，并在当前帧输出该跟踪序列在当前帧中的热力图预测。下面进行详细阐释。
[0079]
将历史轨迹中的关节点和当前帧人体姿态的潜在关节点作为图神经网络gnn模型中的节点。
[0080]
对于每一帧，在每一个关节点上结合三种特征构建输入图，来自姿态估计单元的骨干网络的视觉特征为vk，其关节类型的编码根据可学习的查找表得到，为ck，其2d位置和来自姿态估计单元的置信度为pk。对于当前帧中的潜在关节点，将其置信度设置为1。所有关节点的2d位置均根据跟踪序列最后一帧的人体姿态p
t-1
的中心进行归一化。相对于同一中心标准化关节点位置有助于捕捉全身运动。
[0081]
其中，k∈1,2，
……
k，表示给定人体姿态的第k个关节类型。
[0082]
如图2中所示的mlp为多层感知机，使用多层感知机(mlp)将所有关节点特征转换为具有相同的维度，并将它们平均池化合并，即第k个关节的最终特征计算如下：
[0083]jk
＝pooling(mlp
视觉
(vk)，mlp
位置
(pk)，mlp
类型
(ck))
[0084]
上面针对不同关节点特征的三个mlp编码器：视觉特征编码器mlp
视觉
、位置特征编码器mlp
位置
、类型特征编码器mlp
类型
，不共享参数。在为当前帧中的潜在关节点构建jk时，ck将被部分地忽略。
[0085]
图神经网络gnn模型的输入图包括两种不同类型的边：同一帧内关节之间的连接和跨连续帧的连接。同一帧内的边使gnn模型能够捕捉人体关节的相对运动和空间结构，而跨连续帧的边则对时间维度上人体姿势动态进行建模。在从这两种类型的边聚合特征时，使用两组gnn参数。
[0086]
如图4所示，在图神经网络gnn模型的每一层中，关节点的特征通过消息传递进行更新，即
[0087][0088]
其中表示第k个关节在第l层的特征，表示第k个关节点的邻居集，m表示将所有邻居集作为输入并计算聚合特征的消息聚合函数，[∣∣]表示向量的级联。
[0089]
图神经网络的gnn模型根据学习到的动态更新节点上的特征，一层层地将每一层的信息往后一层传递如图4中的例子所示，这里gnn的每一层对应一个历史时刻的信息，信息会从(t-3)层传递到(t-2)，然后传递到(t-1)，最后传递到当前时刻(t)，从而预测得到当前t时刻的关节点姿态。对于姿态预测，当前帧中的每个位置都被视为一个节点，并连接到历史跟踪轨迹中上一帧中的姿态关节点。gnn模型对当前帧中的位置进行特征聚合，并通过其聚合特征对每个位置进行姿态估计，以确定该位置的关节点类型。
[0090]
如图4中所示，三个多层感知机(mlp)的特征数设置如下：mlp
类型
：32
→
128
→
512；mlp
位置
：3
→
128
→
512；mlp
视觉
：144
→
256
→
512，三种类型的特征都转换为512维的向量，从而能支持对他们进行池化操作得到统一的特征表达。在人体姿态预测步骤中，mlp预测的特征数设置为512
→
128
→
15，最后降维到15维对应人体关节点的类型个数。人体姿态预测步骤中的搜索空间的大小被设置为576像素
×
576像素，与144
×
144的特征图相对应。特征图中的每个点都将被视为一个节点。这些节点将从历史轨迹中的人体姿态中聚合信息，并由mlp预测进行分类以生成所有15种类型的人体关节点的概率。
[0091]
如图3中的虚线框所示，使用当前帧中的潜在关节点和最后跟踪的人体姿态p
t-1
中的关节点构建一个图。然后将学习到的gnn模型应用于该图以通过消息传递更新联合特征。
[0092]
将j作为gnn模型的最终特征，通过另一个mlp对当前帧中的每个潜在关节进行预测，即
[0093]
prob＝mlp
pred
(j)
[0094]
其中prob表示输入节点所有关节类型的概率分布。当前帧中所有潜在关节的预测概率分布生成所有关节点的预测热力图。
[0095]
根据本发明的一个优选实施方式，人体姿态估计与跟踪系统100中，所述融合单元130进一步配置成：
[0096]
将所述姿态估计单元110的估计结果和所述姿态预测单元120的预测结果通过匈牙利算法进行一对一的映射，其中相似度基于所有人体关节点的位置进行计算。
[0097]
根据本发明的一个优选实施方式，人体姿态估计与跟踪系统100中，所述融合单元130进一步配置成：
[0098]
将所述预测结果中的第一人体关节点对应到所述估计结果中；
[0099]
当所述估计结果中没有对应的人体关节点时，将所述第一人体关节点作为第二人体关节点映射到所述估计结果中。
[0100]
根据本发明的一个优选实施方式，人体姿态估计与跟踪系统100中，所述融合单元130进一步配置成：
[0101]
将所述估计结果的热力图中心与所述预测结果的热力图中心进行对齐，通过对热力图求平均将其融合在一起。
[0102]
现有的方法通常会在相邻的两帧之间做人体姿态的匹配从而产生跟踪结果，这种方法会在人体姿态快速移动和交叠的时候产生错误匹配的问题。在本发明的优选实施方式中，预测产生的人体姿态和检测得到的人体姿态是在同一帧中进行融合和匹配的，这样的逻辑可以降低整个系统的误匹配率。
[0103]
图5示出了本发明所提供的人体姿态估计与跟踪系统100进行人体姿态检测的检测结果，与传统自上而下的检测方法得到的检测结果的对比。
[0104]
根据本发明的一个优选实施方式，如图6所示，本发明还提供一种用于视频图像的人体姿态估计与跟踪的方法10，包括步骤s101-s103，通过如上文所述的人体姿态估计与跟踪系统完成。
[0105]
在步骤s101中，通过姿态估计单元对当前帧图像中的人体姿态进行估计，输出估计结果。
[0106]
在步骤s102中，通过姿态预测单元根据当前帧之前的连续多帧图像中人体姿态的动态变化对当前帧中的人体姿态进行预测，输出预测结果。
[0107]
在步骤s103中，通过融合单元将所述姿态估计单元的估计结果和所述姿态预测单元的预测结果进行匹配、融合。
[0108]
本发明的优选实施方式提供了一种人体姿态估计与跟踪系统，通过将当前帧之前的连续多帧的人体姿态跟踪序列输入图神经网络，输出对于当前帧的人体姿态预测。之后，将预测的人体姿态和当前帧的人体姿态检测结果做匹配和融合，进而得到当前帧最终的人体姿态估计和跟踪结果。这样的融合方式可以同时使用来自人体姿态的动力学信息和来自图像本身的视觉信息。得益于图神经网络的姿态预测，这种基于人体动力学建模的人体姿态估计和跟踪方法即使在有运动模糊和遮挡情况下也可以产生可靠的人体姿态估计和跟踪的结果。本发明的优选实施方式不依赖于对人体关节点或者是人体边界框的检测，进而从更本质的角度解决了漏检测的问题。
[0109]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。