一种基于半监督骨骼点的行为识别方法及系统

1.本发明涉及计算机视觉领域中的人体行为识别领域，特别是涉及一种基于半监督骨骼点的行为识别方法及系统。


背景技术：

2.人体行为识别是计算机视觉和模式识别领域中的一个重要问题，由于其在视频检索、视频监控、虚拟现实、人机交互等领域的广泛应用，目前发展迅速。相较于基于rgb数据的和基于深度数据的行为识别任务，基于骨骼点的行为识别因其数据的鲁棒性、易于获得等优点越来越受关注。目前，大多数基于骨骼点的行为识别的深度学习模型都以全监督的方式训练来学习骨架的有判别力的表示，虽然取得了一些显著的性能，但通常需要大量的标记数据，而标注骨骼序列数据总是很费时费力的。因此，如何从未标记和标记的骨架序列中学习到有判别力的表示，一种称为基于半监督骨骼点的行为识别成为一项备受关注的工作。
3.在基于半监督骨骼点的行为识别任务中，怎样从标记的和未标记的数据中获取更多有判别力的信息是一个具有挑战性的问题。作为目前的主流方法，对比学习可以学习到更多的增强数据的表示，可以作为行为识别的前置任务。然而，这种方法仍然面临着三个主要的限制：1)它通常学习的是不能很好地反应局部运动信息的全局粒度特征。2)其正/负对通常是预定义的，其中一些正/负对是不明确的。3)它通常只在相同粒度内测量正/负对之间的距离，这忽略了不同粒度的正对和负对之间的对比。


技术实现要素：

4.本发明的目的是提供一种基于半监督骨骼点的行为识别方法及系统，提出了一种新的多粒度锚对比表示学习模型，以提高行为识别性能。
5.为实现上述目的，本发明提供了如下方案：
6.一种基于半监督骨骼点的行为识别方法，包括：
7.获取人体骨架数据；所述人体骨架数据包括学习连接的骨架图和结构连接的骨架图；
8.根据所述人体骨架数据利用多粒度锚对比学习模型进行特征提取，得到局部特征、全局特征和上下文特征；所述多粒度锚对比学习模型包括图卷积神经网络和上下文图卷积神经网络；所述多粒度锚对比学习模型的总损失函数包括多粒度锚对比损失和识别损失；所述局部特征包括第一局部特征和第二局部特征；所述全局特征包括第一全局特征和第二全局特征；所述上下文特征包括第一上下文特征和第二上下文特征；
9.将所述局部特征、所述全局特征和所述上下文特征进行融合，得到融合特征；
10.根据所述融合特征得到人体行为识别结果。
11.可选地，所述根据所述人体骨架数据利用多粒度锚对比学习模型进行特征提取，得到局部特征、全局特征和上下文特征，具体包括：
12.根据所述学习连接的骨架图利用所述图卷积神经网络提取第一全局特征和第一局部特征；
13.根据所述学习连接的骨架图利用所述上下文图卷积神经网络提取第一上下文特征；
14.根据所述结构连接的骨架图利用所述图卷积神经网络提取第二全局特征和第二局部特征；
15.根据所述结构连接的骨架图利用所述上下文图卷积神经网络提取第二上下文特征。
16.可选地，所述总损失函数的确定方法，具体包括：
17.根据所述融合特征确定锚点邻接矩阵和样本邻接矩阵；
18.根据所述锚点邻接矩阵和所述样本邻接矩阵确定多粒度锚对比损失；
19.根据所述融合特征确定识别损失；
20.根据所述对比损失和所述识别损失确定总损失函数。
21.可选地，所述根据所述融合特征确定锚点邻接矩阵和样本邻接矩阵，具体包括：
22.将所述融合特征作为结点，构建锚图；
23.根据所述融合特征利用聚类算法，确定锚点；
24.根据所述融合特征、所述锚图和所述锚点确定锚点邻接矩阵和样本邻接矩阵。
25.可选地，所述将所述局部特征、所述全局特征和所述上下文特征进行融合，得到融合特征，具体包括：
26.将所述第一全局特征、所述第一局部特征、所述第一上下文特征、所述第二全局特征、所述第二局部特征和所述第二上下文特征进行融合，得到融合特征。
27.一种基于半监督骨骼点的行为识别系统，包括：
28.数据获取模块，用于获取人体骨架数据；所述人体骨架数据包括学习连接的骨架图和结构连接的骨架图；
29.特征提取模块，用于根据所述人体骨架数据利用多粒度锚对比学习模型进行特征提取，得到局部特征、全局特征和上下文特征；所述多粒度锚对比学习模型包括图卷积神经网络和上下文图卷积神经网络；所述多粒度锚对比学习模型的总损失函数包括多粒度锚对比损失和识别损失；所述局部特征包括第一局部特征和第二局部特征；所述全局特征包括第一全局特征和第二全局特征；所述上下文特征包括第一上下文特征和第二上下文特征；
30.融合模块，用于将所述局部特征、所述全局特征和所述上下文特征进行融合，得到融合特征；
31.识别模块，用于根据所述融合特征得到人体行为识别结果。
32.可选地，所述特征提取模块，具体包括：
33.第一提取单元，用于根据所述学习连接的骨架图利用所述图卷积神经网络提取第一全局特征和第一局部特征；
34.第二提取单元，用于根据所述学习连接的骨架图利用所述上下文图卷积神经网络提取第一上下文特征；
35.第三提取单元，用于根据所述结构连接的骨架图利用所述图卷积神经网络提取第二全局特征和第二局部特征；
36.第四提取单元，用于根据所述结构连接的骨架图利用所述上下文图卷积神经网络提取第二上下文特征。
37.可选地，所述总损失函数的确定方法，具体包括：
38.根据所述融合特征确定锚点邻接矩阵和样本邻接矩阵；
39.根据所述锚点邻接矩阵和所述样本邻接矩阵确定多粒度锚对比损失；
40.根据所述融合特征确定识别损失；
41.根据所述对比损失和所述识别损失确定总损失函数。
42.可选地，所述根据所述融合特征确定锚点邻接矩阵和样本邻接矩阵，具体包括：
43.将所述融合特征作为结点，构建锚图；
44.根据所述融合特征利用聚类算法，确定锚点；
45.根据所述融合特征、所述锚图和所述锚点确定锚点邻接矩阵和样本邻接矩阵。
46.可选地，所述融合模块，具体包括：
47.融合单元，用于将所述第一全局特征、所述第一局部特征、所述第一上下文特征、所述第二全局特征、所述第二局部特征和所述第二上下文特征进行融合，得到融合特征。
48.根据本发明提供的具体实施例，本发明公开了以下技术效果：
49.本发明中获取人体骨架数据；人体骨架数据包括学习连接的骨架图和结构连接的骨架图；根据人体骨架数据利用多粒度锚对比学习模型进行特征提取，得到局部特征、全局特征和上下文特征；多粒度锚对比学习模型包括图卷积神经网络和上下文图卷积神经网络；多粒度锚对比学习模型的总损失函数包括多粒度锚对比损失和识别损失；局部特征包括第一局部特征和第二局部特征；全局特征包括第一全局特征和第二全局特征；上下文特征包括第一上下文特征和第二上下文特征；将局部特征、全局特征和上下文特征进行融合，得到融合特征；根据融合特征得到人体行为识别结果。多粒度锚对比学习模型中的多粒度锚对比损失基于锚点图测量高置信度软正对之间的一致性，从而提高模型识别性能。
附图说明
50.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
51.图1为本发明提供的基于半监督骨骼点的行为识别方法流程图；
52.图2为本发明提供的基于半监督骨骼点的行为识别方法流程示意图；
53.图3为gcn block结构示意图；
54.图4为context gcn block结构示意图；
55.图5为本发明提供的基于半监督的多粒度锚对比表示学习模型示意图。
具体实施方式
56.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
57.本发明的目的是提供一种基于半监督骨骼点的行为识别方法及系统，以提高行为识别性能。
58.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
59.如图1所示，本发明提供的一种基于半监督骨骼点的行为识别方法，包括：
60.步骤101：获取人体骨架数据；所述人体骨架数据包括学习连接的骨架图和结构连接的骨架图。其中，学习连接的骨架图中骨骼点之间的连接是可以学习的，不是固定的连接结构。
61.步骤102：根据所述人体骨架数据利用多粒度锚对比学习模型进行特征提取，得到局部特征、全局特征和上下文特征；所述多粒度锚对比学习模型包括图卷积神经网络和上下文图卷积神经网络；所述多粒度锚对比学习模型的总损失函数包括多粒度锚对比损失和识别损失；所述局部特征包括第一局部特征和第二局部特征；所述全局特征包括第一全局特征和第二全局特征；所述上下文特征包括第一上下文特征和第二上下文特征。
62.步骤102，具体包括：
63.根据所述学习连接的骨架图利用所述图卷积神经网络提取第一全局特征和第一局部特征；根据所述学习连接的骨架图利用所述上下文图卷积神经网络提取第一上下文特征；根据所述结构连接的骨架图利用所述图卷积神经网络提取第二全局特征和第二局部特征；根据所述结构连接的骨架图利用所述上下文图卷积神经网络提取第二上下文特征。
64.步骤103：将所述局部特征、所述全局特征和所述上下文特征进行融合，得到融合特征。步骤103，具体包括：将所述第一全局特征、所述第一局部特征、所述第一上下文特征、所述第二全局特征、所述第二局部特征和所述第二上下文特征进行融合，得到融合特征。
65.步骤104：根据所述融合特征得到人体行为识别结果。
66.在实际应用中，所述总损失函数的确定方法，具体包括：根据所述融合特征确定锚点邻接矩阵和样本邻接矩阵；根据所述锚点邻接矩阵和所述样本邻接矩阵确定多粒度锚对比损失；根据所述融合特征确定识别损失；根据所述对比损失和所述识别损失确定总损失函数。
67.在实际应用中，根据所述融合特征确定锚点邻接矩阵和样本邻接矩阵，具体包括：
68.将所述融合特征作为结点，构建锚图。
69.根据所述融合特征利用聚类算法，确定锚点。
70.根据所述融合特征、所述锚图和所述锚点确定锚点邻接矩阵和样本邻接矩阵。
71.本发明基于半监督骨骼点行为识别的多粒度锚对比表示学习模型包括提取多粒度的特征、建立锚图计算样本邻接矩阵和锚点邻接矩阵、多粒度锚对比损失的计算和模型目标函数的获取四个过程。
72.如图2和图5所示，提取多粒度的特征包括以下步骤：
73.步骤1：获取人体骨架数据集合其元素为一个骨架数据，其元素为一个骨架数据，c表示通道数，t表示总帧数，q表示每个人的关节点数，p表示每帧中人的数量，s为骨架数据样本的总数，s为下标，表示第s个骨架数据。将人体骨骼数据构造为具有学习
连接的和结构连接的两种图。
74.步骤2：在学习连接的骨架图上，将步骤1中得到的数据vs输入到的图卷积网络(gcns)g1(
·
)中，后跟一个全局平均池化(gap)，以获得全局特征fg＝gap(g1(vs))；将骨架数据vs输入到的图卷积网络(gcns)g2(
·
)中得到局部特征f
l
＝g2(vs)；g1(
·
)、g2(
·
)均表示图卷积网络gcns。将骨架数据vs输入到的上下文图卷积网络(context gcns)g3(
·
)中得到上下文特征fc＝gap(g3(vs))。g3(
·
)表示上下文图卷积网络context gcns。其中gcns由5个附图3所示的gcn blocks堆叠和一个全连接层构成。附图3中的sgcn：f
in
和f
out
为sgcn的输入和输出，wk为网络的参数，kv定义为空间维度的内核大小，间维度的内核大小，是人体骨架图的邻接矩阵，对角矩阵k表示第k个空间分区，i表示矩阵第i行，j表示矩阵的第j列；附图3中的tgcn：一个普通的l
×
1卷积层，用来聚合嵌入在相邻帧中的上下文表示，其中l表示时间窗口的长度。context gcns与gcns类似，唯一不同之处在于context gcnblocks还包含一个注意模块，用于捕获关键关节作为上下文关节，如附图4所示。
75.步骤3：在结构连接的骨架图上，将步骤1中得到的骨架数据vs分别输入到后跟gap的context gcnsg4(
·
)、gcnsg5(
·
)和后跟gap的gcnsg6(
·
)以获得上下文特征hc＝gap(g4(vs))、局部特征h
l
＝g5(vs)和全局特征hg＝gap(g6(vs))。结构和上一步提到的图卷积网络和上下文图卷积网络的结构是同一个。g4(
·
)表示上下文图卷积网络context gcns，g5(
·
)、g6(
·
)表示图卷积网络gcns。
76.建立锚图计算样本邻接矩阵和锚点邻接矩阵包括以下步骤：
77.步骤4：将步骤2和步骤3中得到的与vs相对应的多个特征{fg,f
l
,fc,hc,h
l
,hg}融合进一个特征ds，即：
78.ds＝concat(f
l
,fc,fg,h
l
,hc,hg)
79.因此中的所有元素对应的融合特征可以定义为将中的元素设置为一个个结点来建立一个锚图，并对实施聚类算法获得m个锚点am，即：来表示所有样本的分布。
80.步骤5：基于步骤4中得到的锚图计算锚点邻接矩阵z和样本邻接矩阵w。z表示样本与锚点之间的关系，其元素：
81.82.其中z
s,m
为样本vs和锚点am之间的距离，kh(
·
)采用高斯核函数，h是一个超参数，《s》是距样本vs前r最近锚点的索引集合。w表示样本之间的关系：其中对角矩阵的元素定义为
83.多粒度锚对比损失的计算包括以下步骤：
84.步骤6：根据步骤5中得到的样本邻接矩阵w和锚点邻接矩阵z计算粒度间和粒度内的对比损失。假定训练过程中的批处理大小为n，对于骨架数据计算得到的相应的多粒度特征可被定义为
[0085][0086][0087]
其中，为在学习连接的骨架图上提取到的骨架数据的局部特征集合，为在学习连接的骨架图上提取到的骨架数据的上下文特征集合，为在学习连接的骨架图上提取到的骨架数据的全局特征集合；为在结构连接的骨架图上提取到的骨架数据的局部特征集合，为在结构连接的骨架图上提取到的骨架数据的上下文特征集合，为在结构连接的骨架图上提取到的骨架数据的全局特征集合。n为下标，表示第n个骨架数据特征。为在学习连接的骨架图上提取到的第n个骨架数据的局部特征，为在学习连接的骨架图上提取到的第n个骨架数据的上下文特征，为在学习连接的骨架图上提取到的第n个骨架数据的全局特征；为在结构连接的骨架图上提取到的第n个骨架数据的局部特征，为在结构连接的骨架图上提取到的第n个骨架数据的上下文特征，为在结构连接的骨架图上提取到的第n个骨架数据的全局特征。
[0088]
定义为有2n个元素的global-context特征集合，则全局特征和上下文特征之间的global-context对比损失定义为：
[0089][0090]
其中gi、gj、gk为集合中的元素，表示提取到的全局或上下文特征；集合是在学习连接的骨架图上提取到的全局特征集合和上下文特征集合的并集，gi、gj、gk是集合的元素，公式中是遍历了集合的所有元素(从1到2n)，因此gi、gj、gk既可以取全局特征，也可以取上下文特征。z'是通过将锚邻接矩阵z每行中除最大值之外的所有元素置0得到的，即每个样本只保留一个最近的锚点；
在mac-loss公式中，超参数τ的值设为0.07；hu和hv是投影矩阵；是一个指标函数，当方括号内的条件为真时为1，否则为0；w
i,j
为样本相邻矩阵w的元素，n为骨架数据样本数量。用类似的方法求出相邻矩阵w的元素，n为骨架数据样本数量。用类似的方法求出如表1所示。
[0091]
表1 mac-loss中粒度间和粒度内对比损失的定义表
[0092][0093]
步骤7：为了整合所有粒度间和粒度内的对比损失，mac-loss的定义如下：
[0094][0095]
模型目标函数的获取包括以下步骤：
[0096]
步骤8：根据步骤4中得到的ds计算识别损失(recognition loss)即：
[0097][0098]
其中，y是行为的真实标签。
[0099]
步骤9：根据步骤7和步骤8得到的和定义mac-learning的对象函数。本模型使用mac-loss和recognition loss联合训练mac-learning，并定义了mac-learning的对象函数ψ(θ)如下：
[0100][0101]
其中，θ是mac-learning的参数集。
[0102]
本发明提出的模型在ntu rgb+d和nw-ucla上的性能优于目前的其他代表性方法，其实验结果如附表2和3所示。本模型性能优良主要是因为mac-learing创造性地捕获了对比学习中的高可信度软正/负对，避免了来自噪声和离群样本的模糊对的干扰。mac-learing利用包含粒度间和粒度内对比损失的多粒度锚对比损失(mac-loss)来衡量可学习和结构连接骨架上的三种粒度之间的软负/正对之间的差异/一致性。
[0103]
表2在训练集标记数据为5％、10％、30％和40％的nw-ucla数据集上，不同方法获得的识别准确率(％)的比较表
[0104][0105]
表3在训练集标记数据为5％、10％、20％和40％的ntu rgb+d数据集(cross-subject(cs)and cross-view(cv))上，不同方法获得的识别准确率(％)的比较表
[0106][0107]
本发明还提供一种基于半监督骨骼点的行为识别系统，包括：
[0108]
数据获取模块，用于获取人体骨架数据；所述人体骨架数据包括学习连接的骨架图和结构连接的骨架图。
[0109]
特征提取模块，用于根据所述人体骨架数据利用多粒度锚对比学习模型进行特征提取，得到局部特征、全局特征和上下文特征；所述多粒度锚对比学习模型包括图卷积神经网络和上下文图卷积神经网络；所述多粒度锚对比学习模型的总损失函数包括多粒度锚对比损失和识别损失；所述局部特征包括第一局部特征和第二局部特征；所述全局特征包括第一全局特征和第二全局特征；所述上下文特征包括第一上下文特征和第二上下文特征。
[0110]
融合模块，用于将所述局部特征、所述全局特征和所述上下文特征进行融合，得到融合特征。
[0111]
识别模块，用于根据所述融合特征得到人体行为识别结果。
[0112]
作为一种可选的实施方式，所述特征提取模块，具体包括：
[0113]
第一提取单元，用于根据所述学习连接的骨架图利用所述图卷积神经网络提取第
一全局特征和第一局部特征。
[0114]
第二提取单元，用于根据所述学习连接的骨架图利用所述上下文图卷积神经网络提取第一上下文特征。
[0115]
第三提取单元，用于根据所述结构连接的骨架图利用所述图卷积神经网络提取第二全局特征和第二局部特征。
[0116]
第四提取单元，用于根据所述结构连接的骨架图利用所述上下文图卷积神经网络提取第二上下文特征。
[0117]
作为一种可选的实施方式，所述总损失函数的确定方法，具体包括：
[0118]
根据所述融合特征确定锚点邻接矩阵和样本邻接矩阵。
[0119]
根据所述锚点邻接矩阵和所述样本邻接矩阵确定多粒度锚对比损失。
[0120]
根据所述融合特征确定识别损失。
[0121]
根据所述对比损失和所述识别损失确定总损失函数。
[0122]
作为一种可选的实施方式，所述根据所述融合特征确定锚点邻接矩阵和样本邻接矩阵，具体包括：
[0123]
将所述融合特征作为结点，构建锚图。
[0124]
根据所述融合特征利用聚类算法，确定锚点。
[0125]
根据所述融合特征、所述锚图和所述锚点确定锚点邻接矩阵和样本邻接矩阵。
[0126]
作为一种可选的实施方式，所述融合模块，具体包括：
[0127]
融合单元，用于将所述第一全局特征、所述第一局部特征、所述第一上下文特征、所述第二全局特征、所述第二局部特征和所述第二上下文特征进行融合，得到融合特征。
[0128]
本发明提出了一种新的多粒度锚对比表示学习模型(mac-learning)，旨在学习人体关节的潜在语义连接，然后获得多粒度动作表示。为了避免噪声和异常样本对模糊对的干扰，本发明首次利用锚点和样本邻接的锚图在对比表示学习中捕获高置信度的软正/负对，设计了一种更可靠的多粒度锚对比损失(mac-loss)，它基于锚点图测量高置信度软(负)正对之间的(不)一致性，而不是传统对比损失中的硬(负)正对，取得了很好的性能。
[0129]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0130]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。