基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法

1.本发明属于计算机视觉和深度学习领域，具体涉及基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法。


背景技术：

2.行为识别技术广泛应用在智能监控、虚拟现实、人机交互、公共安全、医疗健康等众多领域，具有十分优秀的应用前景，为计算机视觉等领域的重要研究课题。人体行为识别的目的简单来说就是根据输入数据来自动判断有什么人在什么样的场景中做了怎样的事情。识别系统的一般处理流程是：通过分析处理输入数据，提取数据特征，将聚合的特征作为一种特定模式，根据这种模式来对应某类人体行为活动。对人体行为的识别不同于姿态估计，单纯一张图片并不能判断出人体活动的类型，因为，行为是个持续性的动作。例如，一张“抬着腿”的图片，并不知道图片中的人下一步是要将腿放下还是继续抬起，必须通过追踪数据中长期的动态信息才能感知到不同行为的运动特征。
3.骨架数据是包含多个人体骨骼关节的二维或者三维坐标位置的时间序列，可以利用传感器设备直接采集或者使用姿态估计方法从图像中提取出来。相比于传统的rgb视频识别方法，基于骨架数据的动作识别能很好地减少识别过程中光照变化、环境背景、遮挡等干扰因素的影响，对动态环境和复杂背景具有较强的适应性。
4.目前，将人体骨架数据拓扑为时空图，并利用图卷积网络(gcns)进行处理被证实有着良好的识别效果。然而，目前的主流基于gcn的模型还存在如下不足：(1)接收域(尤其是在时间图上)不灵活。神经网络模型是多层的，不同的层次存在着不同的语义信息，为了更好地提取信息感受野必须是要灵活多变的；(2)特征提取能力有限。一般来说，结合数量越多或者特征更明显的关节点数据，行为特征信息也就越复杂，越利于行为预测，通常采用更大的卷积核或者加大网络深度的方法，但这些都会带来更大的计算量；(3)多流融合特定行为模式的方法简单。目前，经典的多流框架模型通常直接将各流的softmax分数相加获得最终的预测结果，但实际上各个流的预测效果是有明显差异的，单纯的分数相加难以获得精确的预测结果。


技术实现要素：

5.本发明的目的在于针对上述问题，提出一种基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法，可更好地获取网络不同层的语义信息，并在不增加计算量的情况下结合数量更多、特征更明显的关节数据实现人体行为预测，大大提高人体行为的预测精确度。
6.为实现上述目的，本发明所采取的技术方案为：
7.本发明提出的基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法，包括如下步骤：
8.s1、获取人体行为视频并进行预处理；
9.s2、从预处理后的人体行为视频中提取每帧图像的人体骨架数据，人体骨架数据包括各关节对应的元组(x，y，z)，所有图像的人体骨架数据按照时间排序形成骨架序列其中，x为对应关节的x坐标值，y为对应关节的y坐标值，z为对应关节的置信度或z坐标值，v为关节向量，c为坐标维度，t为时间，n为关节点数；
10.s3、将在先获得的人体骨架数据填充至骨架序列v形成新的骨架序列v’，新的骨架序列v’具有连续的预设帧数的人体骨架数据；
11.s4、基于新的骨架序列v’获取每帧图像的二阶信息数据，二阶信息数据包括e
ti
、a
ti
、m
joint，tj
、m
bone，ti
、m
joint2，tj
和m
bone2，ti
，计算公式如下：
12.e
ti
＝v
ti
′‑vti
[0013][0014]mjoint，tj
＝v
(t+1)j-v
tj
[0015]mbone，ti
＝e
(t+1)i-e
ti
[0016]mjoint2，tj
＝v
(t+2)j-v
tj
[0017]mbone2，ti
＝e
(t+2)i-e
ti
[0018]
其中，e
ti
为第t帧第i个骨骼的骨骼向量，v
ti
为第t帧第i个骨骼上靠近骨架重心的源关节坐标，v
ti
′
为第t帧第i个骨骼上远离骨架重心的目标关节坐标，a
tic
为第t帧第i个骨骼的骨骼向量在c方向分量上的角度，c∈{x，y，z}，a
ti
＝(a
tix
，a
tiy
，a
tiz
)，e
tic
为第t帧第i个骨骼的骨骼向量在c方向分量的值，e
tix
为第t帧第i个骨骼的骨骼向量在x方向分量的值，e
tiy
为第t帧第i个骨骼的骨骼向量在y方向分量的值，e
tiz
为第t帧第i个骨骼的骨骼向量在z方向分量的值，m
joint，tj
为第j个关节在第t+1帧和第t帧的向量差，m
bone，ti
为第i个骨骼在第t+1帧和第t帧的向量差，m
joint2，tj
为第j个关节在第t+2帧和第t帧的向量差，m
bone2，ti
为第i个骨骼在第t+2帧和第t帧的向量差，v
tj
为第t帧第j个关节的坐标，v
(t+1)j
为第t+1帧第j个关节的坐标，v
(t+2)j
为第t+2帧第j个关节的坐标，e
(t+1)i
为第t+1帧第i个骨骼的骨骼向量，e
(t+2)i
为第t+2帧第i个骨骼的骨骼向量；
[0019]
s5、基于获取的s5、基于获取的
[0020]
和新的骨架序列v’七类数据分别对应建立七类训练集和标签，其中，e为每个骨骼的骨骼向量，a为每个骨骼的骨骼向量在x，y，z方向分量上的角度，m
joint
为每个关节在相邻帧图像的向量差，m
joint2
为每个关节在间隔一帧图像的向量差，m
bone
为每个骨骼在相邻帧图像的向量差，m
bone2
为每个骨骼在间隔一帧图像的向量差；
[0021]
s6、建立膨胀时空图卷积网络模型，膨胀时空图卷积网络模型包括七个第一图卷积网络和一个多分支特征融合单元，第一图卷积网络包括依次连接的第一bn层、多尺度图卷积模块、全局平均池化层、dropout层和softmax分类器，多尺度图卷积模块包括输出通道依次为64、64、64、64、128、128、128、256、256、256的十层特征提取模块，各层特征提取模块
包括依次连接的自适应空间域图卷积单元、注意力单元和时间域图卷积单元，膨胀时空图卷积网络模型还执行如下操作；
[0022]
s61、利用各第一图卷积网络获取对应的初始预测结果和softmax分数；
[0023]
s62、利用多分支特征融合单元计算各第一图卷积网络输出的初始预测结果的权重系数αs，公式如下：
[0024][0025][0026]
其中，表示每流初始预测结果组成的数组，每流初始预测结果的取值范围为0～1，acu[n]表示第n流识别准确度，acu[s]表示第s流识别准确度，γ为0.001；
[0027]
s63、将各softmax分数进行加权融合获取融合结果result，计算公式如下：
[0028][0029]
其中，rs为第s流的softmax分数；
[0030]
s7、将各类训练集和标签一一对应输入膨胀时空图卷积网络模型的第一图卷积网络进行训练，获取预训练好的膨胀时空图卷积网络模型；
[0031]
s8、将待识别的人体行为视频建立七类训练集后输入预训练好的膨胀时空图卷积网络模型，获取的融合结果result即为最终预测结果。
[0032]
优选地，步骤s1中，预处理为将人体行为视频的分辨率调整为340
×
256，帧率转换为30fps。
[0033]
优选地，步骤s2中，人体骨架数据基于openpose姿态估计工具箱提取。
[0034]
优选地，步骤s3中，预设帧数为300帧。
[0035]
优选地，时间域图卷积单元包括第一残差模块和依次连接的第一特征提取单元、concat函数和第二特征提取单元，第一残差模块和第一特征提取单元的输入端与注意力单元连接，第一残差模块的输出端与第二特征提取单元连接，第二特征提取单元用于执行相加操作，第一特征提取单元包括并行的六个第一分支单元、一个第二分支单元和一个第三分支单元，第一分支单元包括依次连接的第一瓶颈层、第一膨胀卷积层和第二bn层，第二分支单元包括依次连接的第二瓶颈层、最大池化层和第三bn层，第三分支单元包括依次连接的第二卷积层和第四bn层。
[0036]
优选地，各瓶颈层包括依次连接的第三卷积层、第六bn层和relu函数，第一残差模块包括依次连接的第四卷积层和第七bn层。
[0037]
优选地，特征提取模块还包括第二残差模块、第一激活函数、第二激活函数、第三激活函数、第五bn层和第三特征提取单元，自适应空间域图卷积单元、第一激活函数、注意力单元、时间域图卷积单元、第五bn层、第二激活函数、第三特征提取单元和第三激活函数依次连接，第二残差模块的输入端与自适应空间域图卷积单元的输入端连接，输出端与第
三特征提取单元连接，第三特征提取单元用于执行相加操作。
[0038]
优选地，自适应空间域图卷积单元满足如下公式：
[0039][0040]
其中，f
in
为自适应空间域图卷积单元的输入，f
out
为自适应空间域图卷积单元的输出，k＝0，1，
…
，k，k为空间维度的核心大小，wk为1
×
1卷积操作的权重向量，bk为针对多尺度图卷积模块各层的数据驱动的可学习邻接矩阵，ck为针对每个样本的邻接矩阵，β为自适应系数。
[0041]
与现有技术相比，本发明的有益效果为：该方法采用多流多尺度的膨胀时空图卷积网络模型将获取的人体行为信息(包括静态信息和运动信息)结合实现准确预测，通过时间域图卷积单元能够灵活有效地捕获人体骨架上的图域关节关系，通过多尺度膨胀卷积可结合数量更多、特征更明显的节点数据，更好地获取网络不同层的语义信息，采用瓶颈层降维可以有效减少模型的计算量，并使用残差连接增强模型的稳定性；通过结合特征更加突出的骨架数据的高阶信息建立多流框架，多流之间结果相互补充，同时使用新的加权方式将各流的softmax分数进行加权融合，有效提高人体行为的最终预测精确度。
附图说明
[0042]
图1为本发明基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法的流程图；
[0043]
图2为本发明膨胀时空图卷积网络模型的结构示意图；
[0044]
图3为本发明第一图卷积网络的结构示意图；
[0045]
图4为本发明特征提取模块的结构示意图；
[0046]
图5为本发明时间域图卷积单元的结构示意图。
具体实施方式
[0047]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0048]
需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本技术。
[0049]
如图1-5所示，基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法，包括如下步骤：
[0050]
s1、获取人体行为视频并进行预处理。
[0051]
在一实施例中，步骤s1中，预处理为将人体行为视频的分辨率调整为340
×
256，帧率转换为30fps。
[0052]
其中，人体行为视频为使用摄像头拍摄的rgb视频，为便于后续处理，将人体行为
视频进行分辨率调整和帧率转换操作。
[0053]
s2、从预处理后的人体行为视频中提取每帧图像的人体骨架数据，人体骨架数据包括各关节对应的元组(x，y，z)，所有图像的人体骨架数据按照时间排序形成骨架序列其中，x为对应关节的x坐标值，y为对应关节的y坐标值，z为对应关节的置信度或z坐标值，v为关节向量，c为坐标维度，t为时间，n为关节点数。
[0054]
在一实施例中，步骤s2中，人体骨架数据基于openpose姿态估计工具箱提取。
[0055]
其中，人体骨架数据可由openpose姿态估计工具箱提取，或由深度传感器直接获得，当由openpose姿态估计工具箱提取时，各关节对应的元组(x，y，z)为2d坐标(x，y)和置信度z；当由深度传感器直接获得时，各关节对应的元组(x，y，z)为3d坐标。本实施例中，基于openpose姿态估计工具箱提取，在每帧图像中，每一个人体骨架都有18个关节，每个关节都有2d坐标(x，y)和置信度z。因此，用(x，y，z)元组来表示每个关节，一个骨架被记录为18元组的数组。一个剪辑视频就转化为这些元组的骨架序列。需要说明的是，openpose姿态估计工具箱还可替换为现有技术中的其他姿态估计工具。
[0056]
s3、将在先获得的人体骨架数据填充至骨架序列v形成新的骨架序列v’，新的骨架序列v’具有连续的预设帧数的人体骨架数据。
[0057]
在一实施例中，步骤s3中，预设帧数为300帧。
[0058]
为便于准确识别人体行为，通过从开始重放序列来填充每个剪辑视频到预设帧数为300帧。
[0059]
s4、基于新的骨架序列v’获取每帧图像的二阶信息数据，二阶信息数据包括e
ti
、a
ti
、m
joint，tj
、m
bone，ti
、m
joint2，tj
和m
bone2，ti
，计算公式如下：
[0060]eti
＝v
ti
′‑vti
[0061][0062]mjoint，tj
＝v
(t+1)j-v
tj
[0063]mbone，ti
＝e
(t+1)i-e
ti
[0064]mjoint2，tj
＝v
(t+2)j-v
tj
[0065]mbone2，ti
＝e
(t+2)i-e
ti
[0066]
其中，e
ti
为第t帧第i个骨骼的骨骼向量，v
ti
为第t帧第i个骨骼上靠近骨架重心的源关节坐标，v
ti
′
为第t帧第i个骨骼上远离骨架重心的目标关节坐标，a
tic
为第t帧第i个骨骼的骨骼向量在c方向分量上的角度，c∈{x，y，z}，a
ti
＝(a
tix
，a
tiy
，a
tiz
)，e
tic
为第t帧第i个骨骼的骨骼向量在c方向分量的值，e
tix
为第t帧第i个骨骼的骨骼向量在x方向分量的值，e
tiy
为第t帧第i个骨骼的骨骼向量在y方向分量的值，e
tiz
为第t帧第i个骨骼的骨骼向量在z方向分量的值，m
joint，tj
为第j个关节在第t+1帧和第t帧的向量差，m
bone，ti
为第i个骨骼在第t+1帧和第t帧的向量差，m
joint2，tj
为第j个关节在第t+2帧和第t帧的向量差，m
bone2，ti
为第i个骨骼在第t+2帧和第t帧的向量差，v
tj
为第t帧第j个关节的坐标，v
(t+1)j
为第t+1帧第j个关节的坐标，v
(t+2)j
为第t+2帧第j个关节的坐标，e
(t+1)i
为第t+1帧第i个骨骼的骨骼向量，e
(t+2)i
为第t+2帧第i个骨骼的骨骼向量。
[0067]
其中，从新的骨架序列v’中提取出具有高阶信息的二次数据(二阶信息数据)。每一个骨骼可以表示为从其源关节指向其目标关节的向量，当然，这些骨骼向量都是符合人体自然骨架连接的。处理出来的骨骼数据包含着二阶信息，如骨骼的方向和长度。除了静态信息骨骼向量和角度，运动信息也极为重要，通过计算两个连续帧和相隔一帧的同一个关节或骨骼的差异，便于获得更加准确的识别结果。
[0068]
s5、基于获取的s5、基于获取的
[0069]
和新的骨架序列v’七类数据分别对应建立七类训练集和标签，其中，e为每个骨骼的骨骼向量，a为每个骨骼的骨骼向量在x，y，z方向分量上的角度，m
joint
为每个关节在相邻帧图像的向量差，m
joint2
为每个关节在间隔一帧图像的向量差，m
bone
为每个骨骼在相邻帧图像的向量差，m
bone2
为每个骨骼在间隔一帧图像的向量差。
[0070]
其中，将300帧图像对应的七类数据(包括e、a、m
joint
、m
joint2
、m
bone
、m
bone2
和v’)，分别建立训练集和标签。容易理解的是，根据时间t和关节点数n，e、a、m
joint
、m
joint2
、m
bone
、m
bone2
依次对应e
ti
、a
ti
、m
joint，tj
、m
joint2，tj
、m
bone，ti
和m
bone2，ti
。
[0071]
s6、建立膨胀时空图卷积网络模型，膨胀时空图卷积网络模型包括七个第一图卷积网络和一个多分支特征融合单元，第一图卷积网络包括依次连接的第一bn层、多尺度图卷积模块、全局平均池化层、dropout层和softmax分类器，多尺度图卷积模块包括输出通道依次为64、64、64、64、128、128、128、256、256、256的十层特征提取模块，各层特征提取模块包括依次连接的自适应空间域图卷积单元、注意力单元和时间域图卷积单元，膨胀时空图卷积网络模型还执行如下操作；
[0072]
s61、利用各第一图卷积网络获取对应的初始预测结果和softmax分数；
[0073]
s62、利用多分支特征融合单元计算各第一图卷积网络输出的初始预测结果的权重系数αs，公式如下：
[0074][0075][0076]
其中，表示每流初始预测结果组成的数组，每流初始预测结果的取值范围为0～1，acu[n]表示第n流识别准确度，acu[s]表示第s流识别准确度，γ为0.001；
[0077]
s63、将各softmax分数进行加权融合获取融合结果result，计算公式如下：
[0078][0079]
其中，rs为第s流的softmax分数。
[0080]
在一实施例中，特征提取模块还包括第二残差模块、第一激活函数、第二激活函数、第三激活函数、第五bn层和第三特征提取单元，自适应空间域图卷积单元、第一激活函
数、注意力单元、时间域图卷积单元、第五bn层、第二激活函数、第三特征提取单元和第三激活函数依次连接，第二残差模块的输入端与自适应空间域图卷积单元的输入端连接，输出端与第三特征提取单元连接，第三特征提取单元用于执行相加操作。
[0081]
在一实施例中，自适应空间域图卷积单元满足如下公式：
[0082][0083]
其中，f
in
为自适应空间域图卷积单元的输入，f
out
为自适应空间域图卷积单元的输出，k＝0，1，
…
，k，k为空间维度的核心大小，wk为1
×
1卷积操作的权重向量，bk为针对多尺度图卷积模块各层的数据驱动的可学习邻接矩阵，ck为针对每个样本的邻接矩阵，β为自适应系数。
[0084]
在一实施例中，时间域图卷积单元包括第一残差模块和依次连接的第一特征提取单元、concat函数和第二特征提取单元，第一残差模块和第一特征提取单元的输入端与注意力单元连接，第一残差模块的输出端与第二特征提取单元连接，第二特征提取单元用于执行相加操作，第一特征提取单元包括并行的六个第一分支单元、一个第二分支单元和一个第三分支单元，第一分支单元包括依次连接的第一瓶颈层、第一膨胀卷积层和第二bn层，第二分支单元包括依次连接的第二瓶颈层、最大池化层和第三bn层，第三分支单元包括依次连接的第二卷积层和第四bn层。
[0085]
在一实施例中，各瓶颈层包括依次连接的第三卷积层、第六bn层和relu函数，第一残差模块包括依次连接的第四卷积层和第七bn层。
[0086]
其中，膨胀时空图卷积网络模型如图2所示，包括七个第一图卷积网络(分别对应j-stream、b-stream、j-m-stream、b-m-stream、j-m2-stream、b-m2-stream、a-stream)和多分支特征融合单元(multi-branch feature fusion)，skeleton data即为划分训练集后的骨架数据。第一图卷积网络如图3所示，包括依次连接的第一bn层、多尺度图卷积模块、全局平均池化层(gap)、dropout层和softmax分类器，多尺度图卷积模块包括输出通道依次为64、64、64、64、128、128、128、256、256、256的十层特征提取模块(分别为l1-l10)。每个第一图卷积网络处理一类数据，得到对应的初始预测结果和softmax分数。
[0087]
特征提取模块如图4所示，包括第二残差模块(residual connection)和依次连接的自适应空间域图卷积单元(convs)、第一激活函数、注意力单元(stc)、时间域图卷积单元(convt)、第五bn层、第二激活函数、第三特征提取单元和第三激活函数依次连接，第二残差模块的输入端与自适应空间域图卷积单元的输入端连接，输出端与第三特征提取单元连接，第三特征提取单元用于执行相加操作，第一激活函数、第二激活函数和第三激活函数均为relu函数。
[0088]
自适应空间域图卷积单元(convs)构建过程为：根据输入的特征图得到邻接矩阵bk和ck，利用自适应系数β对ck加权后再与bk相加，然后与输入的特征图相乘，叠加通道后经过1
×
1空间域图卷积得到输出特征图，公式表示如下：
[0089][0090]
其中，bk以符合人体骨架自然连接的邻接矩阵初始化，可以学习完全针对识别任
务的图，并针对不同层中包含的不同信息更加个性化，ck通过相似函数判断两个顶点是否连通以及连接强度，为每个样本学习一个唯一的图，β为随着训练迭代更新的自适应系数。
[0091]
注意力单元(stc)构建过程为：将输入分别经过空间注意力模块、时间注意力模块和通道注意力模块，每一个模块都将输入进行平均池化后得到的相应维度的注意力矩阵，然后与输入进行对应元素相乘相加得到输出。需要说明的是，自适应空间域图卷积单元和注意力单元为本领域技术人员熟知技术，在此不再赘述。
[0092]
时间域图卷积单元(convt)构建过程为：如图5所示，第一残差模块表示为residual，各瓶颈层表示为bottleneck，将输入降维分为8个分支单元分别处理，各第一分支单元分别使用7
×
1和9
×
1的卷积核并结合1、2、3三种不同的膨胀率(dilation)组成6种膨胀卷积分支，第二分支单元使用最大池化层处理，8个分支单元的输出按通道维度合并再与残差模块输出相加从而得到最终输出。时间域图卷积单元能够灵活有效地捕获人体骨架上的图域关节关系，通过多尺度膨胀卷积可结合数量更多、特征更明显的节点数据，更好地获取网络不同层的语义信息，采用瓶颈层降维可以有效减少模型的计算量，并使用残差连接进一步增强模型的稳定性。
[0093]
多分支特征融合单元(multi-branch feature fusion)构建过程为：将各第一图卷积网络输出的初始预测结果与初始预测结果中的最小值计算差值，获取每一个差值在差值和的比例，该比例即为输出的权重系数。
[0094]
s7、将各类训练集和标签一一对应输入膨胀时空图卷积网络模型的第一图卷积网络进行训练，获取预训练好的膨胀时空图卷积网络模型。
[0095]
其中，将七类数据的训练集和标签输入膨胀时空图卷积网络模型的第一图卷积网络进行训练，迭代一定次数后得到预训练好的膨胀时空图卷积网络模型。在本实施例中训练参数如下：初始学习率设置为0.05，权重衰减设置为0.0001，采用nesterov动量为0.9的随机梯度下降(sgd)来调整参数，最大训练次数设置为65次，在第45和第55次训练阶段将学习率除以10。对模型进行训练为本领域技术人员熟知技术，在此不再赘述。
[0096]
s8、将待识别的人体行为视频建立七类训练集后输入预训练好的膨胀时空图卷积网络模型，获取的融合结果result即为最终预测结果。
[0097]
其中，将待识别的人体行为视频采用步骤s1～s5建立七类训练集后，输入到预训练好的膨胀时空图卷积网络模型，即可获得待识别的人体行为视频的最终预测结果。
[0098]
该方法采用多流多尺度的膨胀时空图卷积网络模型将获取的人体行为信息(包括静态信息和运动信息)结合实现准确预测，通过时间域图卷积单元能够灵活有效地捕获人体骨架上的图域关节关系，通过多尺度膨胀卷积可结合数量更多、特征更明显的节点数据，更好地获取网络不同层的语义信息，采用瓶颈层降维可以有效减少模型的计算量，并使用残差连接增强模型的稳定性；通过结合特征更加突出的骨架数据的高阶信息建立多流框架，多流之间结果相互补充，同时使用新的加权方式将各流的softmax分数进行加权融合，有效提高人体行为的最终预测精确度。
[0099]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0100]
以上所述实施例仅表达了本技术描述较为具体和详细的实施例，但并不能因此而
理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。