人体姿态估计方法、装置、电子设备及可读存储介质

1.本公开涉及通信和计算机技术领域，具体涉及一种人体姿态估计方法、装置、电子设备及可读存储介质。


背景技术：

2.随着wi
‑
fi架构和软件工具的提升，可以很方便的利用普通的商用wi
‑
fi设备获取信道状态信息(channel state information，csi)，捕捉和处理人体在空间中的自由活动所引起的反射的wi
‑
fi信号的幅度和相位变化，建立无线信号与目标姿态之间的映射关系，从而准确有效的对空间中的人类活动进行感知。
3.现有技术中，基于无线感知的人体姿态估计方法可以估计出二维或三维的人体姿态，但是它们都在某些方面存在着缺陷。二维的姿态估计方法只能返回固定视角的姿态信息，包含的信息量不充足，并且没办法估计某些特殊姿势(例如某些肢体在视角方向被遮挡)。三维的姿态估计方法往往要求人在一个定点上做动作，导致其应用场景受到了很大限制。


技术实现要素：

4.为了至少部分解决相关技术问题，本公开实施例提供一种人体姿态估计方法和装置。
5.第一方面，本公开实施例中提供了一种人体姿态估计方法。
6.具体地，所述人体姿态估计方法，包括：
7.处理接收到的视频数据，获取人体姿态的真实关键点坐标；
8.处理接收到的信道状态信息，并将处理后的所述信道状态信息输入神经网络模型进行训练，得到人体姿态的预测关键点坐标；
9.其中，所述信道状态信息与视频数据为在时间同步下采集到的数据，所述神经网络模型的损失函数由根据所述真实关键点坐标与所述预测关键点坐标计算得到。
10.结合第一方面，本公开在第一方面的第一种实现方式中，所述方法还包括：利用训练好的神经网络模型进行人体姿态估计。
11.结合第一方面，本公开在第一方面的第二种实现方式中，所述处理接收到的视频数据，获取人体姿态的真实关键点坐标，包括：
12.从视频数据中依次提取人体的二维姿态、三维姿态，得到人体骨架关键点坐标；
13.基于时间序列形成所述人体骨架关键点坐标的关键点坐标集合，作为人体姿态的真实关键点坐标。
14.结合第一方面，本公开在第一方面的第三种实现方式中，所述处理接收到的信道状态信息，并将处理后的信息输入神经网络模型进行训练，得到人体姿态的预测关键点坐标，包括：
15.利用同步的视频数据分割预处理后的信道状态信息，将一个视频帧与基于采集速
率得到的n个信道状态信息的采样样本对应；其中，n为自然数；
16.分别根据所述采样样本的振幅得到振幅图像以及根据所述采样样本的相位信息得到相位图像；其中，所述振幅图像以及相位图像的像素为m
×
t，m为载波数量，t为选择的采样样本数，t≥n；
17.将所述振幅图像以及相位图像输入神经网络模型进行训练，得到人体姿态的预测关键点坐标。
18.结合第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，所述预处理后的信道状态信息的预处理方式包括：
19.确定不同天线接收到的信道状态信息中静态路径成分与动态路径成分的方差；
20.将方差最大的信道状态信息去噪后作为预处理后的信道状态信息。
21.结合第一方面，本公开在第一方面的第五种实现方式中，所述神经网络模型包括以下至少一种：cnn、lstm。
22.第二方面，本公开实施例中提供了一种人体姿态估计装置。
23.具体地，所述人体姿态估计装置，包括：
24.视频图像处理模块，用于处理接收到的视频数据，获取人体姿态的真实关键点坐标；
25.信道状态信息处理模块，用于处理接收到的信道状态信息，并将处理后的所述信道状态信息输入神经网络模型进行训练，得到人体姿态的预测关键点坐标；
26.其中，所述信道状态信息与视频数据为在同步时间下采集到的数据，所述神经网络模型的损失函数由根据所述真实关键点坐标与所述预测关键点坐标计算得到。
27.结合第二方面，本公开在第二方面的第一种实现方式中，还包括：
28.人体姿态估计模块，用于利用训练好的神经网络模型进行人体姿态估计。
29.结合第二方面，本公开在第二方面的第二种实现方式中，所述视频图像处理模块包括：
30.第一获取子模块，用于从视频数据中依次提取人体的二维姿态、三维姿态，得到人体骨架关键点坐标；
31.形成子模块，用于基于时间序列形成所述人体骨架关键点坐标的关键点坐标集合，作为人体姿态的真实关键点坐标。
32.结合第二方面，本公开在第二方面的第三种实现方式中，所述信道状态信息处理模块包括：
33.分割子模块，用于利用同步的视频数据分割预处理后的信道状态信息，将一个视频帧与基于采集速率得到的n个信道状态信息的采样样本对应；其中，n为自然数；
34.第二获取子模块，用于分别根据所述采样样本的振幅得到振幅图像以及根据所述采样样本的相位信息得到相位图像；其中，所述振幅图像以及相位图像的像素为m
×
t，m为载波数量，t为选择的采样样本数，t≥n；
35.训练子模块，用于将所述振幅图像以及相位图像输入神经网络模型进行训练，得到人体姿态的预测关键点坐标。
36.结合第二方面的第三种实现方式，本公开在第二方面的第四种实现方式中，所述预处理后的信道状态信息的预处理方式包括：
37.确定不同天线接收到的信道状态信息中静态路径成分与动态路径成分的方差；
38.将方差最大的信道状态信息去噪后作为预处理后的信道状态信息。
39.结合第二方面，本公开在第二方面的第五种实现方式中，所述神经网络模型包括以下至少一种：cnn、lstm。
附图说明
40.结合附图，通过以下非限制性实施方式的详细描述，本公开的其它目的和优点将变得更加明显。在附图中：
41.图1示出了根据本公开实施例的应用场景的示意图；
42.图2示出了根据本公开实施例的人体姿态估计方法的流程图；
43.图3示出了根据本公开实施例的人体姿态估计方法的流程图；
44.图4示出了根据本公开实施例的人体姿态估计装置的框图；
45.图5示出根据本公开的实施例的电子设备的结构框图；
46.图6示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
具体实施方式
47.下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
48.在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
49.另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
50.现有技术中，基于无线感知的人体姿态估计方法可以估计出二维或三维的人体姿态，但是它们都在某些方面存在着缺陷。二维的姿态估计方法只能返回固定视角的姿态信息，包含的信息量不充足，并且没办法估计某些特殊姿势(例如某些肢体在视角方向被遮挡)。三维的姿态估计方法往往要求人在一个定点上做动作，导致其应用场景受到了很大限制。
51.图1示出了根据本公开实施例的应用场景的示意图。可以理解，图1所示应用场景仅为了说明本公开的概念和原理，而并非意味着本公开仅适用于这样的应用场景。
52.如图1所示，所述应用场景至少包括一个wi
‑
fi信号发送设备(以下称为发射端t
x
)以及两个wi
‑
fi信号接收设备(以下称为接收端r
x1
,r
x2
)，其中，发射端t
x
分别与接收端r
x1
，r
x2
组成信号发送
‑
接收设备对(t
x
‑
r
x1
)以及(t
x
‑
r
x2
)。根据菲涅尔区模型(fresnel zone model)可知，只有一条wi
‑
fi链路没有办法检测到平行于链路方向的目标移动。为了在活动空间中估计自由移动的目标人体的三维姿态，需要使用两条相互垂直的链路link1和link2去获取目标人体移动引起的信道状态信息(csi)变化。因此，在布置两对信号发送
‑
接收设备对的相对位置时，(t
x
‑
r
x1
)与(t
x
‑
r
x2
)的连线接近于垂直，以构建相互正交的人体姿态变化分析空间。同时，发射端t
x
配置单根发射天线，接收端r
x1
，r
x2
采用多个接收天线接收发射
天线发送的wi
‑
fi信号，可以选择敏感性最强的天线接收的csi数据，通过分析接收到的csi数据的动态变化，提取与目标人体活动相关的特征成分，从而恢复空间中目标人体的三维姿态。
53.本公开仅以两对信号发送
‑
接收设备对为例进行示意性说明，可以理解，信号发送
‑
接收设备对的数量可以不受限制。
54.图2示出了根据本公开实施例的人体姿态估计方法的流程图。
55.在步骤s201中，处理接收到的视频数据，获取人体姿态的真实关键点坐标；
56.在步骤s202中，处理接收到的信道状态信息，并将处理后的所述信道状态信息输入神经网络模型进行训练，得到人体姿态的预测关键点坐标；
57.其中，所述信道状态信息与视频数据为在时间同步下采集到的数据，所述神经网络模型的损失函数由根据所述真实关键点坐标与所述预测关键点坐标计算得到。
58.请参考图1，wi
‑
fi信号经过发射端t
x
到达接收端r
x1
，r
x2
的过程中，目标人体101在空间自由活动时产生动态路径102和103，通过分析经由动态路径102和103接收到的csi数据的动态变化，提取与目标人体101相关的特征成分，可以恢复空间中目标人体101的三维姿态。但是，wi
‑
fi信号还会经过地面104、墙壁105、天花板106的反射，由此产生了包含直射路径107、108以及多条不随时间变化的静态反射路径109
‑
114。动态路径102和103能够反映人体姿态的变化，称其为动态路径成分，其它路径107～114称为静态路径成分，在进行特征提取前，这些静态路径成分都需要在信号处理过程中滤除。
59.在数据收集环境中，使用单目摄像机115对目标人体101进行同步的视频数据采集，后续处理视频数据以获取表征目标人体的三维姿态的标签数据，用于神经网络模型监督学习，而神经网络模型用于将经过处理的csi数据恢复成三维人体姿态。需要说明的是，在实际人体姿态估计的应用场景中，如图1所示，不需要设置单目摄像机115，只需要设置一个发射端t
x
以及两个接收端r
x1
，r
x2
，通过采集csi数据输入训练好的神经网络模型即可进行三维人体姿态恢复。
60.根据本公开的实施例，两个接收端r
x1
，r
x2
接收到的由发射端t
x
发射的wi
‑
fi信号定义为{c1,c2}，其中，每个接收端都包含了三个天线的接收数据，即c
i
＝{a
i1
,a
i2
,a
i3
},i＝1,2，a
ij
代表第i个接收端的第j根天线，包含了30个子载波的信息。视频数据由单目摄像机115获取，拍摄的视频帧v与原始csi共同构成待处理数据集d＝{c1,c2,v}。
61.目标人体在空间中的自由移动会在link1，link2上产生不同的影响，在r
x1
，r
x2
收集到的原始csi信息c1，c2在不同时刻对不同的运动方向及动作有不同的敏感性，通过提取出每条链路的动态特征，可以在同步的视频数据的监督下恢复出目标人体的三维姿态。在数据收集过程中，r
x1
，r
x2
接收时间的同步通过ntp服务器(network time protocol)实现，视频数据与csi数据的同步通过将单目摄像机115与r
x1
，r
x2
连接，共用同一系统时钟实现。
62.根据本公开的实施例，所述方法还包括：利用训练好的神经网络模型进行人体姿态估计。
63.采用上述方法，基于视频数据对神经网络模型进行监督学习，从而能够基于信道状态信息实现人体姿态变化的高灵敏度感知，生成高质量的人体三维姿态图像，实现了轻量化、低成本对全空间三维人体姿态估计。
64.根据本公开的实施例，步骤s201中所述处理接收到的视频数据，获取人体姿态的
真实关键点坐标，包括：
65.从视频数据中依次提取人体的二维姿态、三维姿态，得到人体骨架关键点坐标；
66.基于时间序列形成所述人体骨架关键点坐标的关键点坐标集合，作为人体姿态的真实关键点坐标。
67.在本公开方式中，可以引入自动标签获取工具来从视频数据中得到人体骨架关键点坐标，自动标签获取工具是由基于计算机视觉的二维姿态估计和三维姿态估计系统组成。从视频帧v中获取包括人体姿态的有效帧后，将有效帧输入训练好的二维关键点提取网络，提取人体的二维姿态，获得每一帧视频中人体姿态的二维关键点坐标后，将二维关键点坐标按照时间顺序输入进三维关键点提取网络，提取人体的三维姿态，三维关键点网络根据二维关键点坐标的前后时间关联性恢复出人体姿态的三维关键点坐标集合，得到人体骨架关键点坐标k。
68.图3示出了根据本公开实施例的人体姿态估计方法的流程图，具体示出了图2的步骤s202中处理接收到的信道状态信息，并将处理后的信息输入神经网络模型进行训练，得到人体姿态的预测关键点坐标的流程图。
69.在步骤s301中，利用同步的视频数据分割预处理后的的信道状态信息，将一个视频帧与基于采集速率得到的n个信道状态信息的采样样本对应；其中，n为自然数；
70.在步骤s302中，分别根据所述采样样本的振幅得到振幅图像以及根据所述采样样本的相位信息得到相位图像；其中，所述振幅图像以及相位图像的像素为m
×
t，m为载波数量，t为选择的采样样本数，t≥n；
71.在步骤s303中，将所述振幅图像以及相位图像输入神经网络模型进行训练，得到人体姿态的预测关键点坐标。
72.根据本公开的实施例，步骤s301中预处理后的信道状态信息的预处理方式包括：
73.确定不同天线接收到的信道状态信息中静态路径成分与动态路径成分的方差；
74.将方差最大的信道状态信息去噪后作为预处理后的信道状态信息。
75.在本公开方式中，采集的csi数据{c1,c2}中，每个接收端都包含了三个天线的接收数据。根据接收自每个天线的csi数据中动态路径成分和静态路径成分的表现形式差异，确定信道状态信息中静态路径成分与动态路径成分的方差，由于方差大的接收信号包含了更多的动态信息，在接收端的三根天线中，选择方差最大、敏感性最强的天线作为参考天线，使用它的幅度信息。之后经过离散小波变换(discrete wavelet transform，dwt)对参考天线的振幅进行去噪，利用共轭相乘算法进行动态路径成分提取、相位偏移的校正，得到预处理后的信道状态信息。
76.具体地，在理想状态下，无线信道在时间t和频率f上的响应可以表示为:其中n是多径数，α
i
(t)和α
i
(t)分别是第i条多径的衰减和信号飞行时间。根据路径长度是否改变，可以把信道响应分为静态路径成分和动态路径成分，写做：其中h
s
(f,t)代表静态路径成分，是直射路径和其他反射静态路径的集合，p
d
是动态路径成分的集合，是一个随时间变化的量。原始csi中的动态路径成分相较于静态路径成分非常的弱，很容易受到不可预测的干扰。为了消除由接收端的时间不同步引起的相位偏移引入共轭相乘算法，写做：
其中，h1(f,t+t0)是第一天线的csi，是第二天线csi的共轭。通过共轭相乘可以消除之后通过对结果减去均值可以去除大部分静态路径成分的影响。这里第一天线为方差最大的天线，第二天线的方差次之，方差最小的天线的信息量少，在处理时中不对其进行使用。
77.根据本公开的实施例，考虑到目标人体移动的时间和空间连续性，使用同步的视频数据对预处理后的csi进行分割，根据数据采集速率，n个csi采样对应一个视频帧，但考虑到目标人体移动的空间和时间连续性以及wi
‑
fi信号分辨率比较低的特性，将采样样本进行扩展以提高wi
‑
fi信号分辨率。
78.具体地，可以将n个样本与这些样本之前的m个样本进行组合，使用敏感振幅以及去噪后的相关相位信息分别组成m
×
t像素的csi图像，其中，m代表载波数量，t＝m+n是选择的组合样本数。在接收端r
x1
，r
x2
上分别可以获得两张分别代表幅度信息和相位信息的二维csi图像记作其中每一项中包含两张图像，在不同的时刻，csi图像存在着明显的差异。
79.通过链路选择、去噪和分割方法能够有针对性地处理csi数据，以对数据进行筛选和优化，进而有效地节约了运算资源，提高了系统效率和准确度。
80.根据本公开的实施例，将处理后的数据集合中的csi图像输入神经网络模型中特征提取网络进行特征提取，获取高维的深层姿态特征，之后将提取特征输入神经网络模型中姿态回归网络，得到人体姿态的预测关键点坐标p。
81.根据本公开的实施例，所述神经网络模型包括以下至少一种：cnn、lstm。
82.在本公开方式中，构建csi图像与目标人体的三维姿态的关系模型。所选用的网络模型可以是卷积神经网络(convolutional neural networks，cnn)，也可以是长短期记忆网络(long short term memory，lstm)，或者是两者的结合。cnn对特征的提取能力更强，lstm在对动作前后关联性的学习方面能力更强。通过对输入的csi图像进行特征提取，之后将特征映射为人体关键点坐标或者人体动力学的参数，然后对映射结果进行后期的绘制处理，即可获取可视化的目标人体的三维姿态。
83.根据本公开的实施例，得到人体骨架关键点坐标k以及人体姿态的预测关键点坐标p后，将k与p进行比较以获取损失函数l，然后根据损失函数l选择合适的优化器对整个神经网络模型的参数进行优化。
84.具体地，损失函数l需要考虑目标人体动作的连续性与目标人体关节定位的准确性，可以选用平均关节点定位误差损失或者huber损失等损失函数。然后通过选择合适的优化器，例如adam优化器，对损失函数l进行优化，使得损失降到最小，最后完成模型训练。
85.图4示出了根据本公开实施例的人体姿态估计装置的框图。
86.如图4所示，人体姿态估计装置400包括：
87.视频图像处理模块401，用于处理接收到的视频数据，获取人体姿态的真实关键点坐标；
88.信道状态信息处理模块402，用于处理接收到的信道状态信息，并将处理后的所述信道状态信息输入神经网络模型进行训练，得到人体姿态的预测关键点坐标；
89.其中，所述信道状态信息与视频数据为在同步时间下采集到的数据，所述神经网
络模型的损失函数由根据所述真实关键点坐标与所述预测关键点坐标计算得到。
90.根据本公开的实施例，所述装置还包括：
91.人体姿态估计模块，用于利用训练好的神经网络模型进行人体姿态估计。
92.根据本公开的实施例，所述视频图像处理模块401包括：
93.第一获取子模块，用于从视频数据中依次提取人体的二维姿态、三维姿态，得到人体骨架关键点坐标；
94.形成子模块，用于基于时间序列形成所述人体骨架关键点坐标的关键点坐标集合，作为人体姿态的真实关键点坐标。
95.根据本公开的实施例，所述信道状态信息处理模块402包括：
96.分割子模块，用于利用同步的视频数据分割预处理后的信道状态信息，将一个视频帧与基于采集速率得到的n个信道状态信息的采样样本对应；其中，n为自然数；
97.第二获取子模块，用于分别根据所述采样样本的振幅得到振幅图像以及根据所述采样样本的相位信息得到相位图像；其中，所述振幅图像以及相位图像的像素为m
×
t，m为载波数量，t为选择的采样样本数，t≥n；
98.训练子模块，用于将所述振幅图像以及相位图像输入神经网络模型进行训练，得到人体姿态的预测关键点坐标。
99.根据本公开的实施例，所述预处理后的信道状态信息的预处理方式包括：
100.确定不同天线接收到的信道状态信息中静态路径成分与动态路径成分的方差；
101.将方差最大的信道状态信息去噪后作为预处理后的信道状态信息。
102.根据本公开的实施例，所述神经网络模型包括以下至少一种：cnn、lstm。
103.本公开还公开了一种电子设备，图5示出根据本公开的实施例的电子设备的结构框图。
104.如图5所示，所述电子设备500包括存储器501和处理器502，其中，存储器501用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器502执行以实现根据本公开的实施例的方法：
105.处理接收到的视频数据，获取人体姿态的真实关键点坐标；
106.处理接收到的信道状态信息，并将处理后的所述信道状态信息输入神经网络模型进行训练，得到人体姿态的预测关键点坐标；
107.其中，所述信道状态信息与视频数据为在时间同步下采集到的数据，所述神经网络模型的损失函数由根据所述真实关键点坐标与所述预测关键点坐标计算得到。
108.采用上述方法，基于视频数据对神经网络模型进行监督学习，从而能够基于信道状态信息实现人体姿态变化的高灵敏度感知，生成高质量的人体三维姿态图像，实现了轻量化、低成本对全空间三维人体姿态估计。
109.图6示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
110.如图6所示，计算机系统600包括处理单元601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行上述实施例中的各种方法。在ram 603中，还存储有系统600操作所需的各种程序和数据。处理单元601、rom 602以及ram 603通过总线605彼此相连。输入/输出(i/o)接口605也连接至总线605。
111.以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信过程。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。其中，所述处理单元601可实现为cpu、gpu、tpu、fpga、npu等处理单元。
112.特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
113.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
114.描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
115.作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
116.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。