人体三维姿态估计方法、装置、电子设备及存储介质与流程

1.本申请涉及信号处理技术领域，尤其涉及一种人体三维姿态估计方法、装置、电子设备及存储介质。


背景技术：

2.基于视觉的人体姿态估计算法需要借助相机来捕捉数据。但是，基于视觉的人体姿态估计算法通常会因为遮挡，光照等因素而变得不可靠。特别是在室内环境下，由于室内环境的复杂度高，基于视觉的人体姿态估计算法受到了极大的限制。此外，由于基于视觉的算法，会涉及到目标人物以及环境的实际信息，这使得基于视觉的姿态估计方法存在着隐私担忧和安全隐患。同时，由于架设的摄像机会给人心理上的不安，使得基于视觉的姿态估计算法在大量场景(例如商场，居家，医院等室内场景)的部署存在极大的阻力。人体姿态估计算法具有重要的应用价值。它可以用于监测人体的异常状态，例如摔倒等。同时可以用于安防领域，例如机场来检测视觉系统无法捕捉的人体信息。
3.由于人体在运动过程中会对电磁信号的传播产生影响，基于雷达的方法可以实现人体姿态的估计。然而，基于雷达的方法要求使用往往价格昂贵的专门设计的硬件，限制了基于雷达估计系统的应用。


技术实现要素：

4.本申请的主要目的在于提供一种人体三维姿态估计方法、装置、电子设备及存储介质，可使得人体在三维空间的三维姿态估计结果更加准确。
5.为实现上述目的，本申请实施例第一方面提供一种人体三维姿态估计方法，包括：
6.获取预设的无线收发系统在当前时刻下采集的关于人体运动产生的待测信道状态信息；
7.将所述待测信道状态信息输入训练好的三维人体姿态模型，得到所述人体在所述当前时刻的三维姿态估计结果。
8.可选的，所述方法还包括：
9.基于细粒度和深度学习技术，构建三维人体姿态模型；
10.获取所述无线收发系统在多个时刻下采集的关于人体运动产生的信道状态信息，以及，获取预设的视觉系统在所述多个时刻下得到的所述人体的真实三维姿态数据；
11.利用所述多个时刻下的信道状态信息和真实三维姿态数据训练所述三维人体姿态模型，得到所述训练好的三维人体姿态模型。
12.可选的，所述将所述待测信道状态信息输入训练好的三维人体姿态模型，得到所述人体在所述当前时刻的三维姿态估计结果包括：
13.利用卷积神经网络，提取所述待测信道状态信息中关于所述人体的特征数据；
14.根据所述人体的特征数据，得到所述人体的空间位置数据；
15.根据所述空间位置数据，估计权重矩阵，所述权重矩阵用于衡量每个所述空间位
置数据的重要性；
16.将所述权重矩阵作用于所述特征数据上，得到更新后的特征数据；
17.根据所述更新后的特征数据，得到所述人体的三维姿态数据；
18.将所述人体的空间位置数据和三维姿态数据相加，得到所述人体的三维姿态估计结果。
19.可选的，在训练所述三维人体姿态模型的过程中，将所述人体的空间位置数据、所述人体的三维姿态数据作为损失函数对所述三维人体姿态模型进行训练。
20.可选的，在训练所述三维人体姿态模型的过程中，将所述人体的关节的长度和所述人体真实的空间位置数据作为损失函数对所述三维人体姿态模型进行训练。
21.可选的，在训练所述三维人体姿态模型的过程中，将所述人体的三维姿态数据和所述人体关节长度之间的距离作为损失函数对所述三维人体姿态模型进行训练。
22.本申请实施例第二方面提供一种人体三维姿态估计装置，包括：
23.第一获取模块，用于获取预设的无线收发系统在当前时刻下采集的关于人体运动产生的待测信道状态信息；
24.输入模块，用于将所述待测信道状态信息输入训练好的三维人体姿态模型，得到所述人体在所述当前时刻的三维姿态估计结果。
25.可选的，所述装置还包括：
26.构建模块，用于基于细粒度和深度学习技术，构建三维人体姿态模型；
27.第二获取模块，用于获取所述无线收发系统在多个时刻下采集的关于人体运动产生的信道状态信息，以及，获取预设的视觉系统在所述多个时刻下得到的所述人体的真实三维姿态数据；
28.训练模块，用于利用所述多个时刻下的信道状态信息和真实三维姿态数据训练所述三维人体姿态模型，得到所述训练好的三维人体姿态模型。
29.本申请实施例第三方面提供了一种电子设备，包括：
30.存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现本申请实施例第一方面提供的人体三维姿态估计方法。
31.本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例第一方面提供的人体三维姿态估计方法。
附图说明
32.为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1为本申请一实施例提供的人体三维姿态估计方法的流程示意图；
34.图2为本申请一实施例提供的训练好的三维人体姿态模型的结构示意图；
35.图3为本申请一实施例提供的人体三维姿态估计装置的结构示意图；
36.图4示出了一种电子设备的硬件结构示意图。
具体实施方式
37.为使得本申请的申请目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
38.在本公开中，人体三维姿态是指人体的主要关节点，例如脖子，手肘等在三维空间中的位置。本公开利用无线收发系统的信道状态信息获取人体信息，将人体三维姿态估计分解为人体空间定位以及三维姿态估计两个部分。先估计人体的空间位置，然后利用人体的空间位置，进一步估计人体和空间位置无关的姿态，最后加上人体的空间位置信息得到人体的三维姿态估计结果。本公开能够更准确地估计人体的三维姿态。
39.请参阅图1，图1为本申请一实施例提供的人体三维姿态估计方法的流程示意图，该方法可应用于无线电子设备中，该无线电子设备例如wifi设备等，该方法主要包括以下步骤：
40.s101、获取预设的无线收发系统在当前时刻下采集的关于人体运动产生的待测信道状态信息；
41.s102、将该待测信道状态信息输入训练好的三维人体姿态模型，得到该人体在该当前时刻的三维姿态估计结果。
42.其中，可以通过无线收发系统收集信道状态信息(csi，channel state information)，首先通过数据预处理将csi数据转换为便于被网络训练和测试的矩阵表示形式。
43.该无线收发系统可以是基于wifi搭建的，其可以是商用设备或者家用设备无线收发系统的csi数据描述了信号在传播过程中经历的衰减和相移。人体的运动会使得信道状态信息的测量值发生变化，从而实现利用信道状态信息检测人体三维姿态。
44.在本申请其中一个实施例中，该方法还包括：
45.基于细粒度和深度学习技术，构建三维人体姿态模型；
46.获取该无线收发系统在多个时刻下采集的关于人体运动产生的信道状态信息，以及，获取预设的视觉系统在该多个时刻下得到的该人体的真实三维姿态数据；
47.利用该多个时刻下的信道状态信息和真实三维姿态数据训练该三维人体姿态模型，得到该训练好的三维人体姿态模型。
48.在本实施例中，预设的视觉系统和无线收发系统均基于同一wifi进行搭建。并获取到的多个时刻下的信道状态信息和真实三维姿态数据按照预设比例分为训练集、验证集和测试集，基于训练集训练该的三维人体姿态模型，同时利用验证集对训练的学习率进行调整，得到在验证集中表现最好的三维人体姿态模型，在最后采用测试集测试得到的三维人体姿态模型，得到训练好的三维人体姿态模型。
49.在本申请其中一个实施例中，该将该待测信道状态信息输入训练好的三维人体姿态模型，得到该人体在该当前时刻的三维姿态估计结果包括：
50.利用卷积神经网络，提取该待测信道状态信息中关于该人体的特征数据；
51.根据该人体的特征数据，得到该人体的空间位置数据；
52.根据该空间位置数据，估计权重矩阵，该权重矩阵用于衡量每个该位置数据的重要性；
53.将该权重矩阵作用于该特征数据上，得到更新后的特征数据；
54.根据该更新后的特征数据，得到该人体的三维姿态数据；
55.将该人体的空间位置数据和三维姿态数据相加，得到该人体的三维姿态估计结果。
56.在本实施例中，请参阅图2，训练好的三维人体姿态模型大致包括特征提取模块，定位估计模块和姿态估计模块；
57.特征提取模块用于提取csi数据中包含人体运动信息的特征数据，该特征来自无线收发系统，包含了人体运动下信号在传播过程中经历的衰减和相移。该特征提取模块可以采用一个卷积神经网络来实现特征数据提取。
58.定位估计模块用于利用特征提取模块提取到的特征数据，输出人体的空间位置数据。它将特征提取模块得到的特征映射通过全连接神经网络估计出对应的三维点坐标。该三维点坐标即人体的空间位置。
59.姿态估计模块用于通过定位估计模块得到的人体的空间位置数据，估计一个权重矩阵。该权重矩阵用于衡量每个空间位置数据的重要性。将这个权重矩阵作用在特征提取模块提取的特征数据上，得到一个更新后的特征数据，该更新后的特征数据可以突出对人体三维姿态估计作用最大的特征。最后，利用全连接神经网络，将更新后的特征数据作为输入，得到人体的三维姿态数据。
60.示例性，某一个时刻下，人体的真实关节点位置可以被表示为y∈r
14
×3。y代表了人体14个关节点在空间中的三维坐标。该时刻下对应的无线收发系统接收到的无线信号为x∈r
n
×
30
×
15
，其中，r表示实数，n表示无线信号的帧数，15是无线收发系统中接收天线的数量，30是每个天线的频段个数。在本公开中，无线收发系统的接收天线和每个天线的频段个数可根据实际情况进行适应性改变，本公开对此不做限制。
61.由于无线信号的帧率要远远高于视频的帧率，因此每一个视频帧时刻，有大量的无线信号帧数n，本公开的数据以n＝100为例。
62.特征提取模块的输入是当前时刻下待测信道状态信息x。信号经过特征提取模块的输出特征为h∈r
c
×
v
×
u
。其中，c表示特征的通道数，v，u是特征的大小。定位估计模块通过h输出人体的空间位置数据m∈r3。姿态估计模块先通过m得到一个权重矩阵s∈r
v
×
u
，并将该权重与特征h按位置相乘，得到一个新的特征h
′
∈r
c
×
v
×
u
。之后，姿态估计模块利用h
′
得到人体的三维姿态数据p∈r
14
×3，该三维姿态数据是相对于人体的空间位置数据的姿态信息。故将p∈r
14
×3和m∈r3相加得到最终的人体关节点的实际空间位置，即人体得三维姿态估计结果。
63.在本申请其中一个实施例中，在训练该三维人体姿态模型的过程中，将该人体的空间位置数据、该人体的三维姿态数据作为损失函数对该三维人体姿态模型进行训练。
64.在本申请其中一个实施例中，在训练该三维人体姿态模型的过程中，将该人体的关节的长度和该人体真实的空间位置数据作为损失函数对该三维人体姿态模型进行训练。
65.在本申请其中一个实施例中，在训练该三维人体姿态模型的过程中，将该人体的
三维姿态数据和该人体关节长度之间的距离作为损失函数对该三维人体姿态模型进行训练。
66.请参阅图3，图3是本申请一实施例提供的人体三维姿态估计装置的结构示意图，该装置可内置于电子设备中，该装置主要包括：
67.第一获取模块301，用于获取预设的无线收发系统在当前时刻下采集的关于人体运动产生的待测信道状态信息；
68.输入模块302，用于将该待测信道状态信息输入训练好的三维人体姿态模型，得到该人体在该当前时刻的三维姿态估计结果。
69.在本申请其中一个实施例中，该装置还包括：
70.构建模块，用于基于细粒度和深度学习技术，构建三维人体姿态模型；
71.第二获取模块，用于获取该无线收发系统在多个时刻下采集的关于人体运动产生的信道状态信息，以及，获取预设的视觉系统在该多个时刻下得到的该人体的真实三维姿态数据；
72.训练模块，用于利用该多个时刻下的信道状态信息和真实三维姿态数据训练该三维人体姿态模型，得到该训练好的三维人体姿态模型。
73.在本申请其中一个实施例中，该输入模块302包括：
74.特征提取模块，用于利用卷积神经网络，提取该待测信道状态信息中关于该人体的特征数据；
75.定位估计模块，用于根据该人体的特征数据，得到该人体的空间位置数据；
76.姿态估计模块，用于根据该空间位置数据，估计权重矩阵，该权重矩阵用于衡量每个该空间位置数据的重要性；将该权重矩阵作用于该特征数据上，得到更新后的特征数据；根据该更新后的特征数据，得到该人体的三维姿态数据；
77.相加模块，用于将该人体的空间位置数据和三维姿态数据相加，得到该人体的三维姿态估计结果。
78.在本申请其中一个实施例中，在训练该三维人体姿态模型的过程中，将该人体的空间位置数据、该人体的三维姿态数据作为损失函数对该三维人体姿态模型进行训练。
79.在本申请其中一个实施例中，在训练该三维人体姿态模型的过程中，将该人体的关节的长度和该人体真实的空间位置数据作为损失函数对该三维人体姿态模型进行训练。
80.在本申请其中一个实施例中，在训练该三维人体姿态模型的过程中，将该人体的三维姿态数据和该人体关节长度之间的距离作为损失函数对该三维人体姿态模型进行训练。
81.请参见图4，图4示出了一种电子设备的硬件结构图。
82.本实施例中所描述的电子设备，包括：
83.存储器41、处理器42及存储在存储器41上并可在处理器上运行的计算机程序，处理器执行该程序时实现前述图1所示实施例中描述的人体三维姿态估计方法。
84.进一步地，该电子设备还包括：
85.至少一个输入设备43；至少一个输出设备44。
86.上述存储器41、处理器42输入设备43和输出设备44通过总线45连接。
87.其中，输入设备43具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备
44具体可为显示屏。
88.存储器41可以是高速随机存取记忆体(ram，random access memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器41用于存储一组可执行程序代码，处理器42与存储器41耦合。
89.进一步地，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子设备中，该计算机可读存储介质可以是前述图4所示实施例中的电子设备。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1所示实施例中描述的人体三维姿态估计方法。进一步地，该计算机可存储介质还可以是u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
90.需要说明的是，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
91.所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来。
92.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
93.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
94.以上为对本发明所提供的一种人体三维姿态估计方法、装置、电子设备及可读存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。