基于毫米波雷达实现人体姿态估计的多谱图融合方法及装置

1.本发明属于人体姿态估计的技术领域，具体涉及一种基于毫米波雷达实现人体姿态估计的多谱图融合方法及装置。


背景技术：

2.人体姿态估计是计算机视觉中的一个重要任务，旨在将传感器获取的数据映射为人体骨架，其被广泛应用于人机交互、活动识别、监控、智慧家居等。当前用于人体姿态估计的非穿戴式传感器主要分为两类：光学传感器和射频传感器。光学传感器面临对环境敏感、视觉阻挡、隐私泄露等问题。与之相反，射频传感器在对环境不敏感的同时还拥有强穿透力、隐私保护等优点。更进一步，属于射频传感器的毫米波雷达还有体型小、能耗低、易携带等优点，使得使用毫米波雷达进行人体姿态估计成为当前热门研究方向。
3.距离-多普勒谱图和距离-角度谱图是用毫米波雷达进行姿态估计的两种主要数据形式，距离-多普勒谱图描述了目标相对雷达的距离和速度，距离-角度谱图描述了目标相对雷达的距离和角度。单独使用其中一种谱图进行姿态估计常因为提供信息不足而导致估计错误。因此，一种多谱图的使用技术是充分利用雷达数据多样性表示能力的需要。但是，目前多谱图融合方法面临以下两个挑战：一是如何有效关联两个谱图中的距离、速度、角度信息，若关联错误，会导致估计的人体姿态左右颠倒；二是如何避免冗余距离特征的引入，若引入冗余特征，将出现计算资源和储存资源浪费问题。


技术实现要素：

4.本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于毫米波雷达实现人体姿态估计的多谱图融合方法及装置，在正确关联两种谱图特征的前提下避免冗余距离特征的引入，从而保证在使用相对较少的计算和存储资源同时提高人体姿态估计的准确性。
5.为了达到上述目的，本发明采用以下技术方案：
6.本发明一方面提供了基于毫米波雷达实现人体姿态估计的多谱图融合方法，包括下述步骤：
7.获取距离-多普勒谱图和距离-角度谱图，对所获取的两种谱图通过预设的transformer结构进行注意力矩阵计算，并将注意力矩阵与距离-多普勒谱图进行相乘，得到两种谱图的融合特征；
8.使用距离-多普勒谱图特征对融合特征进行修补，得到完整的融合特征；
9.在得到多个连续帧的完整融合特征后，使用双向长短期记忆网络获取连续帧的时序特征，并进行时序上的特征补偿，得到粗略的补偿特征；
10.对每一帧的粗略补偿特征，通过计算同一帧内人体关节间的关联性并依据关联性进行空间特征补偿，得到每一帧的精细补偿特征；
11.对每一帧的精细补偿特征，将其映射为人体骨架，完成毫米波雷达的人体姿态估
计。
12.作为一种优选的技术方案，所述transformer结构中的q与k分别设置为距离-多普勒谱图和距离-角度谱图，v设置为距离-多普勒谱图，计算注意力矩阵时进行缩放，得到融合特征后首先通过残差网络进行一次高维特征提取，最后进行标准化。
13.作为一种优选的技术方案，所述得到两种谱图的融合特征，具体为：
14.对两种谱图分别通过卷积神经网络得到高维特征，具体如下：
15.f
rdm
＝f
bn
(σ(f
mp
(w
c1
*rdm+b
c1
)))
16.f
ram
＝f
bn
(σ(f
mp
(w
c2
*ram+b
c2
)))
17.其中，f
rdm
和f
ram
是距离-多普勒谱图和距离-角度谱图的区域特征，f
mp
是最大池化操作，w
ci
和b
ci
分别是卷积核以及偏置参数，*表示卷积操作，σ是线性整流激活函数，f
bn
代表批标准化处理，rdm和ram分别表示距离-多普勒谱图和距离-角度谱图；
18.将两种谱图的高维特征分别作为q与k值进行矩阵乘法，得到乘积；
19.对上述乘积按行进行softmax操作，得到注意力矩阵，所述注意力矩阵表示如下：
[0020][0021]
其中，dim表示f
rdm
和f
ram
的维度大小，w
attention
代表注意力矩阵；
[0022]
对注意力矩阵依据谱图特征维度进行缩放；
[0023]
将距离-多普勒谱图特征作为v值，与注意力矩阵相乘，得到融合特征，所述融合特征表示如下：
[0024]
ffused＝wattentionfrdm
[0025]
使融合特征通过残差网络，得到最终的融合特征，具体为：
[0026]
ffused＝ffused
⊕
ffc(ffused)
[0027]
fassigned＝σ
′
(ffc(ffused))
[0028]
其中，f
fc
代表全连接层，f
assigned
是最终的融合特征，f
fc
代表全连接层，σ
′
是带泄露线性整流激活函数，表示矩阵和运算。
[0029]
作为一种优选的技术方案，所述使用距离-多普勒谱图特征对融合特征进行修补，得到完整的融合特征，具体为：
[0030]
使用卷积神经网络对距离-多普勒谱图进行特征提取，具体如下：
[0031]frdm
＝f
bn
(σ(f
mp
(w
c1
*rdm+b
c1
)))
[0032]fr
＝σ
′
(f
fc
(f
rdm
))
[0033]
其中，fr是距离-多普勒谱图中用于修补的特征；
[0034]
将提取的特征与融合特征进行矩阵加法，完成特征修补，具体如下：
[0035][0036]
其中，f
refined
是修补后的最终融合特征。
[0037]
作为一种优选的技术方案，所述进行时序上的特征补偿，是通过探索相邻帧时序上的关联，对丢失关节特征进行补偿，包括以下步骤：
[0038]
获取相邻帧的融合特征；
[0039]
将相邻的融合特征按照时间顺序依次经过双向长短期记忆网络；
[0040]
双向长短期记忆网络输出每一帧各关节时序补偿后的粗略的补偿特征，时序特征补偿后获取的关键特征f
t
表示如下：
[0041]ft
＝fbi-lstm(frefined；θ)
[0042]
其中，f
bi-lstm
表示双向长短期记忆网络，θ是该网络的学习参数，f
t
是时序特征补偿后获取的关节特征。
[0043]
作为一种优选的技术方案，所述空间特征补偿，具体为：
[0044]
对每一个关节特征，让其通过关节特征抑制模块，在遗忘门网络作用下，输出抑制后的特征，包括以下步骤：将每一个关节的粗略的补偿特征通过全连接层；用sigmoid激活函数对全连接层输出进行转换；将粗略的补偿特征与sigmoid输出结果相乘，得到抑制后的特征；
[0045]
对每一个关节特征，让其通过关节特征选择模块，在选择门网络作用下，输出选择后的特征，包括以下步骤：将每一个关节的粗略的补偿特征通过全连接层；用tanh激活函数对全连接层输出进行转换，输出选择后的特征；
[0046]
将上述抑制后的特征与选择后的特征进行矩阵求和，分别得到每个关节精细的补偿特征。
[0047]
作为一种优选的技术方案，所述对每一帧的精细补偿特征，将其映射为人体骨架，具体为：
[0048]
对每一帧的所有关节特征，将其通过全连接层，输出人体骨架坐标，表达如下：
[0049]ypre
＝f
fc
(f
fixed
)
[0050]
其中，y
pre
∈r
17
×3表示三维人体骨架的坐标。
[0051]
本发明另一方面提供了一种基于毫米波雷达实现人体姿态估计的多谱图融合系统，应用于所述的基于毫米波雷达实现人体姿态估计的多谱图融合方法，包括多谱图融合模块、融合特征修补模块、时序关节特征补偿模块、空间关节特征补偿模块以及3d骨架输出模块；
[0052]
所述多谱图融合模块，用于获取距离-多普勒谱图和距离-角度谱图，对所获取的两种谱图通过预设的transformer结构进行注意力矩阵计算，并将注意力矩阵与距离-多普勒谱图进行相乘，得到两种谱图的融合特征；
[0053]
所述融合特征修补模块，用于使用距离-多普勒谱图特征对融合特征进行修补，得到完整的融合特征；
[0054]
所述时序关节特征补偿模块，用于在得到多个连续帧的完整融合特征后，使用双向长短期记忆网络获取连续帧的时序特征，并进行时序上的特征补偿，得到粗略的补偿特征；
[0055]
所述空间关节特征补偿模块，用于对每一帧的粗略补偿特征，通过计算同一帧内人体关节间的关联性并依据关联性进行空间特征补偿，得到每一帧的精细补偿特征；
[0056]
所述3d骨架输出模块，用于对每一帧的精细补偿特征，将其映射为人体骨架，完成毫米波雷达的人体姿态估计。
[0057]
本发明又一方面提供了一种电子设备，所述电子设备包括：
[0058]
至少一个处理器；以及，
[0059]
与所述至少一个处理器通信连接的存储器；其中，
[0060]
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于毫米波雷达实现人体姿态估计的多谱图融合方法。
[0061]
本发明再一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于毫米波雷达实现人体姿态估计的多谱图融合方法。
[0062]
本发明与现有技术相比，具有如下优点和有益效果：
[0063]
本法发明受到transformer结构启发，从两种谱图间的关联考虑，通过计算两种谱图的注意力矩阵，并依据注意力矩阵实现谱图融合，相比直接将两种谱图连接的做法，本发明在正确融合两种谱图特征的同时，避免了冗余距离特征的引入。不仅如此，本发明考虑到毫米波雷达获取数据稳定性不足的缺点，提出了针对时序和空间的两种补偿方法，实现了在避免额外计算资源和存储资源使用的同时大大提高毫米波雷达实现人体姿态估计的准确度。
附图说明
[0064]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0065]
图1为本发明的毫米波雷达实现人体姿态估计的多谱图融合方法的流程示意图；
[0066]
图2为本发明的毫米波雷达实现人体姿态估计的多谱图融合方法距离-多普勒谱图示意图；
[0067]
图3为本发明的毫米波雷达实现人体姿态估计的多谱图融合方法距离-距离谱图示意图；
[0068]
图4为本发明的毫米波雷达实现人体姿态估计的多谱图融合方法的结构涉设计示意图；
[0069]
图5为本发明的毫米波雷达实现人体姿态估计的多谱图融合方法的多谱图融合结构示意图；
[0070]
图6为本发明的毫米波雷达实现人体姿态估计的多谱图融合方法的空间特征补偿结构示意图；
[0071]
图7为本发明实施例基于毫米波雷达实现人体姿态估计的多谱图融合系统的方框图。
[0072]
图8为本发明实施例电子设备的结构图。
具体实施方式
[0073]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0074]
在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以
包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本技术所描述的实施例可以与其它实施例相结合。
[0075]
现有技术使用毫米波雷达实现人体姿态估计方法中，所采用的方法通常是仅使用一种谱图或者直接将两种谱图拼接。但在实际应用中，当接收的雷达信号不足以重建完整的人体骨架时，仅使用一种谱图无法较好实现姿态估计。而直接将两种谱图拼接的方法，会引入冗余的距离特征，造成计算资源与存储资源的浪费。因此，受到transformer结构的启发，申请人创新性地通过计算两种谱图的注意力矩阵并通过该矩阵进行两种谱图的融合，从而在有效使用两种谱图数据同时避免了冗余特征的引入，实现了在不使用额外计算资源与存储资源的同时提高毫米波雷达实现人体姿态估计的准确性。
[0076]
如图1所示，本实施例基于毫米波雷达实现人体姿态估计的多谱图融合方法，包括下述步骤：
[0077]
s1、获取距离-多普勒谱图和距离-角度谱图，对所获取的两种谱图(如图2和图3所示)通过预设的transformer结构进行注意力矩阵计算，并将注意力矩阵与距离-多普勒谱图进行相乘，得到两种谱图的融合特征。
[0078]
进一步的，所述transformer结构中的q与k分别设置为距离-多普勒谱图和距离-角度谱图，v设置为距离-多普勒谱图，计算注意力矩阵时进行缩放，得到融合特征后首先通过残差网络进行一次高维特征提取，最后进行标准化。
[0079]
在一种实施例方式中，所述得到两种谱图的融合特征，如图5所示，具体包括下述步骤：
[0080]
s11、对两种谱图分别通过卷积神经网络得到高维特征，具体如下：
[0081]frdm
＝f
bn
(σ(f
mp
(w
c1
*rdm+b
c1
)))
[0082]fram
＝f
bn
(σ(f
mp
(w
c2
*ram+b
c2
)))
[0083]
其中，f
rdm
和f
ram
是距离-多普勒谱图和距离-角度谱图的区域特征，f
mp
是最大池化操作，w
ci
和b
ci
分别是卷积核以及偏置参数，*表示卷积操作，σ是线性整流激活函数，f
bn
代表批标准化处理，rdm和ram分别表示距离-多普勒谱图(如图2)和距离-角度谱图(如图3)；
[0084]
s12、将两种谱图的高维特征分别作为q与k值进行矩阵乘法，得到乘积；
[0085]
s13、对上述乘积按行进行softmax操作，得到注意力矩阵，所述注意力矩阵表示如下：
[0086][0087]
其中，dim表示f
rdm
和f
ram
的维度大小，w
attention
代表注意力矩阵；
[0088]
s14、对注意力矩阵依据谱图特征维度进行缩放；
[0089]
s15、将距离-多普勒谱图特征作为v值，与注意力矩阵相乘，得到融合特征，所述融合特征表示如下：
[0090]
ffused＝wattentionfrdm
[0091]
s16、使融合特征通过残差网络，得到最终的融合特征，具体为：
[0092]
[0093]
fassigned＝σ
′
(ffc(ffused))
[0094]
其中，f
fc
代表全连接层，f
assigned
是最终的融合特征，f
fc
代表全连接层，σ
′
是带泄露线性整流激活函数(leakyrelu)，
⊕
表示矩阵和运算。
[0095]
需要说明的是，实际中根据雷达设备参数不同，得到的谱图维度值差异较大，谱图维度过小会导致雷达数据特征不足，过大则会增加计算复杂度。为将谱图维度变化为较好尺寸，可先使用卷积神经网络在对谱图进行特征提取同时进行维度修改。
[0096]
s2、融合特征修补，进行特征融合修补是因为上一步提出的谱图融合方法有距离-多普勒谱图特征丢失的缺点，因此做出修补，如图4左侧上部分所示，使用距离-多普勒谱图特征对融合特征进行修补，得到完整的融合特征。
[0097]
在一种实施例方式中，所述融合特征修补包括如下步骤：
[0098]
s21、使用卷积神经网络对距离-多普勒谱图进行特征提取，具体如下：
[0099]frdm
＝f
bn
(σ(f
mp
(w
c1
*rdm+b
c1
)))
[0100]fr
＝σ
′
(f
fc
(f
rdm
))
[0101]
其中，fr是距离-多普勒谱图中用于修补的特征；
[0102]
s22、将提取的特征与融合特征进行矩阵加法，完成特征修补，具体如下：
[0103][0104]
其中，f
refined
是修补后的最终融合特征。
[0105]
需要说明的是，特征修补是使用矩阵加法运算，距离-多普勒谱图特征由额外的卷积神经网络获取，用于特征修补的距离-多普勒谱图特征应与融合特征维度相同，不然无法进行矩阵加法运算。
[0106]
s3、在得到多个连续帧的完整融合特征后，使用双向长短期记忆网络获取连续帧的时序特征，并进行时序上的特征补偿，得到粗略的补偿特征。
[0107]
在一种实施例方式中，所述进行时序上的特征补偿，是通过探索相邻帧时序上的关联，对丢失关节特征进行补偿，包括以下步骤：
[0108]
s31、获取相邻帧的融合特征；
[0109]
s32、将相邻的融合特征按照时间顺序依次经过双向长短期记忆网络；
[0110]
s33、双向长短期记忆网络输出每一帧各关节时序补偿后的粗略的补偿特征，时序特征补偿后获取的关键特征f
t
表示如下：
[0111]ft
＝fbi-lstm(frefined；θ)
[0112]
其中，f
bi-lstm
表示双向长短期记忆网络，θ是该网络的学习参数，f
t
是时序特征补偿后获取的关节特征。
[0113]
s4、对每一帧的粗略补偿特征，通过计算同一帧内人体关节间的关联性并依据关联性进行空间特征补偿，得到每一帧的精细补偿特征；就目前已知，当前已有方法对于特征补偿仅有时序特征补偿，也即上一步，而没有空间特征补偿，空间特征补偿考虑到了人体运动的协调性。
[0114]
在一种实施例方式中，如图6所示，所述空间特征补偿具体为：
[0115]
s41、对每一个关节特征，让其通过关节特征抑制模块，在遗忘门网络作用下，输出抑制后的特征，包括以下步骤：
[0116]
s411、将每一个关节的粗略的补偿特征通过全连接层；
[0117]
s412、用sigmoid激活函数对全连接层输出进行转换；
[0118]
s413、将粗略的补偿特征与sigmoid输出结果相乘，得到抑制后的特征；
[0119]
进一步的，由上述步骤s41-s43可知，有如下表达公式：
[0120]
fsupress＝ft
⊙
σ
″
(fforget(ft))
[0121]”[0122]
其中，f
supress
是通过遗忘门网络抑制后剩下的特征。f
forget
表示遗忘门网络，σ是s型生长曲线(sigmoid)激活函数，
⊙
表示矩阵对应元素乘法。
[0123]
s42、对每一个关节特征，让其通过关节特征选择模块，在选择门网络作用下，输出选择后的特征，包括以下步骤：
[0124]
s421、将每一个关节的粗略的补偿特征通过全连接层；
[0125]
s422、用tanh激活函数对全连接层输出进行转换，输出选择后的特征；
[0126]
s43、将上述抑制后的特征与选择后的特征进行矩阵求和，分别得到每个关节精细的补偿特征。
[0127]
由上述步骤可知，有如下表达公式：
[0128]
fselect＝σ
′
(fselect(ft))
[0129][0130]
其中，f
select
是通过选择门网络筛选的特征，f
fixed
是空间特征补偿后得到的融合特征。f
select
表示选择门网络。
[0131]
需要说明的是，由于数据缺失的不可预测性，实际中无法判断哪些帧以及哪些关节特征出现缺失问题，因此时序关节特征补偿与空间关节补偿应针对所有数据进行，特别地，在空间关节补偿中，所有关节均需要通过遗忘门和选择门。遗忘门用于抑制由于数据丢失提取的错误特征，选择门用于获取针对不同关节用于补偿的特征。
[0132]
s5、3d骨架输出，对每一帧的精细补偿特征，将其映射为人体骨架，完成毫米波雷达的人体姿态估计。
[0133]
更进一步的，精细补偿是对每一帧的所有关节特征，将其通过全连接层，输出人体骨架坐标，如图4最右侧所示
[0134]
可由如下公式表示：
[0135]
ypre＝ffc(ffixed)
[0136]
其中，y
pre
∈r
17
×3表示三维人体骨架的坐标。
[0137]
更进一步的，本发明的深度学习网络进行训练时，将学习率设置为0.001，并使其每10个epoch下降一半。
[0138]
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
[0139]
基于与上述实施例中的基于毫米波雷达实现人体姿态估计的多谱图融合方法相同的思想，本发明还提供了基于毫米波雷达实现人体姿态估计的多谱图融合系统，该系统可用于执行上述基于毫米波雷达实现人体姿态估计的多谱图融合方法。为了便于说明，基于毫米波雷达实现人体姿态估计的多谱图融合系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可
以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0140]
请参阅图7，在本技术的另一个实施例中，提供了一种基于毫米波雷达实现人体姿态估计的多谱图融合系统100，该系统包括包括多谱图融合模块101、融合特征修补模块102、时序关节特征补偿模块103、空间关节特征补偿模块104以及3d骨架输出模块105；
[0141]
所述多谱图融合模块101，用于获取距离-多普勒谱图和距离-角度谱图，对所获取的两种谱图通过预设的transformer结构进行注意力矩阵计算，并将注意力矩阵与距离-多普勒谱图进行相乘，得到两种谱图的融合特征；
[0142]
所述融合特征修补模块102，用于使用距离-多普勒谱图特征对融合特征进行修补，得到完整的融合特征；
[0143]
所述时序关节特征补偿模块103，用于在得到多个连续帧的完整融合特征后，使用双向长短期记忆网络获取连续帧的时序特征，并进行时序上的特征补偿，得到粗略的补偿特征；
[0144]
所述空间关节特征补偿模块104，用于对每一帧的粗略补偿特征，通过计算同一帧内人体关节间的关联性并依据关联性进行空间特征补偿，得到每一帧的精细补偿特征；
[0145]
所述3d骨架输出模块，用于对每一帧的精细补偿特征，将其映射为人体骨架，完成毫米波雷达的人体姿态估计105。
[0146]
需要说明的是，本发明的基于毫米波雷达实现人体姿态估计的多谱图融合系统与本发明的基于毫米波雷达实现人体姿态估计的多谱图融合方法一一对应，在上述基于毫米波雷达实现人体姿态估计的多谱图融合方法的实施例阐述的技术特征及其有益效果均适用于基于毫米波雷达实现人体姿态估计的多谱图融合的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
[0147]
此外，上述实施例的基于毫米波雷达实现人体姿态估计的多谱图融合系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于毫米波雷达实现人体姿态估计的多谱图融合系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
[0148]
请参阅图8，在一个实施例中，提供了一种实现基于毫米波雷达实现人体姿态估计的多谱图融合方法的电子设备，所述电子设备200可以包括第一处理器201、第一存储器202和总线，还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序，如基于毫米波雷达实现人体姿态估计的多谱图融合程序203。
[0149]
其中，所述第一存储器202至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元，例如该电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的外部存储设备，例如电子设备200上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(securedigital，sd)卡、闪存卡(flash card)等。进一步地，所述第一存储器202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器202不仅可以用于存储安装于电子设备200的应用软件及各类数据，例如基于毫米波雷达实现人体姿态估计的多谱图融合程序203的代码等，还可以用于暂时地存储已经输出或者将
要输出的数据。
[0150]
所述第一处理器201在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述第一存储器202内的程序或者模块，以及调用存储在所述第一存储器202内的数据，以执行电子设备200的各种功能和处理数据。
[0151]
图8仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图8示出的结构并不构成对所述电子设备200的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0152]
所述电子设备200中的所述第一存储器202存储的基于毫米波雷达实现人体姿态估计的多谱图融合程序203是多个指令的组合，在所述第一处理器201中运行时，可以实现：
[0153]
获取距离-多普勒谱图和距离-角度谱图，对所获取的两种谱图通过预设的transformer结构进行注意力矩阵计算，并将注意力矩阵与距离-多普勒谱图进行相乘，得到两种谱图的融合特征；
[0154]
使用距离-多普勒谱图特征对融合特征进行修补，得到完整的融合特征；
[0155]
在得到多个连续帧的完整融合特征后，使用双向长短期记忆网络获取连续帧的时序特征，并进行时序上的特征补偿，得到粗略的补偿特征；
[0156]
对每一帧的粗略补偿特征，通过计算同一帧内人体关节间的关联性并依据关联性进行空间特征补偿，得到每一帧的精细补偿特征；
[0157]
对每一帧的精细补偿特征，将其映射为人体骨架，完成毫米波雷达的人体姿态估计。
[0158]
进一步地，所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
[0159]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0160]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛
盾，都应当认为是本说明书记载的范围。
[0161]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。