一种基于智能可穿戴设备的人体体态预测方法

1.本发明属于智能可穿戴设备和多维度长序列数据处理技术领域，并且更具体的是指一种基于智能可穿戴设备的人体体态预测方法。


背景技术：

2.目前，智能织物逐渐进入市场，智能可穿戴设备已经向能穿就不戴的方向迅速发展，以智能服装为代表的智能可穿戴设备是一种新的智能形式—人本智能，强调了一种人类智能与机器智能结合的智能形态，是对人工智能的增强，侧重于对人体生理信息和运动信息的时-空多维度观测模式和方法。目前的智能可穿戴设备的普通监测功能早已无法满足需求，结合多种柔性传感器的智能可穿戴服装才能进一步的对人体信息智能化处理。
3.国内外很多研究机构在针对人体体态预测提出网络模型，首先是通过人体关节点序列变化来对人体体态进行预测，需要借助外部摄像机捕捉人体变化，这种依靠图像的方式非常不实用，有着很多的限制，不能很好的应用在可穿戴设备领域；其次有很多基于动作捕捉的人体体态三维重建，需要在人体关键部位贴满传感器，无法应用于日常生活，且大多用于特效制作，不能很好的收集人体生理信息，不具有实用性。


技术实现要素：

4.为了解决现有技术的上述缺点以及改善现有技术，本发明提供了一种基于智能可穿戴设备的人体体态预测方法，其目的在于运用多模态传感器收集用户生理信息，解决了神经网络在时间特征和空间特征上处理长序列的速度和准确率问题，本发明涉及多种柔性传感器融合处理，并应用预测网络更具有实用性且效果更趋近现实。
5.为实现上述目的，本发明提供的技术方案为一种基于智能可穿戴设备的人体体态预测方法，包括如下步骤：步骤1，获取体温传感器的体温数据，心率传感器的心率数据，三轴传感器的三轴角速度数据，以及人体脊柱的上、中、下部位，左肩，右肩，臀部，左右腿关节这八个身体部位的贴片式角度传感器的角度数据和柔性压力传感器的压力数据；其中，对于收集到的体温、心率数据进行数据融合，三轴传感器的三轴角速度数据不作处理；再将八个不同身体部位对应的角度数据和压力数据进行数据融合，将十九个个传感器收集到的数据进行多传感器融合形成十二行序列数据；步骤2， 将上述十二行序列数据送至多维度信息影响机制网络模块进行影响机制特征提取得到一个十二行n列的中间层特征；步骤3，将上述十二行n列的中间层特征送入状态信息权重分类模块得到状态信息处理序列和体态信息处理矩阵；步骤4，将状态信息处理序列送至状态预测网络模块提取得到状态预测特征层；同时将体态信息处理矩阵送入体态分类网络模块得到体态分类特征层；步骤5，将状态预测特征层送至分类器中得到多种运动状态，将体态分类特征层进
行分类输出得到多种体态姿势，按照时间戳将每秒对应的运动状态与体态姿势进行组合，得到预测的不同状态下的体态姿势不正。
6.进一步的，在步骤1中获取的五种传感器的数据，以时间戳为基准同步收集数据，每秒收集五种传感器对应的十九个值，以十二秒为一组。
7.进一步的，在步骤1中，对于收集到的体温、心率数据进行数据融合，体温传感器和心率传感器用来预测运动状态，且两者对预测结果的特征影响力相同，所以将两个传感器的数据特征融合为一个向量；同时八个不同身体部位的柔性压力传感器和贴片式角度传感器的十六行值进行数据融合得到八个向量；融合的方法是将m个传感器的序列数据组合成一个长度为n高为m的矩阵e，针对矩阵的形状设置一个权重矩阵w
1,m
，在m
×
n的矩阵上进行滑动运算得到一个n
×
1的一维特征矩阵，公式为v=w
1,m
∙em,n
+b，通过反向传播不断学习调整权重矩阵的参数，b表示序列数据的偏置量。
8.进一步的，在步骤2中，将十二行序列数据送至多维度信息影响机制网络模块进行影响力机制特征提取得到一个十二行n列的中间层，多维度信息影响机制网络模块结构如下：输入十二行n列的矩阵v，v={v1,v2,v3……
vn}，其中n是矩阵的长度，vi表示矩阵v的列向量；先构造初始化的三个参数矩阵rq,rk,rv与v相乘，这三个参数矩阵是与所有序列数据共享，得到三个新的向量r
q,v
,r
k,v
,r
v,v
，将求得的向量r
q,v
中的每个值与向量r
k,v
中每个位置的值进行一个匹配得到影响力向量α
qk,v
，再将向量α
qk,v
的每一行进行softmax处理得到，利用向量中的每个值与r
v,v
匹配得到输出矩阵bv；在长序列的影响力机制特征提取过程中引入稀疏影响力机制方法保证了重要数据点的影响力，同时减少了参数的计算量，维度信息影响机制网络模块公式如下：了参数的计算量，维度信息影响机制网络模块公式如下：了参数的计算量，维度信息影响机制网络模块公式如下：其中r
k,vt
表示为r
k,v
的转置矩阵，表示近似稀疏性度量，num(r
k,v
)表示r
k,v
向量当中元素的个数，max表示取最大值，mean表示取平均值。
9.进一步的，在步骤3中，将上述十二行n列的中间层送入状态信息权重分类模块得到状态信息处理序列和体态信息处理矩阵，将通过影响力机制特征提取得到的bv进行部分加权，将bv矩阵分成两个部分，放大前四行数据的权重占比，缩小后八行数据的权重占比得到用于状态预测的状态信息处理序列zv；同步的，放大后八行数据的权重占比，缩小前四行
数据的权重占比得到用于体态分类的体态信息处理矩阵tv。
10.进一步的，在步骤4中将状态信息处理序列zv送至状态预测网络模块提取得到状态预测特征层；首先对状态预测的矩阵zv进一步优化提取，由于在经过影响力机制提取操作中的与r
k,v
匹配操作会存在冗余组合，所以进一步的蒸馏提取可以对影响力更高的元素赋予更高的权重，在t时刻矩阵zv中的z
v,t
采用一个一维卷积操作，并使用elu激活函数，所以在从t时刻推进到t+1时刻的过程公式为z
v,t+1
=elu(conv[z
v,t
])，其中elu表示elu激活函数，conv表示卷积操作；经过蒸馏提取过后的矩阵为z'
v,t
送入位置编码器中链接一个占位符，公式为，concat表示拼接z'
v,t
和z'(0,t)这两个矩阵，tposition表示占位符，z'(0,t)表示占位符标量为0；将占位符标量设置为0，并通过反向传播的学习自调整；为了避免位置因素发生自回归每个位置都过度影响下个位置的值，并再次经过一个掩码影响力机制特征提取，在影响力机制模块的匹配操作过程中将要匹配的矩阵r
k,v
和r
v,v
的斜上角矩阵所有值设置为-∞，这样改变了匹配后的结果，前一个元素对后一个元素影响减弱，最后通过全连接层得到最终的权重矩阵a，公式为，fc表示全连接层操作，mask表示掩码影响力机制特征提取。
[0011]
进一步的，在步骤4中，将体态信息处理矩阵送入体态分类网络模块得到体态分类特征层，在经过权重分类过后用于体态分类的矩阵tv为12行n列，首先对tv切片为n/12个形状为12
×
12的矩阵，在将n/12个形状为12
×
12的矩阵送至体态分类网络模块，体态分类网络模块包含两个多分支卷积模块，多分支卷积模块结构如下，首先原矩阵经过一个大小为3
×
3步长为1填充为1的卷积，同时经过一个大小为1
×
1步长为1的卷积，这里使用relu作为激活函数，并引入bn层来进行归一化，最后将两个卷积过后的矩阵与原矩阵组合起来形成12
×
12
×
3的矩阵；接着用一个2
×
2的全局平均池化层，将矩阵形状变成6
×6×
3；原矩阵经过两个多分支卷积模块后得到形状为3
×3×
6的矩阵；再经过1个3
×
3步长为1的卷积得到大小为1
×1×
6的矩阵，再经过一个1
×
1步长为1的卷积得到大小为1
×1×
6的矩阵，将两个大小为1
×1×
6的矩阵组合起来得到一个大小为1
×1×
12的矩阵；最后将n/12个形状为1
×1×
12的矩阵送入全连接层得到1
×1×
n的权重矩阵b。
[0012]
进一步的，在步骤5中，将状态预测特征层送至分类器中分类得到行走、奔跑、静坐、平躺、趴卧五种运动状态；将经过状态预测网络模块得到的权重矩阵a按照时间戳送至softmax分类器中输出分类结果，权重矩阵a中的t时刻的值都是对t+1时刻的推理结果，从而实现预测五种不同的运动状态。
[0013]
进一步的，在步骤5中，将体态分类特征层进行分类输出得到头前伸、高低肩、驼背、脊柱侧歪、腿型弯曲；将经过体态分类网络模块得到的特征矩阵b按照时间戳送至softmax分类器中输出分类结果，得到五种不同的体态。
[0014]
进一步的，在步骤5中，按照时间戳每秒对应的运动状态与体态姿势进行组合，得到预测的不同状态下的体态姿势不正；传感器以一秒为时间单位收集数据，一共收集n秒，两个分类器每秒同时输出运动状态分类和体态姿势分类，从而实现实时预测在不同运动状态下的体态姿势。
[0015]
与现有技术相比，本发明的优点和有益效果：本发明利用影响力机制提取了长序列的时间特征，并引入稀疏影响力机制突出了主要影响力因素的同时降低算法的时间复杂
度，更适合长序列多维度数据的处理；在预测多种状态的同时利用多分支卷积提取数据空间特征，分类得到不同的体态，实现了对人体在复杂的场景下更加精准的预测分类。
附图说明
[0016]
图1为本发明实施例提供的一种基于智能可穿戴设备的人体体态预测方法的流程示意图；图2为本发明实施例提供的一种基于智能可穿戴设备的人体体态预测方法的核心网络结构。
具体实施方式
[0017]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0018]
如图1所示，是实施例提供的一种基于智能可穿戴设备的人体体态预测方法的流程示意图；实施例提供的一种基于智能可穿戴设备的人体体态预测方法包括如下步骤：步骤1，获取体温传感器的体温数据，心率传感器的心率数据，三轴传感器的三轴角速度数据，以及人体脊柱的上、中、下部位，左肩，右肩，臀部，左右腿关节这八个身体部位的贴片式角度传感器的角度数据和柔性压力传感器的压力数据；对于收集到的体温、心率数据进行数据融合；再将八个不同身体部位的贴片式角度传感器和柔性压力传感器进行数据融合。将十九个传感器收集到的数据进行多传感器融合形成十二行序列数据；其中，获取的五种传感器的数据获取的五种传感器的数据，以时间戳为基准同步收集数据，每秒收集五种传感器对应的十九个值，以十二秒为一组。
[0019]
其中对于收集到的体温、心率数据进行数据融合，体温传感器和心率传感器用来预测运动状态，且两者对预测结果的特征影响力相同，所以将两个传感器的数据特征融合为一个向量；同时八个不同身体部位的柔性压力传感器和贴片式角度传感器的十六行值进行数据融合得到八个向量；融合的方法是将m个传感器的序列数据组合成一个长度为n高为m的矩阵e，针对矩阵的形状设置一个权重矩阵w
1,m
，在m
×
n的矩阵上进行滑动运算得到一个n
×
1的一维特征矩阵，公式为v=w
1,m
∙em,n
+b，通过反向传播不断学习调整权重矩阵的参数，b表示序列数据的偏置量。
[0020]
步骤2，将上述十二行序列数据送至多维度信息影响机制网络模块进行影响机制特征提取得到一个12行n列的中间层；将十二行序列数据送至多维度信息影响机制网络模块进行影响力机制特征提取得到一个十二行n列的中间层，多维度信息影响机制网络模块结构如下：输入十二行n列的矩阵v，v={v1,v2,v3……
vn}，其中n是矩阵的长度，vi表示矩阵v的列向量；先构造初始化的三个参数矩阵rq,rk,rv与v相乘，这三个参数矩阵是与所有序列数据共享，得到三个新的向量r
q,v
,r
k,v
,r
v,v
，将求得的向量r
q,v
中的每个值与向量r
k,v
中每个位置的值进行一个匹配得到影响力向量α
qk,v
，再将向量α
qk,v
的每一行进行softmax处理得到，利用向量中的每个值与r
v,v
匹配得到输出矩阵bv；在长序列的影响力机制特征提取过程中引入稀疏影
响力机制方法保证了重要数据点的影响力，同时减少了参数的计算量，维度信息影响机制网络模块公式如下：度信息影响机制网络模块公式如下：度信息影响机制网络模块公式如下：其中r
k,vt
表示为r
k,v
的转置矩阵，表示近似稀疏性度量，num(r
k,v
)表示r
k,v
向量当中元素的个数，max表示取最大值，mean表示取平均值。
[0021]
步骤3，将上述12行n列的中间层送入状态信息权重分类模块得到状态信息处理序列和体态信息处理矩阵；其中，将上述12行n列的中间层送入状态信息权重分类模块得到状态信息处理序列和体态信息处理矩阵，将通过影响力机制特征提取得到的bv进行部分加权，将bv矩阵分成两个部分，放大前四行数据的权重占比，缩小后八行数据的权重占比得到用于状态预测的矩阵zv；同步的，放大后八行数据的权重占比，缩小前四行数据的权重占比得到用于体态分类的矩阵tv；步骤4，将状态信息处理序列送至状态预测网络模块进行再次提取得到状态预测特征层；同时将体态信息处理矩阵送入体态分类网络模块得到体态分类特征层；在步骤4中将状态信息处理序列zv送至状态预测网络模块提取得到状态预测特征层；首先对状态预测的矩阵zv进一步优化提取，由于在经过影响力机制提取操作中的与r
k,v
匹配操作会存在冗余组合，所以进一步的蒸馏提取可以对影响力更高的元素赋予更高的权重，在t时刻矩阵zv中的z
v,t
采用一个一维卷积操作，并使用elu激活函数，所以在从t时刻推进到t+1时刻的过程公式为z
v,t+1
=elu(conv[z
v,t
])，其中elu表示elu激活函数，conv表示卷积操作；经过蒸馏提取过后的矩阵为z'
v,t
送入位置编码器中链接一个占位符，公式为，concat表示拼接z'
v,t
和z'(0,t)这两个矩阵，tposition表示占位符，z'(0,t)表示占位符标量为0；将占位符标量设置为0，并通过反向传播的学习自调整；为了避免位置因素发生自回归每个位置都过度影响下个位置的值，并再次经过一个掩码影响力机制特征提取，在影响力机制模块的匹配操作过程中将要匹配的矩阵r
k,v
和r
v,v
的斜上角矩阵所有值设置为-∞，这样改变了匹配后的结果，前一个元素对后一个元素影响减弱，最后通过全连接层得到最终的权重矩阵a，公式为，fc表示全连接层操作，mask表示掩码影响力机制特征提取。
[0022]
在步骤4中，将体态信息处理矩阵送入体态分类网络模块得到体态分类特征层，在经过权重分类过后用于体态分类的矩阵tv为12行n列，首先对tv切片为n/12个形状为12
×
12的矩阵，在将n/12个形状为12
×
12的矩阵送至体态分类网络模块，体态分类网络模块包含两个多分支卷积模块，多分支卷积模块结构如下，首先原矩阵经过一个大小为3
×
3步长为1填充为1的卷积，同时经过一个大小为1
×
1步长为1的卷积，这里使用relu作为激活函数，并引入bn层来进行归一化，最后将两个卷积过后的矩阵与原矩阵组合起来形成12
×
12
×
3的矩阵；接着用一个2
×
2的全局平均池化层，将矩阵形状变成6
×6×
3；原矩阵经过两个多分支卷积模块后得到形状为3
×3×
6的矩阵；再经过1个3
×
3步长为1的卷积得到大小为1
×1×
6的矩阵，再经过一个1
×
1步长为1的卷积得到大小为1
×1×
6的矩阵，将两个大小为1
×1×
6的矩阵组合起来得到一个大小为1
×1×
12的矩阵；最后将n/12个形状为1
×1×
12的矩阵送入全连接层得到1
×1×
n的权重矩阵b。
[0023]
步骤5，将状态预测特征层送至分类器中得到预测到的行走、奔跑、静坐、平躺、趴卧五种运动状态；将体态分类特征层进行分类输出得到头前伸、高低肩、驼背、脊柱侧歪、腿型弯曲；按照时间戳每秒对应的运动状态与体态姿势进行组合，得到预测的不同状态下的体态姿势不正。
[0024]
其中，将状态预测特征层送至分类器中分类得到行走、奔跑、静坐、平躺、趴卧五种运动状态；将经过状态预测网络模块得到的权重矩阵a按照时间戳送至softmax分类器中输出分类结果，权重矩阵a中的t时刻的值都是对t+1时刻的推理结果，从而实现预测五种不同的运动状态。
[0025]
其中，将体态分类特征层进行分类输出得到头前伸、高低肩、驼背、脊柱侧歪、腿型弯曲；将经过体态分类网络模块得到的特征矩阵b按照时间戳送至softmax分类器中输出分类结果，得到五种不同的体态；优选的，在步骤5中按照时间戳每秒对应的运动状态与体态姿势进行组合，得到预测的不同状态下的体态姿势不正；传感器以一秒为时间单位收集数据，一共收集n秒，两个分类器每秒同时输出运动状态分类和体态姿势分类，从而实现实时预测在不同运动状态下的体态姿势。
[0026]
本发明可以不仅融合了多个传感收集的生理信息，而且在时间域和空间域同时对长序列进行处理，预测准确率更高，预测速度更快，很好的预防了在不同状态下的体态不正，增加了可穿戴设备的功能和用户体验。
[0027]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
[0028]
本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
[0029]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
[0030]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
[0031]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0032]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。