一种基于可穿戴传感信息融合的能量代谢评估方法和系统

本发明涉及信息处理技术领域，更具体地，涉及一种基于可穿戴传感信息融合的能量代谢评估方法和系统。

背景技术：

随着社会经济的发展和人们生活水平的提高，由人体能量代谢失衡引起的多种代谢性疾病(如脂肪肝、糖尿病、高血脂等)成为高发性疾病。科学合理的控制饮食能量摄入和运动能量消耗是代谢性疾病预防及康复治疗的有效手段，同时也是个体主动健康管理的主要部分。人体是一个复杂的时变、非线性系统，运动能量消耗水平受很多因素影响，例如运动强度、环境温湿度、个体身体物理状态(身高、体重、年龄等参数)及精神状态等，因此，对人体运动过程中的能量消耗的精准评估是当前代谢性疾病防控领域面临的一个关键科学问题。

人体能量消耗分为三个部分：基础能量消耗，食物生热作用和身体活动能量消耗。已有的测量能量消耗评估方法主要有：直接测热法、间接测热法、双标水法和自我报告等。

直接测热法通过搭建密闭隔热的环境，测量人体向环境散发出的热量来测量一个人在一段时间内消耗的能量，这种方法准确度最高。间接测热法则是利用能量代谢与呼吸熵的关系，通过测量人体吸入氧气量和呼出二氧化碳量间接计算人体能量消耗。双标水法本质上也是通过测量呼出二氧化碳量计算能量消耗，原理是受试者口服一定量的同时含有氢和氧稳定同位素的水，然后通过测定这两种同位素浓度在人体中的变化计算呼出二氧化碳量，最后进一步计算人体能量消耗。自我报告法通过受试者填写的身体活动记录和问卷调查估计人体能量消耗，该方法成本相对较低、操作简单，是最普遍、最实用的方法。

在上述方法中，自我报告依赖于参与者记忆，主观性太强导致准确性和可靠性低。而直接测热法、间接测热法、双标水法测量能量消耗的有效性和可靠性很高，但它们都存在测量复杂、成本昂贵、耗费时间长、侵入性等缺点，其应用受到限制。因此，这些方法都不适合在大规模人群和日常生活中推广。

可穿戴方法是最近新兴起来的能量消耗监测方法，目前常用的方法包括心率监测法和加速度传感器法等。心率监测法通过监测人体的心率来计算能量消耗，因为心率能够反应人体机能活动状态，与能量代谢密切相关。加速度传感器法则是根据传感器所依附的肢体的运动或加速度信息，通过测量身体活动的持续时间和强度评估机体能量消耗。可穿戴方法由于佩戴方便、成本低廉等优点，已经成为能量消耗计算领域重要的研究课题。

例如，专利申请cn201810092947.8将压电式能量采集器代替传统的加速度计来进行人体运动评估，并根据运动剧烈程度不同的动作，建立了四个独立的随机森林回归预测模型，其功耗仅仅只有基于加速度计的能量代谢估计方法的0.2％，有效地降低了系统的功耗，但缺点是压电式能量采集器采集的数据包含信息较少，影响人体运动评估的效果。

专利申请cn202011288776.x计算六轴惯性传感器采集的各轴信号的综合标准差作为人体瞬时运动能量消耗的特征，建立了一个计算运动能量消耗的线性模型。该方法计算很简单，但是其本质上只利用了加速度信号的时域信息，且最后构建的模型也只是简单的线性模型，因此运动能量消耗计算的准确性不高。

专利申请cn202011249044.x根据人体运动的心率值和累加总步数，设计了三种线性的能量代谢计算模型，线性模型分别使用心率、加速度累计值、运动速度和佩戴者的个人信息结合作为输入。该方法的输入包含了人体运动的各种信息，但其计算模型过于简单，运动能量消耗计算的准确性也不高。

总之，现有的基于可穿戴的运动能量消耗评估方法大都是基于心率或步数估算的，缺少与能量代谢测量金标准的对标分析，可信性较差。而精准度较高的直接测热法和呼吸测量法又因设备庞大、价格昂贵无法普及使用。随着微电子技术、mems传感器技术及计算机技术的发展，可穿戴设备的感知和计算功能越来越强大。可穿戴设备上集成的多种生理、运动监测传感器能够对人体的生理、运动状态进行多维度，全时段的监测，这使得基于可穿戴传感的人体能量代谢评估成为可能。而目前采用可穿戴设备对动运过程中能量消耗的精准评估尚缺乏行之有效的手段。

技术实现要素：

本发明的目的是克服上述现有技术的缺陷，提供一种基于可穿戴传感信息融合的能量代谢评估方法和系统。

根据本发明的第一方面，提供一种基于可穿戴传感信息融合的能量代谢评估方法。该方法包括以下步骤：

获取反映人体生理状态的心电信号信息、反映人体运动强度水平的加速度信号信息和人体结构物理特征信息；

将所述心电信号信息输入第一卷积神经网络提取心电特征，并将所述加速度信号信息输入第二卷积神经网络提取加速度特征，其中，第一卷积神经网络和第二卷积神经网络经训练获得，且第一卷积神经网络和第二卷积网络均是多分支结构，以提取多尺度特征；

将所述心电特征、加速度特征和所述人体结构物理特征信息进行融合，并基于融合特征预测对应的能量代谢信息。

根据本发明的第二方面，提供一种基于可穿戴传感信息融合的能量代谢评估系统。该系统包括：

数据采集单元：用于获取反映人体生理状态的心电信号信息、反映人体运动强度水平的加速度信号信息和人体结构物理特征信息；

特征提取单元：用于将所述心电信号信息输入第一卷积神经网络提取心电特征，并将所述加速度信号信息输入第二卷积神经网络提取加速度特征，其中，第一卷积神经网络和第二卷积神经网络经训练获得，且第一卷积神经网络和第二卷积网络均是多分支结构，以提取多尺度特征；

预测单元：用于将所述心电特征、加速度特征和所述人体结构物理特征信息进行融合，并基于融合特征预测对应的能量代谢信息。

与现有技术相比，本发明的优点在于，通过可穿戴设备和基于呼吸测量法的人体能量代谢仪，同时采集人体运动过程中的心电信号、加速度信号和精准能量代谢值(金标准)，利用深度学习方法有效融合可穿戴设备同步采集的心电信号、加速度信号及个人基本信息建立能量代谢精准评估回归模型，实现了对运动过程中能量消耗的精准计算。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的基于可穿戴传感信息融合的能量代谢评估方法的流程图；

图2是根据本发明一个实施例的基于可穿戴传感信息融合的能量代谢评估方法的总体架构图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

由于人体加速度信号、心电信号同属人体生理信号中的低频信号，受生理系统的自组织性的影响表现出随机性和自相似性，普通的网络难以将隐藏在信号中的各种微小变化完全挖掘出来。因此本发明设计了一个多分支、多尺度的卷积神经网络，在不同的分支网络中引入了不同尺度的卷积核，构建了不同尺度的卷积块，可以深度挖掘心电信号和加速度信号在不同维度上与能量代谢密切相关的特征。此外，考虑到普通线性回归方法无法一次性精准地估计出能量消耗的值，本发明设计了一种级联回归的能量代谢预测方法，进一步提升了能量代谢预测的准确度。

具体地，参见图1所示，所提供的基于可穿戴传感信息融合的能量代谢评估方法包括以下步骤。

步骤s110，对数据进行预处理，以构建训练样本。

数据预处理过程主要包括信号去噪、合加速度提取、数据分割、数据增强等。

在运动过程中采集的加速度信号难免会存在大量噪声，因此需要去除噪声。首先使用截止频率为10hz的巴特沃斯低通滤波器对加速度信号进行预处理，以消除高频噪声的干扰；接着使用窗口大小为1秒的维纳滤波器估计重力加速度，并从加速度计数据中减去了重力加速度的方向，以排除重力加速度对运动信号的影响。

在一个实施例中，提取了合加速度信息。合加速度的幅值捕获了运动过程中加速度的幅值，与传感器的方向无关。六自由度惯性传感器可以采集x、y、z轴的加速度和角加速度，因此计算合加速度与合角加速度可以消除传感器位置变化影响。

进一步地，为构建训练样本集进行数据分割。例如，能量消耗的估计问题按分钟估计，将加速度信号、心电信号以及能量代谢真实值数据分割为一系列连续的1分钟窗口，每个窗口就是一个样本，然后计算每个窗口的卡路里数据的平均值作为该样本真实的能量消耗值。当采集的加速度信号和心电信号采样率分别为100hz和200hz时，每个窗口包含6000x8个加速度数据(8通道包括x、y、z轴的加速度和角加速度以及合加速度、合角加速度)、12000x1个心电数据以及1个卡路里数据。

为了提高模型训练精度，优选地，对训练数据使用数据增强技术来有效地扩充数据样本，增加模型的泛化能力，另外也可以增加噪声数据，提高模型的鲁棒性。

例如，可使用多种数据增强手段，包括：将加速度数据和心电数据的幅度乘以服从均值1和标准差为0.1的高斯分布的随机标量，用来随机更改数据幅度；对加速度计的三轴数据进行随机交换排列或者对其旋转一个随机角度，用来模拟加速度计不同放置的方式。

步骤s120，训练基于深度学习的模型，以提取心电特征、加速度特征，并与人体结构物理特征信息进行融合。

结合图2所示，在一个实施例中，设计了两个多分支卷积神经网络分别用于提取加速度信号和心电信号的特征。每个多分支卷积神经网络包含三个卷积块，每个卷积块使用不同大小的卷积核。对于加速度信号，卷积核大小分别为3、5、7，对于心电信号，卷积核大小分别为5、7、9。加速度信号卷积块包含8个卷积层和5个池化层，而心电信号卷积块包含10个卷积层和6个池化层，激活函数选择修正线性单元。每个卷积层后添加批量归一化用于缓解内部协变量偏移问题，加速训练过程。最后添加dropout层防止模型陷入过拟合。单个1xk的卷积块具体结构参见下表1，其中k表示卷积核大小，conv表示卷积层，maxpool表示最大池化层，globalavgpool表示全局平均池化层。

表1单个1xk的卷积块结构

由于各分支网络使用了不同大小卷积核，因此可以提取信号不同尺度的上下文信息，解决了加速度信号、心电信号因随机性和自相似性导致特征提取困难的问题。

优选地，为了提升模型的个体适应特性，将影响个体能量代谢水平的个体基本信息或称人体结构物理特征信息(如性别、年龄、腰围、身高、体重等参数)与不同尺度的加速度特征和心电特征通过一个具有隐藏层神经单元数目为128的全连接层进一步融合，以提升模型对不同人群进行能量代谢预测的泛化能力。由于每个人身体结构特征的不同会导致能量消耗的具体值有所变化，因此将人体结构物理特征信息输入到消耗预测模型，进一步调整模型，能够达到适应不同个体的效果。

综上，在此步骤s120中，提出了同时提取心电和加速度信号多尺度上下文特征的多分支卷积神经网络，能够有效捕捉隐藏在信号中的微小变化。此外，提出了多源信息融合的可穿戴人体能量代谢评估方案，利用反映人体生理状态的心电信号、反映人体运动强度水平的加速度信号和人体结构物理特征信息作为模型输入，从多个维度挖掘影响人体能量消耗的关键特征，能够挖掘出更全面、更细微的影响能量代谢水平的特征。

步骤s130，基于融合特征进行能量代谢信息的回归预测。

在一个实施例中，首先通过有序回归方法对能量代谢水平进行粗粒度的估计。接着在粗粒度估计的基础上，通过线性回归方法进一步对能量代谢预测值进行细粒度的估计，从而显著提高了能量消耗预测模型的准确性。

具体地，有序回归的本质是通过标签离散化将原本的回归任务转换成多个分类任务，因此首先将能量代谢真实值进行离散化，例如采用等间隔离散化方法。若能量代谢值区间[α，β]被均分成k等份时，则离散区间变为[r1，r2，...，rk]，其中ri定义为：

其中yi为第i个样本的能量代谢真实值，ri为第i个样本的能量代谢真实值的离散化结果，表示向下取整函数。

下一步对离散化的能量代谢值进行编码，常用的编码方法包括硬标签法和软标签法，由于硬标签的编码方法可能会导致有价值的信息丢失，而软标签的处理考虑了真实值的连续性，更有利于模型的学习，因此，优选使用软标签的编码方法。ri被编码成一个维度为1xk的软标签向量yi，向量yi中的第j个元素定义为

其中φ(ri，rj)是距离度量函数，它代表了离散化的能量代谢值ri与离散等级rj之间的距离，距离度量可以使用欧氏距离、曼哈顿距离、切比雪夫距离等。

由图2可以看出，从影响运动能量消耗的特征x到能量代谢最终预测值的映射可分解为两个步骤，即有序回归计算得到对应真实软标签向量y的预测向量以及线性回归计算得到对应真实值y的预测值该过程可以表示为：

其中w1、w2为网络权重参数，b1、b2为网络偏置参数。

在一个实施例中，为两个步骤(即有序回归和线性回归)的回归任务定义了两个代价函数。有序回归的代价函数采用kl散度作为损失函数，用于衡量真实软标签与预测运动能量消耗分布之间的差异，控制能量消耗的区间分类准确率，表示为：

其中n为总样本个数，yij为第i个样本的能量代谢真实软标签向量的第j个元素；为第i个样本的预测向量的第j个元素。

线性回归的代价函数控制最终运动能量消耗的预测，例如采用绝对值损失函数，表示为：

其中yi为第i个样本的能量代谢真实值，为第i个样本的能量代谢预测值。

因此，在训练过程中总代价函数计算为：

j＝λjrank+jreg(6)

其中λ是用于平衡两个代价函数在训练期间贡献的超参数。

在此步骤s130中，提出了一种级联回归的能量代谢预测方法，融合心电特征、加速度特征和个人基本信息使用基于软标签的有序回归和普通线性回归两个回归预测，实现对于运动能量消耗的精准计算。

步骤s140，利用经训练的模型实时预测能量代谢信息。

在训练上述用于特征提取的多分支卷积神经网络以及级联回归模型之后，即可实时预测个体的能量代谢信息，例如，采用可穿戴设备采集加速度信号和心电信号，并通过信号去噪、合加速度提取、数据分割等处理为一系列连续的数据，结合个体的人体结构物理特征信息输入到经训练的模型(包括神经网络模型和回归预测模型)，即可实时获得对应的预测能量代谢信息。数据处理过程与步骤s110类似，在此不再赘述。

相应地，本发明还提供一种基于可穿戴传感信息融合的能量代谢评估系统，用于实现上述方法的一个方面或多个方面。例如，该系统包括：数据采集单元，其用于获取反映人体生理状态的心电信号信息、反映人体运动强度水平的加速度信号信息和人体结构物理特征信息；特征提取单元，其用于将所述心电信号信息输入第一卷积神经网络提取心电特征，并将所述加速度信号信息输入第二卷积神经网络提取加速度特征，其中，第一卷积神经网络和第二卷积神经网络经训练获得，且第一卷积神经网络和第二卷积网络均是多分支结构，以提取多尺度特征；预测单元，其用于将所述心电特征、加速度特征和所述人体结构物理特征信息进行融合，并基于融合特征预测对应的能量代谢信息。

为进一步验证本发明的效果，进行了实验。实验招募了20名身体健康的具有运动能力的受试者，其中10名男性，10名女性，年龄在24-43岁之间。每名受试者进行2次实验，总共40次实验数据。每次测试前测量并记录受试者的身高、体重、腰围、年龄、性别等个体基本信息，实验过程中受试者佩戴运动心率带，腰部绑上shimmer3imu加速度传感器，并佩戴好能量代谢测试仪的呼吸面罩在跑台上进行递增负荷运动测试，可穿戴心电、加速度信号，及能量代谢标准值同步采集，能量代谢测试仪采样率为0.2hz，心率带对心电信号采样率为200hz，shimmer3惯性传感器对加速度和陀螺仪信号的采样率为100hz。

实验采用留一法交叉验证，即从20个受试者数据中选出19个人的数据做训练集，然后用剩下1个人的数据做测试，迭代进行20轮测试。测试结果如表2所示

表2测试结果

综上所述，本发明采用基于呼吸测量法的人体能量代谢测试仪采集的数据(金标准)作为模型参考真实值，保证了能量代谢预测模型的可靠性；首次采用原始单导联心电信号作为人体能量代谢预测模型的输入信号，心电数据包含了更多的反映能量代谢水平的有效信息，提升了人体能量代谢预测的准确性；使用多种数据增强技术用于增加训练样本，提高了模型泛化能力，消除了加速度计方向变化影响，增加了模型的鲁棒性；设计的多分支卷积神经网络实现了端到端的特征学习，简化了特征提取的流程，该网络拥有多条分支，每条分支引入了多通道、多尺度卷积核，相比手工设计提取的特征，该网络提取的特征更加全面，质量更高；设计了级联回归的能量代谢预测方法，将困难的能量代谢回归预测问题拆解成简单的区间分类和小范围回归两个子问题，有效地降低了人体能量代谢预测的难度，提升了模型的预测准确性。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++、python等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。