一种激励决策模型的运动引导方法、装置和电子设备与流程

一种激励决策模型的运动引导方法、装置和电子设备
[0001][0002][0003]
技术领域
[0004]
本技术涉及计算机领域，尤其涉及一种激励决策模型的运动引导方法、装置和电子设备。


背景技术：

[0005]
随着生活水平的提高，越来越多的人开始重视身体健康，有些人通过饮食调节来保持身体健康状态，有些人通过运动的方式保持身体健康，目前，市面上出现了许多体操app，通过视频演示的方式引导用户进行动作训练，从而达到锻炼身体保持身体健康的目的。
[0006]
然而，目前引导用户运动的方式，多是设置的固定的运动方案，即便对用户进行定制，也是根据设置的规则进行定制，这就导致，定制的规则实际上未必是最符合用户实际情况的，这种引导用户运动的方式的用户匹配度有待提高。


技术实现要素：

[0007]
本说明书实施例提供一种激励决策模型的运动引导方法、装置和电子设备，用以提高用户匹配度。
[0008]
本说明书实施例提供一种激励决策模型的运动引导方法，包括：
[0009]
训练健康状态预测模型，利用所述健康状态模型为用户预测用户的健康状态上升空间，并确定当前阶段的健康状态上升空间；
[0010]
获取样本用户的动作信息和对应的健康状态变化数据，构造激励函数，利用所述样本用户的动作信息和对应的健康状态变化数据对激励函数进行强化学习，生成动作空间，结合强化学习出的激励函数构造动作决策模型；
[0011]
所述动作决策模型在所述动作空间中进行搜索，根据搜索到的点生成动作策略，计算所述动作策略的激励函数值，并进行迭代，直至计算出的激励函数值满足预设条件，输出动作策略；
[0012]
利用所述动作策略引导用户运动并进行动作识别，调用所述动作决策模型结合识别出的动作和所述用户当前阶段的健康状态上升空间持续更新输出动作策略实时引导用户运动。
[0013]
可选地，所述动作决策模型在所述动作空间中进行搜索，根据搜索到的点生成动作策略，计算所述动作策略的激励函数值，并进行迭代，包括：
[0014]
在所述动作空间中生成粒子群，以各粒子为初始点进行并发搜索，比较所述粒子群搜索到的动作策略，计算各动作策略的激励函数值并比较，得到局部最优的动作策略，进行迭代后，得到全局最优的动作策略。
[0015]
可选地，所述调用所述动作决策模型结合识别出的动作和所述用户当前阶段的健康状态上升空间持续更新输出动作策略，包括：
[0016]
比较引导运动的动作策略和实时识别出的动作，计算动作执行偏差，根据所述动作执行偏差调整动作决策模型，并利用调整后的动作决策模型基于所述用户当前阶段的健康状态上升空间输出动作策略。
[0017]
可选地，所述第二输入项信息包括:医院体检项目信息，所述第一输入项信息包括：应用程序采集的全天运动步数信息、通过配餐冰箱采集的摄入食物信息、皮肤状态信息和体温体重信息。
[0018]
可选地，所述训练健康状态预测模型，利用所述健康状态预测为用户预测用户的健康状态上升空间，包括：
[0019]
搭建具有第一输入项通道的健康状态预测模型、具有第一输入项通道和第二输入项通道的辅助矫正模型，所述辅助矫正模型的中间层和输出层与健康状态预测模型相同；
[0020]
采集样本用户的多种生理属性信息，并根据所述生理属性信息的采集频率分为第一输入项信息集合和第二输入项信息集合，其中所述第二输入项信息集合的采集频率低于所述第一输入项信息集合；
[0021]
将所述第一输入项信息集合和第二输入项信息集合输入到所述辅助矫正模型，得到第一函数值，并根据输出的第一函数值对所述辅助矫正模型进行迭代训练；
[0022]
将所述第一输入项信息集合输入到健康状态预测模型，得到第二函数值，根据所述第一函数值相比于所述第二函数值的偏差对所述健康状态预测模型进行训练；
[0023]
获取对用户采集的第一输入项信息，利用所述健康状态预测模型对所述用户的健康状态进行预测，得到用户的健康状态上升空间。
[0024]
可选地，所述实时引导用户运动，包括：根据实时调整输出的动作策略进行动作展示。
[0025]
可选地，所述动作执行偏差，包括：力度、速度和持久性偏差。
[0026]
可选地，所述动作执行偏差，包括：
[0027]
根据能量消耗、肌肉锻炼程度和筋的拉伸程度计算的动作效果偏差。
[0028]
本说明书实施例还提供一种电子设备，其中，该电子设备包括：
[0029]
处理器；以及，
[0030]
存储计算机可执行程序的存储器，所述可执行程序在被执行时使所述处理器执行上述任一项方法。
[0031]
本说明书实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述任一项方法。
[0032]
本说明书实施例提供的各种技术方案通过训练健康状态预测模型，预测用户的健康状态上升空间，并确定当前阶段的健康状态上升空间，获取样本用户的动作信息和对应的健康状态变化数据，构造激励函数，利用样本用户的动作信息和对应的健康状态变化数据对激励函数进行强化学习，生成动作空间，结合强化学习出的激励函数构造动作决策模型，在动作空间中进行搜索生成动作策略，计算其激励函数值，并进行迭代，直至计算出的激励函数值满足预设条件，输出动作策略，持续更新引导用户运动并进行动作识别，通过利用激励函数值进行迭代的方式可得到全局最优的动作策略，提高了与用户的匹配度。
附图说明
[0033]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0034]
图1为本说明书实施例提供的一种激励决策模型的运动引导方法的原理示意图；
[0035]
图2为本说明书实施例提供的一种激励决策模型的运动引导装置的结构示意图；
[0036]
图3为本说明书实施例提供的一种电子设备的结构示意图；
[0037]
图4为本说明书实施例提供的一种计算机可读介质的原理示意图。
具体实施方式
[0038]
现在将参考附图更全面地描述本发明的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例能够使得本发明更加全面和完整，更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分，因而将省略对它们的重复描述。
[0039]
在符合本发明的技术构思的前提下，在某个特定的实施例中描述的特征、结构、特性或其他细节不排除可以以合适的方式结合在一个或更多其他的实施例中。
[0040]
在对于具体实施例的描述中，本发明描述的特征、结构、特性或其他细节是为了使本领域的技术人员对实施例进行充分理解。但是，并不排除本领域技术人员可以实践本发明的技术方案而没有特定特征、结构、特性或其他细节的一个或更多。
[0041]
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/ 步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0042]
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0043]
术语“和/或”或者“及/或”包括相关联的列出项目中的任一个或多者的所有组合。
[0044]
图1为本说明书实施例提供的一种激励决策模型的运动引导方法的原理示意图，该方法可以包括：
[0045]
s101:训练健康状态预测模型，利用所述健康状态模型为用户预测用户的健康状态上升空间，并确定当前阶段的健康状态上升空间；
[0046]
s102:获取样本用户的动作信息和对应的健康状态变化数据，构造激励函数，利用所述样本用户的动作信息和对应的健康状态变化数据对激励函数进行强化学习，生成动作空间，结合强化学习出的激励函数构造动作决策模型；
[0047]
s103:所述动作决策模型在所述动作空间中进行搜索，根据搜索到的点生成动作策略，计算所述动作策略的激励函数值，并进行迭代直至满足预设条件，输出动作策略；
[0048]
s104:利用所述动作策略引导用户运动并进行动作识别，调用所述动作决策模型结合识别出的动作和所述用户当前阶段的健康状态上升空间持续更新输出动作策略实时引导用户运动。
[0049]
其中，满足预设条件可以是迭代次数达到阈值，也可以是激励函数值达到阈值。
[0050]
该方法通过训练健康状态预测模型，预测用户的健康状态上升空间，并确定当前阶段的健康状态上升空间，获取样本用户的动作信息和对应的健康状态变化数据，构造激励函数，利用样本用户的动作信息和对应的健康状态变化数据对激励函数进行强化学习，生成动作空间，结合强化学习出的激励函数构造动作决策模型，在动作空间中进行搜索生成动作策略，计算其激励函数值，并进行迭代，直至计算出的激励函数值满足预设条件，输出动作策略，持续更新引导用户运动并进行动作识别，通过利用激励函数值进行迭代的方式可得到全局最优的动作策略，提高了与用户的匹配度。
[0051]
健康状态可以是多个单指标状态(比如身体灵活度、身体耐力、体力恢复能力、消化吸收能力、内脏器官损伤程度、内脏器官负担程度等)，也可以是根据多指标综合抽象计算出的状态。
[0052]
健康状态上升空间是指用户当前的亚健康状态，相比与理想的健康状态所具有的提升潜力，由于健康状态是多属性的，因此，如果将各属性的潜力综合到一起，便可以得到多维空间，称作健康状态上升空间。
[0053]
具体的，健康状态上升空间可以用多维向量来记录和运算。
[0054]
健康状态预测模型，可以是利用机器学习的方式训练得到的。
[0055]
其中，健康状态上升空间是动态的，因此，当前阶段的健康状态上升空间更能反映用户的真实情况。
[0056]
其中，当前阶段的健康状态上升空间也可以是将总上升空间分解得到的部分上升空间，这样，可以分步达到健康目标。
[0057]
强化学习属于现有技术，其原理在此不作详细阐述。
[0058]
样本用户的动作信息和对应的健康状态变化数据可以是用户某段时间进的锻炼信息以及产生的身体变化。
[0059]
在本说明书实施例中，所述动作决策模型在所述动作空间中进行搜索，根据搜索到的点生成动作策略，计算所述动作策略的激励函数值，并进行迭代，包括：
[0060]
在所述动作空间中生成粒子群，以各粒子为初始点进行并发搜索，比较所述粒子群搜索到的动作策略，计算各动作策略的激励函数值并比较，得到局部最优的动作策略，进行迭代后，得到全局最优的动作策略。
[0061]
动作空间可以是用户运动时的动作范围。
[0062]
在本说明书实施例中，所述调用所述动作决策模型结合识别出的动作和所述用户当前阶段的健康状态上升空间持续更新输出动作策略，包括：
[0063]
比较引导运动的动作策略和实时识别出的动作，计算动作执行偏差，根据所述动作执行偏差调整动作决策模型，并利用调整后的动作决策模型基于所述用户当前阶段的健康状态上升空间输出动作策略。
[0064]
在训练健康状态预测模型时，可以获取大量样本用户的基础信息以及用户的健康状态，用健康状态作标签，这样，训练出健康状态预测模型后，对于新用户只要得到其基础信息，就可以准确地预测出其健康状态。
[0065]
在预测用户健康状态时，兼顾的信息越多，越有利于预测的准确性，然而，有些信息实际上并非能经常得到，比如，医院体检信息，因此，如果想要每天都能准确地预测用户的健康状态，实际是很难的。
[0066]
那么，怎么能够兼顾这类不经常得到的信息呢。
[0067]
我们可以采用这种方式，在不直接采用这类不经常得到的信息时，利用平常的信息就能替代这类不经常得到的信息对预测过程的影响。
[0068]
具体的，在构建健康状态预测模型时，可以同时构建一个辅助矫正模型，训练时辅助矫正模型兼顾(输入)这类不经常得到的信息，而在训练健康状态预测模型时，不输入这类不经常得到的信息，而是采用辅助矫正模型预测出的目标，来判断健康状态预测模型是否能达到兼顾这类不经常得到的信息时的预测准确度以及准确度偏差，从而健康状态预测模型进行矫正和反复迭代训练，就能朝着辅助矫正模型的方向去调整，从而在后续对新用户预测时，即便不采用这类不经常得到的信息，依然具有较高准确度。
[0069]
在本说明书实施例中，所述训练健康状态预测模型，利用所述健康状态预测为用户预测用户的健康状态上升空间，包括：
[0070]
搭建具有第一输入项通道的健康状态预测模型、具有第一输入项通道和第二输入项通道的辅助矫正模型，所述辅助矫正模型的中间层和输出层与健康状态预测模型相同；
[0071]
采集样本用户的多种生理属性信息，并根据所述生理属性信息的采集频率分为第一输入项信息集合和第二输入项信息集合，其中所述第二输入项信息集合的采集频率低于所述第一输入项信息集合；
[0072]
将所述第一输入项信息集合和第二输入项信息集合输入到所述辅助矫正模型，得到第一函数值，并根据输出的第一函数值对所述辅助矫正模型进行迭代训练；
[0073]
将所述第一输入项信息集合输入到健康状态预测模型，得到第二函数值，根据所述第一函数值相比于所述第二函数值的偏差对所述健康状态预测模型进行训练；
[0074]
获取对用户采集的第一输入项信息，利用所述健康状态预测模型对所述用户的健康状态进行预测，得到用户的健康状态上升空间。
[0075]
在本说明书实施例中，所述第二输入项信息包括:医院体检项目信息，所述第一输入项信息包括：应用程序采集的全天运动步数信息、通过配餐冰箱采集的摄入食物信息、皮肤状态信息、体温、体重、心率和肺活量信息中的至少一个。
[0076]
由于配餐冰箱采集的摄入食物信息、皮肤状态信息、体温、体重、心率和肺活量信息每天都可获得，因而有助于准确地每天对用户的健康状态进行预测。
[0077]
由于测出来的信息(比如体重、心率、肺活量)实际是健康状态的表现，而内因实际上包括运动、睡眠和饮食等，因此，实际上睡眠和饮食可以隐含地反映用户的健康状态，因此，在一种实施方式中，可以根据用户摄入食物信息来预测其健康状态，从而得到与当天摄入食物相适应的动作策略。
[0078]
在本说明书实施例中，第一输入项信息还可以包括睡眠状态信息。
[0079]
具体的，睡眠状态信息可以包括入眠时间、入眠后的脑电波等。
[0080]
输入项通道是模型的输入层。
[0081]
偏差可以是相似度，也可以是欧氏距离，在此不限制。
[0082]
在本说明书实施例中，所述实时引导用户运动，包括：根据实时调整输出的动作策略进行动作展示。
[0083]
动作执行偏差可以反应用户的执行力，也可以反映用户的动作偏好，因此，通过根据所述动作执行偏差调整动作决策模型，并利用调整后的动作决策模型基于所述用户的健
康状态上升空间输出动作策略，能够使动作策略与用户相匹配。
[0084]
动作执行偏差可以是根据能量消耗、肌肉锻炼程度和筋的拉伸程度计算的综合指标。
[0085]
因此，可以根据能量消耗、肌肉锻炼程度和筋的拉伸程度构造奖励函数。
[0086]
为了针对每个用户生成定制化的动作策略，我们可以以搜索的方式生成动作策略，通过决策的方式得到对该用户最有利的全局最优的动作策略。
[0087]
这里的动作策略，可以是根据能量消耗、肌肉锻炼程度和筋的拉伸程度或者其综合指标来衡量的。
[0088]
具体的如何计算指标最科学，我们可以用强化学习的方式自发学习的得到，用奖励的方式，确定哪种方式最合适。
[0089]
图2为本说明书实施例提供的一种激励决策模型的运动引导装置的结构示意图，该装置可以包括：
[0090]
预测模型模块201，训练健康状态预测模型，利用所述健康状态预测为用户预测用户的健康状态上升空间，并确定当前阶段的健康状态上升空间；
[0091]
强化学习模块202，获取样本用户的动作信息和对应的健康状态变化数据，构造激励函数，利用所述样本用户的动作信息和对应的健康状态变化数据对激励函数进行强化学习，生成动作空间，结合强化学习出的激励函数构造动作决策模型；
[0092]
策略模块203，所述动作决策模型在所述动作空间中进行搜索，根据搜索到的点生成动作策略，计算所述动作策略的激励函数值，并进行迭代，直至计算出的激励函数值满足预设条件，输出动作策略；
[0093]
引导模块204，利用所述动作策略引导用户运动并进行动作识别，调用所述动作决策模型结合识别出的动作和所述用户当前阶段的健康状态上升空间持续更新输出动作策略实时引导用户运动。
[0094]
该装置通过训练健康状态预测模型，预测用户的健康状态上升空间，并确定当前阶段的健康状态上升空间，获取样本用户的动作信息和对应的健康状态变化数据，构造激励函数，利用样本用户的动作信息和对应的健康状态变化数据对激励函数进行强化学习，生成动作空间，结合强化学习出的激励函数构造动作决策模型，在动作空间中进行搜索生成动作策略，计算其激励函数值，并进行迭代，直至计算出的激励函数值满足预设条件，输出动作策略，持续更新引导用户运动并进行动作识别，通过利用激励函数值进行迭代的方式可得到全局最优的动作策略，提高了与用户的匹配度。
[0095]
基于同一发明构思，本说明书实施例还提供一种电子设备。
[0096]
下面描述本发明的电子设备实施例，该电子设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明电子设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明电子设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
[0097]
图3为本说明书实施例提供的一种电子设备的结构示意图。下面参照图3 来描述根据本发明该实施例的电子设备300。图3显示的电子设备300仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0098]
如图3所示，电子设备300以通用计算设备的形式表现。电子设备300的组件可以包
括但不限于：至少一个处理单元310、至少一个存储单元320、连接不同系统组件(包括存储单元320和处理单元310)的总线330、显示单元340 等。
[0099]
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元 310执行，使得所述处理单元310执行本说明书上述处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元310可以执行如图 1所示的步骤。
[0100]
所述存储单元320可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)3201和/或高速缓存存储单元3202，还可以进一步包括只读存储单元(rom)3203。
[0101]
所述存储单元320还可以包括具有一组(至少一个)程序模块3205的程序 /实用工具3204，这样的程序模块3205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0102]
总线330可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0103]
电子设备300也可以与一个或多个外部设备400(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备300交互的设备通信，和/或与使得该电子设备300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/ 输出(i/o)接口350进行。并且，电子设备300还可以通过网络适配器360 与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器360可以通过总线330与电子设备300的其它模块通信。应当明白，尽管图3中未示出，可以结合电子设备300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0104]
通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的示例性实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。当所述计算机程序被一个数据处理设备执行时，使得该计算机可读介质能够实现本发明的上述方法，即：如图1所示的方法。
[0105]
图4为本说明书实施例提供的一种计算机可读介质的原理示意图。
[0106]
实现图1所示方法的计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0107]
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁
信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0108]
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++ 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0109]
综上所述，本发明可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0110]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0111]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0112]
以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。