动作监测方法、系统、装置、介质及程序产品与流程

1.本公开涉及计算机技术领域，尤其涉及人工智能领域，具体涉及一种动作监测方法、系统、装置、介质及程序产品。


背景技术：

2.健身镜是可以观测用户健身动作的镜子。健身镜可以将用户当前健身动作与标准健身动作进行比对，来监测用户当前健身动作是否标准。
3.健身动作是多样的，对于一些地面动作，例如，俯卧撑、平板支撑以及一些地面瑜伽动作等，通常肢体动作幅度较小，动作监测效果往往不理想。综上所述，如何提升健身动作监测准确性，对于保证用户健身效果十分重要。


技术实现要素：

4.本公开提供了一种动作监测方法、系统、装置、介质及程序产品。
5.根据本公开的一方面，提供了一种动作监测方法，包括：
6.获取健身用户的肢体关键点特征；
7.获取所述健身用户关联的地面受力信息，并根据所述地面受力信息，确定肢体关键点的对地压力值；
8.根据所述肢体关键点特征和所述对地压力值，对所述健身用户的健身动作进行监测。
9.根据本公开的另一方面，提供了一种动作监测系统，包括：健身镜和健身垫；所述健身垫包括微处理模块以及至少一个压力模块；所述健身镜包括动作信息获取模块以及控制模块；
10.所述微处理模块分别与所述压力模块和控制模块通信连接，用于将压力模块采集的地面受力信息发送至所述控制模块；
11.所述动作信息获取模块与所述控制模块通信连接，用于获取健身用户的肢体关键点特征，并将所述肢体关键点特征发送至所述控制模块；
12.所述控制模块，用于执行本公开任一实施例的动作监测方法。
13.根据本公开的另一方面，提供了一种动作监测装置，包括：
14.关键点特征获取模块，用于获取健身用户的肢体关键点特征；
15.对地压力值获取模块，用于获取所述健身用户关联的地面受力信息，并根据所述地面受力信息，确定肢体关键点的对地压力值；
16.动作监测模块，用于根据所述肢体关键点特征和所述对地压力值，对所述健身用户的健身动作进行监测。
17.根据本公开的另一方面，提供了一种电子设备，包括：
18.至少一个处理器；以及
19.与至少一个处理器通信连接的存储器；其中，
20.存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任一实施例的动作监测方法。
21.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开任一实施例的动作监测方法。
22.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开任一实施例的动作监测方法。
23.本公开实施例可以实现提高动作监测准确性。
24.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
25.附图用于更好地理解本方案，不构成对本公开的限定。其中：
26.图1a是根据本公开实施例提供的一种动作监测方法的示意图；
27.图1b是根据本公开实施例提供的肢体关键点示意图；
28.图2是根据本公开实施例提供的一种动作监测方法的示意图；
29.图3是根据本公开实施例提供的一种动作监测方法的示意图；
30.图4是根据本公开实施例提供的一种动作监测系统的示意图；
31.图5是根据本公开实施例提供的一种动作监测系统的示意图；
32.图6是根据本公开实施例提供的一种动作监测装置的示意图；
33.图7是用来实现本公开实施例的动作监测方法的电子设备的框图。
具体实施方式
34.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
35.图1a是根据本公开实施例公开的一种动作监测方法的流程图，本实施例可以适用于通过健身用户的肢体关键点特征和对地压力值共同进行动作监控的情况，该法可以应用于具有数据处理能力的健身镜中。
36.本实施例方法可以由动作监测装置来执行，该装置可采用软件和/或硬件的方式实现，并具体配置于具有一定数据运算能力的电子设备中，该电子设备可以是客户端设备或服务器设备，客户端设备例如手机、平板电脑、车载终端和台式电脑等。具体的，参考图1a，该方法具体包括如下：
37.s110、获取健身用户的肢体关键点特征。
38.肢体关键点是健身用户身体上用于表征其当前动作的关键点，示例性的，如图1b所示，肢体关键点可以包括健身用户的头部、肩部(c点)、肘关节(b点和d点)、手掌(a点和e点)、躯干(f点和g点)、臀部(h点)、膝关节(i点和k点)、脚掌(j点和l点)。
39.肢体关键点特征是在健身用户的原始健身图像中进行肢体关键点提取得到，能够表征健身用户的当前动作，用于判断健身用户的健身动作是否标准。具体的，肢体关键点特
征包括多个肢体关键点的连接关系，以及由肢体关键点连接得到肢体线段之间的角度关系。示例性的，肢体关键点特征包括如图1b中肢体关键点的连接关系，例如，a点和b点连接，b点和c点连接、c点和d点连接以及d点和e点连接等；肢体关键点特征还包括由肢体关键点连接得到的肢体线段之间的角度关系，例如，线段bc和线段cf之间的角度可以表征健身用户大臂上抬角度，线段ab和bc之间的角度可以表征健身用户大臂和小臂之间的弯曲角度。
40.为了对健身用户的健身动作进行监测，获取健身用户的肢体关键点特征，用于判断用户的动作特征能否满足当前健身动作的要求。具体的，可以对当前采集的原始健身图像进行特征提取，得到多个肢体关键点，进而将肢体关键点进行连接，得到肢体关键点之间的连接关系，以及连接得到各肢体线段之间的角度关系，由上述连接关系和角度关系共同构成肢体关键点特征。还可以是直接接收动作信息获取设备从原始健身图像中提取的肢体关键点特征。
41.在一个具体的例子中，首先获取摄像头采集的原始健身图像，其中，原始健身图像是健身用户当前的动作图像。进而在原始健身图像中识别健身用户的人体图像，并在人体图像中确定多个肢体关键点。进一步的，按照人体结构，将识别到的多个肢体关键点进行连接，得到肢体关键点的连接关系，以及设定连接线段之间的角度关系。例如，可以根据预先规定，获取大臂与躯干之间的角度关系、大臂与小臂之间的角度关系、大腿与躯干之间的角度关系以及大腿与小腿之间的角度关系。
42.在另一个具体的例子中，可以接收动作信息获取设备发送的肢体关键点特征。其中，动作信息获取设备可以包括摄像头和图像处理模块。摄像头拍摄健身用户的原始健身图像，图像处理模块对原始健身图像进行特征提取，得到肢体关键点特征。
43.s120、获取健身用户关联的地面受力信息，并根据地面受力信息，确定肢体关键点的对地压力值。
44.其中，地面受力信息包括健身用户所在区域中地面受到的压力，以及受到压力的区域对应的地面位置信息。示例性的，地面受力信息包括多组数据，每组数据表示为(x，y，n)。其中，(x，y)表示受到压力区域的地面位置信息，n表示地面位置信息关联的地面区域受到的压力值。
45.地面受力信息可以是由均匀分布在地面的压力传感器采集的，例如，健身用户站在健身垫上，健身垫中均匀分布有多个压力传感器，用于采集地面受力信息。
46.肢体关键点的对地压力值用于表示肢体关键点的发力情况，对地压力值是指与地面接触的肢体关键点向地面施加的压力。示例性的，肢体关键点的对地压力值可以是健身用户的脚掌、手掌或者膝关节等向地面施加的压力。
47.本公开实施例中，获取健身用户关联的地面受力信息后，根据地面受力信息确定与地面接触的肢体关键点的对地压力值。具体的，可以根据预先设定的地面位置信息和肢体关键点的对应关系，以及地面受力信息中地面受力值对应的地面位置信息，确定肢体关键点对应的对地压力值。
48.还可以从原始健身图像中提取与地面接触的肢体关键点在地面的肢体位置信息，将肢体位置信息和地面受力信息中的地面位置信息进行匹配，从而得到与地面接触的肢体关键点的对地压力值。
49.在一个具体的例子中，预先在地面中标记出用户动作引导标记，引导标记可以包
括健身用户左手掌、右手掌、左脚掌以及右脚掌等肢体关键点的放置区域。用户根据用户动作引导标记，站在指定区域进行健身操等非近地运动，或者分别将手掌和脚掌置于指定区域进行俯卧撑等近地运动。在获取到地面受力信息中包括一组数据为(x1，y1，n1)，即在地面(x1，y1)处受到的压力值是n1。根据预先标记的引导标记，确定(x1，y1)位于左脚掌所在区域，则可以确定健身用户的左脚掌的对地压力值是n1。当然，若压力传感器部署密集，可能存在多组数据属于左脚掌所在区域的情况，此时可以将位于左脚掌所在区域的全部压力值求和，得到左脚掌的对地压力值。
50.在另一个具体的例子中，从原始健身图像中提取到健身用户左脚掌对应的肢体位置信息是(x1，y1)，右脚掌对应的肢体位置信息是(x2，y2)。获取到的地面受力信息中包括两组数据分别为(x1，y1，n1)和(x2，y2，n2)。通过将肢体位置信息和地面受力信息中的地面位置信息进行匹配，可以确定健身用户左脚掌的对地压力值是n1，右脚掌的对地压力值是n2。
51.s130、根据肢体关键点特征和对地压力值，对健身用户的健身动作进行监测。
52.本公开实施例中，在获取到肢体关键点特征和对地压力值后，可以结合肢体关键点特征和对地压力值共同来判定建设用户的健身动作是否符合标准。其中，肢体关键点特征用户判定健身用户的健身动作是否符合标准，对地压力值用户判定健身用户的发力是否正确。
53.具体的，预先获取健身用户当前观看的健身课程，以及该健身课程对应的模型库，模型库中包含在各时间节点标准压力值以及标准动作特征。在获取到肢体关键点特征和对地压力特征后，可以依据当前健身用户的肢体关键点特征、对地压力信息，以及同一时刻标准压力值、标准动作特征，确定健身用户的健身动作是否标准。
54.其中，直接将肢体关键点特征中包含的各肢体部位之间角度信息，与标准动作特征中相应的角度信息进行匹配，在二者的角度差值大于设定角度阈值的情况下，对用户进行纠错提示。例如，提示用户当前大臂抬升角度不满足标准，或者小腿抬升角度不满足标准等。
55.考虑到健身用户与健身教练的体重不同，直接将健身用户的对地压力值和健身教练的对地压力值进行比对，会因体重差异，导致动作监测效果不理想。因此，模型库中存储的标准压力值是通过体重系数将健身教练的对地压力值转换得到，标准压力值与健身教练的体重无关。此时同样可以采用健身用户的体重系数，将对地压力值转换为标称压力值。进而将标称压力值与标准压力值进行比对，在二者的压力差值大于设定压力阈值的情况下，对用户进行提示。例如，提示当前用户当前脚部发力不足，或者当前手臂发力不足等。通过对地压力值和肢体关键点特征共同来确定健身用户的健身动作是否标准，可以提升动作监控的准确性。
56.本公开实施例的技术方案，通过获取健身用户的肢体关键点特征，进而获取健身用户关联的地面受力信息，并根据地面受力信息，确定肢体关键点的对地压力值，最终根据肢体关键点特征和对地压力值，对健身用户的健身动作进行监测，可以结合健身用户的动作特征以及肢体发力信息，共同判定健身用户动作是否标准，提升了动作监测准确性。
57.图2是本公开实施例中的一种动作监测方法的示意图，在上述实施例的基础上进一步细化，提供了根据地面受力信息，确定肢体关键点的对地压力值的具体步骤。本实施例
中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。下面结合图2对本公开实施例提供的一种动作监测方法进行说明，包括以下：
58.s210、获取健身用户的肢体关键点特征。
59.s220、获取健身用户关联的地面受力信息；地面受力信息包括地面受力值，以及地面受力值关联的地面位置信息。
60.s230、获取健身用户的原始健身图像，并对原始健身图像进行关键点定位，得到与地面接触的肢体关键点的肢体位置信息。
61.本公开实施例中，为了确定健身用户肢体关键点的对地压力值，可以获取健身用户的原始健身图像，并对原始健身图像进行关键点定位，确定与地面接触的肢体关键点在地面上的肢体位置信息。具体的，对原始健身图像进行识别，获取健身用户与地面接触的肢体关键点，进而根据预先建立的地面坐标系，确定肢体关键点在地面上的肢体位置信息。
62.在一个具体的例子中，健身用户在健身垫上健身，健身用户的原始健身图像中包含健身用户的肢体以及健身垫。通过对原始健身图像进行特征提取，得到健身用户与地面接触的肢体关键点，进而在以健身垫边缘为数轴建立的坐标系中，确定肢体关键点在健身垫上的肢体位置信息。
63.s240、将肢体位置信息和地面位置信息进行匹配，得到位置匹配对。
64.本公开实施例中，将肢体位置信息和地面受力信息中的地面位置信息进行匹配，将数值相同的肢体位置信息和地面位置信息作为一个位置匹配对。示例性的，健身用户左脚掌对应的肢体位置信息是(x1，y1)，并且地面受力信息的其中一组数值的地面位置信息为(x1，y1)。此时，可以将数值相同的肢体位置信息和地面位置信息构成一个位置匹配对。
65.s250、将位置匹配对中地面位置信息关联的地面受力值，作为肢体位置信息所关联肢体关键点的对地压力值。
66.本公开实施例中，将位置匹配对中地面位置信息管理的地面受力值，作为肢体位置信息所关联的肢体关键点的对地压力值，实现原始健身图像和地面受力信息的融合，从两个维度进行动作监测，提高动作监测的准确度。示例性的，健身用户左脚掌对应的肢体位置信息是(x1，y1)，并且地面受力信息的其中一组数值的地面位置信息为(x1，y1，n1)。此时，可以将数值相同的肢体位置信息和地面位置信息构成一个位置匹配对。并且，最终可以将位置匹配对中的地面位置信息关联的地面受力值n1，作为肢体位置信息关联的左脚掌的对地压力值，即可以确定左脚掌的对地压力值是n1。
67.s260、根据肢体关键点特征和对地压力值，对健身用户的健身动作进行监测。
68.本公开实施的技术方案，通过健身用户的原始健身图像和地面受力信息进行结合，共同确定与地面接触的肢体关键点的对地压力值，实现了根据肢体关键点特征和对地压力值共同确定健身动作是否标准，提高了动作监测的准确性。
69.图3是本公开实施例中的一种动作监测方法的示意图，在上述实施例的基础上进一步细化，提供了根据肢体关键点特征和对地压力值，对健身用户的健身动作进行监测。的具体步骤。本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。下面结合图3对本公开实施例提供的一种动作监测方法进行说明，包括以下：
70.s310、获取健身用户的肢体关键点特征。
71.s320、获取健身用户关联的地面受力信息，并根据地面受力信息，确定肢体关键点
的对地压力值。
72.s330、根据对地压力值，确定健身用户的健身动作是否属于近地动作。
73.本公开实施例中，在获取到与地面接触的肢体关键点的对地压力值后，进一步根据对地压力值，确定健身用户的健身动作是否属于近地动作。具体的，确定各对地压力值关联的与地面接触的肢体关键点，如果与地面接触的肢体关键点中仅包含脚掌，则确定健身动作属于非近地动作；如果与地面接触的肢体关键点中包含除脚掌之外的其他肢体关键点，则确定健身动作属于近地动作。
74.可选的，根据对地压力值，确定健身用户的健身动作是否属于近地动作，包括：
75.确定对地压力值关联的肢体关键点中，是否包含除脚掌之外的其他肢体关键点；
76.在所述对地压力值关联的肢体关键点中包含除脚掌之外的其他肢体关键点的情况下，确定所述健身用户的健身动作属于近地动作。
77.本可选的实施例中，提供一种根据对地压力值确定健身用户的健身动作是否属于近地动作的具体方式：确定对地压力值关联的肢体关键点中，是否包含除脚掌之外的其他肢体关键点，在对地压力值关联的肢体关键点中包含除脚掌之外的其他肢体关键点的情况下，确定健身用户的动作类型为近地动作。通过判断健身动作类型，可以对不同类型的健身动作采用不同的动作监测方式，在保证健身监测准确性的同时，提升动作监测实时性。
78.在一个具体的例子中，获取到对地压力值关联的肢体关键点包括左手掌、左脚掌以及右脚掌，显然包含了除脚掌之外的其他肢体关键点，则确定当前健身用户的健身动作是近地动作。
79.s340、在健身动作属于近地动作的情况下，分别对肢体关键点特征和对地压力值进行标准判别，确定对地压力值和肢体关键点特征是否满足标准动作要求。
80.近地动作相较于非近地动作，动作幅度较小，例如，俯卧撑仅仅是手臂动作发生变化，以及身体对地距离发生变化，若仅采用肢体关键点特征来判断动作是否合规可能会出现误判或者无法识别健身用户的不标准动作的情况。
81.本公开实施例中，在健身动作属于近地动作的情况下，为提高动作监测的准确性，分别对肢体关键点特征和对地压力值进行标准判别，确定对地压力值和肢体关键点特征是否满足标准动作要求。具体的，将肢体关键点特征与预先获取的标准动作特征进行比对，来确定健身用户的健身动作是否满足当前动作要求。进一步的，将对地压力值与当前动作的标准压力值进行比对，确定健身用户的发力是否满足当前动作要求。其中，标准动作特征可以是对健身用户当前观看的健身课程进行特征提取得到；标准压力值可以是根据健身用户的体重信息、当前观看健身课程中健身教练的体重信息和健身教练各肢体关键点的对地压力值共同确定。
82.在一个具体的例子中，计算健身教练各肢体关键点的对地压力值与健身教练体重的比值，进而将比值与健身用户体重相乘，得到标准压力值。
83.非近地动作一般动作幅度较大，在健身动作属于非近地动作的情况下，可以将肢体关键点特征与标准动作特征进行比对，来确定健身用户的健身动作是否满足当前动作要求，可以在保证动作监测准确性的同时降低计算成本，提高监测效率。
84.可选的，分别对肢体关键点特征和对地压力值进行标准判别，确定对地压力值和肢体关键点特征是否满足标准动作要求，包括：
85.基于健身用户的体重系数，将对地压力值转换为标称压力值；体重系数依据所述健身用户的体重确定；
86.将标称压力值与标准压力值进行比对，确定标称压力值对应的对地压力值是否满足标准动作要求；
87.将肢体关键点特征与标准动作特征进行比对，确定肢体关键点特征是否满足标准动作要求；肢体关键点的标准压力值以及标准动作特征根据所述健身用户当前匹配的健身课程确定。
88.本可选的实施例中，提供一种分别对肢体关键点特征和对地压力值进行标准判别，确定对地压力值和肢体关键点特征是否满足标准动作要求的具体方式：由于健身用户和当前健身课程中的健身教练的体重可能不一致，若直接将健身用户的对地压力值与健身教练的对地压力值进行比对，会出现误判的情况。为避免因体重偏差导致的误判问题，首先基于健身用户的体重系数，将对地压力值转换为标称压力值，进而将标称压力值与标准压力值进行比对，确定标称压力值对应的对地压力值是否满足标准动作要求。其中，标准压力值即为健身课程中教练的肢体关键的的标称压力值，标准压力值是根据教练体重以及教练的肢体关键点的对地压力值确定。该方式排除了体重因素的干扰，避免因体重偏差所导致的误判，进一步提升动作监测的效果。
89.进一步的，将肢体关键点特征与标准动作特征进行比对，确定肢体关键点特征是否满足标准动作要求。具体的，可以是将肢体关键点特征中不同肢体关键点构成肢体线段之间的角度，与标准动作特征中各肢体线段之间的角度进行比对，来确定肢体关键点特征是否满足标准动作要求。
90.在一个具体的例子中，健身用户的体重是m，健身用户与地面接触的肢体关键点为左脚掌和左手掌，且左脚掌和左手掌对地压力值均为mg/2，根据体重确定健身用户的体重系数是1/m。将肢体关键点的对地压力值与体重系数相乘，得到左手掌和左脚掌对应的标称压力值均为g/2。进一步的，分别将左手掌的标称压力值与左手掌对应的标准压力值进行比对，并将左脚掌的标称压力值与左脚掌对应的标准压力值进行比对，来确定健身用户发力是否标准。若其中左手掌与标准压力值的差值大于设定阈值，则确定左手掌发力不准确。
91.s350、在肢体关键点特征和对地压力值中至少一项不满足标准动作要求的情况下，确定健身用户的健身动作不满足标准动作要求。
92.本公开实施例中，只有肢体关键点特征和对地压力值均满足标准动作要求的情况下，确定健身用户的健身动作满足标准动作要求。若肢体关键点特征和对地压力值中至少一项不满足标准动作要求，则就是健身用户的健身动作不满足标准动作要求。尤其针对动作幅度较小的近地动作，同时根据肢体关键点特征以及对地压力值来判定健身动作是否标准，可以提升动作监测的准确性。
93.本公开实施例的技术方案，获取健身用户的肢体关键点特征，进而获取健身用户关联的地面受力信息，并根据地面受力信息，确定肢体关键点的对地压力值。进一步的，根据对地压力值，确定健身用户的健身动作是否属于近地动作，在健身动作属于近地动作的情况下，分别对肢体关键点特征和对地压力值进行标准判别，确定对地压力值和肢体关键点特征是否满足标准动作要求，在肢体关键点特征和对地压力值中至少一项不满足标准动作要求的情况下，确定健身用户的健身动作不满足标准动作要求，可以避免针对动作幅度
小的近地动作，使用肢体关键点特征进行动作监测准确度不高的问题，提高了近地动作监测的准确度。
94.图4是本公开实施例中的一种动作监测系统的示意图，本实施例是用于健身镜和健身垫结合使用进行动作监测的情况，该动作监测系统400包括健身镜1和健身垫2；健身垫2包括微处理模块22以及至少一个压力模块21；健身镜1包括动作信息获取模块11以及控制模块12。
95.其中，微处理模块22分别与压力模块21和控制模块通信12连接，用于将压力模块21采集的地面受力信息发送至控制模块12。
96.微处理模块22嵌入在健身垫2内部，至少一个压力模块21均匀分布在健身垫2中，且微处理模块22与至少一个压力模块21通信连接，具体的，可以通过两线式串行总线(inter-integrated circuit，i2c总线)连接。压力模块21采集到地面受到的压力值(地面受力值)后，将地面受力值与地面受力值关联的地面位置信息通过蓝牙发送至控制模块12。
97.动作信息获取模块11与控制模块通信连接12，用于获取健身用户的肢体关键点特征，并将肢体关键点特征发送至控制模块12。
98.动作信息获取模块11与控制模块12可以通过串行总线(universal serial bus，usb)与所述控制模块12连接。动作信息获取模块11可以获取健身用户的原始健身图像，并对原始健身图像进行特征提取，得到肢体关键点特征，最终将肢体关键点特征发送至控制模块12，通过单独部署动作信息获取模块11，可以将图像特征提取的计算过程放在动作信息获取模块11，降低控制模块12的计算压力，提高动作监测效率。
99.控制模块12，用于执行本公开任一实施例的动作监测方法，具体如下：
100.获取健身用户的肢体关键点特征；
101.获取健身用户关联的地面受力信息，并根据地面受力信息，确定肢体关键点的对地压力值；
102.根据肢体关键点特征和对地压力值，对健身用户的健身动作进行监测。
103.控制模块12可以获取动作信息获取模块11提供的肢体关键点特征，以及健身垫2中微处理模块22提供的地面受力信息。进一步的，根据地面受力信息确定肢体关键点的对地压力值，做种根据肢体关键点特征和对地压力值，对健身用户的健身动作进行监测。
104.本公开实施例的技术方案，通过获取健身用户的肢体关键点特征，进而获取健身用户关联的地面受力信息，并根据地面受力信息，确定肢体关键点的对地压力值，最终根据肢体关键点特征和对地压力值，对健身用户的健身动作进行监测，可以结合健身用户的动作特征以及肢体发力信息，共同判定健身用户动作是否标准，提升了动作监测准确性。
105.图5为本公开实施例提供的一种动作监测系统示意图，本实施例进一步提供了健身镜以及健身垫的具体结构。如图5所示，本实施例中的动作监测系统400包括健身镜1和健身垫2；健身垫2包括微处理模块22以及至少一个压力模块21；健身镜1包括动作信息获取模块11以及控制模块12。
106.其中，动作信息获取模块11包括摄像头111和图像处理模块112。
107.图像处理模块112分别与摄像头111和控制模块12通信连接，用于对摄像头111采集的原始健身图像进行特征提取，并将原始健身图像以及提取到的肢体关键点特征发送至控制模块12；
108.控制模块12，还用于依据原始健身图像，获取图像成像数据，并依据成像数据，确定健身用户和健身镜1的距离是否满足动作监测需求。
109.动作信息获取模块11包含了摄像头111和图像处理模块112。图像处理模块112通过移动产业处理器接口(mobile industry processor interface，mipi)与摄像头111连接，并通过usb与控制模块12连接。图像处理模块112可以获取摄像头111采集的原始健身图像，并对原始健身图像进行特征提取，得到肢体关键点特征，最终将肢体关键点特征发送至控制模块12。其中，摄像头111可以采用单目摄像头，可以降低动作监测的硬件成本及安装调试成本。
110.将摄像头111和图像处理模块112构成独立的动作信息获取模块11可以单独处理原始健身图像，将处理后的特征信息直接发送至控制模块12，可以降低控制模块12的计算压力，并且提升模块可以移植性。
111.健身镜1还包括光线传感器13，光线传感器13与控制模块12通信连接，用于采集健身场地的场地亮度值，并将场地亮度值发送至控制模块12；
112.控制模块12，还用于：
113.依据场地亮度值和原始健身图像的图像亮度值，确定健身场地的亮度是否满足动作监测需求。
114.健身镜1还包括光线传感器13，光线传感器13与控制模块通过i2c总线连接，可以在健身过程中采集健身场地的场地亮度值，并将场地亮度值发送至控制模块12，使得控制模块12能够判断当前健身场地亮度是否满足健身需求。具体的，可以从原始健身图像中提取图像亮度值，并对场地亮度值和图像亮度值进行加权求和，最终将加权求和结果与预先设定的亮度阈值进行比对，确定健身场地亮度是否满足动作监测需求。在光线过暗时可以通过语音或者显示屏提示用户进行场地亮度调节，从而保证动作监测的准确性。
115.健身垫2还包括震动模块23，震动模块23与微处理模块22通信连接；
116.控制模块12，还用于：
117.在健身动作不满足标准动作要求的情况下，通过微处理模块22控制震动模块23进行震动。
118.健身垫2中还包括震动模块23，震动模块23可以均匀部署在健身垫2内部，与压力模块21相间排布。震动模块23通过i2c总线与微处理模块22通信连接。
119.在健身动作不满足标准动作要求的情况下，控制模块12可以向微处理模块22发送控制指令，以指示微处理模块22根据控制指令控制震动模块23进行震动，以提示用户及时调整健身动作，提升健身效果。其中，控制指令中可以包括待控制震动模块23的标识，以及震动强度和震动持续时间。通过振动模块23的振动提示，可以强制健身用户进行动作纠错，提升健身效果。
120.健身镜1还包括角度传感器14；角度传感器14与控制模块12通信连接，用于采集健身镜1的倾斜角度，并将倾斜角度发送至控制模块12；
121.控制模块12，还用于：
122.确定健身镜1的倾斜角度是否满足动作监测需求。
123.健身镜1还包括角度传感器14，角度传感器14通过i2c总线与控制模块12连接。角度传感器14用于采集健身镜1的倾斜角度，并将倾斜角度发送至控制模块12，以指示控制模
块根据倾斜角度以及预先设定的倾斜角度范围，确定倾斜角度是否满足动作监测需求，使得健身镜1能够保持在设定倾斜角度范围内，避免因倾斜角度过大或者过小导致采集的原始健身图像不完整或者图像变形，保证动作监测效果。
124.可选的，健身镜1还包括显示模块15，显示模块15与控制模块12通信连接，用于播放健身课程。
125.健身镜1还包括显示模块15，健身模块通过(high definition multimedia interface，hdmi)与控制模块12连接。显示模块15一方面可以响应于控制模块12的控制指令，播放健身用户指定的健身课程，另一方面可以在健身用户动作不标准时进行显示提示，例如，通过文字或者图像进行动作纠正提示，保证健身效果，提升用户体验。
126.可选的，健身镜1还包括按键模块16，按键模块16与控制模块12通信连接，用于将健身用户通过按键发起的控制指令发送至控制模块12。
127.健身镜1还包括按键模块16，按键模块16通过i2c与控制模块12连接，用于将健身用户通过按键发起的控制指令发送至控制模块12，使得控制模块12执行相应操作。例如，按键模块16支持返回、确认、菜单、开关机、亮灭屏以及联网等功能，使得健身镜1的控制更加直观。
128.可选的，健身镜1还包括语音模块17，语音模块17与控制模块12通信连接，用于将用户通过语音发起的控制指令发送至控制模块12。
129.健身镜1还包括语音模块17，语音模块17通过集成电路内置音频总线(inter—ic sound，i2s)与控制模块12连接，用于将用户通过语音发起的控制指令发送至控制模块12。例如，用户可以通过语音控制健身课程的暂停、播放、快进、快退以及倍速等，语音模块17使得健身镜1的控制更加便捷。
130.可选的，健身垫2还包括第一蓝牙模块24；健身镜1还包括第二蓝牙模块18；健身镜1的控制模块12通过第一蓝牙模块24和第二蓝牙模块18与健身垫2的微处理模块22建立蓝牙连接。
131.可选的，健身镜1还包括无线网络模块19；控制模块12通过无线网络模块19与云端建立网络连接。
132.健身镜1可以通过无线网络模块19将用户的原始健身图像上传至云端存储，以供健身用户查看，还可以通过无线网络模块19从云端下载健身课程等资源，方便健身用户的资源获取以及资源分享。
133.本公开实施例的技术方案，通过获取健身用户的肢体关键点特征，进而获取健身用户关联的地面受力信息，并根据地面受力信息，确定肢体关键点的对地压力值，最终根据肢体关键点特征和对地压力值，对健身用户的健身动作进行监测，可以结合健身用户的动作特征以及肢体发力信息，共同判定健身用户动作是否标准，提升了健身监测准确性。另外，通过在健身镜包含的光线传感器以及角度传感器，可以同时实现对健身环境的监测，进一步提高健身监测准确性。
134.根据本公开的实施例，图6是本公开实施例中的健身监测装置的结构图，本公开实施例适用于通过健身用户的肢体关键点特征和对地压力值共同进行动作监控的情况。该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
135.如图6所示的一种健身监测装置600，包括：关键点特征获取模块610、对地压力值
获取模块620和动作监测模块630；其中，
136.关键点特征获取模块610，用于获取健身用户的肢体关键点特征；
137.对地压力值获取模块620，用于获取所述健身用户关联的地面受力信息，并根据所述地面受力信息，确定肢体关键点的对地压力值；
138.动作监测模块630，用于根据所述肢体关键点特征和所述对地压力值，对所述健身用户的健身动作进行监测。
139.本公开实施例的技术方案，通过获取健身用户的肢体关键点特征，进而获取健身用户关联的地面受力信息，并根据地面受力信息，确定肢体关键点的对地压力值，最终根据肢体关键点特征和对地压力值，对健身用户的健身动作进行监测，可以结合健身用户的动作特征以及肢体发力信息，共同判定健身用户动作是否标准，提升了健身监测准确性。
140.进一步的，地面受力信息包括地面受力值，以及所述地面受力值关联的地面位置信息；
141.对地压力值获取模块620，具体用于：
142.获取健身用户的原始健身图像，并对所述原始健身图像进行关键点定位，得到与地面接触的肢体关键点的肢体位置信息；
143.将所述肢体位置信息和所述地面位置信息进行匹配，得到位置匹配对；
144.将所述位置匹配对中地面位置信息关联的地面受力值，作为肢体位置信息所关联肢体关键点的对地压力值。
145.进一步的，动作监测模块630，包括：
146.近地动作识别单元，用于根据所述对地压力值，确定健身用户的健身动作是否属于近地动作；
147.标准判别单元，用于在所述健身动作属于近地动作的情况下，分别对所述肢体关键点特征和对地压力值进行标准判别，确定所述对地压力值和所述肢体关键点特征是否满足标准动作要求；
148.动作监测单元，用于在所述肢体关键点特征和所述对地压力值中至少一项不满足标准动作要求的情况下，确定所述健身用户的健身动作不满足标准动作要求。
149.进一步的，标准判别单元，具体用于：
150.基于所述健身用户的体重系数，将所述对地压力值转换为标称压力值；所述体重系数依据所述健身用户的体重确定；
151.将所述标称压力值与标准压力值进行比对，确定所述标称压力值对应的对地压力值是否满足标准动作要求；
152.将肢体关键点特征与标准动作特征进行比对，确定所述肢体关键点特征是否满足标准动作要求；所述肢体关键点的标准压力值以及标准动作特征根据所述健身用户当前匹配的健身课程确定。
153.进一步的，近地动作识别单元，具体用于：
154.确定所述对地压力值关联的肢体关键点中，是否包含除脚掌之外的其他肢体关键点；
155.在所述对地压力值关联的肢体关键点中包含除脚掌之外的其他肢体关键点的情况下，确定所述健身用户的健身动作属于近地动作。
156.本公开实施例所提供的健身监测装置可执行本公开任意实施例所提供的健身监测方法，具备执行方法相应的功能模块和有益效果。
157.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
158.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
159.图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
160.如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
161.设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
162.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如动作监测方法。例如，在一些实施例中，动作监测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的动作监测方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行动作监测方法。
163.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
164.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
165.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
166.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
167.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
168.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
169.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
170.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。