一种辅助训练系统及方法与流程

本发明涉及计算机视觉技术领域，具体涉及一种辅助训练系统及方法。

背景技术：

目前，在视觉技术领域，大部分的视觉检查还采用目测方式进行。例如在进行士兵队列训练时，为了队列及动作的标准性和整齐性，通常需要多人同时训练。尤其是在正步训练时，由于严格追求动作的整齐划一，一个方阵中只要有一个人做的不完美，整个队列都要一起训练，当训练到后期，可能有个别训练者的动作影响到整个队列的整齐性，导致整个队列需要继续训练，这严重影响了动作训练的质量和进度。然而，在单人训练过程中，目测方式的精确度较差。

目前未发现有采用计算机视觉技术进行单人训练的技术方案。

技术实现要素：

本发明的目的是针对上述现有技术的不足提出的一种辅助训练系统及方法，该目的是通过以下技术方案实现的。

本发明的第一方面提出了一种辅助训练系统，所述系统包括：

增强现实模块，用于获取标准视频，并基于所述标准视频模拟真实环境演示标准动作，并将演示过程中的第一时间轴和标准动作的第一三维骨骼关键点发送给动作分析模块；

姿势捕获模块，用于捕获用户跟随标准动作训练过程中的第二三维骨骼关键点和第二时间轴，并发送给所述动作分析模块；

动作分析模块，用于根据第一时间轴和第二时间轴，选择同一时刻下的第一三维骨骼关键点与第二三维骨骼关键点进行比较，并依据比较结果生成指导信息并进行提示。

本发明的第二方面提出了一种辅助训练方法，所述方法包括：

通过增强现实模块获取标准视频，并基于所述标准视频模拟真实环境演示标准动作，并将演示过程中的第一时间轴和标准动作的第一三维骨骼关键点发送给动作分析模块；

通过姿势捕获模块捕获用户跟随标准动作训练过程中的第二三维骨骼关键点和第二时间轴，并发送给所述动作分析模块；

通过所述动作分析模块根据第一时间轴和第二时间轴，选择同一时刻下的第一三维骨骼关键点与第二三维骨骼关键点进行比较，并依据比较结果生成指导信息并进行提示。

在本申请实施例中，通过增强现实模块将标准动作投射于现实环境之中，有效还原了真实场景，为单人训练提供了标准的队列训练姿势作为参考，使训练者身临其境，更加直观，更加具体，避免多人同时训练带来的不便；通过采用计算机视觉技术的姿势捕获模块快速捕获分析用户的训练姿势，并通过动作分析模块将用户的训练姿势与标准姿势进行实时比较，根据比较结果给出实时的指导信息，精确辅助训练者单独训练，给训练者带来很好的使用体验。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明根据一示例性实施例示出的一种辅助训练系统结构示意图；

图2为本发明根据一示例性实施例示出的一种辅助训练方法的实施例流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1为本发明根据一示例性实施例示出的一种辅助训练系统结构示意图，包括：增强现实模块、姿势捕获模块和动作分析模块；

其中，增强现实模块，用于获取标准视频，并基于所述标准视频模拟真实环境演示标准动作，并将演示过程中的第一时间轴和标准动作的第一三维骨骼关键点发送给动作分析模块；

姿势捕获模块，用于捕获用户跟随标准动作训练过程中的第二三维骨骼关键点和第二时间轴，并发送给所述动作分析模块；

动作分析模块，用于根据第一时间轴和第二时间轴，选择同一时刻下的第一三维骨骼关键点与第二三维骨骼关键点进行比较，并依据比较结果生成指导信息并进行提示。

在本实施例中，通过增强现实模块将标准动作投射于现实环境之中，有效还原了真实场景，为队列中的单人训练提供了标准的队列训练姿势作为参考，使训练者身临其境，更加直观，更加具体，避免多人同时训练带来的不便；通过采用计算机视觉技术的姿势捕获模块快速捕获分析用户的训练姿势，并通过动作分析模块将用户的训练姿势与标准姿势进行实时比较，根据比较结果给出实时的指导信息，精确辅助训练者，给训练者带来很好的使用体验。

在一实施例中，所述增强现实模块可以设置在头戴式眼镜中，方便用户佩戴和摘下。其中，头戴式眼镜可以采用半透明的全息影像技术，用户可以添加各种练习动作和虚拟场景，例如方阵前排、方阵中、方阵侧边、方阵后排等场景。

示例性的，增强实现模块可以通过无线方式将演示过程中的第一时间轴和标准动作的第一三维骨骼关键点发送给动作分析模块，减轻了头戴式眼镜的重量，进一步提高使用体验。

在一实施例中，如图1所示，所述辅助训练系统还可包括相机模块，该相机模块至少包括两个相机，所述两个相机环绕用户设置在不同的位置，每个相机对应有一个拍摄视角。其中，所述相机模块中的每个相机按照同一帧率采集图像，并将采集的图像发送给所述姿势捕获模块。

其中，每个相机可以通过无线方式将采集的图像传送给姿势捕获模块。

示例性的，所述相机模块可以包括三个相机，三个相机可以以环绕的方式组成一三角形结构，以将用户的动作姿势拍摄下来，形成多组同一事物不同视角下的图像。

需要说明的是，所述相机模块还可以对采集的每帧图像进行人体检测，当在某一时长内未检测到人体时，向各模块发送休眠指令，以使辅助训练系统进入休眠状态。

当然，辅助训练系统还可以包括唤醒模块，该唤醒模块也可以设置在头戴式眼镜中，用于监测外部的唤醒指令，以使辅助训练系统进入唤醒状态。

在一实施例中，再如图1所示，所述辅助训练系统还可包括存储模块，所述存储模块用于获取姿势捕获模块的第二三维骨骼关键点并存储；获取相机模块在同一时刻采集的不同视角图像并存储；获取动作分析模块生成的指导信息并存储。用户通过回放存储模块中存储的相关信息，可以进一步提升训练效果。

在一实施例中，所述姿势捕获模块可包括图像获取单元和姿势提取单元；其中，图像获取单元用于获取用户在同一时刻下的不同视角图像并发送给姿势提取单元；姿势提取单元用于依据不同视角图像获得第二三维骨骼关键点，并将所述时刻和所述第二三维骨骼关键点发送给所述动作分析模块。

其中，所述第二时间轴包括多个时刻，每一时刻对应有一组第二三维骨骼关键点。

示例性的，所述姿势提取单元可包括二维姿势提取单元和三维姿势复现单元。其中，所述二维姿势提取单元，用于提取该用户在每帧视角图像中的二维骨骼关键点并发送给三维姿势复现单元；所述三维姿势复现单元，用于拟合不同视角图像的二维骨骼关键点获得所述时刻对应的第二三维骨骼关键点，并将所述时刻和所述第二三维骨骼关键点发送给所述动作分析模块。

在一实施例中，再如图1所示，所述辅助训练系统还可包括语音模块，所述语音模块用于接收动作分析模块发送的指导信息并进行语音提示。

其中，所述语音模块可以设置在头戴式眼镜的耳朵位置，以便于语音提示用户的训练动作。动作分析模块可以通过无线方式将指导信息发送给语音模块，由于头戴式眼镜中只设置有增强现实模块和语音模块，并通过无线方式与其他模块交互，因此结构简单，用户操作难度低。

图2为本发明根据一示例性实施例示出的一种辅助训练方法的实施例流程图，本实施例以上述图1所示的辅助训练系统为基础，如图2所示，所述辅助训练方法包括如下步骤：

步骤201：通过增强现实模块获取标准视频，并基于所述标准视频模拟真实环境演示标准动作，并将演示过程中的第一时间轴和标准动作的第一三维骨骼关键点发送给动作分析模块。

在一实施例中，针对增强现实模块获取标准视频的过程，可以通过接收动作选择指令，并获取与所述动作选择指令携带的动作类型相对应的标准视频。

其中，用户操作增强实现模块可以下载与所选择的动作类型相对应的标准视频。动作类型可以包括正步、踏步等。

在本发明中，第一时间轴由演示过程中的不同时刻组成，每一时刻对应有一组标准动作的第一三维骨骼关键点。示例性的，第一时间轴上的每两时刻之间可以间隔固定时长。

本领域技术人员可以理解的是，标准动作的第一三维骨骼关键点信息可以在演示过程中，根据第一时间轴上包括的每个时刻对应的标准动作的视频图像进行提取，也可以预先根据第一时间轴上包括的每个时刻对应的标准动作的视频图像进行提取，本发明对此不进行限定。

步骤202：通过姿势捕获模块捕获用户跟随标准动作训练过程中的第二三维骨骼关键点和第二时间轴，并发送给动作分析模块。

在一实施例中，可以通过从相机模块获取用户在同一时刻下的不同视角图像，并依据不同视角图像获得所述时刻对应的第二三维骨骼关键点。

其中，姿势捕获模块可以根据相机模块中相机的帧率从相机模块获取图像，为了保证姿势捕获效率，姿势捕获模块可以采用固定时间间隔获取图像，该固定时间间隔由用户根据相机的帧率进行设置。

针对依据不同视角图像获得所述时刻对应的第二三维骨骼关键点的过程，可以通过提取该用户在每帧视角图像中的二维骨骼关键点，并拟合不同视角图像的二维骨骼关键点，获得所述时刻对应的第二三维骨骼关键点。

其中，姿势捕获模块可以将每帧视角图像分别输入已训练的提取网络模型，由该提取网络模型提取每帧视角图像的二维骨骼关键点，然后再将不同视角图像的二维骨骼关键点和相机模块中相机的内参和外参输入已训练的复现网络模型，由该复现网络模型拟合不同视角图像的二维骨骼关键点获得最终的第二三维骨骼关键点。

示例性的，提取网络模型可以采用openpose模型，复现网络模型可以采用3dps模型。

本领域技术人员可以理解的是，针对二维骨骼关键点的提取网络模型和三维骨骼关键点的复现网络模型的训练，可以采用相关技术实现。

其中，二维骨骼关键点指的是利用二维坐标表示人体某一部位的关键点，三维骨骼关键点指的是利用三维坐标表示人体某一部位的关键点。这些关键点可以是腿部关节、胳膊关节等。

需要说明的是，在拟合不同视角图像的二维骨骼关键点之前，可以根据复现网络模型对二维骨骼关键点的点数要求，基于已有的骨骼关键点进行选取。

步骤203：通过动作分析模块根据第一时间轴和第二时间轴，选择同一时刻下的第一三维骨骼关键点与第二三维骨骼关键点进行比较，并依据比较结果生成指导信息并进行提示。

其中，由于第一时间轴包括多个时刻，每一时刻对应有一组第一三维骨骼关键点，同样，第二时间轴也包括多个时刻，每一时刻对应有一组第二三维骨骼关键点，而对于训练动作与标准动作的比较，应该是在同一时刻下将标准动作的姿势与训练动作的姿势进行比较，基于此，需要根据第一时间轴和第二时间轴选择在同一时刻下的第一三维骨骼关键和第二三维骨骼关键点。

值得注意的是，第一三维骨骼关键点和第二三维骨骼关键点中每一部位的关键点均是由世界坐标系下的三维坐标表示。

在一实施例中，针对选择第一三维骨骼关键点和第二三维骨骼关键点后的比较过程，通过以人体两脚中心为原点建立参考坐标系，将第一三维骨骼关键点和第二三维骨骼关键点分别转换为参考坐标系下的相对坐标，将属于同一部位的关键点的相对坐标进行比较，以获得所有部位的比较结果，然后根据比较结果生成指导信息。

示例性的，动作分析模块可以依据多个连续时刻的比较结果生成指导信息。

在一示例性场景中，以方阵训练中的男性为例，在增强现实模块演示标准动作过程中，通过语音模块播放标准视频中的“一二一”口令，姿势捕获模块实时捕获训练者的腿部膝盖关键点和胳膊腕部关键点数据，并将捕获的数据和捕获时间点实时发送到动作分析模块，另外，增强现实模块也会将标准动作的腿部膝盖关键点和胳膊腕部关键点数据和时间点发送到动作分析模块，从而，动作分析模块可以实时选择同一时间点下训练者的腿部膝盖关键点和胳膊腕部关键点数据和标准动作的腿部膝盖关键点和胳膊腕部关键点数据并进行对比，由于方阵整齐靠的是高度一致，因此需要对比获得训练者膝盖与标准动作膝盖相对地面的高度差，以及训练者腕部与标准动作腕部相对地面的高度差，并根据这两个高度差生成指导信息进行提示。

在本申请实施例中，通过增强现实模块将标准动作投射于现实环境之中，有效还原了真实场景，为队列中的单人训练提供了标准的队列训练姿势作为参考，使训练者身临其境，更加直观，更加具体，避免多人同时训练带来的不便；通过采用计算机视觉技术的姿势捕获模块快速捕获分析用户的训练姿势，并通过动作分析模块将用户的训练姿势与标准姿势进行实时比较，根据比较结果给出实时的指导信息，精确辅助训练者，给训练者带来很好的使用体验。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。