运动教学方法、装置、存储介质及电子设备与流程

本发明涉及计算机视觉技术领域，尤其涉及一种运动教学方法、装置、存储介质及电子设备。

背景技术：

随着人们对自身身体健康状况的重视，越来越多的人开始在业余时间学习不同的体育运动，例如篮球、足球、瑜伽以及太极等运动。

目前，在体育运动教学过程中，通常都是通过教练言传身教的方式来对训练者进行动作示范和纠正。例如，对于篮球教学，训练者需要学习运球、传球以及投篮等基本动作，在学习过程中则需要教练通过观察来判断训练者的动作是否规范，然后根据训练者的动作进行针对性的动作分解、示范以及纠正，以使训练者的动作能够逐渐规范化。

可见，现有的运动教学完全依靠于人为的主观判断和示范，但是不同的教练所掌握和评判的标准程度不尽相同，若教练本身动作不规范或者教学方法欠妥则直接将导致训练者的动作不规范，尤其是对于体育运动的初学者，在进行基础动作学习时，一旦动作不规范，则在后期就很难再调整正确。此外，教练的教学时间通常都是固定时段，这也导致了训练者无法随时进行训练动作的纠正。

技术实现要素：

本发明提供一种运动教学方法、装置、存储介质及电子设备，以实现用户能能够直观地判断自身的肢体动作与对应的标准肢体动作之间的差别，从而进行针对性的动作调整。

第一方面，本发明提供一种运动教学方法，包括：

获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对所述现实视频进行动作特征提取，以获取所述第一肢体动作对应的动作特征；

根据所述动作特征以及预设标准动作模型库确定与所述第一肢体动作匹配的第一标准肢体动作，并根据所述第一标准肢体动作生成第一虚拟视频；

将所述第一虚拟视频叠加显示在所述现实视频中。

在一种可能的设计中，在所述获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对所述现实视频进行动作特征提取之后，还包括：

提取所述现实视频中的场景特征，并根据所述场景特征确定所述第一肢体动作对应的第一运动类型；

根据所述第一运动类型确定所述预设标准动作模型库，其中，所述预设标准动作模型库中的标准动作为所述第一运动类型对应的标准动作。

在一种可能的设计中，在所述获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对所述现实视频进行动作特征提取之后，还包括：

提取所述现实视频中的器材特征，并根据所述器材特征确定所述第一肢体动作对应的第一运动类型；

根据所述第一运动类型确定所述预设标准动作模型库，其中，所述预设标准动作模型库中的标准动作为所述第一运动类型对应的标准动作。

在一种可能的设计中，在所述根据所述动作特征以及预设标准动作模型库确定与所述第一肢体动作匹配的第一标准肢体动作之后，还包括：

根据所述第一肢体动作以及所述第一标准肢体动作之间的差异确定所述第一肢体动作的动作得分。

在一种可能的设计中，在所述根据所述第一肢体动作以及所述第一标准肢体动作之间的差异确定所述第一肢体动作的动作得分之后，还包括：

根据所述动作得分生成第二虚拟视频；

将所述第二虚拟视频叠加显示在所述现实视频中。

在一种可能的设计中，所述根据所述第一肢体动作以及所述第一标准肢体动作之间的差异确定所述第一肢体动作的动作得分，包括：

提取所述现实视频中所述用户的第一身体姿态数据，所述第一身体姿态数据用于表征所述第一肢体动作；

根据所述第一身体姿态数据与第一标准身体姿态数据计算所述动作得分。

在一种可能的设计中，所述提取所述现实视频中所述用户的第一身体姿态数据，包括：

提取所述现实视频中所述用户的身体关节集合中各个关节在预设空间坐标系下的空间坐标数据；

根据第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨骼的第一矢量，其中，所述第一关节与所述第二关节为所述身体关节集合中任意相邻的两关节，所述第一骨骼为所述第一关节与所述第二关节之间的骨骼；

根据所述第一矢量生成所述第一身体姿态数据。

在一种可能的设计中，所述根据所述第一身体姿态数据与第一标准身体姿态数据计算所述动作得分，包括：

计算所述第一矢量与第一标准矢量之间的矢量夹角，所述第一标准矢量为所述第一标准肢体动作中所述第一骨骼对应的矢量方向；

根据所述矢量夹角确定第一动作得分；

根据所述第一动作得分以及每个所述第一骨骼对应的预设权重值计算所述第一肢体动作对应的所述动作得分。

在一种可能的设计中，在所述根据所述矢量夹角确定第一动作得分之后，还包括：

判断所述第一动作得分是否小于预设的动作得分；

若判断结果为是，则在所述第二虚拟视频中对所述第一骨骼高亮显示。

在一种可能的设计中，在所述获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对所述现实视频进行动作特征提取之前，还包括：

采集至少一个运动类型对应的标准动作视频；

根据所述标准动作视频以及深度学习算法进行模型训练。

在一种可能的设计中，所述采集至少一个运动类型对应的标准动作视频，包括：

将所述标准动作视频分割成只包含单个动作的短视频，并将分割得到的所述短视频作为训练样本构建动作视频训练集。

在一种可能的设计中，在所述将分割得到的所述短视频作为训练样本构建动作视频训练集之后，还包括：

对所述动作视频训练集进行数据预处理，其中，所述数据预处理包括：对所述动作视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由rgb图转化为灰度图。

在一种可能的设计中，所述预设的神经网络模型为张量递归神经网络模型。

在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

第二方面，本发明还提供一种运动教学装置，包括：

获取模块，用于获取用户第一肢体动作的现实视频；

提取模块，用于通过预设的神经网络模型对所述现实视频进行动作特征提取，以获取所述第一肢体动作对应的动作特征；

确定模块，用于根据所述动作特征以及预设标准动作模型库确定与所述第一肢体动作匹配的第一标准肢体动作；

生成模块，用于根据所述第一标准肢体动作生成第一虚拟视频；

显示模块，用于将所述第一虚拟视频叠加显示在所述现实视频中。

在一种可能的设计中，所述提取模块，还用于提取所述现实视频中的场景特征，并根据所述场景特征确定所述第一肢体动作对应的第一运动类型；

所述确定模块，还用于根据所述第一运动类型确定所述预设标准动作模型库，其中，所述预设标准动作模型库中的标准动作为所述第一运动类型对应的标准动作。

在一种可能的设计中，所述提取模块，还用于提取所述现实视频中的器材特征，并根据所述器材特征确定所述第一肢体动作对应的第一运动类型；

所述确定模块，还用于根据所述第一运动类型确定所述预设标准动作模型库，其中，所述预设标准动作模型库中的标准动作为所述第一运动类型对应的标准动作。

在一种可能的设计中，所述确定模块，还用于根据所述第一肢体动作以及所述第一标准肢体动作之间的差异确定所述第一肢体动作的动作得分。

在一种可能的设计中，所述生成模块，还用于根据所述动作得分生成第二虚拟视频；

所述显示模块，还用于将所述第二虚拟视频叠加显示在所述现实视频中。

在一种可能的设计中，所述提取模块，还用于提取所述现实视频中所述用户的第一身体姿态数据，所述第一身体姿态数据用于表征所述第一肢体动作；

所述确定模块，还用于根据所述第一身体姿态数据与第一标准身体姿态数据计算所述动作得分。

在一种可能的设计中，所述提取模块，还用于提取所述现实视频中所述用户的身体关节集合中各个关节在预设空间坐标系下的空间坐标数据；

所述确定模块，还用于根据第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨骼的第一矢量，其中，所述第一关节与所述第二关节为所述身体关节集合中任意相邻的两关节，所述第一骨骼为所述第一关节与所述第二关节之间的骨骼；

所述生成模块，用于根据所述第一矢量生成所述第一身体姿态数据。

在一种可能的设计中，所述确定模块，还用于计算所述第一矢量与第一标准矢量之间的矢量夹角，所述第一标准矢量为所述第一标准肢体动作中所述第一骨骼对应的矢量方向，并根据所述矢量夹角确定第一动作得分，以及根据所述第一动作得分以及每个所述第一骨骼对应的预设权重值计算所述第一肢体动作对应的所述动作得分。

在一种可能的设计中，所述运动教学装置，还包括：

判断模块，用于判断所述第一动作得分是否小于预设的动作得分；

所述显示模块，还用于在所述第二虚拟视频中对所述第一骨骼高亮显示。

在一种可能的设计中，所述运动教学装置，还包括：

采集模块，用于采集至少一个运动类型对应的标准动作视频；

学习模块，用于根据所述标准动作视频以及深度学习算法进行模型训练构建所述预设的神经网络模型。

在一种可能的设计中，所述采集模块，具体用于：

将所述标准动作视频分割成只包含单个动作的短视频，并将分割得到的所述短视频作为训练样本构建动作视频训练集。

在一种可能的设计中，所述采集模块，还具体用于：

对所述动作视频训练集进行数据预处理，其中，所述数据预处理包括：对所述动作视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由rgb图转化为灰度图。

在一种可能的设计中，所述预设的神经网络模型为张量递归神经网络模型。

在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意一种可能的运动教学方法。

第四方面，本发明还提供一种电子设备，包括：

摄像头、处理器、存储器以及显示器；

所述摄像头以及所述显示器分别与所述处理器相连接；

所述摄像头，用于获取用户第一肢体动作的现实视频；

所述存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任意一种可能的运动教学方法；

所述显示器，用于显示所述现实视频以及虚拟视频。

本发明提供的一种运动教学方法、装置、存储介质及电子设备，通过预设的神经网络模型对用户第一肢体动作的现实视频进行动作特征提取，以获取第一肢体动作对应的动作特征，然后根据动作特征以及预设标准动作模型库确定与第一肢体动作匹配的第一标准肢体动作，并根据第一标准肢体动作生成第一虚拟视频，最后将第一虚拟视频叠加显示在现实视频中，从而通过增强现实的方式同时直观地展示用户自身的肢体动作以及对应的标准肢体动作，以使得用户能够自行根据二者的区别进行动作调整，此外，还可以满足用户随时进行动作练习的需求，无需受到教练时间以及水平差异的约束。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的运动教学方法的流程示意图；

图2是图1所述实施例中的场景显示示意图；

图3是根据另一示例性实施例示出的运动教学方法的流程示意图；

图4是图3所述实施例中的场景显示示意图；

图5是图3所示实施例中动作得分计算方法的流程示意图；

图6是图5所示动作得分计算方法的计算原理示意图；

图7是根据一示例性实施例示出的运动教学装置的流程示意图；

图8是根据另一示例性实施例示出的运动教学装置的流程示意图；

图9为本发明根据一示例性实施例示出的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供的运动教学方法在应用时，通过终端设备上的摄像头获取用于正在运动的现实视频，其中，该终端设备可以为智能手机、平板电脑、个人计算机等具有现实视频图像采集、数据处理和显示功能的电子设备。其中，在本实施例中可以以智能手机作为终端设备，而应用场景可以为篮球教学进行举例。例如，用户在进行篮球动作练习时，例如在进行运球动作练习时，可以先将智能手机置于合适的位置，然后打开智能手机的前置摄像头，以使前置摄像头能够获取用户的身体画面，智能手机根据获取到的用户的运球动作视频匹配出标准的运球动作视频，并将标准的运球动作视频以增强现实的方式显示在智能手机屏幕上，此时，智能手机同步显示用户的运球动作和标准的运球动作，以使用户能够在训练时有效地调整运球动作。

图1是根据一示例性实施例示出的运动教学方法的流程示意图。如图1所示，本实施例提供的运动教学方法，包括：

步骤101、获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对现实视频进行动作特征提取。

具体地，可以通过终端设备上的摄像头获取用户第一肢体动作的现实视频，其中，用户第一肢体动作可以是篮球运动中的运球动作、足球运动中的射门动作、排球中的垫球动作、太极拳中的招式动作以及瑜伽运动中的招式动作等。

在获取到用户第一肢体动作的现实视频之后，通过预设的神经网络模型对现实视频进行动作特征提取，以获取第一肢体动作对应的动作特征。

其中，对于上述用于进行动作特征提取的神经网络模型可以是任意适当的可实现特征提取或目标对象识别的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。在一种可能的实现方式中，可以将预设的神经网络模型设置为张量递归神经网络模型。

其中，张量递归神经网络模型的构建方式为：首先，设计张量卷积神经网络，自动学习篮球运球视频训练集中每个短视频的时空特征；然后，使用从张量卷积神经网络中学习到的篮球运球动作时空特征训练张量递归神经网络模型，通过张量递归神经网络模型根据多个篮球运球动作标签对标准篮球运球动作视频进行分类。

在一种可选的实施方式中，对于上述张量递归神经网络的建立，可以是通过先采集至少一个运动类型对应的标准动作视频，然后再采用深度学习算法并根据标准动作视频构建来生成。其中，可以将采集到的标准动作视频分割成只包含单个动作的短视频，并将分割得到的短视频作为训练样本构建动作视频训练集。然后，对动作视频训练集进行数据预处理，其中，数据预处理包括：对动作视频训练集中的短视频进行向下采样处理，提取向下采样处理后的短视频中以人为中心的边界框，裁剪掉边界框之外的多余背景，并将剪裁后的短视频中的各个帧由rgb图转化为灰度图。最后，张量递归神经网络深度可以将转化后的灰度图作为学习素材进行深度学习。

在一种可能的设计中，可以将上述的张量递归神经网络设置为三层结构。具体地，上述的张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层。其中，输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层以及第三卷积层依次连接，张量递归层全连接到第三卷积层，输出层全连接到张量递归层。

步骤102、根据动作特征以及预设标准动作模型库确定与第一肢体动作匹配的第一标准肢体动作。

具体地，在通过预设的神经网络模型对现实视频进行动作特征提取，并获取第一肢体动作对应的动作特征，然后再根据动作特征以及预设标准动作模型库确定与第一肢体动作匹配的第一标准肢体动作。下面以第一肢体动作为用户运球动作进行举例：

终端设备上的摄像头获取到用户运动动作的现实视频之后，通过预设的神经网络模型对运球动作视频进行动作特征提取，然后根据提取出来的行动作特征从预设标准动作模型库中匹配出了标准的运球动作视频。其中，上述的预设标准动作模型库中可以只包含一种运动类型对应的标准动作视频，例如用户只是需要进行篮球训练，则可以选择的预设标准动作模型库中只是包含篮球运动中相关的标准动作视频，也可以是包含多种运动类型所对应的标准动作视频，例如用户除了需要进行篮球训练，还需要进行足球训练以及瑜伽训练，则可以选择的同时包含篮球训练，足球训练以及瑜伽训练相关的标准动作视频的预设标准动作模型库。

此外，由于不同运动种类中经常存在一些比较类似的动作，为了进一步地提高第一标准肢体动作的匹配准确度，除了利用动作特征进行识别以外，还可以利用进一步结合现实视频中的场景特征以及器材特征进行更加准确的判断。

其中，对于结合现实视频中的场景特征的方式，在具体地实现过程中，在进行第一标准肢体动作匹配前，可以先提取现实视频中的场景特征。例如，当前所获取到的现实视频的场景为篮球场，则所提取出的场景特征可以为篮球架、篮筐以及篮球场地线等。而如果当前所获取到的现实视频的场景为足球场，则所提取出的场景特征可以为球门、草坪以及足球场场地线等。而如果当前所获取到的现实视频的场景为瑜伽馆，则所提取出的场景特征可以为瑜伽垫、镜子以及瑜伽球等。

在确定当前现实视频所处的场景之后，可以根据场景特征确定第一肢体动作对应的第一运动类型，然后，根据第一运动类型确定预设标准动作模型库，其中，预设标准动作模型库中的标准动作为第一运动类型对应的标准动作。例如，在确定当前现实视频所处的场景为篮球场之后，可以根据场景特征确定第一肢体动作对应的是篮球运动，然后，根据篮球运动确定预设标准动作模型库，其中，预设标准动作模型库中的标准动作为篮球运动所对应的标准动作，从而有效地避免了在识别过程中，由于存在其他运动类型中类似的动作，而导致的误匹配。

其中，对于场景特征的提取，同样可以采用神经网络模型进行提取的方式，对于该神经网络模型可以是任意适当的可实现特征提取或目标对象识别的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。

其中，对于结合现实视频中的器材特征的方式，在具体地实现过程中，在进行第一标准肢体动作匹配前，可以先提取现实视频中的器材特征。例如，当前所获取到的现实视频中的器材为篮球，则所提取出的器材特征即为篮球，而如果当前所获取到的现实视频的器材为足球，则所提取出的场景特征即为足球。

在确定当前现实视频所涉及的器材之后，可以根据器材特征确定第一肢体动作对应的第一运动类型，然后，根据第一运动类型确定预设标准动作模型库，其中，预设标准动作模型库中的标准动作为第一运动类型对应的标准动作。例如，在确定当前现实视频包含了篮球之后，可以根据器材特征确定第一肢体动作对应的是篮球运动，然后，根据篮球运动确定预设标准动作模型库，其中，预设标准动作模型库中的标准动作为篮球运动所对应的标准动作，从而有效地避免了在识别过程中，由于存在其他运动类型中类似的动作，而导致的误匹配。

其中，对于器材特征的提取，同样可以采用神经网络模型进行提取的方式，对于该神经网络模型可以是任意适当的可实现特征提取或目标对象识别的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。

步骤103、根据第一标准肢体动作生成第一虚拟视频。

具体地，在根据动作特征以及预设标准动作模型库确定与第一肢体动作匹配的第一标准肢体动作之后，根据第一标准肢体动作生成第一虚拟视频，其中，在预设标准动作模型库中，第一虚拟视频可以为运动员示范的标准动作视频，也可以是通过计算机技术模拟出来的标准动作视频。

例如，第一标准肢体动作对应的是篮球运球动作，则根据第一标准肢体动作生成第一虚拟视频中所示范的动作即为标准篮球运球动作。

此外，为了能够使得在所生成的第一虚拟视频中示范的标准肢体动作与用户的肢体动作更加匹配，以便用户能够更直观地发现自己的动作不规范之处，还可以在生成第一虚拟视频，将第一虚拟视频中的示范人物的身体尺寸放大或者缩小至与用户的身体尺寸相近。

步骤104、将第一虚拟视频叠加显示在现实视频中。

在根据第一标准肢体动作生成第一虚拟视频之后，将第一虚拟视频叠加显示在现实视频中，以通过增强现实的方式对第一标准肢体动作进行展示，以使用户能够直观地对比自身的肢体动作与标准肢体动作之间的区别，从而针对性地对自己的肢体动作进行，直至自身的肢体动作与标准肢体动作高度一致，说明用户已经掌握了该标准肢体动作。

图2是图1所述实施例中的场景显示示意图。如图2所示，当用户进行的是篮球运球动作训练时，终端设备所获取到的现实视频1即为用户进行篮球运球的视频。然后，通过预设的神经网络模型对运球动作视频进行动作特征提取，再根据提取出来的行动作特征从预设标准动作模型库中匹配出了标准的运球动作视频，即为第一虚拟视频2，最后将第一虚拟视频2叠加显示在现实视频1中，从而直观地展示用户所进行的运球动作以及标准的运球动作。

在本实施例中，通过预设的神经网络模型对用户第一肢体动作的现实视频进行动作特征提取，以获取第一肢体动作对应的动作特征，然后根据动作特征以及预设标准动作模型库确定与第一肢体动作匹配的第一标准肢体动作，并根据第一标准肢体动作生成第一虚拟视频，最后将第一虚拟视频叠加显示在现实视频中，从而通过增强现实的方式同时直观地展示用户自身的肢体动作以及对应的标准肢体动作，以使得用户能够自行根据二者的区别进行动作调整，此外，还可以满足用户随时进行动作练习的需求，无需受到教练时间以及水平差异的约束。

图3是根据另一示例性实施例示出的运动教学方法的流程示意图。如图3所示，本实施例提供的运动教学方法，包括：

步骤201、获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对现实视频进行动作特征提取。

具体地，可以通过终端设备上的摄像头获取用户第一肢体动作的现实视频，其中，用户第一肢体动作可以是篮球运动中的运球动作、足球运动中的射门动作、排球中的垫球动作、太极拳中的招式动作以及瑜伽运动中的招式动作等。

在获取到用户第一肢体动作的现实视频之后，通过预设的神经网络模型对现实视频进行动作特征提取，以获取第一肢体动作对应的动作特征。

其中，对于上述用于进行动作特征提取的神经网络模型可以是任意适当的可实现特征提取或目标对象识别的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。在一种可能的实现方式中，可以将预设的神经网络模型设置为张量递归神经网络模型。

其中，张量递归神经网络模型的构建方式为：首先，设计张量卷积神经网络，自动学习篮球运球视频训练集中每个短视频的时空特征；然后，使用从张量卷积神经网络中学习到的篮球运球动作时空特征训练张量递归神经网络模型，通过张量递归神经网络模型根据多个篮球运球动作标签对标准篮球运球动作视频进行分类。

在一种可选的实施方式中，对于上述张量递归神经网络的建立，可以是通过先采集至少一个运动类型对应的标准动作视频，然后再采用深度学习算法并根据标准动作视频构建来生成。其中，可以将采集到的标准动作视频分割成只包含单个动作的短视频，并将分割得到的短视频作为训练样本构建动作视频训练集。然后，对动作视频训练集进行数据预处理，其中，数据预处理包括：对动作视频训练集中的短视频进行向下采样处理，提取向下采样处理后的短视频中以人为中心的边界框，裁剪掉边界框之外的多余背景，并将剪裁后的短视频中的各个帧由rgb图转化为灰度图。最后，张量递归神经网络深度可以将转化后的灰度图作为学习素材进行深度学习。

在一种可能的设计中，可以将上述的张量递归神经网络设置为三层结构。具体地，上述的张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层。其中，输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层以及第三卷积层依次连接，张量递归层全连接到第三卷积层，输出层全连接到张量递归层。

步骤202、根据动作特征以及预设标准动作模型库确定与第一肢体动作匹配的第一标准肢体动作。

具体地，在通过预设的神经网络模型对现实视频进行动作特征提取，并获取第一肢体动作对应的动作特征，然后再根据动作特征以及预设标准动作模型库确定与第一肢体动作匹配的第一标准肢体动作。下面以第一肢体动作为用户运球动作进行举例：

终端设备上的摄像头获取到用户运动动作的现实视频之后，通过预设的神经网络模型对运球动作视频进行动作特征提取，然后根据提取出来的行动作特征从预设标准动作模型库中匹配出了标准的运球动作视频。其中，上述的预设标准动作模型库中可以只包含一种运动类型对应的标准动作视频，例如用户只是需要进行篮球训练，则可以选择的预设标准动作模型库中只是包含篮球运动中相关的标准动作视频，也可以是包含多种运动类型所对应的标准动作视频，例如用户除了需要进行篮球训练，还需要进行足球训练以及瑜伽训练，则可以选择的同时包含篮球训练，足球训练以及瑜伽训练相关的标准动作视频的预设标准动作模型库。

此外，由于不同运动种类中经常存在一些比较类似的动作，为了进一步地提高第一标准肢体动作的匹配准确度，除了利用动作特征进行识别以外，还可以利用进一步结合现实视频中的场景特征以及器材特征进行更加准确的判断。

其中，对于结合现实视频中的场景特征的方式，在具体地实现过程中，在进行第一标准肢体动作匹配前，可以先提取现实视频中的场景特征。例如，当前所获取到的现实视频的场景为篮球场，则所提取出的场景特征可以为篮球架、篮筐以及篮球场地线等。而如果当前所获取到的现实视频的场景为足球场，则所提取出的场景特征可以为球门、草坪以及足球场场地线等。而如果当前所获取到的现实视频的场景为瑜伽馆，则所提取出的场景特征可以为瑜伽垫、镜子以及瑜伽球等。

在确定当前现实视频所处的场景之后，可以根据场景特征确定第一肢体动作对应的第一运动类型，然后，根据第一运动类型确定预设标准动作模型库，其中，预设标准动作模型库中的标准动作为第一运动类型对应的标准动作。例如，在确定当前现实视频所处的场景为篮球场之后，可以根据场景特征确定第一肢体动作对应的是篮球运动，然后，根据篮球运动确定预设标准动作模型库，其中，预设标准动作模型库中的标准动作为篮球运动所对应的标准动作，从而有效地避免了在识别过程中，由于存在其他运动类型中类似的动作，而导致的误匹配。

其中，对于场景特征的提取，同样可以采用神经网络模型进行提取的方式，对于该神经网络模型可以是任意适当的可实现特征提取或目标对象识别的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。

其中，对于结合现实视频中的器材特征的方式，在具体地实现过程中，在进行第一标准肢体动作匹配前，可以先提取现实视频中的器材特征。例如，当前所获取到的现实视频中的器材为篮球，则所提取出的器材特征即为篮球，而如果当前所获取到的现实视频的器材为足球，则所提取出的场景特征即为足球。

在确定当前现实视频所涉及的器材之后，可以根据器材特征确定第一肢体动作对应的第一运动类型，然后，根据第一运动类型确定预设标准动作模型库，其中，预设标准动作模型库中的标准动作为第一运动类型对应的标准动作。例如，在确定当前现实视频包含了篮球之后，可以根据器材特征确定第一肢体动作对应的是篮球运动，然后，根据篮球运动确定预设标准动作模型库，其中，预设标准动作模型库中的标准动作为篮球运动所对应的标准动作，从而有效地避免了在识别过程中，由于存在其他运动类型中类似的动作，而导致的误匹配。

其中，对于器材特征的提取，同样可以采用神经网络模型进行提取的方式，对于该神经网络模型可以是任意适当的可实现特征提取或目标对象识别的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。

步骤203、根据第一标准肢体动作生成第一虚拟视频。

具体地，在根据动作特征以及预设标准动作模型库确定与第一肢体动作匹配的第一标准肢体动作之后，根据第一标准肢体动作生成第一虚拟视频，其中，在预设标准动作模型库中，第一虚拟视频可以为运动员示范的标准动作视频，也可以是通过计算机技术模拟出来的标准动作视频。

例如，第一标准肢体动作对应的是篮球运球动作，则根据第一标准肢体动作生成第一虚拟视频中所示范的动作即为标准篮球运球动作。

此外，为了能够使得在所生成的第一虚拟视频中示范的标准肢体动作与用户的肢体动作更加匹配，以便用户能够更直观地发现自己的动作不规范之处，还可以在生成第一虚拟视频，将第一虚拟视频中的示范人物的身体尺寸放大或者缩小至与用户的身体尺寸相近。

步骤204、将第一虚拟视频叠加显示在现实视频中。

在根据第一标准肢体动作生成第一虚拟视频之后，将第一虚拟视频叠加显示在现实视频中，以通过增强现实的方式对第一标准肢体动作进行展示，以使用户能够直观地对比自身的肢体动作与标准肢体动作之间的区别，从而针对性地对自己的肢体动作进行，直至自身的肢体动作与标准肢体动作高度一致，说明用户已经掌握了该标准肢体动作。

步骤205、根据第一肢体动作以及第一标准肢体动作之间的差异确定第一肢体动作的动作得分。

具体地，可以是提取现实视频中用户的第一身体姿态数据，其中，第一身体姿态数据用于表征第一肢体动作，然后再根据第一身体姿态数据与第一标准身体姿态数据计算动作得分。

在一种可能的实现方式中，图5是图3所示实施例中动作得分计算方法的流程示意图。如图5所示，上述根据第一肢体动作以及第一标准肢体动作之间的差异确定第一肢体动作的动作得分的具体计算方法，包括：

2051、提取现实视频中用户的身体关节集合中各个关节在预设空间坐标系下的空间坐标数据。

具体地，在获取到用户第一肢体动作的现实视频之后，可以对现实视频中用户的身体关节集合中各个关节在预设空间坐标系下的空间坐标数据进行提取。

其中，对于现实视频中各个关节的识别，同样可以采用神经网络模型进行识别，对于该神经网络模型可以是任意适当的可实现特征提取或目标对象识别的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。在识别出各个关节之后，通过获取各个关节的节点位置，来确定身体关节集合中各个关节在预设空间坐标系下的空间坐标数据。

下面以用户所进行的是篮球运球训练为例，第一标准肢体动作为用户的运球动作，则第一标准肢体动作即为标准篮球运球动作。图6是图5所示动作得分计算方法的计算原理示意图。如图6所示，可以识别出真实视频1中用户身体的肘关节a以及腕关节b，并分别获取肘关节a以及腕关节b在预设坐标系中的空间坐标数据。

2052、根据第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨骼的第一矢量。

具体地，根据第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨骼的第一矢量，其中，第一关节与第二关节为身体关节集合中任意相邻的两关节，第一骨骼为第一关节与第二关节之间的骨骼。

继续参照图6，对于篮球运球训练，上述的第一矢量即为肘关节a至腕关节b的矢量。但是，在实际的篮球运球训练中，所涉及的关节不仅是肘关节和腕关节，此处，只是为了对其评分的计算原理进行说明，因此，采用肘关节与腕关节进行示例，对于用户的身体关节集合中其他任意相邻的两关节的矢量确定的原理与肘关节与腕关节之间矢量确定的原理相同，此处不再进行赘述。

2053、计算第一矢量与第一标准矢量之间的矢量夹角。

在确定第一关节与第二关节所形成的第一矢量之后，计算第一矢量与第一标准矢量之间的矢量夹角。其中，第一标准矢量为第一标准矢量为第一标准肢体动作中第一骨骼对应的矢量方向。

继续参照图6，对于篮球运球训练，第一标准肢体动作中第一标准矢量可以是肘关节a至腕关节b的矢量。

2054、根据矢量夹角确定第一动作得分。

在确定第一矢量与第一标准矢量之间的矢量夹角之后，根据矢量夹角确定第一动作得分。其中，第一矢量与第一标准矢量之间的矢量夹角越大，则第一动作得分越低，而第一矢量与第一标准矢量之间的矢量夹角越小，则第一动作得分越高，即说明用户的肢体动作与标准肢体动作越接近。

2055、根据第一动作得分以及每个第一骨骼对应的预设权重值计算第一肢体动作对应的动作得分。

由于每个运动动作，都会涉及多个关节的联动，因此，可以对每个第一动作进行预设权重值，然后再根据第一动作得分以及每个第一骨骼对应的预设权重值计算第一肢体动作对应的动作得分，该动作得分可以用于表征用户实际所做的第一肢体动作与第一标准肢体动作之间的相似程度。

步骤206、根据动作得分生成第二虚拟视频，并将第二虚拟视频叠加显示在现实视频中。

在根据第一动作得分以及每个第一骨骼对应的预设权重值计算第一肢体动作对应的动作得分之后，可以根据动作得分生成第二虚拟视频，并将第二虚拟视频叠加显示在现实视频中。

为了能够使得用户能够更加直观地获知具体为哪个关节或者骨骼的位置不准确，还可以判断第一动作得分是否小于预设的动作得分，若判断结果为是，则在第二虚拟视频中对第一骨骼高亮显示。

图4是图3所述实施例中的场景显示示意图，如图3所示，以篮球运球动作为例，当用户进行的是篮球运球动作训练时，终端设备所获取到的现实视频1即为用户进行篮球运球的视频。然后，通过预设的神经网络模型对运球动作视频进行动作特征提取，再根据提取出来的行动作特征从预设标准动作模型库中匹配出了标准的运球动作视频，即为第一虚拟视频2，最后将第一虚拟视频2叠加显示在现实视频1中，从而直观地展示用户所进行的运球动作以及标准的运球动作，然后，在根据第一动作得分以及每个第一骨骼对应的预设权重值计算第一肢体动作对应的动作得分，并根据动作得分生成第二虚拟视频，并将第二虚拟视频3叠加显示在现实视频1中。

图7是根据一示例性实施例示出的运动教学装置的流程示意图。如图7所示，本实施例提供的运动教学装置，包括：

获取模块301，用于获取用户第一肢体动作的现实视频；

提取模块302，用于通过预设的神经网络模型对所述现实视频进行动作特征提取，以获取所述第一肢体动作对应的动作特征；

确定模块303，用于根据所述动作特征以及预设标准动作模型库确定与所述第一肢体动作匹配的第一标准肢体动作；

生成模块304，用于根据所述第一标准肢体动作生成第一虚拟视频；

显示模块305，用于将所述第一虚拟视频叠加显示在所述现实视频中。

在一种可能的设计中，所述提取模块302，还用于提取所述现实视频中的场景特征，并根据所述场景特征确定所述第一肢体动作对应的第一运动类型；

所述确定模块303，还用于根据所述第一运动类型确定所述预设标准动作模型库，其中，所述预设标准动作模型库中的标准动作为所述第一运动类型对应的标准动作。

在一种可能的设计中，所述提取模块302，还用于提取所述现实视频中的器材特征，并根据所述器材特征确定所述第一肢体动作对应的第一运动类型；

所述确定模块303，还用于根据所述第一运动类型确定所述预设标准动作模型库，其中，所述预设标准动作模型库中的标准动作为所述第一运动类型对应的标准动作。

在一种可能的设计中，所述确定模块303，还用于根据所述第一肢体动作以及所述第一标准肢体动作之间的差异确定所述第一肢体动作的动作得分。

在一种可能的设计中，所述生成模块304，还用于根据所述动作得分生成第二虚拟视频；

所述显示模块305，还用于将所述第二虚拟视频叠加显示在所述现实视频中。

在一种可能的设计中，所述提取模块302，还用于提取所述现实视频中所述用户的第一身体姿态数据，所述第一身体姿态数据用于表征所述第一肢体动作；

所述确定模块303，还用于根据所述第一身体姿态数据与第一标准身体姿态数据计算所述动作得分。

在一种可能的设计中，所述提取模块302，还用于提取所述现实视频中所述用户的身体关节集合中各个关节在预设空间坐标系下的空间坐标数据；

所述确定模块303，还用于根据第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨骼的第一矢量，其中，所述第一关节与所述第二关节为所述身体关节集合中任意相邻的两关节，所述第一骨骼为所述第一关节与所述第二关节之间的骨骼；

所述生成模块303，用于根据所述第一矢量生成所述第一身体姿态数据。

在一种可能的设计中，所述确定模块303，还用于计算所述第一矢量与第一标准矢量之间的矢量夹角，所述第一标准矢量为所述第一标准肢体动作中所述第一骨骼对应的矢量方向，并根据所述矢量夹角确定第一动作得分，以及根据所述第一动作得分以及每个所述第一骨骼对应的预设权重值计算所述第一肢体动作对应的所述动作得分。

在图7所示实施例的基础上，图8是根据另一示例性实施例示出的运动教学装置的流程示意图，如图8所示，本实施例提供的运动教学装置，还包括：

判断模块306，用于判断所述第一动作得分是否小于预设的动作得分；

所述显示模块305，还用于在所述第二虚拟视频中对所述第一骨骼高亮显示。

在一种可能的设计中，所述的运动教学装置，还包括：

采集模块307，用于采集至少一个运动类型对应的标准动作视频；

学习模块308，用于根据所述标准动作视频以及深度学习算法进行模型训练构建所述预设的神经网络模型。

在一种可能的设计中，所述采集模块307，具体用于：

将所述标准动作视频分割成只包含单个动作的短视频，并将分割得到的所述短视频作为训练样本构建动作视频训练集。

在一种可能的设计中，所述采集模块307，还具体用于：

对所述动作视频训练集进行数据预处理，其中，所述数据预处理包括：对所述动作视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由rgb图转化为灰度图。

在一种可能的设计中，所述预设的神经网络模型为张量递归神经网络模型。

在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

值得说明地，图7和图8所示实施例中的终端设备，可用于执行上述图1-图6所示实施例中的方法，具体实现方式和技术效果类似，这里不再赘述。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项方法实施例的技术方案，其实现原理和技

图9为本发明根据一示例性实施例示出的电子设备的结构示意图。如图9所示，本实施例提供的电子设备，包括：

摄像头401、处理器402、存储器403以及显示器404；

所述摄像头401以及所述显示器404分别与所述处理器402相连接；

所述摄像头401，用于获取用户第一肢体动作的现实视频；

所述存储器403，用于存储所述处理器的可执行指令；

所述显示器404，用于显示所述现实视频以及虚拟视频；

其中，处理器404配置为经由执行可执行指令来执行前述任一项方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

并且，上述设备中的各模块的功能可以通过处理器401实现。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。