舞蹈姿势反馈方法及装置与流程

[0001]
本发明一般电子教学技术领域，具体涉及一种舞蹈姿势反馈方法及装置。


背景技术：

[0002]
舞蹈是一种在三维空间里通过身体表演来表达情感的艺术，它以人体的动作、姿态造型作为表现形式。在对舞者进行培养的过程中，对于舞蹈动作的精准是十分重要的。传统的训练基本上单凭的肉眼和经验，涉及到具体的技术参数就无法判断，缺乏客观的、科学的指导方法和训练依据，不利于人才的选拔和培养。受疫情的影响，很多教育机构都实施了远程网络的教育，但是舞蹈的教学工作只通过一个平面的视频，老师很难对学生的动作做精确的判断和指导，教学效果也不好。


技术实现要素：

[0003]
鉴于现有技术中的上述缺陷或不足，期望提供一种舞蹈姿势反馈方法及装置。
[0004]
第一方面，本发明提供一种舞蹈姿势反馈方法，包括：通过3d摄像头采集舞者的动作图像，所述动作图像包括所述舞者预定关节的三维深度信息；以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量。
[0005]
在一个实施中，以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量包括：以舞者的鼻尖和眼睛中心为参考点，确定所述动作图像的三维坐标与所述预设舞蹈标准姿势的三维坐标的比例；基于所述比例对所述动作图像中舞者预定关节的三维坐标进行转化，获取转化的三维坐标；比较所述动作图像中舞者预定关节的所述转化的三维坐标与所述预设舞蹈标准姿势中预定关节的三维坐标，确定所述舞者预定关节的位置偏差量和角度偏差量。
[0006]
在一个实施中，所述3d摄像头通过散斑结构光、飞行时间测距、激光雷达、或双目视觉方式测量所述预定关节的三维深度信息。
[0007]
在一个实施中，所述方法还包括：根据所述位置偏差量和所述角度偏差量计算所述舞者肢体动作与所述舞蹈标准姿势的重合率是否符合标准值，包括：比较所述位置偏差量与第一预设阈值，以及所述角度偏差量与第二预设阈值的大小；当所述位置偏差量小于第一预设阈值，且所述角度偏差量小于第二预设阈值时，舞蹈动作重合率符合标准值；当所述重合率符合标准值时，发出合格的语音提示，当所述重合率不符合标准值时，发出改进建议的语音提示。
[0008]
在一个实施中，所述方法还包括融合所述动作图像与所述预设舞蹈标准姿势，包括：根据所述转化的三维坐标对所述动作图像进行缩放；将缩放后的所述动作图像与所述预设舞蹈标准姿势进行融合；显示融合的所述动作图像与所述预设舞蹈标准姿势。
[0009]
在一个实施中，所述方法还包括构建预设舞蹈标准姿势，包括：在舞蹈标准姿势的
示范者作出每个舞蹈动作时，对所述示范者的头部、手掌、足部、锁骨关节点进行检测，获取头部、手掌、足部、锁骨关节点的三维坐标；根据头部、手掌、足部、锁骨关节点的坐标，生成预设舞蹈标准姿势。
[0010]
第二方面，本发明提供一种舞蹈姿势反馈装置，3d摄像头，用于采集舞者的动作图像，所述动作图像包括所述舞者预定关节的三维深度信息；安装主体，安装主体上自上而下设有三个安装区域，顶部的安装区域用于设置3d摄像头。
[0011]
在一个实施例中，该装置还包括舞蹈姿势反馈系统，所述舞蹈姿势反馈系统包括：融合模块，用于融合所述动作图像与所述预设舞蹈标准姿势；处理模块，用于以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量；判断模块，用于比较所述位置偏差量是否舞蹈动作重合率符合标准值。
[0012]
在一个实施例中，该装置还包括：显示设备，所述显示设备与所述融合模块通信连接，用于显示融合的所述动作图像与所述预设舞蹈标准姿势；声音播放设备，用于当所述重合率符合标准值时，发出合格的语音提示，当所述重合率不符合标准值时，发出改进建议的语音提示；所述安装主体中部的安装区域用于设置显示设备，底部的安装区域用于设置声音播放设备。
[0013]
在一个实施例中，所述3d摄像头采用kinect体感设备，所述3d摄像头包括至少一个rgb摄像头。
[0014]
与现有技术相比，本发明的有益效果是：
[0015]
本发明提供一种舞蹈姿势反馈方法及装置，该方法包括：通过3d摄像头采集舞者的动作图像，所述动作图像包括所述舞者预定关节的三维深度信息；以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量。对于任何舞蹈的教学内容都能定制，对舞蹈动作进行精确捕捉，对每个舞蹈动作都能进行精确分析和判断，教学效果比较好。
附图说明
[0016]
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
[0017]
图1示出了本申请实施例涉及的舞蹈姿势反馈方法的一种流程图；
[0018]
图2示出了本申请实施例涉及的舞蹈姿势反馈方法的另一种流程图；
[0019]
图3示出了本申请实施例涉及的用于融合多个图像以形成单一图像的示例技术的流程图；
[0020]
图4示出了本申请实施例涉及的舞蹈姿势反馈装置的一种结构示意图；
[0021]
图5示出了本申请实施例涉及的舞蹈姿势反馈装置的另一种结构示意图；
[0022]
图6示出了本申请实施例涉及的舞蹈姿势反馈系统的结构框图。
具体实施方式
[0023]
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了
便于描述，附图中仅示出了与发明相关的部分。
[0024]
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0025]
图1和图2示出了本申请提供的舞蹈姿势反馈方法的流程图。
[0026]
步骤101，通过3d摄像头采集舞者的动作图像，所述动作图像包括所述舞者预定关节的三维深度信息；
[0027]
步骤102，以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量。
[0028]
该方法对于任何舞蹈的教学内容都能定制，对舞蹈动作进行精确捕捉，对每个舞蹈动作都能进行精确分析和判断，教学效果比较好。
[0029]
需要说明的是，所述3d摄像头通过散斑结构光、飞行时间测距、激光雷达、或双目视觉方式测量所述预定关节的三维深度信息
[0030]
基于散斑结构光光方式从动作图象中获取预定关节的三维深度信息时，3d摄像头由一个红外投影机和红外摄像头组合而成的，投影和接收互为重叠，它能收集视野范围内的每一点，并形成一幅代表周围环境的景深图像。以每秒30帧的速度生成景深图像流，实时3d地再现周围环境。
[0031]
基于飞行时间测距方式从动作图象中获取预定关节的三维深度信息，飞行时间测距方式是传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。
[0032]
基于激光雷达方式从动作图象中获取预定关节的三维深度信息，激光雷达方式是一种集激光，全球定位系统(gps)和惯性导航系统(ins)三种技术于一身的系统，用于获得点云数据并生成精确的数字化三维模型。这三种技术的结合，可以在一致绝对测量点位的情况下获取周围的三维实景。
[0033]
基于计算机双目立体视觉方式从动作图象中获取预定关节的三维深度信息时，具体是将两幅或多幅动作图像通过3d摄像头标定、特征提取与匹配及三维重构等步骤来获取舞者预定关节的三维深度信息。
[0034]
上述舞者预定关节的偏差量可以包括舞者在舞蹈过程中每个动作中预定关节与预设舞蹈标准姿势中预定关节的位置偏差量，以及每个动作中预定关节与预设舞蹈标准姿势中预定关节的角度偏差量。通过比较所述动作图像中舞者预定关节的所述转化的三维坐标与所述预设舞蹈标准姿势中预定关节的三维坐标获得。
[0035]
在本实施例中，步骤102具体可以包括：以舞者的鼻尖和眼睛中心为参考点，确定所述动作图像的三维坐标与所述预设舞蹈标准姿势的三维坐标的比例；基于所述比例对所述动作图像中舞者预定关节的三维坐标进行转化，获取转化的三维坐标；比较所述动作图像中舞者预定关节的所述转化的三维坐标与所述预设舞蹈标准姿势中预定关节的三维坐标，确定所述舞者预定关节的位置偏差量和角度偏差量。
[0036]
比较所述动作图像中舞者预定关节的所述转化的三维坐标与所述预设舞蹈标准姿势中预定关节的三维坐标，确定所述舞者预定关节的位置偏差量和角度偏差量可以包括：
[0037]
基于所述动作图像中舞者预定关节的所述转化的三维坐标与预设舞蹈标准姿势中预定关节的所述三维坐标确定所述位置偏差量；基于所述转化的三维坐标计算所述动作图像中舞者预定关节的第一斜率，基于所述三维坐标计算预设舞蹈标准姿势中预定关节的第二斜率，基于所述第一斜率与所述第二斜率的差值确定所述角度偏差量。
[0038]
位置偏差量具体通过求取动作图像中舞者预定关节与预设舞蹈标准姿势中预定关节同一位置的三维坐标的差值获得；角度偏差量通过求取动作图像中舞者预定关节与预设舞蹈标准姿势中预定关节中同一段的斜率的差值获得。
[0039]
所述方法还包括：根据所述位置偏差量和所述角度偏差量计算所述舞者肢体动作与所述舞蹈标准姿势的重合率是否符合标准值，包括：比较所述位置偏差量与第一预设阈值，以及所述角度偏差量与第二预设阈值的大小；当所述位置偏差量小于第一预设阈值，且所述角度偏差量小于第二预设阈值时，舞蹈动作重合率符合标准值；当所述重合率符合标准值时，发出合格的语音提示，当所述重合率不符合标准值时，发出改进建议的语音提示。
[0040]
第一预设阈值可以是-10cm-10cm，所述位置偏差量小于第一预设阈值具体是：动作图像中头部、手掌、足部、锁骨关节点的坐标与预设舞蹈标准姿势的头部、手臂、腿部、锁骨关节点的坐标在三个坐标轴方向上的偏离值均处于-10cm-10cm之内。
[0041]
第二预设阈值可以是-10度-10度，所述角度偏差量小于第二预设阈值具体是：在动作图像头部、手臂、腿部、锁骨关节点任意取两个转化的三维坐标，分别计算第一斜率，在预设舞蹈标准姿势中头部、手臂、腿部、锁骨关节点任意取两个三维坐标，分别计算第二斜率。对应部位第一斜率与第二斜率的差值处于-10度-10度内。
[0042]
所述方法还包括步骤103：融合所述动作图像与所述预设舞蹈标准姿势。步骤103具体可以包括：根据所述转化的三维坐标对所述动作图像进行缩放；将缩放后的所述动作图像与所述预设舞蹈标准姿势进行融合；显示融合的所述动作图像与所述预设舞蹈标准姿势。
[0043]
图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像。所述动作图像与所述预设舞蹈标准姿势经过融合后，形成的图像质量较高，具有较好的视觉显示效果。
[0044]
图像融合根据动作图像表征层次的不同，图像融合可分为三个层次的融合：像素级融合、特征级融合和决策级融合。因为像素级融合具有局限性，因此在这里选择特征级图像融合。
[0045]
特征级融合:对动作图像进行特征抽取，将边缘、形状、轮廓、局部特征等信息进行综合处理的过程。特征级图像融合是对图像进行特征抽取后，将边缘、形状、轮廓、局部特征等信息进行综合处理的过程。特征级融合包括：目标状态信息融合和目标特征性融合。
[0046]
目标状态特征融合是一种基于多尺度和多分辨率的目标统计特征，对图像的原始数据状态的提取被描述，经过严格的配准，最后得到的是一幅包含更多图像信息的图像。目标状态特征融合是对图像的状态信息统计，进行模式匹配。
[0047]
目标特性融合按照特定的语义对图像特征提取特征的内在描述，或特征属性的重新组合，这些特征向量代表抽象的图像信息，直接对特征进行机器学习理论融合识别，增加了特征的维度，提高了目标识别的精确度。具体通过图像分割、特征提取和特征层信息融
合。
[0048]
图3是示出了用于融合多个图像以形成单一图像的示例的流程图。
[0049]
在步骤1031，访问多个图像。可以直接从3d摄像头或从存储设备访问图像。
[0050]
在步骤1032，将图像分组成多个集合。在一个实施例中，这些集合具有相等数目的图像。在另一实施例中，至少两个集合具有不等数目的图像。
[0051]
在步骤1033，融合每个集合的图像，以形成多个融合图像。在一个实施例中，通过以下操作来融合图像：针对集合中的每个图像计算权重，然后基于这些图像的各自的权重来融合这些图像。可以迭代执行步骤1032和1033，直到在步骤1034获得最终融合图像。
[0052]
在步骤1035，将最终融合图像存储存储器中。在一个实施例中，将步骤1033产生的融合图像和在步骤1034产生的最终融合图像存储在存储器中。显示时直接从存储器中调取相应融合图像在显示设备播放。
[0053]
图4至图6示出了本申请提供的舞蹈姿势反馈装置的结构示意图。
[0054]
该装置包括：
[0055]
3d摄像头202，用于采集舞者的动作图像，所述动作图像包括所述舞者预定关节的三维深度信息；
[0056]
安装主体201，所安装主体201上自上而下设有三个安装区域，顶部的安装区域用于设置3d摄像头202。
[0057]
需要说明的是，所述3d摄像头通过散斑结构光光、飞行时间测距、激光雷达、或双目视觉方式测量预定关节的三维深度信息
[0058]
因为舞者的位置和角度处于不断变化的状态，因而可以将摄像头设置为可绕其连接点进行360度旋转的。
[0059]
所述3d摄像头302可以采用kinect体感设备。
[0060]
所述3d摄像头202包括至少一个rgb摄像头。根据算法和功能需要也可以适当增加rgb摄像头，rgb摄像头数量不限。一个rgb摄像头由三根不同的线缆给出了三个基本彩色成分。这种类型的摄像头通常是用三个独立的ccd传感器来获取三种彩色信号。rgb摄像头经常被用来做非常精确的彩色图像采集。
[0061]
该装置还包括舞蹈姿势反馈系统200，包括：
[0062]
处理模块2002，用于以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量。
[0063]
融合模块2001，用于融合所述动作图像与所述预设舞蹈标准姿势；
[0064]
处理模块2002，用于以所述动作图像预定点为参考点，基于所述三维深度信息与预设舞蹈标准姿势中预定关节的标准三维深度信息，确定所述舞者预定关节的偏差量；
[0065]
判断模块2003，用于比较所述位置偏差量是否舞蹈动作重合率符合标准值。
[0066]
可选地，所述舞蹈姿势反馈系统还包括：预设舞蹈标准姿势构建模块，用于在舞蹈标准姿势的示范者作出每个舞蹈动作时，对所述示范者的头部、手掌、足部、锁骨关节点进行检测，获取头部、手掌、足部、锁骨关节点的三维坐标；根据头部、手掌、足部、锁骨关节点的坐标，生成预设舞蹈标准姿势。
[0067]
可选地，所述融合模块2001具体包括：根据所述转化的三维坐标对所述动作图像进行缩放；将缩放后的所述动作图像与所述预设舞蹈标准姿势进行融合；显示融合的所述
动作图像与所述预设舞蹈标准姿势。
[0068]
可选地，所述处理模块2002包括：比例确定单元，用于以舞者的鼻尖和眼睛中心为参考点，确定所述动作图像的三维坐标与所述预设舞蹈标准姿势的三维坐标的比例；转化单元，用于基于所述比例对所述动作图像中舞者预定关节的三维坐标进行转化，获取转化的三维坐标；比较单元，用于比较所述动作图像中舞者预定关节的所述转化的三维坐标与所述预设舞蹈标准姿势中预定关节的三维坐标，确定所述舞者预定关节的位置偏差量和角度偏差量。
[0069]
可选地，所述比较单元具体用于，基于所述动作图像中舞者预定关节的所述转化的三维坐标与预设舞蹈标准姿势中预定关节的所述三维坐标确定所述位置偏差量；基于所述转化的三维坐标计算所述动作图像中舞者预定关节的第一斜率，基于所述三维坐标计算预设舞蹈标准姿势中预定关节的第二斜率，基于所述第一斜率与所述第二斜率的差值确定所述角度偏差量。
[0070]
可选地，所述判断模块2003用于比较所述位置偏差量与第一预设阈值，以及所述角度偏差量与第二预设阈值的大小；当所述位置偏差量小于第一预设阈值，且所述角度偏差量小于第二预设阈值时，舞蹈动作重合率符合标准值；当所述重合率符合标准值时，发出合格的语音提示，当所述重合率不符合标准值时，发出改进建议的语音提示。
[0071]
可选地，该装置还包括：显示设备203，所述显示设备与所述融合模块2001通信连接，用于显示融合的所述动作图像与所述预设舞蹈标准姿势；声音播放设备204，当所述重合率符合标准值时，发出合格的语音提示，用于当所述重合率不符合标准值时，发出改进建议的语音提示；所述安装主体201中部的安装区域用于设置显示设备203，底部的安装区域用于设置声音播放设备204。
[0072]
声音播放设备还可以用于播放舞蹈伴奏，还可以用于舞者与舞蹈姿势反馈系统进行语音沟通，实现人机互动。
[0073]
显示设备203可以包括显示屏幕，例如：led显示屏。
[0074]
声音播放设备可以包括一个或者多个扬声器。
[0075]
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。