一种虚拟舞蹈教学方法及系统与流程

本发明属于计算机应用技术领域，具体涉及一种虚拟舞蹈教学方法及系统。

背景技术

虚拟舞蹈教学系统是为学习者展示标准舞蹈动作帮助学员进行舞蹈训练的装置。随着体感技术的不断发展，使得虚拟舞蹈学习变得越发的简单便捷，尤其是kinect体感设备的出现，市面上出现了许多的体感舞蹈游戏及教学应用，而虚拟舞蹈构建的关键是标准舞蹈动作的捕捉、优化与动作库的构建。

目前流行的动作捕捉方法主要有基于光学动作捕捉系统的动作捕捉和基于kinect体感技术的动作识别与捕捉，光学动作捕捉系统需要用户提前穿好在关键骨骼点带有光标的服装，运用光学动作捕捉系统的高速摄像机捕获关键骨骼点的光标数据，该方法可解决遮挡带来的数据丢失问题，但需要臃肿的设备以及固定的场景支持，应用有较大的限制。而kinect的动作识别与捕捉能够克服光学动作捕捉系统的不足，让用户采用自然交互方法使用，但如果操作不当会存在遮挡而带来的数据丢失等问题，因此基于kinect的动捕更偏向于交互感与沉浸性。

目前的动作库有很多，但未形成统一数据标准，已有的动捕数据主要是以bvh、c3d、dae等格式为主，会存在一些冗余数据，且由于格式的加密无法进行详细的数据获取分析，应用起来存在诸多不便。卡耐基梅隆大学图像实验室有一套人类行为的动作库，其中提供了多种格式，却没有一种普适的格式。

一般虚拟舞蹈系统主要包含演示、学习、娱乐等功能，根据交互设备的差异，各方面比重皆存在偏差，传统的舞蹈系统主要有以下两种方案：1.通过kinect动作捕捉后，用kinect进行交互学习。2.通过光学动捕仪捕捉动作进行舞蹈欣赏。前者可以获得身临奇境的感觉，后者虽然精度高，但无法进行交互获得体验。“舞蹈动作不标准”、“交互动作少”等相关问题使得无法体现舞蹈系统的优势，也无法提供合理的结果反馈。

技术实现要素：

针对传统体感舞蹈系统教练动作库精度不高的问题，本发明运用光学动捕系统(phasespace,vicon等)进行专业动作捕捉，实现精准化动作捕捉，构建高精度专业动作库；针对传统舞蹈系统缺乏体验感的问题，本发明运用kinect捕获学习者关键动作，通过其独有的交互感与沉浸感带来舞蹈学习的“寓教于乐”的体验；同时建立一套专业动捕数据49个骨骼点到20个骨骼点的映射，实现舞蹈评分精准化。通过解决上述问题实现标准化舞蹈动作库，交互式系统设计，精准化动作评分，创建适合自然交互的虚拟舞蹈教学系统。

本发明的方法所采用的技术方案是：一种虚拟舞蹈教学方法，其特征在于，包括以下步骤：

步骤1：舞蹈教练专业动作捕捉；

步骤2：动作库构建；

步骤3：根据动作库，驱动教练模型进行舞蹈教学。

本发明的系统所采用的技术方案是：一种虚拟舞蹈教学系统，其特征在于：包括动作捕捉模块、专业舞蹈动作库构建模块、虚拟舞蹈教练构建模块和舞蹈评价模块；

所述动作捕捉模块包括专业舞蹈教练动作捕捉子模块与学员动作捕捉子模块；所述专业舞蹈教练动作捕捉子模块用于对专业舞蹈教练的动作进行捕捉、优化，确定舞蹈的标准动作；所述学员动作捕捉子模块用于对学员的舞蹈动作进行捕获，以用于舞蹈动作的对比评价，促进舞蹈学习；

所述专业舞蹈动作库构建模块包括：专业动作表征子模块、骨骼点映射子模块和专业动作存储子模块；所述专业动作表征子模块用于建立舞蹈动作编码标准，对捕捉和优化后的舞蹈动作进行编码；所述骨骼点映射子模块用于解决专业动捕采样与kinect采样数据不一致的问题，以方便进行动作评价；所述专业动作存储子模块用于对优化后的专业舞蹈动作存储到xml文件中，形成驱动舞蹈的专业动作库；

所述虚拟舞蹈教练构建模块包括舞蹈教练动作信息采集子模块和等比例建模子模块；所述信息采集子模块用于舞蹈人物构建，对需要创建的舞蹈系统的人物进行剖析，拍摄相关人物多个视图，以方便建模；所述等比例建模子模块用于进行场景与人物的设计；

所述舞蹈动作评价模块包括学员动作数据帧与标准教练动作数据帧的对齐子模块和对比评价子模块；所述学员动作数据帧与标准教练动作数据帧的对齐子模块用于解决学员动作数据帧与教练动作数据帧间存在的时间差问题；所述对比评价子模块用于根据专业舞蹈教练动作库标准，对实时捕捉到的学员动作进行评价。

本发明充分发挥光学动作捕捉和kinect动作捕捉这两种方法的优势，运用光学动作捕捉系统提前捕获教练动作，构建标准教练动作库；运用kinect捕获的用户实时动作，落实用户体验。运用等比例建模等技术，构建舞蹈教练模型。提出以关节点的位置、旋转数据为动作数据的基本格式，对每一帧的20个关节点进行编码以构成标准xml格式动作库。并且通过标准化的动作数据驱动模型，使得模型精确的展示出舞蹈动作，而学员则控制kinect操控用户模型获得沉浸式的体验。本发明首先对专业舞蹈教练的动作进行捕捉，确定专业舞蹈的标准动作，再对标准动作以xml形式进行编码，构建标准教练动作库；然后构建虚拟教练角色，用标准动作库的动作数据驱动教练，对舞蹈动作进行可视化展示，供学习者学习。本发明简化舞蹈教学并提出及时反馈，同时也节约成本。光学动作捕捉的精度与kinect的便捷度，可以实现舞蹈动作精准展示，促进学员的学习。

附图说明

图1本发明实施例的方法原理图；

图2本发明实施例的人体49个骨骼点示意图；

图3本发明实施例的虚拟舞蹈教练构建图；

图4本发明实施例的系统框架原理图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及土家摆手舞动作评价系统实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种虚拟舞蹈教学方法，包括以下步骤：

步骤1：舞蹈教练专业动作捕捉；

具体实现包括以下子步骤：

步骤1.1：确定专业动捕数据需要的人体49个骨骼点；

请见图2，49个骨骼点包括头、中肩关节、脊柱第一点、中髋关节、左肩关节、左肘关节、左腕关节、左手、右肩关节、右肘关节、右腕关节、右手、左髋关节、左膝盖、左踝关节、左足、右髋关节、右膝盖、右踝关节、右足、右中指第一点、右中指第二点、右中指第三点、右中指第四点、右食指第一点、右食指第二点、右食指第三点、右食指第四点、右拇指第一点、右拇指第二点、右拇指第三点、右拇指第四点、左中指第一点、左中指第二点、左中指第三点、左中指第四点、左食指第一点、左食指第二点、左食指第三点、左食指第四点、左拇指第一点、左拇指第二点、左拇指第三点、左拇指第四点、头顶、脖颈、脊柱第二点、右足尖、左足尖；

步骤1.2：将led粘贴于人体49个骨骼点处，led之间通过线缆连接，由绑在人体表面的电源装置供电；

步骤1.3：通过phasespace光学动捕仪捕捉舞蹈教练的专业动作，捕捉的每帧里面有49个光点。

步骤1.3.1：运用光学动作捕捉系统捕获舞蹈教练的舞蹈动作捕捉数据；

步骤1.3.2：对舞蹈动作捕捉数据进行去噪、删除重复动作、删除跳帧数据，调整不标准的动作数据处理。

光学动作捕捉后数据保存为.dae格式；参见图3，舞蹈教练动作数据与模型进行绑定。

步骤2：动作库构建；具体实现包括以下子步骤：

步骤2.1：根据kinect与大部分舞蹈的特点删选并确定驱动的20个骨骼关节点；所述20个骨骼关节点包括头、右肩、右肘、右腕、右手、左肩、左肘、左腕、左手、肩关节中心、脊、髋关节中心、右髋、右膝盖、右踝、右脚、左髋、左膝盖、左踝、左脚；

步骤2.2：根据骨骼点的位置对应关系，将捕捉的每帧49个光点与kinect捕捉的20个骨骼关节点相对应；

设起点关节的三维位置坐标为(x1,y1,z1)，终点关节的坐标为(x2,y2,z2)，则该骨骼向量可以用(x1-x2,y1-y2,z1-z2)来表示，骨骼向量的起始关节和终点关节如表1所示。

表1骨骼向量的起始关节和终点关节对应关系

步骤2.3：定义动作编码格式；

以(x、y、z)表示关节的位置信息；(qx、qy、qz、qw)是以四元数的形式表示该关节的旋转信息，其中(qx、qy、qz)是该关节旋转围绕的向量，qw则为旋转的角度。

步骤2.4：实时计算20个骨骼关节点的运动信息(包括上述位置与旋转信息)，存储于动作库中，形成舞蹈的标准动作库。

步骤3：根据动作库，驱动教练模型进行舞蹈教学；

通过采集舞蹈教练的信息后，首先以三视图形式进行舞蹈人物模型的等比例建模，舞蹈教练的信息包括人物的服装、首饰、身姿的多个视图；接着进行贴图，给模型附上材质包括皮肤衣服；最后进行蒙皮，给模型绑定骨骼，能够在之后通过phasespace或者kinect驱动。

本实施例运用光学动作捕捉系统捕捉专业教练的专业舞蹈动作，对捕获到的动作进行去噪、优化，运用动作编码系统对教练动作以xml形式表征，(xml是一种通用的可扩展标记语言，简洁易懂，容易进行编码和格式化，是选择通用动作格式的最佳选择之一)以形成包含每一帧中各骨骼点运动信息的动作库。

具体实现包括以下子步骤：

步骤3.1：关节点标定

为了获取适合与kinect对比专业；的动作数据，首先将光学动捕数据得到的49个关节运动进行标定成kinect所能驱动的20个关节点，并对这些点进行编号。20个关键关节点名称以及编号分别如下表2所示：

表220个关键关节点名称以及编号

步骤3.2：构建关节描述信息；

考虑每个关节需要记录的信息，该构建方法记录每个关节的位置和旋转信息。其中，使用三维向量p记录关节位置：

p＝[xyz](1)

p的三个分量x,y,z分别表示关节点在空间坐标参照系中的x、y、z三个轴上的投影的值。

同时使用四元数q记录关节的旋转，q的定义如公式(2)所示：

q＝[q0q1q2q3]^t

|q|²＝|q0|²+|q1|²+|q2|²+|q3|²(2)

在三维坐标系中，可以用四元数q表示绕某个轴的旋转，结合上述公式有：

基于公式(1)(2)(3)，本实施例定义了描述关节信息的xml格式：

其中joint节点的jointindex的值是该关节的编号，子节点x、y、z对应(1)中的x、y、z，qx、qy、qz、qw对应(3)中的q0、q1、q2、q3，其数据类型都为双精度浮点型。

步骤3.3：关节信息的xml描述；

完成关节信息的定义后，结合动作文件的序列特点，定义完整的动作文件的xml形式：

根节点为motiondata节点，其属性“framecount”描述了整个动作的帧数即动作的长度。motiondata的子节点是frame节点，即帧节点，每个frame节点中都包含了对该帧状态的人体的20个关节点的信息描述——joint节点。frame节点的frameindex属性的值即为当前帧的帧号。

使用这一套xml格式进行动作格式的存储，能完整地保存关节点的信息，同时其中包含的语义信息能让开发人员方便地对其进行修改。

步骤3.4：确定动作单元，进行动作入库；

对去噪、优化后的动作数据进行分类并确定动作单元与连续动作。然后进行xml格式的存储，以生成可以驱动教练模型的动作库。

利用本实施例的方法，在舞蹈学员学习舞蹈时进行动作对齐；具体实现包括以下子步骤：

步骤4.1：利用kinect对学员动作进行实时捕获；

步骤4.2：kinect捕捉的动作驱动学员模型与教练模型进行虚拟交互学习；同时提取学员每个关节的数据，实时获取20个关节点组成的19根骨骼的信息。

其中，本实施例根据实时获取的20个关节点组成的19根骨骼的信息，通过动作评价算法给出实时的判断与计算并反馈给用户；具体实现包括以下子步骤：

步骤5.1：已知教练与学员对应关键帧的骨骼向量通过公式计算其与x、y、z轴的夹角余弦值(cosα，cosβ，cosγ)，通过欧式距离公式计算学员与教练的对应骨骼的特征余弦的欧氏距离，选择所有帧n总的差异量，统计其中每帧的最大差异量dfmax和最小差异量dfmin；计算每帧的得分scorek后，计算n总帧得分的统计平均值作为最后得分score；

其中，dfk是第k帧的差异度；

步骤5.2：在教练标准动作的帧序列和学员动作的帧序列上分别建立两个窗口，其中比对窗口是以当前对比的教练帧为关联帧，向前后各取(n-1)/2帧，构成长度为n的比对窗口；学员动作窗口的起始帧与比对窗口起始帧对齐，计算每次滑动学员动作帧与教练动作帧的差异度根据差异度累积均值作比较，找出最小的那一帧进行对齐；

步骤5.3：对齐后进行计算评分score，并反馈给学员。

请见图3，本实施例提供的一种虚拟舞蹈教学系统，包括动作捕捉模块、专业舞蹈动作库构建模块、虚拟舞蹈教练构建模块和舞蹈评价模块；

动作捕捉模块包括专业舞蹈教练动作捕捉子模块与学员动作捕捉子模块；专业舞蹈教练动作捕捉子模块用于对专业舞蹈教练的动作进行捕捉、优化，确定舞蹈的标准动作；学员动作捕捉子模块用于对学员的舞蹈动作进行捕获，以用于舞蹈动作的对比评价，促进舞蹈学习；

专业舞蹈动作库构建模块包括：专业动作表征子模块、骨骼点映射子模块和专业动作存储子模块；专业动作表征子模块用于建立舞蹈动作编码标准，对捕捉和优化后的舞蹈动作进行编码；骨骼点映射子模块用于解决专业动捕采样与kinect采样数据不一致的问题，以方便进行动作评价；专业动作存储子模块用于对优化后的专业舞蹈动作存储到xml文件中，形成驱动舞蹈的专业动作库；

虚拟舞蹈教练构建模块包括舞蹈教练动作信息采集子模块和等比例建模子模块；信息采集子模块用于舞蹈人物构建，对需要创建的舞蹈系统的人物进行剖析，拍摄相关人物多个视图，以方便建模；等比例建模子模块用于进行场景与人物的设计；

舞蹈动作评价模块包括学员动作数据帧与标准教练动作数据帧的对齐子模块和对比评价子模块；学员动作数据帧与标准教练动作数据帧的对齐子模块用于解决学员动作数据帧与教练动作数据帧间存在的时间差问题；对比评价子模块用于根据专业舞蹈教练动作库标准，对实时捕捉到的学员动作进行评价。

本发明在专业光学动作捕捉的基础上，结合了kinect体感交互技术，并选择了舞蹈这一门类，使用户在娱乐的同时也在学习舞蹈，不仅有利于学员的身心健康，还能有专业虚拟舞蹈教练的实时反馈，帮助其掌握舞蹈要领。本发明系统在动作捕捉方法上进行了深入的研究，建立了49个骨骼点到20个骨骼点的映射，并且创新的使用了自定义xml格式的动作数据，使标准教练舞蹈动作捕捉结合学员动作捕捉进行舞蹈教学、评价，反馈。

本发明充分发挥光学动作捕捉和kinect动作捕捉这两种方法的优势，运用光学动作捕捉系统提前捕获教练动作，构建标准教练动作库；运用kinect捕获的用户实时动作，落实用户体验。运用等比例建模等技术，构建舞蹈教练模型。提出以关节点的位置、旋转数据为动作数据的基本格式，对每一帧的20个关节点进行编码以构成标准xml格式动作库。并且通过标准化的动作数据驱动模型，使得模型精确的展示出舞蹈动作，而学员则控制kinect操控用户模型获得沉浸式的体验。本发明首先对专业舞蹈教练的动作进行捕捉，确定专业舞蹈的标准动作，再对标准动作以xml形式进行编码，构建标准教练动作库；然后构建虚拟教练角色，用标准动作库的动作数据驱动教练，对舞蹈动作进行可视化展示，供学习者学习。本发明简化舞蹈教学并提出及时反馈，同时也节约成本。光学动作捕捉的精度与kinect的便捷度，可以实现舞蹈动作精准展示，促进学员的学习。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。