基于全景肢体动作的交互方法及系统与流程

本公开涉及计算机技术领域，特别是涉及基于全景肢体动作的交互方法及系统。

背景技术：

随着计算机技术的发展，由于其具有数据处理速度快、精度高的特点，计算机相关的技术逐步应用至各个领域，基于该技术的物联网技术也得到了迅速的发展。

在肢体动作领域，经过检索发现，现有技术虽然也在向着利用计算机中的相关虚拟技术的方向发展，但是，目前的主要技术还集中在如何实现对肢体动作的对比评价上，在肢体动作方面具体如何全景的进行交互方面相关专利较少。

例如，在舞蹈领域中，现有公开的文献中，申请号为“2017107742862”，专利名称为“一种虚拟舞蹈系统的动作评价方法”，该文献的技术方案中：首先构建舞蹈标准动作库，构建虚拟教练；然后进行舞蹈学员动作实时捕捉与数字化，动作帧定位对齐；最后进行舞蹈动作评价得分。实现对舞蹈学员的肢体动作进行实时识别和捕捉，并根据教练动作库的标准动作，来对学员的学习情况进行自动化评价，让学员在自主学习条件下进行有专业指导的舞蹈学习。

现有公开的文献中，申请号为“201810136939.9”，专利名称为“基于虚拟现实中的肢体训练系统及方法”，该文献的技术方案中：包括：动作捕捉模块，包括分别设于老师肢体各部位的定位器，用以捕捉和记录老师肢体各部位在三维空间中动作的位置与旋转角度；动作重播模块，在虚拟现实中通过半透明重影的方式重播老师的动作，学生从第一人称观察这些动作，并且进行模仿学习；动作评估模块，通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。本技术方案能够克服以往的视频，只能在二维平面记录并且回放动作的缺陷，通过将动作捕捉进行虚拟现实结合，实现了三维空间内动作的记录与回放。同时，通过在第一人称显示重影，帮助人们直观的理解动作，使得在虚拟现实中自学舞蹈、太极成为可能。

综上所述，现有技术中针对肢体动作的处理主要集中在对肢体动作的对比评价上，而如何智能的进行全景肢体动作的交互是本公开所要解决的主要技术问题。

技术实现要素：

为了解决现有技术的不足，本公开的一个方面是提供了基于全景肢体动作的交互方法，利用计算机技术搭建肢体模型，通过肢体模型中骨骼、肌肉及韧带的形成原理来更清晰的看到肢体动作的动作要点，利用交互的方式更好的展示肢体动作。

为了实现上述目的，本申请采用以下技术方案：

基于全景肢体动作的交互方法，包括：

肢体动作采集步骤：包括利用动作捕捉技术采集肢体动作并进行存储以及利用全景视频技术采集真人肢体动作并进行存储；

肢体模型的构建步骤：基于人体骨骼结构在三维建模软件中搭建透视模型，并在三维建模软件中搭建肢体动作虚拟人物，将透视模型与肢体动作虚拟人物相匹配，实现肢体模型的建立并形成肢体动作库，其中，所述透视模型为将骨骼模型、韧带模型及肌肉模型相叠加的模型；

肢体动作关联步骤：将动作捕捉技术采集的肢体动作及全景视频技术采集的真人肢体动作关联至所建立的肢体模型，实现在肢体模型上重现采集的肢体动作；

肢体动作的再现步骤：将关联肢体动作的肢体模型利用可控的方式通过交互进行展示。

进一步的技术方案，将利用动作捕捉技术采集肢体动作通过有线或无线的方式传输至所构建的肢体模型中。

进一步的技术方案，利用全景视频技术采集真人肢体动作时，采用多机位设备布置在多个角度对真人的肢体动作进行协同拍摄，对拍摄的视频进行合成、剪辑及拼接形成全景动作视频，后续将全景动作视频同步至透视模型上。

进一步的技术方案，在肢体模型的构建步骤中，当所构建的肢体模型与所采集的肢体动作不匹配时，对肢体模型进行修复调整优化，直至所构建的肢体模型能够与所采集的肢体动作匹配。

进一步的技术方案，在肢体动作关联步骤中，肢体模型上重现采集的舞蹈动作时，若肢体动作不满足要求，在三维建模软件中可进行调整具体的肢体动作直至符合要求，将调整后的肢体动作进行保存。

进一步的技术方案，肢体动作的再现步骤中，关联肢体动作的肢体模型通过可控的方式进行展示，其中的可控方式包括但不限于肢体动作播放时的暂停、快进、后退、360度展示。

进一步的技术方案，肢体动作的再现步骤中，还包括语音及文字讲解的步骤，将语音信息及文字信息与肢体动作视频进行关联。

更进一步的技术方案，肢体动作关联步骤中，在肢体动作库中，可将其中的一段肢体动作以帧的方式进行选择，将选出的肢体动作与肢体模型进行关联，实现所需肢体动作的再现。

更进一步的技术方案，通过可控的方式进行展示且已经关联肢体动作的肢体模型可保存为ios系统、pc系统或android系统所能展示的格式，并发布在云平台上。

本公开的另一方面是公开了一种计算机可读存储介质。

为了实现上述目的，本发明采用如下一种技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于全景肢体动作的交互方法。

本发明的第三方面是提供一种终端设备。

为了实现上述目的，本发明采用如下一种技术方案：

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于全景肢体动作的交互方法。

本发明的第四方面是提供基于全景肢体动作的交互系统。

为了实现上述目的，本发明采用如下一种技术方案：

基于全景肢体动作的交互系统，包括：

肢体动作采集单元：包括利用动作捕捉技术采集肢体动作并进行存储以及利用全景视频技术采集真人肢体动作并进行存储；

肢体模型的构建单元：基于人体骨骼结构在三维建模软件中搭建透视模型，并在三维建模软件中搭建肢体动作虚拟人物，将透视模型与肢体动作虚拟人物相匹配，实现肢体模型的建立并形成肢体动作库，其中，所述透视模型为将骨骼模型、韧带模型及肌肉模型相叠加的模型；

肢体动作关联单元：将动作捕捉技术采集的肢体动作及全景视频技术采集的真人肢体动作关联至所建立的肢体模型，实现在肢体模型上重现采集的肢体动作；

肢体动作的再现单元：将关联肢体动作的肢体模型利用可控的方式通过交互进行展示。

本公开的第五方面是公开了一种应用；

为了实现上述目的，本发明采用如下一种技术方案：

一种应用，所述基于全景肢体动作的交互方法可应用至舞蹈学习中。

与现有技术相比，本公开的有益效果是：

1、本公开的技术方案采用建立的模型，通过交互，点击某一个肢体动作的状态时，能够清楚的观察到该肢体动作所带来的骨骼、肌肉及韧带的动作状态，从而明白每个肢体动作的原理，达到透过肢体动作的表象看至该肢体工作的实质。

2、本公开的技术方案能够实现对所需要肢体动作的展示，更加人性化，当需要展示某类肢体动作或一类肢体动作中的某段肢体动作时，只要以时间帧的方式在三维建模软件中进行选择即可，能够满足多种需求，应用更广。

3、本公开的技术方案在具体展示的时候，能够多维度、多方式的展示，实现肢体动作的可控性的展示，肢体动作的展示更加全面，且可根据需求进行暂停、后退等多种方式的展示。

4、本公开的技术方案中，可将通过可控的方式进行展示且已经关联肢体动作的肢体模型文件发布至云端，且以不同的格式进行保存，这样不同的用户终端只需要下载相关的app即可实现所要查看的肢体动作的交互展示，满足不同用户终端的需求。

5、本公开的技术方案实现对多种肢体动作的保存、展示等，实现传统或经典肢体动作的文化传承，在肢体动作学习等方面均可进行应用，具有较好的社会效益。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开一些实施例子的流程图；

图2为本公开一些实施例子的系统框架图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本申请的实施例子以舞蹈动作为例进行说明，当然，本申请的肢体动作并不仅限于舞蹈动作，其它可采集的肢体动作(例如体育领域的动作等)也在本申请的范围之内。

本申请的一种典型的实施方式中，如图1所示，公开了基于全景肢体动作的交互方法，包括：舞蹈动作采集步骤：利用动作捕捉技术采集舞蹈动作并进行存储；

舞蹈模型的构建步骤：基于人体骨骼结构在三维建模软件中搭建透视模型，并在三维建模软件中搭建舞蹈动作虚拟人物，将透视模型与舞蹈动作虚拟人物相匹配，实现舞蹈模型的建立并形成舞蹈动作库；

具体的，该透视模型为将骨骼模型、韧带模型及肌肉模型相叠加的模型；该模型中骨骼、肌肉及韧带的关联关系与真实人体的关联关系一致。后续在通过交互的方式查看肢体动作时，可根据需要选择骨骼模型下肢体动作所带来的骨骼的变化、韧带模型下肢体动作所带来的韧带的变化、肌肉模型下肢体动作所带来的肌肉的变化。

该舞蹈动作库中存储有所有所采集的舞蹈动作，供后续关联展示等使用。当然该舞蹈动作库也可进行更新，当采集新的舞蹈动作时，继续存储在该舞蹈动作库中即可，在存储时，舞蹈动作为以时间帧的格式进行存储，这样，后续在使用时，只需要根据选取时间帧获得相应的舞蹈动作。

舞蹈动作关联步骤：将采集的舞蹈动作关联至所建立的舞蹈模型，实现在舞蹈模型上重现采集的舞蹈动作；

舞蹈动作的再现步骤：将关联舞蹈动作的舞蹈模型通过可控的方式进行展示。

本申请的另一种典型的实施方式中，还包括对真人全景舞蹈动作的采集，此处的真人为舞蹈动作演员，采用全景拍摄技术，对真人的舞蹈动作进行多机位、多角度的协同拍摄，将拍摄的视频文件通过ae、pr等软件进行合成、剪辑及拼接形成全景的舞蹈动作视频文件，后续将该视频文件同步至所搭建的透视模型上。

上述实施例子中，ae的全称为aftereffects，是adobe公司开发的一个影视后期特效合成及设计软件，pr全称为premiere，是非线性视频编辑软件。

上述实施例子在具体实施时，针对利用动作捕捉技术采集舞蹈动作的步骤，可以使用shogun的运动捕捉软件。配合viconvantage和viconvero系统算法和电子系统，获得高质量的骨骼动画数据。通过板载传感器、led面板和数字显示器的智能组合，观察架设在空中的相机状态，通过viconcontrolapp掌上移动终端，开始或停止捕捉。使用shogun的现场实时对象校准，完成完整的校准环节。在自定义角色网格功能把演示人员在系统中获得独特的外观，结合各种功能性元素的显示，提供高质量实时解算的观看效果。再通过动画蒙皮网格把即时校准中精确地覆盖在演示人员的骨骼上。

另外，还可以使用shogun监控每个独立的vero和vantage照相机的温度计和加速计，同时在视口中显示出摄像机的状态效果，所有的数据均可实现直接实时写入磁盘中。

因此，针对数据采集部分，舞蹈演员穿戴shogun提供的动捕服装，进入shogun动捕影棚进行舞蹈表演，通过shogun相机对表演进行信息采集，生成动捕数据。另外，对动捕数据进行审核，对不规范的数据进行记录，以备修改。

上述实施例子在具体实施时，舞蹈模型的构建步骤中，在三维软件maya当中，通过建模命令(例如pcube、vertex、edge等)进行三维角色创建，最终创建一个符合舞蹈制作的三维虚拟人物。

通过maya自带的skeleton命令对三维人物进行虚拟骨骼搭建，并使用skin命令将模型与骨骼相连，让模型跟随骨骼运动。

上述实施例子在具体实施时，舞蹈动作关联步骤中：将shogun采集的动捕数据导入skeleton骨骼，让骨骼附带动画信息，这样虚拟人物就有了动画。

若舞蹈动作不满足要求，用maya的animation命令对不规范的数据进行修改，修改到位后进行审核，审核通过后，输出带动画带模型的fbx数据文件。

另外，若需要真人舞蹈动作示范时，需要将采集的真人全景舞蹈动作同步至三维软件maya当中所建立的透视模型中，实现真人舞蹈动作的示范。

上述实施例子在具体实施时，舞蹈动作的再现步骤中，在unity3d当中打开fbx文件，调用自身的命令库对其进行“播放、暂停、倒放、慢放、任意旋转、放大缩小”等命令的添加。添加完检查无误后，根据播放载体不同输出移动端(安卓、ios)或桌面端(pc)的封装程序，例如*.apk、*.exe。

本申请的另一种典型的实施方式中，如图2所示，公开了基于全景肢体动作的交互系统，包括：

肢体动作采集单元：包括利用动作捕捉技术采集肢体动作并进行存储以及利用全景视频技术采集真人肢体动作并进行存储；

肢体模型的构建单元：基于人体骨骼结构在三维建模软件中搭建透视模型，并在三维建模软件中搭建肢体动作虚拟人物，将透视模型与肢体动作虚拟人物相匹配，实现肢体模型的建立并形成肢体动作库，其中，所述透视模型为将骨骼模型、韧带模型及肌肉模型相叠加的模型；

肢体动作关联单元：将动作捕捉技术采集的肢体动作及全景视频技术采集的真人肢体动作关联至所建立的肢体模型，实现在肢体模型上重现采集的肢体动作；

肢体动作的再现单元：将关联肢体动作的肢体模型利用可控的方式通过交互进行展示。

本申请的再一种典型的实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备设备的处理器加载并执行以下处理：

肢体动作采集步骤：包括利用动作捕捉技术采集肢体动作并进行存储以及利用全景视频技术采集真人肢体动作并进行存储；

肢体模型的构建步骤：基于人体骨骼结构在三维建模软件中搭建透视模型，并在三维建模软件中搭建肢体动作虚拟人物，将透视模型与肢体动作虚拟人物相匹配，实现肢体模型的建立并形成肢体动作库，其中，所述透视模型为将骨骼模型、韧带模型及肌肉模型相叠加的模型；

肢体动作关联步骤：将动作捕捉技术采集的肢体动作及全景视频技术采集的真人肢体动作关联至所建立的肢体模型，实现在肢体模型上重现采集的肢体动作；

肢体动作的再现步骤：将关联肢体动作的肢体模型通过可控的方式通过交互的方式进行展示。

本申请的另一种典型的实施方式中，公开了一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于全景肢体动作的交互方法。

在上述实施例中，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。

本公开的上述实施例子能够实现舞蹈动作与数字动画技术相结合。使用motionanalysis设备进行动作捕捉，将捕捉到的数据传入到三维制作软件maya里，进行三维模型重建、舞蹈动作修复，变成可视化的三维舞蹈动作演示，在将修复好的动作演示导入unity3d，进行交互式播放，从而达到360度全方位的展示，全面完整的进行动作解析演示。

另外，在实施时，舞蹈动作在展示的同时也可将语音讲解信息添加进来，实现动画播放的同时也可语音讲解。

本公开的上述实施例子采用数字动画技术，通过透视的方式展现舞蹈动作所带来的肌肉与韧带所相应的动作。

另外，在应用上，本公开的技术方案能够起到对于舞蹈课堂教学的辅助作用。便于学员更好通过观看理解舞蹈动作的原理。当然，上述技术方案也可以实现学员的自学，通过该技术方案整体观看舞蹈动作，对于其中的舞蹈动作均可通过交互的方式实现舞蹈动作的原理重现，更好的理解舞蹈动作的本质特点。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。