基于AR技术的动作教学实现方法与流程

【技术领域】

本发明涉及ar技术领域，所谓ar是指增强现实技术，尤其涉及基于ar技术上应用于各类动作教学的技术以及实现方法。

背景技术：

ar（augmentedreality）技术是指增强现实技术，具体来说是指利用计算机生成一种逼真的视、听、触和动等感觉的虚拟环境。ar可以算是vr（virtualreality）虚拟现实中的一个分支，不过略微不同的是vr的创造一个全新的虚拟世界，而ar则是强调虚实结合。

将vr技术引援到动作教学的领域是将动作现实化、实景化。现有的动作教学类书籍最大的弊病和局限就是平面化，纸质的书籍即便是配合图片也仅仅只是一个局部和片面的显示，动作不连贯，无法全面和准确地传达动作要领。

将ar技术应用到动作教学上算是尚待开发和完善的领域，现有的ar技术，通常都是以ar界面为展示的全部内容，ar扫描生成后，往往只在单个界面向用户展示内容，这样使得ar技术缺乏立体感。

技术实现要素：

本发明针对以上情况提出了基于ar技术的动作教学实现方法，构建立体信息图示系统，通过图片文字，再配合应用程序中播放功能，识别图片，显示立体动态动作，清楚而全面地表达动作要领。

基于ar技术的动作教学实现方法，包括以下步骤：

步骤一：将动作教学教程中的动作过程以及步骤提出并整理后，使用3d模型制作软件制作对应美术资源实现ar所需模型、动作、特效；此处的3d模型制作软件是指max3d、maya、c4d、zbrush等软件。

步骤二：使用比如unity3d、ue4、cocos2d等综合性3d开发引擎将资源进行软件开发；

步骤三：使用虚拟现实软件开发工具包编程制作ar展示软件；该处的虚拟现实软件开发工具包包括但不限于vuforia、arkit、eeayar等工具。

步骤四：将该ar展示软件应用于上述动作教学教程，需要ar展示软件打开摄像头，并通过摄像头扫描该动作教学教程中已经编辑处理过的图片，图片通过扫描后出现ar内容展示。

在步骤四中，打开摄像头，将待扫描的图片拍摄好，作为手机扫描图片，用高通增强现实技术软件开发包对图像流先进行灰度处理，并通过计算机视觉算法（cv算法）得到一组特征点a。

通过计算机视觉算法得到的一组特征点a，需要和预制好的特征点b进行对比并匹配。

该对比并匹配过程是通过特征点对撞匹配，得知特征点a和b的相似度，当特征点a和b的相似度达到80%以上时，表示手机扫描图片和存储待识别图片匹配成功。

在摄像头位置移动过程中，用高通增强现实技术软件开发包对特征点新旧位置进行矩阵运算，得到偏移量和斜率，从而不断随着摄像头位置和角度来改变模型的显示出来的状态。

预制好的特征点b的生成和获取通过高通软件完成，高通软件支持本地图片识别和云图片识别。

该本地图片识别：将待对比图置于软件资源库中，待启动时用同样的计算机视觉算法（cv算法）动态生成特征点b的信息以供对比；

该云图片识别：事先将图片传到后台，后台使用同样的计算机视觉算法（cv算法）生成特征点b并打包生成配置文件，开发者将打包好的文件导入软件资源库中，软件启动的时候读取配置文件即可获得特征点以供对比。

基于特征点的图片匹配修正逻辑，其中图片匹配原则按照精度划分为：低精度匹配、鲁棒精度匹配、高精度匹配。

其中低精度匹配是指：要求扫描图中待匹配特征点匹配成功个数达到某个百分比阈值后，才返回匹配成功的结果；

鲁棒精度匹配是指：扫描图中待匹配特征点匹配成功个数大于低精度阈值，并且允许存在一定比例冗余特征点，返回匹配成功的结果；

高精度匹配是指：扫描图中所有待匹配特征点全部匹配成功，才返回匹配成功的结果。

本发明通过ar技术实现对图片的实景和动态展示，完成连贯地动作示范，能够对每个动作有若干个分解动作，技巧和要点以图文形式列出，应用在动作教学领域，能够直观而生动形象地展示动作过程，便于更深层次的使读者和学员掌握动作要领。

【附图说明】

图1是本发明所述基于ar技术的动作教学实现方法的流程框图；

图2是本发明所涉及的实现方法中的对比匹配示意图。

【具体实施方式】

下面将结合本发明附图和具体实施方式对本发明基于ar技术的动作教学实现方法进行进一步的详细说明。

其中先大致说明下本方法会使用到一些软件平台和工具等：

高通软件vuforia是一个能让应用拥有视觉的软件平台。开发者借助它可以很轻松地为任何应用添加先进计算机视觉功能，允许你识别图片和物体，或者在真实世界中重建环境内容；vuforiaarsdk（高通增强现实技术软件开发包）可以在3d软件开发ide（集成开发工具）如unity3d（统合三维引擎）、unreal（虚幻引擎）中应用已上传的图片、物体生成对应的三维场景物体。

基于ar技术的动作教学实现方法，包括以下步骤：

步骤一：将动作教学教程中的动作过程以及步骤提出并整理后，使用3d模型制作软件制作对应美术资源实现ar所需模型、动作、特效；此处的3d模型制作软件是指max3d、maya、c4d、zbrush等软件。

步骤二：使用比如unity3d、ue4、cocos2d等综合性3d开发引擎将资源进行软件开发；

步骤三：使用虚拟现实软件开发工具包编程制作ar展示软件；该处的虚拟现实软件开发工具包包括但不限于vuforia、arkit、eeayar等工具。

步骤四：将该ar展示软件应用于上述动作教学教程，需要ar展示软件打开摄像头，并通过摄像头扫描该动作教学教程中已经编辑处理过的图片，图片通过扫描后出现ar内容展示。

在步骤四中，打开摄像头，将待扫描的图片拍摄好，作为手机扫描图片，用高通增强现实技术软件开发包对图像流先进行灰度处理，并通过计算机视觉算法得到一组特征点a。

通过计算机视觉算法得到的一组特征点a，需要和预制好的特征点b进行对比并匹配。

该对比并匹配过程是通过特征点对撞匹配，得知特征点a和b的相似度，当特征点a和b的相似度达到80%以上时，表示手机扫描图片和存储待识别图片匹配成功。

在摄像头位置移动过程中，用高通增强现实技术软件开发包对特征点新旧位置进行矩阵运算，得到偏移量和斜率，从而不断随着摄像头位置和角度来改变模型的显示出来的状态。

预制好的特征点b的生成和获取通过高通软件完成，高通软件支持本地图片识别和云图片识别。

该本地图片识别：将待对比图置于软件资源库中，待启动时用同样的计算机视觉算法动态生成特征点b的信息以供对比；

该云图片识别：事先将图片传到后台，后台使用同样的计算机视觉算法生成特征点b并打包生成配置文件，开发者将打包好的文件导入软件资源库中，软件启动的时候读取配置文件即可获得特征点以供对比。

基于特征点的图片匹配修正逻辑，其中图片匹配原则按照精度划分为：低精度匹配、鲁棒精度匹配、高精度匹配。

其中低精度匹配是指：要求扫描图中待匹配特征点匹配成功个数达到某个百分比阈值后，才返回匹配成功的结果；

鲁棒精度匹配是指：扫描图中待匹配特征点匹配成功个数大于低精度阈值，并且允许存在一定比例冗余特征点，返回匹配成功的结果；

高精度匹配是指：扫描图中所有待匹配特征点全部匹配成功，才返回匹配成功的结果。

ar（增强现实技术，下同）产品说明书包含图片扫描、动作展示、细节介绍等功能，模块之间相互递进。在图片扫描模块中，可以在书中扫描图片，互动性强。扫描后可以直观的看到人物动作。动作展示模块则可以查看、慢放和暂停动作，并且能全方位的看到动作细节。动作展示界面有各个细节介绍的按钮，点击进入细节介绍模块，则对每个动作有若干个分解动作，技巧和要点以图文形式列出，更深层次的使读者和学员掌握动作要领。

概括来说就是低精度适应性高，鲁棒精度容错率高，高精度准确度高。通俗来说：两张图片基于特征点匹配，最直观的匹配原则就是所有特异点完全一致，这便是高精度；但是在实际应用中，拍摄环境复杂，人们预期偏差等因素，往往使得拍摄到的图片获取的特征点与预制特征点不完全匹配，比如摄像机拍摄时产生的噪点，图片的反光等(参见图2)，那么低精度就要求对匹配特征点达到某个百分比阈值后返回匹配成功；然而还有一种情况，就是扫描图片特征点多于待匹配图片特征点，如在原图片上有一个物体覆盖在上面（前提是不挡住原图片的特征点），结合低精度的需求，就有了鲁棒精度，扫描图特征点大于低精度阈值，并且允许存在一定比例冗余特征点。

各场景功能实现

按钮管理器：界面中的按钮功能众多，需要一个集中响应的机制，所以一个按钮管理器十分重要。按钮管理器集成了响应的回调和消息的分发两个流程。当接受到按钮状态改变时，消息会统一由按钮管理器接收，并且根据业务逻辑进行分发。

动作界面管理器：负责动作场景元素的转换，动画的播放及对镜头处理（旋转缩放模型）。完成：进入场景-->播放动画-->显示图标-->控制缩放-->返回扫描界面。并对场景的统一管理。

细节界面管理器：负责细节场景元素的转换，对镜头的处理。

以上所述，仅是本发明较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许变更或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明技术是指对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围内。