基于AR技术的说明书实现方法与流程

【技术领域】

本发明涉及ar技术领域，所谓ar是指增强现实技术，尤其涉及基于ar技术上应用于各类产品说明书立体展示产品实现方法。

背景技术：

ar（augmentedreality）技术是指增强现实技术，具体来说是指利用计算机生成一种逼真的视、听、触和动等感觉的虚拟环境。ar可以算是vr（virtualreality）虚拟现实中的一个分支，不过略微不同的是vr的创造一个全新的虚拟世界，而ar则是强调虚实结合。

产品说明书是用户接触产品的第一个途径，传统纸质说明书信息平面化，有些内容简单，但是提供的信息语焉不详，消费者获取信息不足；有些内容冗长而生涩难懂，往往使得用户即使翻阅完产品说明书，无法快速获得有效实用的信息，迅速掌握说明书中实质内容，也无法正确正常的使用或者组装/安装该产品。

技术实现要素：

本发明针对以上情况提出了基于ar技术的说明书实现方法，构建立体信息图示系统，通过ar技术来实现动态展示说明书中产品，填补了信息化产品说明书领域的空白，使得生产方可以将产品的特性、结构和优点更为直观的展示给用户，用户也能通过该技术了解复杂产品的组装过程、多功能产品的各项功能，提前了解产品的细节特性。

基于ar技术的说明书实现方法，包括以下步骤：

步骤一：将产品说明书中所涉及的产品整体外形、内部构造、零件组成信息提取并整理出来，使用3d模型制作软件制作对应美术资源实现ar所需模型、动作、特效；此处的3d模型制作软件是指max3d、maya、c4d、zbrush等软件。

步骤二：使用比如unity3d、ue4、cocos2d等综合性3d开发引擎将资源进行软件开发；

步骤三：使用虚拟现实软件开发工具包编程制作ar展示软件；该处的虚拟现实软件开发工具包包括但不限于vuforia、arkit、eeayar等工具。

步骤四：将该ar展示软件应用于上述产品说明书，需要ar展示软件打开摄像头，并通过摄像头扫描该产品说明书中已经编辑处理过的图片，图片通过扫描后出现ar内容展示。

在步骤四中，打开摄像头，将待扫描的图片拍摄好，作为手机扫描图片，用高通增强现实技术软件开发包对图像流先进行灰度处理，并通过计算机视觉算法（cv算法）得到一组特征点a。

通过计算机视觉算法得到的一组特征点a，需要和预制好的特征点b进行对比并匹配。

该对比并匹配过程是通过特征点对撞匹配，得知特征点a和b的相似度，当特征点a和b的相似度达到80%以上时，表示手机扫描图片和存储待识别图片匹配成功。

在摄像头位置移动过程中，用高通增强现实技术软件开发包对特征点新旧位置进行矩阵运算，得到偏移量和斜率，从而不断随着摄像头位置和角度来改变模型的显示出来的状态。

预制好的特征点b的生成和获取通过高通软件完成，高通软件支持本地图片识别和云图片识别。

该本地图片识别：将待对比图置于软件资源库中，待启动时用同样的计算机视觉算法（cv算法）动态生成特征点b的信息以供对比；

该云图片识别：事先将图片传到后台，后台使用同样的计算机视觉算法（cv算法）生成特征点b并打包生成配置文件，开发者将打包好的文件导入软件资源库中，软件启动的时候读取配置文件即可获得特征点以供对比。

基于特征点的图片匹配修正逻辑，其中图片匹配原则按照精度划分为：低精度匹配、鲁棒精度匹配、高精度匹配。

其中低精度匹配是指：要求扫描图中待匹配特征点匹配成功个数达到某个百分比阈值后，才返回匹配成功的结果；

鲁棒精度匹配是指：扫描图中待匹配特征点匹配成功个数大于低精度阈值，并且允许存在一定比例冗余特征点，返回匹配成功的结果；

高精度匹配是指：扫描图中所有待匹配特征点全部匹配成功，才返回匹配成功的结果。

本发明通过ar技术实现对图片构建立体信息图示系统，通过ar技术实现动态展示说明书中产品，并且可以进行零件的拆卸，组装示意，展示不同部件之间的相互结合关系，填补了信息化产品说明书领域的空白，使得生产方可以将产品的特性、结构和优点更为直观的展示给用户，用户也能通过该技术了解复杂产品的组装过程、多功能产品的各项功能，提前了解产品的细节特性。

【附图说明】

图1是本发明所述基于ar技术的说明书实现方法的流程框图；

图2是本发明所涉及的实现方法中的对比匹配示意图。

【具体实施方式】

下面将结合本发明附图和具体实施方式对本发明基于ar技术的说明书实现方法进行进一步的详细说明。

其中先大致说明下本方法会使用到一些软件平台和工具等：

高通软件vuforia是一个能让应用拥有视觉的软件平台。开发者借助它可以很轻松地为任何应用添加先进计算机视觉功能，允许你识别图片和物体，或者在真实世界中重建环境内容；vuforiaarsdk（高通增强现实技术软件开发包）可以在3d软件开发ide（集成开发工具）如unity3d（统合三维引擎）、unreal（虚幻引擎）中应用已上传的图片、物体生成对应的三维场景物体。

基于ar技术的说明书实现方法，包括以下步骤：

步骤一：将产品说明书中所涉及的产品整体外形、内部构造、零件组成信息提取并整理出来，使用3d模型制作软件制作对应美术资源实现ar所需模型、动作、特效；此处的3d模型制作软件是指max3d、maya、c4d、zbrush等软件。

步骤二：使用比如unity3d、ue4、cocos2d等综合性3d开发引擎将资源进行软件开发；

步骤三：使用虚拟现实软件开发工具包编程制作ar展示软件；该处的虚拟现实软件开发工具包包括但不限于vuforia、arkit、eeayar等工具。

步骤四：将该ar展示软件应用于上述产品说明书，需要ar展示软件打开摄像头，并通过摄像头扫描该产品说明书中已经编辑处理过的图片，图片通过扫描后出现ar内容展示。

在步骤四中，打开摄像头，将待扫描的图片拍摄好，作为手机扫描图片，用高通增强现实技术软件开发包对图像流先进行灰度处理，并通过计算机视觉算法（cv算法）得到一组特征点a。

通过计算机视觉算法得到的一组特征点a，需要和预制好的特征点b进行对比并匹配。

该对比并匹配过程是通过特征点对撞匹配，得知特征点a和b的相似度，当特征点a和b的相似度达到80%以上时，表示手机扫描图片和存储待识别图片匹配成功。

在摄像头位置移动过程中，用高通增强现实技术软件开发包对特征点新旧位置进行矩阵运算，得到偏移量和斜率，从而不断随着摄像头位置和角度来改变模型的显示出来的状态。

预制好的特征点b的生成和获取通过高通软件完成，高通软件支持本地图片识别和云图片识别。

该本地图片识别：将待对比图置于软件资源库中，待启动时用同样的计算机视觉算法（cv算法）动态生成特征点b的信息以供对比；

该云图片识别：事先将图片传到后台，后台使用同样的计算机视觉算法（cv算法）生成特征点b并打包生成配置文件，开发者将打包好的文件导入软件资源库中，软件启动的时候读取配置文件即可获得特征点以供对比。

基于特征点的图片匹配修正逻辑，其中图片匹配原则按照精度划分为：低精度匹配、鲁棒精度匹配、高精度匹配。

其中低精度匹配是指：要求扫描图中待匹配特征点匹配成功个数达到某个百分比阈值后，才返回匹配成功的结果；

鲁棒精度匹配是指：扫描图中待匹配特征点匹配成功个数大于低精度阈值，并且允许存在一定比例冗余特征点，返回匹配成功的结果；

高精度匹配是指：扫描图中所有待匹配特征点全部匹配成功，才返回匹配成功的结果。

本发明通过ar技术实现对图片构建立体信息图示系统，通过ar技术实现动态展示说明书中产品，并且可以进行零件的拆卸，组装示意，展示不同部件之间的相互结合关系，填补了信息化产品说明书领域的空白，使得生产方可以将产品的特性、结构和优点更为直观的展示给用户，用户也能通过该技术了解复杂产品的组装过程、多功能产品的各项功能，提前了解产品的细节特性。

概括来说就是低精度适应性高，鲁棒精度容错率高，高精度准确度高。通俗来说：两张图片基于特征点匹配，最直观的匹配原则就是所有特异点完全一致，这便是高精度；但是在实际应用中，拍摄环境复杂，人们预期偏差等因素，往往使得拍摄到的图片获取的特征点与预制特征点不完全匹配，比如摄像机拍摄时产生的噪点，图片的反光等(参见图2)，那么低精度就要求对匹配特征点达到某个百分比阈值后返回匹配成功；然而还有一种情况，就是扫描图片特征点多于待匹配图片特征点，如在原图片上有一个物体覆盖在上面（前提是不挡住原图片的特征点），结合低精度的需求，就有了鲁棒精度，扫描图特征点大于低精度阈值，并且允许存在一定比例冗余特征点。

各场景功能实现

按钮管理器：界面中的按钮功能众多，需要一个集中响应的机制，所以一个按钮管理器十分重要。按钮管理器集成了响应的回调和消息的分发两个流程。当接受到按钮状态改变时，消息会统一由按钮管理器接收，并且根据业务逻辑进行分发。

产品界面管理器：负责产品介绍场景产品元素的载入，播放产品特性及对镜头处理（旋转缩放模型）。完成：进入场景-->播放动画-->显示图标-->控制缩放-->返回扫描界面。并对场景的统一管理。

细节界面管理器：负责产品细节场景元素的转换，对镜头的处理以上所述，仅是本发明较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许变更或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明技术是指对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围内。