一种可视化的增强现实场景制作系统及方法
【专利摘要】本发明涉及可视化的增强现实场景制作系统及方法，其包括：导入标识图，确定被识别物；导入虚拟内容，将标识图和虚拟内容进行整合构建出初步增强现实场景；对初步增强现实场景进行设计，形成增强现实场景并将其存储到云服务器中；将多个增强现实场景打包到APP模板中，设定APP模板的基本属性和事件，自动编译成增强现实场景APP并将其发布到智能设备中；利用智能设备的摄像头采集标识图，增强现实场景APP访问云服务器读取增强现实场景，将标示图与所读取的增强现实场景中的标示图进行比对，待比对成功后，在智能设备的屏幕中渲染出增强现实场景。其可快速制作出增强现实场景，降低了制作门槛，提高了制作效率，降低了开发成本。
【专利说明】
一种可视化的増强现实场景制作系统及方法
技术领域
[0001]本发明属于增强现实技术与移动互联网相结合的场景虚拟展示领域，更具体地，本发明涉及可视化的增强现实场景制作系统及制造方法。
【背景技术】
[0002]增强现实技术是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。
[0003]增强现实的概念早在1968年就被誉为“计算机图形学之父”的Ivan Sutherland提出，并着手进行理论验证的相关实验。但是，由于当时的计算机技术处于初级发展阶段，无论从硬件还是软件都无法为增强现实提供合适的技术支持，所以当时对于虚拟世界与现实世界的融合只能存在于概念阶段。但这也奠定了计算机图形学的一大历史目标，让后人为这一目标努力追寻和探索着。
[0004]随着计算机技术的不断发展，增强现实技术逐渐从概念阶段进入到了实践阶段，各大科技公司、科研机构都在研发着集成增强现实技术的展示设备。这些集成增强现实技术的展示设备从一开始的笨重不便携带、识别率低、响应速度慢，逐渐向小巧轻便、高识别率、快速跟踪匹配、智能化功能、美观设计等方向转变。
[0005]其中，最有代表性的就是Google公司推出的Google Glass 了。它在眼镜前方悬置一台摄像头和一个位于镜框右侧的宽条状的电脑处理器装置，配备的摄像头像素为500万，可拍摄720p视频。镜片上配备了一个头戴式微型显示屏，可以将数据投射到用户右眼上方的小屏幕上。显示效果如同2.4米外的25英寸高清屏幕。
[0006]虽然Google Glass已经是接近于完美的增强现实展示设备了，但由于续航能力、制作成本、缺少应用等问题，目前还未能达到真正市场化阶段。利用可穿戴设备来展现增强现实场景是科技发展的一个必然趋势，但由于技术原因和增强现实场景资源匮乏等原因，仍需要一个过渡阶段才能实现。而目前的智能手机、智能平板电脑等智能设备的快速普及，正是增强现实技术面向智能化过渡的一个优质的载体。根据最新研究报告，全球智能机保有量将持续攀升。2014年全世界手机中有38%是智能机，大约16亿部，而到了 2018年，这一数字将突破50%。利用智能手机、智能平板电脑等智能设备来展现增强现实场景，将为增强现实技术的市场化带来一个前所未有的机遇。
[0007]然而，要将增强现实场景显示到智能设备中的过程并不是非常的简单，因为要先采集到真实世界的场景并在智能设备中构建真实世界的坐标系，然后通过矩阵变换映射到智能设备中的虚拟坐标系中；之后还要提取真实场景中的特征信息与预先设定好的标识图像信息进行特征匹配，找到相似的特征，针对相似的特征标定虚拟坐标系，并将虚拟内容相对位置计算出来；然后再计算虚拟坐标系相对于智能设备显示屏的相对坐标进行再次转换，最后再将虚拟内容与真实世界画面相结合的图像渲染到显示屏中。
[0008]通常的增强现实场景制作方式，是利用增强现实引擎提供的接口和格式要求，对想构造的场景进行编码开发。这样的方式非常的复杂，需要很高的技术门槛才能满足开发要求，不仅要了解增强现实引擎的开发架构，还要有好的矩阵分析能力才能构建出虚拟的3D空间，对3D场景中各模型的标定也是非常耗费工作量的过程。另外，如果这个增强现实场景想同时适应主流的Android和1S移动平台的话，还必须懂得两个平台的开发技术、在两个平台中开发两遍，进一步加大了制作的工作量。
[0009]这样，在硬件技术已经不再阻碍增强现实技术发展的今天，开发增强现实场景的技术难度和工作量大导致的开发成本问题成为了限制该项技术面向市场化、商业化的最大难题。针对这样的问题，设想如果构建一个增强现实场景制作系统，能像PhotoShop编辑图片那样可视化的编辑构建增强现实场景，不需要制作人员有任何技术能力，也不会因为跨平台开发增加工作量，只需通过简单的拖拽、设定即可完成增强现实场景的设计和构建，同时利用这个系统可以快速发布智能APP到智能设备中。这样的系统将让更多有丰富想象力、创造能力的人们参与到增强现实场景的制作中来，推动增强现实技术的市场化、商业化的发展。
【发明内容】
[0010]本发明的目的是提供一种可视化的增强现实场景制作系统及方法，其可以让毫无编程开发能力的人快速制作增强现实场景，从而解决现存的增强现实场景开发技术难度大、开发成本高的问题。
[0011]为此，本发明提供如下技术方案:一种可视化的增强现实场景制作系统，其包括可视化的增强现实场景编辑器、增强现实场景APP自动编译工具、云服务器和智能设备，其中，所述可视化的增强现实场景编辑器包括标示图导入模块、内容导入模块和场景设计模块，所述标示图导入模块用于通过上传标识图源文件而导入标识图，从而确定增强现实场景的被识别物；所述内容导入模块用于导入增强现实场景要在智能设备中显示的虚拟内容，并将所述标识图和虚拟内容进行整合构建出初步增强现实场景；所述场景设计模块用于对所述初步增强现实场景进行设计，调整虚拟内容与标识图的相对位置、尺寸以及各个虚拟内容的动画、事件，从而形成增强现实场景并将其存储到所述云服务器中；所述增强现实场景APP自动编译工具用于将设计完成的多个增强现实场景打包到APP模板中，同时设定所述APP模板的基本属性和事件，自动编译成增强现实场景APP并将其发布到智能设备中；所述云服务器用于为所设计的增强现实场景提供一个存储、管理、授权、认证、特征匹配的网络环境，为所述增强现实场景APP的运行提供有力支持；所述智能设备用于存储所述增强现实场景APP并利用智能设备的摄像头采集标识图，且所述增强现实场景APP通过无线网络访问所述云服务器读取增强现实场景，将所述标示图与所读取的增强现实场景中的标示图进行比对，待比对成功后，在所述智能设备的屏幕中渲染出所述增强现实场景。
[0012]此外，本发明还提供一种可视化的增强现实场景制作方法，其包括如下步骤:(I)通过上传标识图源文件而导入标识图，从而确定增强现实场景的被识别物；(2)导入增强现实场景要在智能设备中显示的虚拟内容，并将所述标识图和虚拟内容进行整合构建出初步增强现实场景；(3)对所述初步增强现实场景进行设计，调整虚拟内容与标识图的相对位置、尺寸以及各个虚拟内容的动画、事件，从而形成增强现实场景并将其存储到所述云服务器中；(4)将设计完成的多个增强现实场景打包到APP模板中，同时设定所述APP模板的基本属性和事件，自动编译成增强现实场景APP并将其发布到智能设备中；(5)利用智能设备的摄像头采集标识图，且所述增强现实场景APP通过无线网络访问所述云服务器读取增强现实场景，将所述标示图与所读取的增强现实场景中的标示图进行比对，待比对成功后，在所述智能设备的屏幕中渲染出所述增强现实场景。
[0013]进一步地，其中，所述标识图源文件的格式必须为JPG、PNG图片格式中的一种，且所述图片格式中的通道数量不能大于3个，同时，图片中有明显的灰度边缘差异，以有利于提取标识特征，提尚识别率。
[0014]更进一步地，其中，所述虚拟内容的文件类型是能够在主流的智能设备中正常渲染显示的图片、视频、音频和/或3D模型。
[0015]再进一步地，其中，所述增强现实场景APP自动编译工具提供3套APP模板，在完成增强现实场景后，选择合适的APP模板进行APP的制作。
[0016]本发明的可视化的增强现实场景制作系统及方法具有如下有益技术效果:
[0017]1、其提供可视化的制作界面，大大降低了增强现实场景的制作门槛。通常的增强现实场景开发的方式，是利用增强现实引擎提供的接口和格式要求，对想构造的场景进行编码开发。这样的方式非常的复杂，不仅要了解增强现实引擎的开发架构，还要有好的矩阵分析能力才能构建出虚拟的3D空间，同时还有必要了解一种3D引擎以提高开发效率。所以，利用编码开发增强现实场景，必须由技术能力超强、数学运算能力超强的程序员才能够胜任。利用本本发明的制造系统提供的可视化制作界面，可以直观地通过上传资源、拖拽摆放位置、设定控件属性等简单易懂的操作就能制作出丰富的增强现实场景，对制作人员没有编程基础的要求，普通人只需通过简单的培训或自学就可以上手操作。
[0018]2、本发明大幅降低了增强现实场景APP的开发成本。通常由程序员编程方式开发增强现实场景APP，需要经过复杂的设计、编码、测试的软件开发流程；编码过程中对3D场景中各模型的标定涉及到矩阵运算，3D引擎渲染过程也是非常耗费工作量的工作。另外，如果这个增强现实场景想同时适应主流的Android和1S移动平台的话，还必须懂得两个平台的开发技术、在两个平台中开发两遍。而通过本发明提供的可视化开发流程，只需简单的设计、制作、发布三个步骤，就能够快速制作出跨平台的增强现实场景APP。熟悉制作流程的人员几个小时就能完成一个增强现实场景APP，大幅降低了增强现实场景APP的开发成本。同时由于通过本发明无需有编码能力的程序员来担当操作，又进一步降低了人力成本。
[0019]3、利用本发明提供的制作系统及制作方法，让制作者的精力不再放在复杂的数学模型、矩阵运算上，释放了制作者的创造力和想象力。让制作精力都转移到场景的设计、资源的美化等方面，提高了增强现实场景的制作质量。让各行各业有想法的人都可以尝试制作增强现实场景，促进了增强现实技术面向市场化、商业化的发展。
[0020]4、利用云技术构建的云端场景库、云端图像特征匹配服务，更好的对移动互联网环境下的增强现实应用提供支持。随着场景库中的场景逐步增多、通过云端可识别到的物体越来越丰富，会逐步构建出虚拟场景的大数据内容，与未来的可穿戴式智能设备相结合，为科技迈入一个崭新的时代提供有力的支持。
【附图说明】
[0021]图1是本发明的可视化的增强现实场景制作系统的结构示意图。
[0022]图2是本发明的可视化的增强现实场景制作方法的流程图。
[0023]图3是本发明的增强现实场景的工作原理图。
【具体实施方式】
[0024]下面结合附图详细描述本发明的【具体实施方式】，【具体实施方式】的内容不作为对本发明的保护范围的限定。
[0025]本发明涉及可视化的增强现实场景制作系统及方法，其可以让毫无编程经验的普通人快速制作出增强现实场景，降低了增强现实场景的制作门槛，同时提高了增强现实场景的制作效率，大大降低了开发成本。
[0026]图1示出了本发明的可视化的增强现实场景制作系统的结构示意图。如图1所示，本发明所述的可视化的增强现实场景制作系统包括可视化的增强现实场景编辑器、增强现实场景APP自动编译工具、云服务器和智能设备。
[0027]其中，所述可视化的增强现实场景编辑器为用户提供可视化的增强现实场景编辑界面，供用户以可视化的方式制作增强现实场景，并将制作的增强现实场景同步到所述云服务器。在本发明中，优选地，所述可视化的增强现实场景编辑器基于Web架构开发，适用于多款主流的PC端浏览器，为增强现实场景制作人员提供一个便利的场景制作平台。具体地，所述可视化的增强现实场景编辑器包括标示图导入模块、内容导入模块和场景设计模块。
[0028]其中，所述标示图导入模块用于通过上传标识图源文件而导入标识图，从而确定增强现实场景的被识别物。在本发明中，优选地，所述标识图源文件的格式必须为JPG、PNG图片格式中的一种，且所述图片格式中的通道数量不能大于3个，同时，图片中有明显的灰度边缘差异，以有利于提取标识特征，提高识别率。这样子，使得所述标示图便于识别，有助于后述的使用。
[0029]所述内容导入模块用于导入增强现实场景要在智能设备中显示的虚拟内容，并将所述标识图和虚拟内容进行整合构建出初步增强现实场景。在本发明中，优选地，所述内容导入模块是为一个可视化的场景编辑器页面，在该场景编辑器页面中可以通过拖拽的方式添加不同类别的控件元素，比如:图片、视频、音频或3D模型等。同时，要求所述虚拟内容的文件类型必须是能够在主流的智能设备中正常渲染显示的。
[0030]所述场景设计模块用于对所述初步增强现实场景进行设计，调整虚拟内容与标识图的相对位置、尺寸以及各个虚拟内容的动画效果和交互事件等，从而形成增强现实场景。
[0031]此外，在本发明中，所述可视化的增强现实场景编辑器可以进一步包括界面设计模块，所述界面设计模块为制作者提供了一个编辑智能设备中交互按钮的功能页面，在该页面中可以添加交互按钮并设定交互按钮的事件。这样，使得所制作的增强现实场景更便于交互。
[0032]在制作完一个增强现实场景之后，将其同步，即存储到所述云服务器中，以便于后续的调用等。
[0033]所述增强现实场景APP自动编译工具用于将设计完成的多个增强现实场景打包到APP模板中，同时设定所述APP模板的基本属性和事件，自动编译成增强现实场景APP并将其发布到智能设备中。在本发明中，优选地，所述增强现实场景APP自动编译工具提供3套APP模板，在完成增强现实场景后，选择合适的APP模板进行APP的制作。具体地，每套所述APP模板都包含了 6个属性设定子页面、一个发布状态页和一个版本信息页。所述属性设定子页面主要用来设定APP的基本属性，包括:图标及命名设定子页面、首页设定子页面、启动页设定子页面、引导页设定子页面、语音跳转设定子页面和联系方式设定子页面。通过上述5个属性设定子页面，可以设定增强现实场景APP的各个属性。将各属性设定完成后，可以点击发布功能按钮跳转到所述发布状态页，在这里会提供发布平台的选择和自动编译进度的提示。发布增强现实场景APP完成后，可以在该页下载所述增强现实场景APP文件，也可以跳转到该版本增强现实场景APP的版本信息页查看该版本的详细信息。
[0034]此外，在本发明中，优选地，所述增强现实场景APP支持与HTML应用的灵活对接。在APP设计页面只需要设定一下对接HTML5应用的URL，或将HTML5应用的压缩包上传，就可以将其集成到APP中。同时，制作者也可以定制功能菜单中的URL，用来跳转到HTML5应用中的各个子页面。这样设计的优点是:可以与Web前端开发的一些轻应用进行快速的结合，便于制作者将一些增强现实场景以外的功能集成入应用，大大提高了 APP的灵活性。
[0035]所述云服务器用于为所设计的增强现实场景提供一个存储、管理、授权、认证、特征匹配的网络环境，为所述增强现实场景APP的运行提供有力支持。具体地，所述云服务器用于对制作完成后的增强现实场景进行存储、管理等远程支持，同时提供远程图像特征匹配识别接口，便于智能设备中的APP进行云端场景识别。增强现实场景制作完成后，会将其上传到所述云服务器的场景库中进行存储。场景库的作用在于对增强现实场景的系统化管理，便于增强现实场景的复用，同时便于增强现实场景APP对于增强现实场景的远程识别和调用。
[0036]所述智能设备用于存储所述增强现实场景APP并利用智能设备的摄像头采集标识图，且所述增强现实场景APP通过无线网络访问所述云服务器读取增强现实场景，将所述标示图与所读取的增强现实场景中的标示图进行比对，待比对成功后，在所述智能设备的屏幕中渲染出所述增强现实场景。具体地，在所述智能设备的增强现实场景APP中，可以选择将增强现实场景打包存储在终端里，在显示增强现实场景前，增强现实场景APP会连接所述云服务器确认增强现实场景的状态，并获取该场景的使用授权；或者选择直接读取所述云服务器的场景内容，这种方式会在增强现实场景APP中识别图像的特征点，将特征数据同步到所述云服务器，通过所述云服务器中的图像识别引擎进行特征匹配找到相应的场景，然后云服务器再将场景推送到APP中渲染展示出来。
[0037]图2示出了本发明的可视化的增强现实场景制作方法的流程图。如图2所示，本发明的可视化的增强现实场景制作方法包括如下步骤:首先，通过上传标识图源文件而导入标识图，从而确定增强现实场景的被识别物。然后，导入增强现实场景要在智能设备中显示的虚拟内容，并将所述标识图和虚拟内容进行整合构建出初步增强现实场景。接着，对所述初步增强现实场景进行设计，调整虚拟内容与标识图的相对位置、尺寸以及各个虚拟内容的动画、事件，从而形成增强现实场景并将其存储到所述云服务器中。此后，将设计完成的多个增强现实场景打包到APP模板中，同时设定所述APP模板的基本属性和事件，自动编译成增强现实场景APP并将其发布到智能设备中。最后，利用智能设备的摄像头采集标识图，且所述增强现实场景APP通过无线网络访问所述云服务器读取增强现实场景，将所述标示图与所读取的增强现实场景中的标示图进行比对，待比对成功后，在所述智能设备的屏幕中渲染出所述增强现实场景。
[0038]具体地，在本发明提供的可视化增强现实场景制作系统中，制作人员首先新建一个场景，然后进入可视化的增强现实场景编辑器编辑该场景，在标识导入模块中上传一个或多个标识物。通过内容导入模块为该场景添加控件元素，调整控件的位置、尺寸、动画效果、触发事件等属性。如果有需要，可以在界面设计模块中添加功能按钮。完成场景后返回场景一览，并可以通过同步功能将该场景同步到云服务器中的场景库中。以同样的方式，可以制作多个场景。完成所有场景后，进入增强现实场景APP编译工具，在该APP编译工具中设置APP的图标、启动页、首页等属性，然后自动编译生成APP。将APP安装到智能设备中。在智能设备中启动APP，打开增强现实场景界面，利用智能设备的摄像头采集标识物体图像，采集的过程中增强现实场景引擎会进行特征匹配、跟踪等处理。特征匹配成功后，会在智能设备的屏幕中渲染出增强现实场景。
[0039]图3示出了本发明的增强现实场景的工作原理图。如图3所示，具体实施时，首先要在增强现实场景APP中通过智能设备的摄像头采集真实世界的图像，实时的分析提取所采集的图像中的特征点，组成特征矩阵。该特征矩阵会在所述增强现实场景APP中或云服务器中的增强现实引擎中与设定好的增强现实场景矩阵进行比对，如发现比对成功，则表明目前采集到的图像中包含增强现实场景，则触发场景的同步机制，若该场景保存在云服务器中的场景库中，则下载该场景中的虚拟内容文件到智能设备。智能设备接收到匹配成功的指令后，会对虚拟场景进行渲染，并将虚拟场景内容叠加显示到摄像头采集到的真实图像中，以达到真实世界与虚拟世界相结合的效果。使用者通过与智能设备的触屏交互，可以触发场景中的交互事件，让虚拟场景与使用者实现人机互动。
[0040]【具体实施方式】的内容是为了便于本领域技术人员理解和使用本发明而描述的，并不构成对本发明保护内容的限定。本领域技术人员在阅读了本发明的内容之后，可以对本发明进行合适的修改。本发明的保护内容以权利要求的内容为准。在不脱离权利要求的实质内容和保护范围的情况下，对本发明进行的各种修改、变更和替换等都在本发明的保护范围之内。
【主权项】
1.一种可视化的增强现实场景制作系统，其包括可视化的增强现实场景编辑器、增强现实场景APP自动编译工具、云服务器和智能设备，其中， 所述可视化的增强现实场景编辑器包括标示图导入模块、内容导入模块和场景设计模块，所述标示图导入模块用于通过上传标识图源文件而导入标识图，从而确定增强现实场景的被识别物；所述内容导入模块用于导入增强现实场景要在智能设备中显示的虚拟内容，并将所述标识图和虚拟内容进行整合构建出初步增强现实场景；所述场景设计模块用于对所述初步增强现实场景进行设计，调整虚拟内容与标识图的相对位置、尺寸以及各个虚拟内容的动画、事件，从而形成增强现实场景并将其存储到所述云服务器中； 所述增强现实场景APP自动编译工具用于将设计完成的多个增强现实场景打包到APP模板中，同时设定所述APP模板的基本属性和事件，自动编译成增强现实场景APP并将其发布到智能设备中； 所述云服务器用于为所设计的增强现实场景提供一个存储、管理、授权、认证、特征匹配的网络环境，为所述增强现实场景APP的运行提供有力支持； 所述智能设备用于存储所述增强现实场景APP并利用智能设备的摄像头采集标识图，且所述增强现实场景APP通过无线网络访问所述云服务器读取增强现实场景，将所述标示图与所读取的增强现实场景中的标示图进行比对，待比对成功后，在所述智能设备的屏幕中渲染出所述增强现实场景。2.根据权利要求1所述的可视化的增强现实场景制作系统，其中，所述标识图源文件的格式必须为JPG、PNG图片格式中的一种，且所述图片格式中的通道数量不能大于3个，同时，图片中有明显的灰度边缘差异，以有利于提取标识特征，提高识别率。3.根据权利要求2所述的可视化的增强现实场景制作系统，其中，所述虚拟内容的文件类型是能够在主流的智能设备中正常渲染显示的图片、视频、音频和/或3D模型。4.根据权利要求3所述的可视化的增强现实场景制作系统，其中，所述增强现实场景APP自动编译工具提供3套APP模板，在完成增强现实场景后，选择合适的APP模板进行APP的制作。5.一种可视化的增强现实场景制作方法，其包括如下步骤: (1)通过上传标识图源文件而导入标识图，从而确定增强现实场景的被识别物； (2)导入增强现实场景要在智能设备中显示的虚拟内容，并将所述标识图和虚拟内容进行整合构建出初步增强现实场景； (3)对所述初步增强现实场景进行设计，调整虚拟内容与标识图的相对位置、尺寸以及各个虚拟内容的动画、事件，从而形成增强现实场景并将其存储到所述云服务器中； (4)将设计完成的多个增强现实场景打包到APP模板中，同时设定所述APP模板的基本属性和事件，自动编译成增强现实场景APP并将其发布到智能设备中； (5)利用智能设备的摄像头采集标识图，且所述增强现实场景APP通过无线网络访问所述云服务器读取增强现实场景，将所述标示图与所读取的增强现实场景中的标示图进行比对，待比对成功后，在所述智能设备的屏幕中渲染出所述增强现实场景。6.根据权利要求5所述的可视化的增强现实场景制作方法，其中，所述标识图源文件的格式必须为JPG、PNG图片格式中的一种，且所述图片格式中的通道数量不能大于3个，同时，图片中有明显的灰度边缘差异，以有利于提取标识特征，提高识别率。7.根据权利要求6所述的可视化的增强现实场景制作方法，其中，所述虚拟内容的文件类型是能够在主流的智能设备中正常渲染显示的图片、视频、音频和/或3D模型。8.根据权利要求7所述的可视化的增强现实场景制作方法，其中，所述增强现实场景APP自动编译工具提供3套APP模板，在完成增强现实场景后，选择合适的APP模板进行APP的制作。
【文档编号】G06F3/0488GK106033333SQ201510102943
【公开日】2016年10月19日
【申请日】2015年3月10日
【发明人】周博文, 周博, 洪洋
【申请人】沈阳中云普华科技有限公司