一种增强现实的展示方法、系统以及智能终端与流程

本发明涉及一种互联网和电子信息处理技术，特别是涉及一种应用于智能终端的增强现实AR的展示方法、系统以及智能终端。

背景技术：

增强现实(Augmented Reality，AR)，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，例如：视觉信息、听觉信息、味觉信息和触觉信息等等，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

目前，随着一款名为Pokémon的手机应用在全球范围内的火爆下载，AR技术的娱乐化应用也达到了一个小高潮。看似突然的爆发背后实际上是多年不断的技术积累，其在医疗、设计、人工智能、电子商务等领域都已有过早期应用，但是由于其技术的门槛要求相对较高，在很多领域依然尚未涉及，例如，在餐饮服务领域目前还缺乏相关尝试。为了使得AR技术在各个领域得到广泛应用，如何降低AR的技术门槛，使用简单的设备即可为用户快捷地提供AR体验是本领域技术人员所亟待解决的技术问题。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种增强现实的展示方法、系统以及智能终端，用于解决现有技术中AR技术的准入门槛过高，无法通过简单的设备为用户快捷地提供AR体验的问题。

为实现上述目的及其他相关目的，本发明提供一种增强现实的展示方法，应用于智能终端；所述增强现实的展示方法包括：扫描场景图片；将扫描获得的场景图片与适配图片库中的适配图片进行匹配；发送匹配结果至与所述智能终端网络连接的服务器；接收来自于所述服务器根据匹配结果所反馈的3D模型和/或AR视频，并在场景图片中与匹配的适配图片相同的部分展示3D模型和/或AR视频，形成虚拟现实效果。

于本发明的一实施例中，所述适配图片库是所述智能终端预先从所述服务器中下载获得的；且所述适配图片库中的适配图片为压缩图片。

于本发明的一实施例中，将扫描获得的场景图片与适配图片库中的适配图片进行匹配的步骤包括：获取所述智能终端的硬件配置信息；依据所述硬件配置信息，获取匹配数量；其中，匹配数量表示所述场景图片可同时匹配的适配图片的数量；按照获取的匹配数量，将场景图片与所述适配图片库中的适配图片进行匹配，直至匹配成功或对所述适配图片库中的所有适配图片均完成了匹配。

于本发明的一实施例中，所述硬件配置信息是通过所述智能终端的国际移动设备身份码而获取的。

于本发明的一实施例中，所述依据所述硬件配置信息，获取匹配数量的步骤包括：发送所述硬件配置信息至所述服务器；接收所述服务器依据所述硬件配置信息反馈的匹配数量；其中，所述服务器反馈的匹配数量是在所述硬件配置信息下的所述智能终端可同时匹配适配图片的最优数量。

于本发明的一实施例中，3D模型和/或AR视频是预先依据适配图片保存在所述服务器中，且其保存的格式为M3U8。

于本发明的一实施例中，3D模型和/或AR视频在场景图片中与匹配的适配图片相同的部分展示是通过如下步骤实现的：计算场景图片中与匹配的适配图片相同的部分的匹配坐标点；以匹配坐标点为中心，展示3D模型和/或AR视频。

于本发明的一实施例中，所述增强现实的展示方法还包括：当3D模型和/或AR视频在展示过程中，扫描位置发生了变化时，将位置变化后再次扫描获得的场景图片与匹配的适配图片进行重新匹配：如果匹配，则重新计算再次扫描获得的场景图片中与匹配的适配图片相同的部分的匹配坐标点，并以重新计算获得的匹配坐标点为中心，展示3D模型和/或AR视频；如果不匹配，则停止展示3D模型和/或AR视频。

本发明还公开了一种增强现实的展示系统，应用于智能终端，所述增强现实的展示系统包括：扫描单元，用于扫描场景图片；匹配单元，用于将扫描获得的场景图片与适配图片库中的适配图片进行匹配；发送单元，用于将匹配结果发送至与所述智能终端相连接的服务器；接收单元，用于接收来自于所述服务器根据匹配结果所反馈的3D模型和/或AR视频；展示单元，用于在场景图片中与匹配的适配图片相同的部分展示3D模型和/或AR视频，形成虚拟现实效果。

于本发明的一实施例中，所述匹配单元包括：第一获取子单元，用于获取所述智能终端的硬件配置信息；第二获取子单元，用于依据所述硬件配置信息，获取匹配数量，其中，匹配数量表示所述场景图片可同时匹配的适配图片的数量；匹配子单元，用于按照获取的匹配数量，将场景图片与所述适配图片库中的适配图片进行匹配，直至匹配成功或对所述适配图片库中的所有匹配图片均完成了匹配。

于本发明的一实施例中，所述展示单元包括：计算子单元，用于计算场景图片中与匹配的适配图片相同的部分的匹配坐标点；展示子单元，用于以匹配坐标点为中心，展示3D模型和/或AR视频。

本发明还公开了一种智能终端，采用如上所述的增强现实的展示系统。

如上所述，本发明的一种增强现实的展示方法、系统以及智能终端，具有以下有益效果：

1)本发明的适配图片库中的适配图片均是在保证最佳识别度情况下的压缩图片，不但减少了智能终端的存储占用量，也减少了服务器的存储占用量；此外，还减轻了服务器的带宽压力，更利于智能终端对适配图片库中的适配图片的下载；

2)本发明可实现场景图片与多张适配图片的同时匹配，大大加快了匹配处理的速度，减少了处理时间，增加了用户体验；而且，同时匹配适配图片的匹配数量是由智能终端的硬件配置信息所决定的，在加快匹配处理速度的同时，还保证了匹配处理的正常运行；

3)本发明的3D模型和/或AR视频都是展示在场景图片中与匹配的适配图片相同的部分，且随着扫描的场景图片的移动变化，其展示的3D模型和/或AR视频也会随着移动变化，但是3D模型和/或AR视频始终展示在场景图片与匹配的适配图片相同的部分；本发明使得3D模型和/或AR视频的展示更加灵活，且不受扫描的位置移动的影响；

4)本发明的3D模型和/或AR视频都是以M3U8的格式保存在服务器中，采用该种格式，不但减少了智能终端对3D模型和/或AR视频的下载时间，还保证了智能终端在展示时的流畅度，增加了用户体验。

附图说明

图1显示为本发明实施例公开的一种增强现实的展示方法的流程示意图。

图2显示为本发明实施例公开的一种增强现实的展示系统的原理结构示意图。

元件标号说明

S10～S40，S21～S23 步骤

210 扫描单元

220 匹配单元

221 第一获取子单元

222 第二获取子单元

223 匹配子单元

230 发送单元

240 接收单元

250 展示单元

251 计算子单元

252 展示子单元

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅附图。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明提供一种增强现实的展示方法、系统以及智能终端，其将预先制作的3D模型和/或AR视频依据适配图片保存在服务器中；智能终端通过将扫描的场景图片与适配图片库中的适配图片进行匹配，依据匹配结果直接从服务器中下载并展示对应的3D模型和/或AR视频。并且，在展示过程中，如果扫描发生了移动，导致场景图片中与匹配的适配图片相同的部分的位置也发生变化，此时，展示的3D模型和/或AR视频也会随之发生移动。

实施例1

本实施例公开了一种应用于智能终端的增强现实的展示方法，其中，智能终端与服务器通过网络相连。

本实施例的增强现实的展示方法主要由增强现实的展示系统来执行，增强现实的展示系统为安装在智能终端中的APP。该智能终端为一种能够按照事先存储的程序，自动、高速地进行大量数值计算和各种信息处理的现代化智能电子设备，其硬件包括但不限于存储器、存储器控制器、一个或多个处理器(CPU)、接口电路、RF(射频)电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、触摸显示屏、其他输出或控制设备，以及外部端口，这些组件通过一条或多条通信总线或信号线进行通信。智能终端可以是任何便携式电子设备，包括但不限于平板电脑、智能手机或个人数字助理(PDA)等等，还可能包括其中两项或多项的组合。服务器，也称伺服器，是提供计算服务的设备。由于服务器需要响应服务请求，并进行处理，因此一般来说服务器应具备承担服务并且保障服务的能力。服务器包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

如图1所示，本实施例的增强现实的展示方法包括：

步骤S10，扫描场景图片；

诚如在前面所提到的，增强现实是一种将真实世界信息和虚拟世界信息“无缝”集成的技术，因此，对增强现实的展示一定要依托于真实世界的信息。在本实施例中，真实世界的信息即为场景图片。目前，智能终端的功能已经非常强大了，因此增强现实的展示系统可以通过摄像头实现对场景图片的扫描。

进一步地，场景图片为包括了特征标记的图片，其中，特征标记包括但不限于标记LOGO、特征景物、特征人物、特征动物等等。例如，当特征标记为某餐厅的标记LOGO时，场景图片包括但限于带有该标记LOGO的盘子、桌布、点菜单和或餐牌等等。

步骤S20，将扫描获得的场景图片与适配图片库中的适配图片进行匹配：

其中，适配图片库是增强现实的展示系统预先从服务器中下载获得的。并且，为了减轻服务器带宽压力，所有的适配图片库中的适配图片在保证最佳识别度的情况下，均是经过压缩处理的。如此，不但减少了服务器的存储占用量，还减少了下载时间。进一步地，在智能终端的增强现实的展示系统中，下载获得适配图片库中的适配图片同样是经过压缩处理的，以降低适配图片库的存储占用量。

具体地，步骤S20包括：

步骤S21，获取所述智能终端的硬件配置信息；

其中，硬件配置信息包括但不限于：智能终端型号、CPU(Central Processing Unit，中央处理器)、GPU(Graphic Processing Unit，图形处理器)、硬盘、显卡、内存等等。

在本实施例中，硬件配置信息是通过国际移动设备身份码((International Mobile Equipment Identity，IMEI)而获取的。IMEI是全世界唯一的，每一个智能终端在组装完成后都将被赋予一个全球唯一的一组号码，这个号码从生产到交付使用都将被制造生产的厂商所记录。IMEI的前6位数表示型号核准号码，一般代表型号。

步骤S22，依据所述硬件配置信息，获取匹配数量；其中，匹配数量表示所述场景图片可同时匹配的适配图片的数量：

不同的智能终端其处理能力是有所差异的，因此，根据硬件配置信息，适应性地规划其图片处理的能力，可以最大化地加快图片匹配处理速度。匹配数量既可以由智能终端的增强现实的展示系统依据于其硬件配置信息自行规划，也可以将硬件配置信息发送至服务器，由服务器根据硬件配置信息反馈对应的匹配数量。

需要注意的是，由智能终端的增强现实的展示系统进行自行规划而获取的匹配数量往往不是最优的。服务器所提供的匹配数量是依据不同型号的智能终端，经过不断的测试后所获得的最优数量。

步骤S23，按照获取的匹配数量，将场景图片与所述适配图片库中的适配图片进行匹配，直至匹配成功或对所述适配图片库中的所有适配图片均完成了匹配。

在获取了恰当地匹配数量后，增强现实的展示系统按照匹配适量，将场景图片与适配图片库中的适配图片进行匹配。由于同时可以将场景图片和多张适配图片进行匹配，大大加快了匹配的处理速度。

此外，在匹配过程中，还要对场景图片的匹配过程进行监控：

当监测到场景图片与某张适配图片相匹配时，则结束匹配，且匹配结果为与其相匹配的适配图片；

当监测到场景图片与适配图片库中的所有适配图片均不匹配时，则结束匹配，并且，结束增强现实的展示过程。

需要说明的是，匹配结果并不仅限于与场景图片相匹配的适配图片这一种形式，其还可以为适配图片的编号、标记或编码等等，只要是能够将匹配结果指向其匹配的适配图片即可。

步骤S30，发送匹配结果至与所述智能终端网络连接的服务器；

在场景图片和适配图片匹配成功后，服务器和智能终端之间会建立通信连接，实现服务器和智能终端之间的数据交互。

步骤S40，接收来自于所述服务器根据匹配结果所反馈的3D模型和/或AR视频；并在场景图片中与匹配的适配图片相同的部分展示3D模型和/或AR视频，形成虚拟现实效果。

3D模型和/或AR视频均是预先制作并保存在服务器中的，且其是按照适配图片进行保存的。并且，为了提高扫描的匹配度，还会对一个3D模型和/或AR视频配置多张适配图片。优选地，在本实施例中为了保证增强现实的展示系统展示3D模型和/或AR视频时的流畅度，服务器中的3D模型和/或AR视频均是以M3U8的格式保存的。此外，由于3D模型和/或AR视频均是预先制作的，因此，其可以根据不同的应用场景进行相应的制作，使其适用范围可以更加广泛。

另外，需要注意的是，3D模型和/或AR视频按照适配图片保存，并不仅限于根据适配图片对应保存3D模型和/或AR视频这一种情况，其也可以是根据适配图片的编号、标记或编码对应保存3D模型和/或AR视频。

当匹配结果为与场景图片向匹配的适配图片时，服务器根据适配图片查找对应的3D模型和/或AR视频；此种情况下，适配图片的传输相对较慢，服务器的查找也会相对复杂；

当匹配结果为与场景图片向匹配的适配图片的编号、标记或编码时，服务器根据适配图片的编号、标记和编码查找对应的3D模型和/或AR视频；此种情况下，相较适配图片，其编号、标记或编码的大小较小，传输相对较快，服务器的查找也会相对容易。

在接收来自于服务器反馈的3D模型和/或AR视频的同时，增强现实的展示系统还会将3D模型和/或AR视频在场景图片中与匹配的适配图片相同的部分予以展示。

具体地，增强现实的展示系统计算场景图片中与匹配的适配图片相同的部分的匹配坐标点。优选地，本实施例中，匹配坐标点是场景图片中与匹配的适配图片相同的部分的中心坐标点；然后，再以匹配坐标点为中心，展示3D模型和/或AR视频。

进一步地，用户在使用过程中，智能终端往往不能始终处于固定位置处，会发生不同程度的位置变化。针对此种情况，增强现实的展示系统还会实时对位置变化后的场景图片进行扫描，并再次与匹配的适配图片进行重新匹配：如果匹配不成功，那么则停止对3D模型和/或AR视频的展示；如果匹配成功，那么会重新计算匹配坐标点，并以重新计算获得的匹配坐标点为中心，展示3D模型和/或AR视频。

进一步地，在通过智能终端展示3D模型和/或AR视频的时候，服务器与智能终端是可相互通信的，因此，服务器会把预设的互动提示相关信息推送给智能终端的增强现实的展示系统，智能终端的增强现实的展示系统会根据时间和提示信息推送信息给用户，实现和用户的互动。在推送互动信息的过程中，还可根据用户的标签设置不同的推送信息。例如，针对于新用户，会推送使用说明、扫描提示等；针对老用户，就会推送3D模型和/或AR视频的一些点击提示信息，也可以根据智能终端的触屏方式实现不同的交互，如点击背景，3D模型走到对应点击处；双击3D模型产生定制动作效果；点击3D模型某个部分，可弹出H5界面供操作等。

以下将本实施例的增强现实的展示方法应用于A餐厅的推广为例，对本实施例进行进一步地说明。A餐厅是一家有特定文化主题的餐厅，希望客户在排队，点菜以及等菜的过程中了解一些餐厅的文化主题，给客户留下良好的就餐印象。针对A餐厅的需求，以该餐厅的文化主题为背景预先制作了一些3D模型、AR视频短片保存在服务器中；然后，对该餐厅中比较有特色的装修、餐桌装饰、餐厅LOGO、桌卡、菜单等等进行拍照，之后对图片进行后期处理，和预先制作保存的3D模型、AR视频短片建立对应关系录入到服务器中。当顾客到A餐厅就餐排队过程中，顾客通过手机扫描门口的餐厅Logo，菜单，以及排队号后，会相应地进行匹配，并展示对应的AR视频短片介绍餐厅的背景及菜式推荐。此外，点击AR视频短片可以进入到H5页面进行点菜并且可以领取该餐厅的优惠券；当在点菜的过程中，扫描餐盘，桌卡，及周围色特装饰，会有3D模型在手机中展示，为顾客演示特色菜的制作过程。

上面方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

实施例2

本实施例公开了一种应用于智能终端的增强现实的展示系统。其中，智能终端与服务器网络连接。且，智能终端为一种能够按照事先存储的程序，自动、高速地进行大量数值计算和各种信息处理的现代化智能电子设备，其硬件包括但不限于存储器、存储器控制器、一个或多个处理器(CPU)、接口电路、RF(射频)电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、触摸显示屏、其他输出或控制设备，以及外部端口，这些组件通过一条或多条通信总线或信号线进行通信。智能终端可以是任何便携式电子设备，包括但不限于平板电脑、智能手机或个人数字助理(PDA)等等，还可能包括其中两项或多项的组合。服务器，也称伺服器，是提供计算服务的设备。由于服务器需要响应服务请求，并进行处理，因此一般来说服务器应具备承担服务并且保障服务的能力。服务器包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

如图2所示，本实施例的增强现实的展示系统包括：

扫描单元210，用于扫描场景图片；

匹配单元220，用于将扫描获得的场景图片与适配图片库中的适配图片进行匹配；

具体地，匹配单元220包括：

第一获取子单元221，用于获取所述智能终端的硬件配置信息；

第二获取子单元222，用于依据所述硬件配置信息，获取匹配数量，其中，匹配数量表示所述场景图片可同时匹配的适配图片的数量；

匹配子单元223，用于按照获取的匹配数量，将场景图片与所述适配图片库中的适配图片进行匹配，直至匹配成功或对所述适配图片库中的所有匹配图片均完成了匹配。

发送单元230，用于将匹配结果发送至与所述智能终端相连接的服务器；

接收单元240，用于接收来自于所述服务器根据匹配结果所反馈的3D模型和/或AR视频；

展示单元250，用于在场景图片中与匹配的适配图片相同的部分展示3D模型和/或AR视频，形成虚拟现实效果；

展示单元250包括：

计算子单元251，用于计算场景图片中与匹配的适配图片相同的部分的匹配坐标点；

展示子单元252，用于以匹配坐标点为中心，展示3D模型和/或AR视频。

此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。

需要说明的是，本实施例为与第一实施例相对应的系统实施例，本实施例可与第一实施例互相配合实施。第一实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在第一实施例中。

综上所述，本发明的一种增强现实的展示方法、系统以及智能终端，其适配图片库中的适配图片均是在保证最佳识别度情况下的压缩图片，不但减少了智能终端的存储占用量，也减少了服务器的存储占用量；此外，还减轻了服务器的带宽压力，更利于智能终端对适配图片库中的适配图片的下载；本发明可实现场景图片与多张适配图片的同时匹配，大大加快了匹配处理的速度，减少了处理时间，增加了用户体验；而且，同时匹配适配图片的匹配数量是由智能终端的硬件配置信息所决定的，在加快匹配处理速度的同时，还保证了匹配处理的正常运行；本发明的3D模型和/或AR视频都是展示在场景图片中与匹配的适配图片相同的部分，且随着扫描的场景图片的移动变化，其展示的3D模型和/或AR视频也会随着移动变化，但是3D模型和/或AR视频始终展示在场景图片与匹配的适配图片相同的部分；本发明使得3D模型和/或AR视频的展示更加灵活，且不受扫描的位置移动的影响；本发明的3D模型和/或AR视频都是以M3U8的格式保存在服务器中，采用该种格式，不但减少了智能终端对3D模型和/或AR视频的下载时间，还保证了智能终端在展示时的流畅度，增加了用户体验。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。