一种物品的展示方法、移动终端及存储介质与流程

本发明涉及增强现实技术领域，尤其涉及一种物品的展示方法、移动终端及存储介质。

背景技术：

增强现实技术(ar)是一种将真实世界信息和虚拟世界信息“无缝”集成的技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间。

目前，增强现实技术的使用方式主要是用ar设备识别物品，在ar设备的应用程序中显示预先设计的虚拟场景，并跟随物体实时移动。目前市场上大多数ar产品主要以书、知识卡片以及文教用品为主，生活化的产品较少。

因此，需要一种物品展示方法，能够在各类产品上展示增强现实效果。

技术实现要素：

为此，本发明提供了一种物品的展示方法、移动终端及存储介质，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种物品的展示方法，适于在移动终端中执行，移动终端包括摄像头，在该方法中，首先，可以利用摄像头扫描与该物品相关联的图形识别码，以便基于图形识别码来获取与该物品相关联的呈现信息，呈现信息至少能够包括识别图案和虚拟元素。该识别图案和虚拟元素是根据产品需求预先设定的。然后，可以利用摄像头拍摄该物品预定位置的图像，在所拍摄的图像中识别出该识别图案。然后，可以使用预定算法计算该识别图案与所拍摄图像的相对位置。最后，基于所计算的相对位置，在所拍摄的图像中叠加显示虚拟元素。

可选地，在上述方法中，响应于摄像头扫描图形识别码，可以向服务器发送http请求，从服务器中下载与物品相关联的呈现信息。

可选地，在上述方法中，可以将所拍摄图像中的预定图案与获取的识别图案进行匹配，以便识别出识别图案。

可选地，在上述方法中，可以基于所拍摄的图像，获取识别图案的第一坐标信息和所拍摄图像的第二坐标信息，然后，基于第一坐标信息和第二坐标信息，计算识别图案与所拍摄图像的相对位置。

可选地，该方法还可以包括：当摄像头移动时，计算识别图案与所拍摄图像的相对位置，以便获取识别图案相对于所拍摄图像的位置和旋转角度。

可选地，在上述方法中，可以基于识别图案相对于所拍摄图像的位置和旋转角度，在识别图案的位置渲染虚拟元素。

可选地，在上述方法中，虚拟元素包括虚拟物品、虚拟场景、游戏、物品的相关信息中任意一种。

根据本发明另一个方面，提供一种移动终端，包括摄像头，存储器，一个一个或多个处理器，一个或多个程序。其中，一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行物品的展示方法的指令。

可选地，在上述移动终端中，摄像头可以拍摄物品预定位置处的图像和/或扫描与该物品相关联的图形识别码。

根据本发明另一个方面，提供一种存储一个或多个程序的计算机可读存储介质。这里的一个或多个程序包括指令，当这些指令由计算设备执行时，使得该计算设备执行上述物品的展示方法。

该方案一方面通过增强现实技术可以赋予产品更多的使用乐趣，使产品承载更多的信息，增强用户体验；一方面可以促进产品的销售和推广。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明的一个实施例的移动终端100的构造示意图；

图2示出了根据本发明的一个实施例的物品的展示方法200的示意性流程图；

图3示出了根据本发明的一个实施例的识别图案的示意图；

图4示出了根据本发明的一个实施例的移动终端和物品的示意图；

图5示出了根据本发明的一个实施例的物品展示结果的示意图；

图6示出了根据本发明的一个实施例的物品展示结果的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

ar增强现实技术就是在相机捕捉到的现实世界的图像中显示虚拟世界的元素。一个简单的ar场景实现步骤包括：摄像头捕捉现实世界图像；场景解析，传感器追踪现实世界物体的六轴变化，这六轴分别是x、y、z轴位移及旋转，其中位移三轴决定物体的方位和大小，旋转三轴决定物体显示的区域；将虚拟世界渲染到捕捉到的真实世界中，还可以与虚拟世界进行一些交互。目前增强现实技术与生活用品的结合不是很广泛，本方案提供一种物品的展示方法，能够将增强现实技术与产品本身相结合，使产品承载更多的信息。

图1示出了根据本发明的一个实施例的移动终端100的构造示意图。移动终端100可以包括存储器接口102、一个或多个数据处理器、图像处理器和/或中央处理单元104、显示屏幕(图1中未示出)，以及外围接口106。

存储器接口102、一个或多个处理器104和/或外围接口106既可以是分立元件，也可以集成在一个或多个集成电路中。在移动终端100中，各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子系统可以耦合到外围接口106，以便帮助实现多种功能。

例如，运动传感器110、光线传感器112和距离传感器114可以耦合到外围接口106，以方便定向、照明和测距等功能。其他传感器116同样可以与外围接口106相连，例如定位系统(例如gps接收机)、温度传感器、生物测定传感器或其他感测设备，由此可以帮助实施相关的功能。

相机子系统120和光学传感器122可以用于方便诸如记录照片和视频剪辑的相机功能的实现，其中所述相机子系统和光学传感器例如可以是电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)光学传感器。相机子系统120和光学传感器122可以构成一个摄像头，摄像头可以拍摄图像或视频，或进行信息扫描等。可以通过一个或多个无线通信子系统124来帮助实现通信功能，其中无线通信子系统可以包括射频接收机和发射机和/或光(例如红外)接收机和发射机。无线通信子系统124的特定设计和实施方式可以取决于移动终端100所支持的一个或多个通信网络。例如，移动终端100可以包括被设计成支持lte、3g、gsm网络、gprs网络、edge网络、wi-fi或wimax网络以及bluetooth^tm网络的通信子系统124。

音频子系统126可以与扬声器128以及麦克风130相耦合，以便帮助实施启用语音的功能，例如语音识别、语音复制、数字记录和电话功能。i/o子系统140可以包括触摸屏控制器142和/或一个或多个其他输入控制器144。触摸屏控制器142可以耦合到触摸屏146。举例来说，该触摸屏146和触摸屏控制器142可以使用多种触摸感测技术中的任何一种来检测与之进行的接触和移动或是暂停，其中感测技术包括但不局限于电容性、电阻性、红外和表面声波技术。一个或多个其他输入控制器144可以耦合到其他输入/控制设备148，例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、usb端口、和/或指示笔之类的指点设备。所述一个或多个按钮(未显示)可以包括用于控制扬声器128和/或麦克风130音量的向上/向下按钮。

存储器接口102可以与存储器150相耦合。该存储器150可以包括高速随机存取存储器和/或非易失性存储器，例如一个或多个磁盘存储设备，一个或多个光学存储设备，和/或闪存存储器(例如nand，nor)。存储器150可以存储操作系统172，例如android、ios或是windowsphone之类的操作系统。该操作系统172可以包括用于处理基本系统服务以及执行依赖于硬件的任务的指令。存储器150还可以存储一个或多个程序174。在移动设备运行时，会从存储器150中加载操作系统172，并且由处理器104执行。程序174在运行时，也会从存储器150中加载，并由处理器104执行。程序174运行在操作系统之上，利用操作系统以及底层硬件提供的接口实现各种用户期望的功能，如即时通信、网页浏览、图片管理等。程序174可以是独立于操作系统提供的，也可以是操作系统自带的。另外，程序174被安装到移动终端100中时，也可以向操作系统添加驱动模块。程序174可以布置为在操作系统上由一个或多个处理器104执行相关的指令。在一些实施例中，移动终端100被配置为执行根据本发明的物品展示方法。其中，移动终端100的一个或多个程序174包括用于执行根据本发明的物品展示方法的指令。

根据本发明的一个实施例，移动终端100可以包括惯性传感器，惯性传感器一般包括陀螺仪和加速度计等。陀螺仪可以用来测量物体的运动方向，加速度计可以用来测量物体的加速度，两者相结合就可以获得物体的位置和方向。还可以将基于视觉的图像处理技术与陀螺仪和加速度计信息深度融合，更好地跟踪现实世界。

图2示出了根据本发明的一个实施例的物品的展示方法200的示意性流程图。该物品展示方法适于在移动终端100中执行，移动终端100可以包括摄像头，如图2所示，在步骤s210中，可以利用摄像头扫描与该物品相关联的图形识别码，以便基于图形识别码来获取与该物品相关联的呈现信息，呈现信息至少能够包括识别图案和虚拟元素。

物品相关联的图形识别码可以是条形码、二维码等任一种编码符号。图像识别码能够携带特定的数据信息。通过摄像头等光学设备扫描该图形识别码可以获取其携带的数据信息。一般地，一个图形识别码关联一个物品。该图形识别码可以印在物品上或物品附带的说明书上，以便能够通过扫描该图形识别码获得该物品的相关信息，从而能够激活增强现实功能。例如，该物品可以是杯子，而图形识别码可以是二维码。在这种情况下，可以将二维码印在杯子底部、说明书上或售后卡片上。每个杯子具有专门的二维码。与每个二维码相关联的数据信息可以包括杯子的型号和生产信息、增强现实应用程序下载链接和杯子的购买链接等。用户可以在移动应用商店中下载增强现实应用程序，也可以通过扫描二维码来下载该增强现实应用程序。该增强现实应用程序是可以多个产品共用的，用户可以在移动终端上打开该应用程序，并利用该应用程序控制移动终端的摄像头等方式来扫描任意一款杯子对应的二维码，就可以展示与该杯子相关的信息，实现增强现实效果。

根据本发明的一个实施例，与物品相关联的呈现信息可以预先存储在服务器中。移动终端100可以响应于摄像头扫描图形识别码，向服务器发送http请求，从服务器中下载与物品相关联的呈现信息。此时图形识别码可以提供获取该呈现信息的网络链接，当摄像头扫描该图形识别码就可以通过链接跳转到相应的服链接地址，然后从服务器中将与物品相关联的呈现信息下载到本地存储。呈现信息可以包括物品的识别图案、虚拟元素、物品相关信息等，其中物品的识别图案一般具有区别性的明显的特征，图3示出了根据本发明的一个实施例的识别图案的示意图。如图3所示，识别图案可以是一些特殊的对比度较强较复杂的图案或文字，例如黑底白字或白纸黑字，这样可以减小光照对识别效果的影响。

随后在步骤s220中，可以利用摄像头拍摄该物品预定位置的图像，在所拍摄的图像中识别出步骤s210中获取的识别图案。

例如，当识别图案印刷在杯子底部，则拍摄杯子底部的图像，如果识别图案在杯子的外侧，则拍摄杯子的外表面，这样可以保证摄像头获取的图像中包含该识别图案。可以使用灰度匹配、特征匹配等任意一种图像识别算法对所拍摄图像中的识别图案与从服务器中获取的识别图案进行匹配计算，匹配成功则进行增强现实效果展示。如果匹配未成功，可以等待一定的时长，提示用户是否距离太远或光线太暗，以帮助用户完成识别图案的匹配。

随后在步骤s230中，可以使用预定算法计算在步骤s220中识别出的识别图案与所拍摄图像的相对位置。

例如，可以利用增强现实技术架构arkit的应用程序开发包arsdk进行现实世界的捕捉，从而确定识别图案与所拍摄图像的相对位置。例如，获取摄像机拍摄的视频(一帧一帧的图像序列)。然后，将获取的图像序列进行处理，最后输出包含有现实世界场景的位置信息。

根据本发明的一个实施例，可以基于所拍摄的图像，获取识别图案的第一坐标信息和所拍摄图像的第二坐标信息，然后，基于第一坐标信息和第二坐标信息，计算识别图案与所拍摄图像的相对位置。

可以认为摄像头拍摄的图像和所拍摄的物品处于不同的坐标系中。图像坐标系是二维坐标系，可以用(x，y)表示图像中的一个点，但是所拍摄的物品处于世界坐标系即三维坐标系，需要一个z参数来描述物品在空间中的深度。可以将一个个二维的节点映射到场景中，将二维的图像坐标系映射为三维坐标系，坐标变换后再计算所拍摄图像和识别图案的相对位置。

根据本发明的一个实施例，当摄像头移动时，计算识别图案与所拍摄图像的相对位置，以便获取识别图案相对于所拍摄图像的位置和旋转角度。

例如在拍摄物品时，摄像头的拍摄角度和与物品的距离会发生变化，这时就需要进行世界追踪。可以通过获取摄像头的运动信息(相对于起始位置的位移、旋转角度等)、希望捕捉的点(如识别图案)等来进行追踪。例如通过移动终端100的运动传感器或惯性传感器获得摄像头的运动信息。

最后在步骤s340中，可以基于所计算的相对位置，在所拍摄的图像中叠加显示所述虚拟元素。

根据本发明的一个实施例，可以基于识别图案相对于所拍摄图像的位置和旋转角度，在识别图案的位置渲染虚拟元素。

可以根据获取的图像序列以及摄像头的运动信息进行分析，最后输出真实世界场景的坐标信息，以便实时渲染。这样渲染的虚拟元素就可以随着物品的移动而相应的移动，从而使用户能够看到一个更加具有真实感的虚拟世界。渲染的虚拟元素可以是虚拟物品、物品的相关信息、与识别图像相关的虚拟场景、互动性游戏等任意一种或多种。例如，如果识别图案在物品的外表面，虚拟元素可以之间渲染在物品的外表面。如果识别图案不是位于物品的外表面，比如物品是杯子，识别图案位于杯子的内侧。可以在物品的位置渲染出一个虚拟的杯子，使杯子的表面半透明，将虚拟元素渲染在虚拟的杯子上。可以在物品的周围空间渲染出一个与识别图案相关的虚拟场景，是识别图案能够结合虚拟场景展示更多的信息。还可以在所拍摄的图像中渲染一个互动性的游戏，通过在游戏中添加虚拟物品、虚拟场景等营造一个虚拟世界，用户可以在摄像头所拍摄的图像中移动虚拟物品使其移动。

下面以杯子为例，对上述物品展示方法进一步的解释说明。图4示出了根据本发明的一个实施例的移动终端和物品的示意图。

如图4所示，可以使用手机、平板电脑等任意一种手持式移动终端拍摄预定位置处的杯子。杯子在出厂前将预先设计的识别图案印刷在杯子的预定位置。如果识别图案印在杯子的内底部，则将移动终端摄像头对准杯子的内底部进行拍摄。如果识别图案印在杯子的外表面，则将摄像头拍摄杯子的外表面，从而保证摄像头拍摄到的画面中包含该识别图案。在杯子出厂时可以将与杯子相关联的二维码贴在杯子上或杯子的说明书上，打包出售。在产品说明书中可以提示用户下载对应的应用程序，激活产品的增强现实展示功能。用户购买了杯子后，可以参考说明书下载一个增强现实应用程序。这个应用程序可以采用第三方公司提供的技术，比如苹果公司的arkit。在应用程序中扫描杯子上或杯子说明书上的二维码激活杯子的增强现实功能。在用户扫描二维码时，客户端会从服务器中下载与杯子相关联的呈现信息，例如杯子上印刷的识别图案的图像、预先设计的虚拟元素等。然后用户就可以在应用程序中打开摄像头，将手机摄像头对准杯子上印刷识别图案的位置，当识别成功就可以进行增强现实效果的展示。

图5示出了根据本发明的一个实施例的物品展示结果的示意图。如图5所示，在杯子的内表面的空间站观察窗口的图案(六个梯形窗口和一个圆形窗口)中渲染了宇航员、空间站内部结构、远处的地球表面等虚拟元素。国际空间站观察窗口(六个梯形窗口和一个圆形窗口)的图案预先印刷在杯子的内表面。当在所拍摄的图像中识别出该图案，就可以将宇航员、空间站内部结构、远处的地球表面等虚拟元素实时渲染在观察窗口上。

为了给用户一种更加真实的感觉，可以将杯子周围全部渲染成黑色，让杯子看起来像是一个洞。图6示出了根据本发明的一个实施例的物品展示结果的示意图。如图6所示，将观察窗的周围渲染成黑色，像一个密闭空间以达到在太空中的效果。该物品展示方法使普通的杯子可以承载更多的信息，能够增加用户的使用乐趣，促进杯子的销售或杯子上承载信息的推广。对于艺术类的杯子，可以通过增强现实技术展示在实体杯子是很难表现的动态元素。

本方案可以运用在任何一种物品上，能够让普通的物品承载更多的信息，一方面可以赋予产品更多的使用乐趣，使产品承载更多的信息，增强用户体验；一方面可以促进产品的销售和推广。

应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、cd-rom、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明所述的方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。