一种增强现实显示方法和装置与流程

本发明的实施方式涉及增强现实技术领域，更具体地，本发明的实施方式涉及一种增强现实显示方法和装置。

背景技术：

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

物理设备的内部结构有助于用户了解物理设备的结构组成和物理设备的工作原理。例如，展示抽油烟机的内部离心式风机或者展示灶台的燃气进入进气管并被脉冲点火器点燃的过程等等。但是，实际应用中，这样的展示往往由于实际展示环境的限制(例如，家电卖场不方便拆卸油烟机以向顾客展示风机)，或难以可视(例如灶台的燃气不可见)或规则限制(如家电卖场不允许出现明火，所以无法展示燃气灶的火焰)而采用多媒体的方式或者道具辅助的方式进行展示。

常见的多媒体方式为透视图、视频动画、根据物理设备的结构设计制作展示视频或抽象技术的过程原理、利用叠加仪投射静态图像或动画到物体表面(如图1所示)、三维可交互动画等。常见的道具辅助展示方式包括LED灯箱(如图2所示)，可见消耗物(例如气体)的辅助产生工具(如图3所示)。

技术实现要素：

上述的各种展示方式中，透视图为单一角度展示，用户无法看到设备内部结构的全貌，而视频动画为线型故事描述结构，用户只能被动观看到视频动画中显示的内容，而不能按照自己意愿选择观看，叠加仪投射静态图像或动画到物体表面同样为单一角度，无法看到全貌，三维交互动画可以在图像显示器上通过输入设备进行交互，但是此三维动画脱离了真实环境，影响了用户体验；而道具辅助展示方式一方面需要辅助的道具，另一方面部分道具辅助展示方式也无法展示全部的角度。

为此，非常需要一种改进的设备内部结构显示方法，以在真实环境中从不同角度全方位展示设备内部结构或者设备的工作原理。

在本上下文中，本发明的实施方式期望提供一种增强现实显示方法和装置。

在本发明实施方式的第一方面中，提供了一种增强现实AR显示方法，包括：

通过图像采集单元对当前场景中的物理设备进行图像采集，并且在相应于所述图像采集单元的显示屏上呈现采集到的实时图像；

将对应于所述物理设备的三维显示信息叠加在所述实时图像的相应位置处进行显示，所述三维显示信息包括对应于所述物理设备内部结构的三维显示信息和/或用于模拟所述物理设备工作过程的三维显示信息。

在本发明实施方式的第二方面中，提供了一种增强现实AR显示装置，包括：

图像采集单元，用于通过图像采集单元对当前场景中的物理设备进行图像采集，并且在相应于所述图像采集单元的显示屏上呈现采集到的实时图像；

显示单元，用于将对应于所述物理设备的三维显示信息叠加在所述实时图像的相应位置处进行显示，所述三维显示信息包括对应于所述物理设备内部结构的三维显示信息和/或用于模拟所述物理设备工作过程的三维显示信息。

在本发明实施方式的第三方面中，提供了一种增强现实AR显示装置，例如，可以包括存储器和处理器，其中，处理器可以用于读取存储器中的程序，执行下列过程：通过图像采集单元对当前场景中的物理设备进行图像采集，并且在相应于所述图像采集单元的显示屏上呈现采集到的实时图像；将对应于所述物理设备的三维显示信息叠加在所述实时图像的相应位置处进行显示，所述三维显示信息包括对应于所述物理设备内部结构的三维显示信息和/或用于模拟所述物理设备工作过程的三维显示信息。

在本发明实施方式的第四方面中，提供了一种程序产品，其包括程序代码，当所述程序产品运行时，所述程序代码用于执行以下过程：通过图像采集单元对当前场景中的物理设备进行图像采集，并且在相应于所述图像采集单元的显示屏上呈现采集到的实时图像；将对应于所述物理设备的三维显示信息叠加在所述实时图像的相应位置处进行显示，所述三维显示信息包括对应于所述物理设备内部结构的三维显示信息和/或用于模拟所述物理设备工作过程的三维显示信息。

根据本发明实施方式的增强现实AR显示方法和装置，通过在实时采集的物理设备图像上叠加用于展示该物理设备的内部结构和/或模拟所述物理设备工作过程的三维显示信息，由于保留用户实际所处的环境作为用户的主要感知和交互环境，增加了展示的真实感，而且由于用户可以根据实际需要从任意角度对物理设备进行图像采集，因此，可以全方位的看到物理设备的内部结构和/或工作过程，另外，本发明提供的物理设备内部结构和/或工作过程显示方法无需任何道具辅助，且不受环境限制，从而为用户带来了更好的体验。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1为现有技术中，利用叠加仪投射静态图像或动画到物体表面的示意图；

图2为现有技术中，LED灯箱进行辅助展示示意图；

图3为现有技术中，可见消耗物(例如气体)的辅助产生工具示意图；

图4示意性地示出了根据本发明实施方式的应用场景示意图；

图5示意性地示出了根据本发明实施方式的增强现实显示方法实施流程示意图；

图6a示意性地示出了根据本发明实施方式的对物理设备对应的三维显示信息进行显示的实施流程示意图；

图6b示意性地示出了根据本发明实施方式的在真实的燃气灶上显示火焰的效果示意图；

图7示意性地示出了根据本发明另一实施例的增强现实显示装置的结构示意图；

图8示意性地示出了根据本发明又一实施例的增强现实显示装置的结构示意图；

图9示意性地示出了根据本发明再一实施例的增强现实显示装置的程序产品示意图；

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种增强现实AR显示方法和装置。

在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，现有的对于物理设备内部结构和/或工作过程等展示方法中，要么只能从单一角度进行展示，无法满足用户需求，要么需要道具辅助，增加了展示难度，影响了用户体验。

有鉴于此，本发明提供了一种基于增强现实(AR，Augmented Reality)的显示方法，通过对真实环境中的物理设备进行采集得到包含该物理设备的图像，并在该图像的相应位置上叠加用于模拟该物理设备工作过程或者用于展示该物理设备内部结构的三维显示信息，保留用户所处真实环境作为实际展示环境，增加了展示的真实感，而且用户可以选择任意角度获取物理设备图像，从而可以全方位的对物理设备及其内部结构和/或工作过程进行展示，提高了用户体验。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

首先参考图4，其为本发明实施例提供的增强现实(AR)方法的应用场景示意图。用户40通过移动终端41对真实环境中的物理设备进行图像采集，例如，用户40打开移动终端41中安装的AR显示客户端，选择需要显示的物理设备，调用移动终端41的摄像头对真实环境中的物理设备进行图像采集，在移动终端41的显示屏幕上实时显示采集得到的实时图像，AR显示客户端实时计算摄像头对物理设备进行图像采集的实时姿态信息，并利用计算得到的实时姿态信息和摄像头的图像采集参数对预先存储的、该物理设备对应的三维素材信息进行成像处理得到对应的三维显示信息，将得到的三维显示信息叠加在屏幕显示的物理设备图像上。

需要说明的是，具体实施时，需要预先采集不同种类以及不同型号的物理设备的三维结构、内部结构以及模拟该物理设备工作过程等相关的三维素材信息预置在AR显示客户端中。

本发明实施例中，可以通过任一方式获得物理设备的三维结构、内部结构以及模拟该物理设备工作过程等相关的三维素材信息，比如：

接收用户或物理设备厂商提供的物理设备及其内部结构的三维信息。

这种实施方式下，通常可以由物理设备生产商直接提供物理设备及其内部结构的三维结构图，根据获得的三维结构图直接获取相应物理设备及其内部结构的三维信息。

而对于用于模拟物理设备工作过程的三维素材信息可以由物理设备生产厂商提供，也可以根据物理设备工作原理进行预先设计得到。

上述获得的三维素材信息可以预置在AR显示客户端中。这样，用户在对真实环境中的物理设备进行图像采集之前，需要选择当前展示的物理设备种类及型号，例如，AR显示客户端可以在一级菜单中显示物理设备种类，在二级菜单种显示物理设备品牌，在三级菜单中显示物理设备的型号等，以便于用户选择。

对于摄像头的实时姿态的确定，例如可以使用基于位置识别的方案，比如SLAM(Simultaneous localization and mapping)算法，通过初始化得到初始相机相对物理设备姿态，并在摄像头移动过程中，进行地图构建，插入新的关键帧与标记特征点，并根据物理设备在地图中的位置进行实时跟踪，从而得到摄像头的实时姿态，这里是SLAM算法是常见的现有技术，不再赘述。

示例性方法

下面结合图4的应用场景，参考图5和图6a、图6b来描述根据本发明示例性实施方式的AR显示方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

如图5所示，其为本发明实施例提供的AR显示方法实施流程示意图，包括以下步骤：

S51、通过图像采集单元对当前场景中的物理设备进行图像采集，并且在相应于图像采集单元的显示屏上呈现采集到的实时图像。

本步骤中，用户需要展示或者观看物理设备内部结构和/或模拟物理设备工作过程时，打开AR显示客户端，确定用户选择了物理设备种类及型号后，AR显示客户端调用移动终端的图像采集单元，例如，该图像采集单元可以为摄像头，对当前场景中的物理设备进行拍摄，并在移动终端的显示屏幕上呈现拍摄得到的物理设备图像。

S52、将对应于所述物理设备的三维显示信息叠加在实时图像的相应位置处进行显示。

其中，所述物理设备的三维显示信息包括对应于所述物理设备内部结构的三维显示信息和/或用于模拟所述物理设备工作过程的三维显示信息。

需要说明的是，本发明实施例中涉及的物理设备内部结构为用户在使用物理设备时对用户不可见的物理设备内部结构，而非柜式物理设备，例如冰箱等的内部存储空间，该存储空间在柜门被打开后对于用户来说是可见的。而本发明实施例涉及的物理设备内部结构可以为设备的结构组成，例如，油烟机内部的风机系统结构、控制系统结构、滤油装置结构等，冰箱的制冷系统结构、控制系统结构等，其中，冰箱的制冷系统可以包括压缩机、冷凝器、蒸发器和毛细管节流器等，根据本发明实施例中展示的物理设备内部结构，可以向用户展示各个器件之间的连接关系。

根据本发明实施例，还可以将用于模拟物理设备的工作过程的三维显示信息叠加在实时采集的物理设备图像上进行显示，以帮助用户了解物理设备的工作过程。其中，物理设备工作过程为物理设备内部结构中的工作过程，在实际应用中对用户来说不可见的，用于模拟物理设备工作过程的三维显示信息包括用于模拟所述物理设备工作过程中的相关固体、气体和/或液体的形态、位置和/或颜色变化的动态显示信息。

上文中用于模拟所述物理设备工作过程中的相关固体、气体和/或液体的形态、位置和/或颜色变化的动态显示信息，例如，在真实的物理燃气灶台上演示燃气通过灶台内部管道导入灶体空气喷射口并被点燃呈现虚拟火焰的过程，或者在真实物理燃气灶台上叠加虚拟煎锅和牛排以展现煎牛排的场景效果；或者在真实的油烟机上演示油烟机清洗的过程等。

具体实施时，步骤S52可以按照图6a所示的流程实施：

S521、根据图像采集单元采集的实时图像确定所述图像采集单元相对所述物理设备的实时姿态信息。

步骤S521中，除了使用上述的SLAM算法确定图像采集单元的实时姿态信息以外，还可以利用其他方式实时确定图像采集单元的实时姿态信息，例如基于2D(二维)匹配的方法和基于3D(三维)匹配的方法，其中，基于2D匹配的方法可以在物理设备上粘贴特定标识(例如家电设备的3C标志或者品牌标识等)，通过该特定标识相对于物理设备的位置、以及图像采集单元相对于特定标识的的位置和朝向，在图像采集单元确定图像采集单元的实时位置和实时朝向。基于3D匹配的方法中，可以通过物理设备的视觉特征点或边缘信息，并基于物理设备的3D信息通过三维识别方法确定图像采集单元的实时位置和实时朝向等。

S522、根据图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述物理设备的三维素材信息，获得对应于所述物理设备和当前的实时姿态的三维显示信息，并将所述三维显示信息叠加在所述实时图像的相应位置处进行显示。

步骤S522中，利用步骤S521中确定出的图像采集单元相对于物理设备的实时姿态信息、预先存储的三维素材信息(包括描述物理设备内部结构的三维素材信息和/或用于模拟物理设备的工作过程的三维素材信息)，获得对应于物理设备和当前的实时姿态的三维显示信息。

其中，根据三维素材信息、图像采集单元的实时姿态以及图像采集单元的图像采集参数，利用透视成像原理(投影方程)可以得到三维素材信息的三维显示信息，具体流程如下：对三维素材信息中的每一个顶点(X,Y,Z)，根据图像采集单元的实时姿态以及图像采集参数得到的投影矩阵P，通过投影方程计算在成像平面上的像素成像位置(x,y)，对该像素绘制该顶点的色彩信息，针对三维素材信息中包含的所有顶点重复均按照上述过程进行处理则可得到该三维素材的三维显示信息，其中，图像采集单元的图像采集参数可以包括图像采集单元的内参矩阵等。根据计算得到的像素成像位置，将三维显示信息叠加到移动终端屏幕显示的物理设备图像上的相应位置处。如图6b所示，其为在真实的燃气灶上显示火焰的效果示意图。

具体实施时，为了增强显示效果，还可以对移动终端显示屏幕所呈现的物理设备的实时图像的外表面进行透明处理。

需要说明的是，本发明实施例中涉及的移动终端可以为常见的手机、平板电脑等，也可以为可穿戴式终端，例如增强现实(AR)眼镜等。

本发明实施例提供的AR显示方法，预先采集物理设备的三维结构、内部结构及模拟其工作过程等三维素材信息并存储，当需要展示物理设备的内部结构或者工作过程中，利用移动终端的摄像头对真实环境中的物理设备进行图像采集，并在移动终端的显示屏上显示采集得到的实时图像，根据采集得到的实时图像确定摄像头的实时姿态，并利用图像采集单元的图像采集参数和得到的实时姿态以及三维素材信息获得对应的三维显示信息，将获得的三维显示信息叠加在显示屏幕实时显示的物理设备图像的相应位置上进行显示。上述显示过程中，保留了用户所在真实环境，增加了显示的真实感，同时，由于用户可以从任意角度针对物理设备进行图像采集，从而从不同角度进行展示，提高了用户体验。

示例性设备

在介绍了本发明示例性实施方式的方法之后，接下来，参考图7对本发明示例性实施方式的增强现实显示装置进行说明。

如图7所示，其为本发明实施例提供的增强现实显示装置的结构示意图，可以包括：

图像采集单元71，用于通过图像采集单元对当前场景中的物理设备进行图像采集，并且在相应于所述图像采集单元的显示屏上呈现采集到的实时图像；

显示单元72，用于将对应于所述物理设备的三维显示信息叠加在所述实时图像的相应位置处进行显示，所述三维显示信息包括对应于所述物理设备内部结构的三维显示信息和/或用于模拟所述物理设备工作过程的三维显示信息。

其中，所述物理设备内部结构为用户在使用所述物理设备时对所述用户不可见的物理设备内部结构。所述物理设备工作过程为所述物理设备内部结构中的工作过程。所述用于模拟所述物理设备工作过程的三维显示信息包括用于模拟所述物理设备工作过程中的相关固体、气体和/或液体的形态、位置和/或颜色变化的动态显示信息。

可选地，本发明实施例提供的增强现实显示装置，还可以包括：

处理单元73，用于对所述显示单元所呈现的所述物理设备的实时图像的外表面进行透明处理。

较佳地，所述显示单元72，包括：

确定子单元721，用于根据所述实时图像确定所述图像采集单元相对所述物理设备的实时姿态信息；

获得子单元722，用于根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述物理设备的三维素材信息，获得对应于所述物理设备和当前的实时姿态的三维显示信息；

显示子单元723，用于将所述三维显示信息叠加在所述实时图像的相应位置处进行显示。

在介绍了本发明提供的增强现实显示方法和装置之后，接下来，介绍根据本发明的另一示例性实施方式的增强现实显示装置。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本发明的增强现实显示装置可以包括至少一个处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的消息提示方法中的各种步骤。例如，所述处理单元可以执行如图5中所示的步骤S51，通过图像采集单元对当前场景中的物理设备进行图像采集，并且在相应于图像采集单元的显示屏上呈现采集到的实时图像，步骤S52，将对应于所述物理设备的三维显示信息叠加在实时图像的相应位置处进行显示。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

下面参照图8来描述根据本发明的这种实施方式的增强现实显示装置80。图8所示的用于增强现实显示装置仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，增强现实显示装置80可以以通用计算设备的形式表现。增强现实显示装置80的组件可以包括但不限于：上述至少一个处理单元81、上述至少一个存储单元82、连接不同系统组件(包括存储单元82和处理单元81)的总线83。

总线83表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储单元82可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)821和/或高速缓存存储器822，还可以进一步包括只读存储器(ROM)823。

存储单元82还可以包括具有一组(至少一个)程序模块824的程序/实用工具825，这样的程序模块824包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

增强现实显示装置80也可以与一个或多个外部设备84(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与增强现实显示装置80交互的设备通信，和/或与使得该增强现实显示装置80能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口85进行。并且，增强现实显示装置80还可以通过网络适配器86与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器86通过总线83与用于增强现实显示装置80的其它模块通信。应当理解，尽管图中未示出，可以结合增强现实显示装置80使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

示例性程序产品

在一些可能的实施方式中，本发明提供的增强现实显示方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的增强现实显示方法中的步骤，例如，所述终端设备可以执行如图5中所示的步骤S51，通过图像采集单元对当前场景中的物理设备进行图像采集，并且在相应于图像采集单元的显示屏上呈现采集到的实时图像，步骤S52，将对应于所述物理设备的三维显示信息叠加在实时图像的相应位置处进行显示。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

如图9所示，描述了根据本发明的实施方式的用于增强现实显示的程序产品90，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。