基于增强现实的虚拟物体的放置方法及装置与流程

本公开涉及增强现实技术领域，尤其涉及基于增强现实的虚拟物体的放置方法及装置。

背景技术：

增强现实(augmentedreality，简称ar)技术是对现实的增强，是虚拟影像和现实影像的融合。相关技术中，放置在现实场景中的虚拟物体跟随用户的视野移动。即，用户的视野从现实场景1移动至现实场景2，虚拟物体也从现实场景1移动至现实场景2。这种虚拟物体的放置方法给人以较不真实的感觉。

技术实现要素：

为克服相关技术中存在的问题，本公开提供一种基于增强现实的虚拟物体的放置方法及装置。

根据本公开实施例的第一方面，提供一种基于增强现实的虚拟物体的放置方法，包括：

确定目标区域，其中，所述目标区域表示目标虚拟物体在参考帧中所处的区域；

根据所述目标区域，获取所述目标虚拟物体在所述参考帧中的深度信息；

提取所述参考帧中的sift特征点；

在当前帧中跟踪所述目标区域；

在所述当前帧中跟踪到所述目标区域，且所述当前帧与所述参考帧的sift特征点相匹配的情况下，根据所述深度信息，在所述目标区域放置所述目标虚拟物体。

在一种可能的实现方式中，根据所述目标区域，获取所述目标虚拟物体在所述参考帧中的深度信息，包括：

获取所述参考帧对应的第一图像和第二图像；

分别提取所述第一图像对应的第一特征图和所述第二图像对应的第二特征图；

根据所述第一特征图与所述第二特征图，得到所述参考帧对应的深度图像；

根据所述目标区域，从所述深度图像中获取所述目标虚拟物体在所述参考帧中的深度信息。

在一种可能的实现方式中，获取所述参考帧对应的第一图像和第二图像，包括以下任意一项：

通过双摄像头获取所述参考帧在同一时刻对应的第一图像和第二图像；

获取所述参考帧在不同时刻对应的第一图像和第二图像。

在一种可能的实现方式中，在当前帧中跟踪所述目标区域，包括：

采用光流跟踪法在所述当前帧中跟踪所述目标区域。

在一种可能的实现方式中，在当前帧中跟踪所述目标区域，包括：

通过卷积神经网络提取所述目标区域的特征；

采用滑动窗口，通过所述卷积神经网络提取当前帧中各个区域的特征；

在所述当前帧中第一区域的特征与所述目标区域的特征的相似度大于第一阈值，且所述第一区域的特征与所述目标区域的特征的相似度大于所述当前帧中其他区域的特征与所述目标区域的特征的相似度的情况下，确定在所述当前帧中跟踪到所述目标区域，并将所述第一区域确定为所述目标区域。

根据本公开实施例的第二方面，提供一种基于增强现实的虚拟物体的放置装置，包括：

确定模块，用于确定目标区域，其中，所述目标区域表示目标虚拟物体在参考帧中所处的区域；

获取模块，用于根据所述目标区域，获取所述目标虚拟物体在所述参考帧中的深度信息；

提取模块，用于提取所述参考帧中的sift特征点；

跟踪模块，用于在当前帧中跟踪所述目标区域；

放置模块，用于在所述当前帧中跟踪到所述目标区域，且所述当前帧与所述参考帧的sift特征点相匹配的情况下，根据所述深度信息，在所述目标区域放置所述目标虚拟物体。

在一种可能的实现方式中，所述获取模块包括：

第一获取子模块，用于获取所述参考帧对应的第一图像和第二图像；

第一提取子模块，用于分别提取所述第一图像对应的第一特征图和所述第二图像对应的第二特征图；

第一确定子模块，用于根据所述第一特征图与所述第二特征图，得到所述参考帧对应的深度图像；

第二获取子模块，用于根据所述目标区域，从所述深度图像中获取所述目标虚拟物体在所述参考帧中的深度信息。

在一种可能的实现方式中，所述第一获取子模块用于以下任意一项：

通过双摄像头获取所述参考帧在同一时刻对应的第一图像和第二图像；

获取所述参考帧在不同时刻对应的第一图像和第二图像。

在一种可能的实现方式中，所述跟踪模块用于：

采用光流跟踪法在所述当前帧中跟踪所述目标区域。

在一种可能的实现方式中，所述跟踪模块包括：

第二提取子模块，用于通过卷积神经网络提取所述目标区域的特征；

第三提取子模块，用于采用滑动窗口，通过所述卷积神经网络提取当前帧中各个区域的特征；

第二确定子模块，用于在所述当前帧中第一区域的特征与所述目标区域的特征的相似度大于第一阈值，且所述第一区域的特征与所述目标区域的特征的相似度大于所述当前帧中其他区域的特征与所述目标区域的特征的相似度的情况下，确定在所述当前帧中跟踪到所述目标区域，并将所述第一区域确定为所述目标区域。

根据本公开实施例的第三方面，提供一种基于增强现实的虚拟物体的放置装置，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得处理器能够执行上述方法。

本公开的实施例提供的技术方案可以包括以下有益效果：通过确定目标区域，根据目标区域获取目标虚拟物体在参考帧中的深度信息，提取参考帧中的sift特征点，在当前帧中跟踪目标区域，并在当前帧中跟踪到目标区域，且当前帧与参考帧的sift特征点相匹配的情况下，根据该深度信息在目标区域放置目标虚拟物体，由此能够产生目标虚拟物体始终放置在目标区域的视觉效果，提高增强现实场景的真实感。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置方法的流程图。

图2a是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置方法中参考帧中的增强现实场景的示意图。

图2b是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置方法中参考帧中的增强现实场景和增强现实场景中的目标虚体物体的示意图。

图2c是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置方法中参考帧中的sift特征点的示意图。

图3是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置方法步骤s12的一示例性的流程图。

图4是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置方法步骤s14的一示例性的流程图。

图5是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置装置的框图。

图6是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置装置的一示例性的框图。

图7是根据一示例性实施例示出的一种用于增强现实的虚拟物体的放置的装置800的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置方法的流程图。该方法可以应用于增强现实设备中。如图1所示，该方法包括步骤s11至步骤s15。

在步骤s11中，确定目标区域，其中，目标区域表示目标虚拟物体在参考帧中所处的区域。

在本实施例中，参考帧可以指用于确定目标虚拟物体在增强现实场景中所处区域的帧。即，在本实施例中，可以根据目标虚拟物体在参考帧中所处的区域，确定目标虚拟物体在增强现实场景中所处的区域。

在一种可能的实现方式中，目标区域的信息可以包括目标虚拟物体在参考帧中的坐标信息。例如，目标区域的信息可以包括目标虚拟物体的各个角点在参考帧中的坐标信息。

在步骤s12中，根据目标区域，获取目标虚拟物体在参考帧中的深度信息。

在本实施例中，目标虚拟物体在参考帧中的深度信息可以包括目标虚拟物体在参考帧中的各个像素对应的深度信息。其中，目标虚拟物体在参考帧中的各个像素对应的深度信息可以指目标虚拟物体的各个像素与摄像头的距离。

在步骤s13中，提取参考帧中的sift(scaleinvariantfeaturetransform，尺度不变特征变换)特征点。

图2a是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置方法中参考帧中的增强现实场景的示意图。图2b是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置方法中参考帧中的增强现实场景和增强现实场景中的目标虚体物体的示意图。在图2b中，在增强现实场景中放置目标虚拟物体21。图2c是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置方法中参考帧中的sift特征点的示意图。

在步骤s14中，在当前帧中跟踪目标区域。

在一种可能的实现方式中，在当前帧中跟踪目标区域，可以包括：采用光流跟踪法在当前帧中跟踪目标区域。在该实现方式中，可以采用光流跟踪法，在摄像头移动导致增强现实场景移动时，实时跟踪目标区域。其中，光流跟踪法可以根据目标区域的角点和边缘点中的至少一项，在当前帧中跟踪目标区域。

该实现方式中的光流跟踪法可以为基于梯度的光流跟踪法、基于匹配的光流跟踪法、基于能量的光流跟踪法或者基于相位的光流跟踪法等，在此不作限定。

需要说明的是，尽管以光流跟踪法介绍了在当前帧中跟踪目标区域的方式，但本领域技术人员能够理解，本公开应不限于此。本领域技术人员可以根据实际应用场景需求和/或个人喜好选择在当前帧中跟踪目标区域的方式。

在步骤s15中，在当前帧中跟踪到目标区域，且当前帧与参考帧的sift特征点相匹配的情况下，根据该深度信息，在目标区域放置目标虚拟物体。

在一种可能的实现方式中，可以基于slam(simultaneouslocalizationandmapping，即时定位与地图重建)原理，根据目标虚拟物体在参考帧中的深度信息，在目标区域放置目标虚拟物体。即，在显示当前帧时，在当前帧的目标区域中渲染出目标虚拟物体。

本实施例考虑到在某一帧的场景较简单时，sift特征点的数量较小，难以进行sift特征点的匹配，因此将sift特征点匹配的方法结合目标区域的跟踪方法进行目标虚拟物体的放置。即，本实施例在同时满足在当前帧中跟踪到目标区域，且当前帧与参考帧的sift特征点相匹配时，才在目标区域放置目标虚拟物体，由此能够提高在增强现实场景中放置目标虚拟物体的准确性。

本实施例通过确定目标区域，根据目标区域获取目标虚拟物体在参考帧中的深度信息，提取参考帧中的sift特征点，在当前帧中跟踪目标区域，并在当前帧中跟踪到目标区域，且当前帧与参考帧的sift特征点相匹配的情况下，根据该深度信息在目标区域放置目标虚拟物体，由此能够产生目标虚拟物体始终放置在目标区域的视觉效果，提高增强现实场景的真实感。

图3是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置方法步骤s12的一示例性的流程图。如图3所示，步骤s12可以包括步骤s121至步骤s124。

在步骤s121中，获取参考帧对应的第一图像和第二图像。

在本实施例中，第一图像与第二图像存在区别。

在一种可能的实现方式中，获取参考帧对应的第一图像和第二图像，可以包括：通过双摄像头获取参考帧在同一时刻对应的第一图像和第二图像。在该实现方式中，增强现实设备可以通过双摄像头从不同的角度获取同一增强现实场景在同一时刻的不同图像。

在另一种可能的实现方式中，获取参考帧对应的第一图像和第二图像，可以包括：获取参考帧在不同时刻对应的第一图像和第二图像。

作为该实现方式的一个示例，可以将参考帧作为第一图像，并可以将与参考帧存在区别的帧中与参考帧最近的帧作为第二图像。例如，若参考帧的下一帧与参考帧存在区别，则可以将参考帧的下一帧作为第二图像。

作为该实现方式的另一个示例，可以将参考帧作为第二图像，并可以将与参考帧存在区别的帧中与参考帧最近的帧作为第一图像。例如，若参考帧的上一帧与参考帧存在区别，则可以将参考帧的上一帧作为第一图像。

在步骤s122中，分别提取第一图像对应的第一特征图和第二图像对应的第二特征图。

在本实施例中，可以通过卷积神经网络分别提取第一图像对应的第一特征图和第二图像对应的第二特征图。

在步骤s123中，根据第一特征图与第二特征图，得到参考帧对应的深度图像。

在一种可能的实现方式中，可以计算第一特征图与第二特征图的各个块之间的相关性，从而确定第一特征图与第二特征图之间的相关性。根据第一特征图与第二特征图之间的相关性，可以得到参考帧对应的深度图像。

在步骤s124中，根据目标区域，从该深度图像中获取目标虚拟物体在参考帧中的深度信息。

其中，根据该深度图像可以确定参考帧中各个像素的深度信息。

图4是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置方法步骤s14的一示例性的流程图。如图4所示，步骤s14可以包括步骤s141至步骤s143。

在步骤s141中，通过卷积神经网络提取目标区域的特征。

作为本实施例的一个示例，可以将目标区域缩放至指定尺寸后，输入卷积神经网络，得到目标区域的特征。

在步骤s142中，采用滑动窗口，通过卷积神经网络提取当前帧中各个区域的特征。

作为本实施例的一个示例，滑动窗口的尺寸可以等于目标区域的尺寸。

作为本实施例的一个示例，可以采用滑动窗口在当前帧中滑动，以通过卷积神经网络提取当前帧中各个区域的特征。例如，当滑动窗口滑动至当前帧中的区域d时，可以将区域d缩放至指定尺寸后，输入卷积神经网络，得到区域d的特征。

作为该实现方式的另一个示例，在当前帧中寻找目标区域时，可以控制滑动窗口在上一帧中目标区域的周围滑动，以通过卷积神经网络提取上一帧中目标区域的周围的各个区域的特征。

在步骤s143中，在当前帧中第一区域的特征与目标区域的特征的相似度大于第一阈值，且第一区域的特征与目标区域的特征的相似度大于当前帧中其他区域的特征与目标区域的特征的相似度的情况下，确定在当前帧中跟踪到目标区域，并将第一区域确定为目标区域。

其中，当前帧中其他区域可以指当前帧中除第一区域以外的其他区域。

本实施例能够提高在增强现实场景中放置目标虚拟物体的准确性，并能够产生目标虚拟物体始终放置在目标区域的视觉效果，提高增强现实场景的真实感。

图5是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置装置的框图。参照图5，该装置包括确定模块51、获取模块52、提取模块53、跟踪模块54和放置模块55。

该确定模块51被配置为确定目标区域，其中，目标区域表示目标虚拟物体在参考帧中所处的区域。

该获取模块52被配置为根据目标区域，获取目标虚拟物体在参考帧中的深度信息。

该提取模块53被配置为提取参考帧中的sift特征点。

该跟踪模块54被配置为在当前帧中跟踪目标区域。

该放置模块55被配置为在当前帧中跟踪到目标区域，且当前帧与参考帧的sift特征点相匹配的情况下，根据该深度信息，在目标区域放置目标虚拟物体。

图6是根据一示例性实施例示出的一种基于增强现实的虚拟物体的放置装置的一示例性的框图。如图6所示：

在一种可能的实现方式中，获取模块52包括第一获取子模块521、第一提取子模块522、第一确定子模块523和第二获取子模块524。

该第一获取子模块521被配置为获取参考帧对应的第一图像和第二图像。

该第一提取子模块522被配置为分别提取第一图像对应的第一特征图和第二图像对应的第二特征图。

该第一确定子模块523被配置为根据第一特征图与第二特征图，得到参考帧对应的深度图像。

该第二获取子模块524被配置为根据目标区域，从该深度图像中获取目标虚拟物体在参考帧中的深度信息。

在一种可能的实现方式中，第一获取子模块521被配置为以下任意一项：通过双摄像头获取参考帧在同一时刻对应的第一图像和第二图像。获取参考帧在不同时刻对应的第一图像和第二图像。

在一种可能的实现方式中，跟踪模块54被配置为采用光流跟踪法在当前帧中跟踪目标区域。

在一种可能的实现方式中，跟踪模块54包括第二提取子模块541、第三提取子模块542和第二确定子模块543。

该第二提取子模块541被配置为通过卷积神经网络提取目标区域的特征。

该第三提取子模块542被配置为采用滑动窗口，通过卷积神经网络提取当前帧中各个区域的特征。

该第二确定子模块543被配置为在当前帧中第一区域的特征与目标区域的特征的相似度大于第一阈值，且第一区域的特征与目标区域的特征的相似度大于当前帧中其他区域的特征与目标区域的特征的相似度的情况下，确定在当前帧中跟踪到目标区域，并将第一区域确定为目标区域。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本实施例通过确定目标区域，根据目标区域获取目标虚拟物体在参考帧中的深度信息，提取参考帧中的sift特征点，在当前帧中跟踪目标区域，并在当前帧中跟踪到目标区域，且当前帧与参考帧的sift特征点相匹配的情况下，根据该深度信息在目标区域放置目标虚拟物体，由此能够产生目标虚拟物体始终放置在目标区域的视觉效果，提高增强现实场景的真实感。

图7是根据一示例性实施例示出的一种用于增强现实的虚拟物体的放置的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图7，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。