虚实对象合成方法及装置与流程

本公开涉及图像处理技术领域，尤其涉及一种虚实对象合成方法及装置。

背景技术：

AR(Augmented Reality，增强现实)技术是通过计算机系统提供的信息增加用户对现实世界感知的技术，可以将虚拟的信息应用到真实世界，并将计算机生成的虚拟对象叠加到真实场景中，从而实现对现实的增强。

相关技术中的虚实对象合成方法，虽然可以在某些情况下正确处理虚实对象的遮挡关系，然而存在计算量较大，不适用于手机、平板电脑等终端设备的问题。

技术实现要素：

为克服相关技术中存在的问题，本公开提供一种虚实对象合成方法及装置，能够实时在终端设备捕捉的图像中正确显示虚拟对象。

根据本公开实施例的第一方面，提供一种虚实对象合成方法，该方法应用于终端设备，该方法包括：获取所述终端设备捕捉的图像中的目标对象；在所述深度信息融合模式下，通过所述终端设备的摄像装置获取所述目标对象的深度信息，所述深度信息融合模式用于将计算机建模产生的虚拟对象叠加到所述图像中，所述目标对象的深度信息用于表示目标对象与终端设备之间的距离；获取虚拟对象的深度信息；基于所述目标对象的深度信息和所述虚拟对象的深度信息，将所述虚拟对象叠加到所述图像中。

在一种可能的实现方式中，基于所述目标对象的深度信息和所述虚拟对象的深度信息，将所述虚拟对象叠加到所述图像中，包括：若所述目标对象的深度信息小于所述虚拟对象的深度信息，则在所述图像上叠加所述虚拟对象未被所述目标对象遮挡的部分。

在一种可能的实现方式中，基于所述目标对象的深度信息和所述虚拟对象的深度信息，将所述虚拟对象叠加到所述图像中，包括：若所述目标对象的深度信息大于或等于所述虚拟对象的深度信息，则在所述图像上叠加所述虚拟对象。

在一种可能的实现方式中，所述终端设备的摄像装置包括至少两个摄像头，通过所述终端设备的摄像装置获取所述目标对象的深度信息，包括：根据所述目标对象与所述至少两个摄像头的位置关系，以及所述至少两个摄像头之间的距离确定所述目标对象的深度信息。

在一种可能的实现方式中，获取虚拟对象的深度信息，包括：获取所述虚拟对象的位置的位置信息；根据所述位置信息，确定所述虚拟对象的深度信息。

根据本公开实施例的第二方面，提供一种虚实对象合成装置，该装置应用于终端设备，该装置包括：对象获取模块，用于获取所述终端设备捕捉的图像中的目标对象；第一信息获取模块，用于在所述深度信息融合模式下，通过所述终端设备的摄像装置获取所述目标对象的深度信息，所述深度信息融合模式用于将计算机建模产生的虚拟对象叠加到所述图像中，所述目标对象的深度信息用于表示目标对象与终端设备之间的距离；第二信息获取模块，用于获取虚拟对象的深度信息；叠加模块，用于基于所述目标对象的深度信息和所述虚拟对象的深度信息，将所述虚拟对象叠加到所述图像中。

在一种可能的实现方式中，所述叠加模块包括：第一叠加子模块，用于当所述目标对象的深度信息小于所述虚拟对象的深度信息时，在所述图像上叠加所述虚拟对象未被所述目标对象遮挡的部分。

在一种可能的实现方式中，所述叠加模块还包括：第二叠加子模块，用于当所述目标对象的深度信息大于或等于所述虚拟对象的深度信息时，在所述图像上叠加所述虚拟对象。

在一种可能的实现方式中，述第一获取模块包括：第一确定子模块，用于根据所述目标对象与所述至少两个摄像头的位置关系，以及所述至少两个摄像头之间的距离确定所述目标对象的深度信息。

在一种可能的实现方式中，所述第二获取模块包括：获取子模块，用于获取所述虚拟对象的位置的位置信息；第二确定子模块，用于根据所述位置信息，确定所述虚拟对象的深度信息。

本公开的实施例提供的技术方案可以包括以下有益效果：不同深度信息的对象的遮挡关系不同，本公开实施例中，获取目标对象后，终端设备基于目标对象的深度信息和虚拟对象的深度信息，将虚拟对象叠加到终端设备捕捉的图像中，可以在获取到目标对象时根据深度信息的比较结果确定叠加方式，而非不做比较直接叠加或者比较所有对象的深度信息后叠加，可以减少叠加过程中的计算量，从而可以较好应用于终端设备中的AR应用。并且，本公开实施例利用终端设备的摄像装置获取目标对象的深度信息，有利于实施例在终端设备上的应用。因此，根据本公开各方面的虚实对象合成方法及装置，能够实时在终端设备捕捉的图像中正确显示虚拟对象。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种虚实对象合成方法的流程图。

图2是根据一示例性实施例示出的一种虚实对象合成方法的流程图。

图3是根据一示例性实施例示出的一种虚实对象合成装置的框图。

图4是根据一示例性实施例示出的一种虚实对象合成装置的框图。

图5是根据一示例性实施例示出的一种虚实对象合成装置的框图。

图6是根据一示例性实施例示出的一种虚实对象合成装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种虚实对象合成方法的流程图，如图1所示，该虚实对象合成方法用于终端设备中，例如手机、平板电脑等，该虚实对象合成方法包括以下步骤：

在步骤S11中，获取所述终端设备捕捉的图像中的目标对象。

其中，终端设备捕捉的图像可以为真实场景对应的图像，终端设备可以通过自身的摄像装置捕捉所述图像。在一种可能的实现方式中，终端设备可以实时捕捉所述图像，终端设备还可以连续捕捉多幅图像。可以理解的是，终端设备连续捕捉的多幅实时图像可以组成视频。

目标对象可以为真实场景中的真实对象，例如，可以为真实的人或者物体。目标对象可以是真实场景中的某个特定对象，也可以是真实场景中某类对象。例如，真实场景中存在多个人，目标对象可以为多个人中的某个人，也可以是真实场景中所有的人。在一个示例中，目标对象可以为与虚拟对象具有遮挡关系的对象。本公开对目标对象不做限定。

在一种可能的实现方式中，终端设备可以通过相关技术中的图像识别技术识别并获取所述图像中的目标对象。

在一种可能的实现方式中，目标对象可以在终端设备捕捉的图像中移动，例如，人可以在真实场景中走来走去。在一种可能的实现方式中，目标图像可以进入图像，或者从图像中消失，例如人走入真实场景或者离开真实场景。

步骤S12，在深度信息融合模式下，通过所述终端设备的摄像装置获取所述目标对象的深度信息，所述深度信息融合模式用于将计算机建模产生的虚拟对象叠加到所述图像中，所述目标对象的深度信息用于表示目标对象与终端设备之间的距离。

AR技术可以将虚拟对象叠加到真实场景中。其中，虚拟对象可以用于表示计算机建模产生的对象，例如虚拟的人、物体等。虚拟对象可以是计算机建立的数学模型，该数学模型可包含表示虚拟对象的轮廓、纹理等特征的数据，这些数据可基于真实的人、物体等真实对象进行提取，也可以根据需要人为创建。可基于这些数据进行图像渲染，已将虚拟对象展示在真实场景中。终端设备可以更改虚拟对象的位置，从而使虚拟对象在真实场景对应的图像中移动。本公开对虚拟对象的生成方式不做限定。

在一个示例中，终端设备可以在本地产生虚拟对象，还可以从其他设备获取虚拟对象。其中，终端设备从其他设备获取虚拟对象后，可以在本地调整虚拟对象。

在一个示例中，终端设备可以在未获取到目标对象时，在捕捉的图像之前直接显示虚拟对象。例如，终端设备可以在所述图像所在图层之上的图层显示所述虚拟对象。这样，终端设备可以快速、方便的将虚拟对象叠加到真实场景中。本公开对未获取到目标对象时的操作不做限制。

在一个示例中，终端设备可以在获取到目标对象时，启动深度信息融合模式。其中，深度信息融合模式可以用于将虚拟对象叠加到所述图像中。例如，深度信息融合模式可以基于深度信息确定虚拟对象与目标对象的遮挡关系，根据遮挡关系确定将虚拟对象叠加到图像中的方式。在深度信息融合模式下，终端设备中虚拟对象的融合更加真实。当获取到目标对象时，说明终端设备捕捉的图像中可能存在与虚拟对象具有遮挡关系的对象，此时不正确的遮挡可能会造成融合效果较差，某些场景无法实现，因此终端设备可以启动深度信息融合模式以实现更加真实的融合。

在一个示例中，目标对象为人，虚拟对象为凳子。当获取到人时，可以启动深度信息融合模式，从而实现人站在凳子前，坐在凳子上等场景。

目标对象的深度信息用于表示目标对象与终端设备之间的距离。现实的客观世界是一个三维的空间，经过摄像装置成像后变为了丢失第三维深度信息的二维图像。终端设备可以通过摄像装置获取目标对象的深度信息。

在一种可能的实现方式中，所述终端设备的摄像装置至少包括两个摄像头，终端设备可以根据目标对象与所述至少两个摄像头的位置关系，以及所述至少两个摄像头之间的距离确定所述目标对象的深度信息。

以终端设备的摄像装置包括两个摄像头为例，终端设备可以根据目标对象与两个摄像头的连线与两个摄像头的连线之间的夹角，以及两个摄像头之间的距离，确定所述目标对象的深度信息。以上仅为确定目标对象的深度信息的一个示例，终端设备还可以根据相关技术中的其他方式确定目标对象的深度信息。

在步骤S13中，获取虚拟对象的深度信息。

终端设备可以在捕捉到的图像的不同位置放置虚拟对象对应的虚拟模型，且可以移动虚拟模型的位置。虚拟对象不是终端设备捕捉的图像中真实存在的对象，对应于一个虚拟模型。虚拟模型显示在图像上时可以称为虚拟对象。

在一种可能的实现方式中，虚拟对象的深度信息可以为固定不变的。以终端设备本地生成虚拟模型为例，终端设备可以在生成虚拟模型的过程中，记录虚拟模型与深度信息的对应关系。此时，在图像中移动虚拟模型时，虚拟模型的深度信息保持不变。在一种可能的实现方式中，终端设备可以根据虚拟模型与深度信息的对应关系获取虚拟对象对应的深度信息。

在一种可能的实现方式中，虚拟对象的深度信息可以随着虚拟模型在图像中位置的移动进行变化。以终端设备本地生成虚拟模型为例，终端设备可以在生成虚拟模型的过程中，将深度信息记录在虚拟模型的位置信息中，并可以将虚拟模型的位置信息作为虚拟对象的位置信息。此时，在图像中移动虚拟模型时，虚拟模型的深度信息与虚拟模型在图像中的位置有关。在一种可能的实现方式中，终端设备可以获取虚拟对象的位置的位置信息；根据所述位置信息，确定所述虚拟对象的深度信息。

在步骤S14中，基于所述目标对象的深度信息和所述虚拟对象的深度信息，将所述虚拟对象叠加到所述图像中。

可以理解的是，图像中的对象距离终端设备的摄像装置越远，其深度信息越大。深度信息较大的对象可以被深度信息较小的对象遮挡，终端设备的捕捉的图像中可以只显示深度信息较大的对象的一部分。

图2是根据一示例性实施例示出的一种虚实对象合成方法的流程图，如图2所示，步骤S14包括以下步骤：

在步骤S141中，确定所述目标对象的深度信息是否小于所述虚拟对象的深度信息。若所述目标对象的深度信息小于所述虚拟对象的深度信息，则执行步骤S142；否则，执行步骤S143。

在步骤S142中，在所述图像上叠加所述虚拟对象未被所述目标对象遮挡的部分。

在一种可能的实现方式中，可以获取所述目标对象每个像素点的像素位置，以及所述虚拟对象每个像素点的像素位置。当一个像素位置上既存在目标对象的像素点，又存在虚拟对象的像素点时，可以不在该位置绘制虚拟对象的像素点。当一个像素位置上，不存在目标对象的像素点，但存在虚拟对象的像素点时，可以在该位置绘制虚拟对象的像素点。

在一个示例中，目标对象为人，虚拟对象为凳子，人的深度信息小于凳子的深度信息。终端设备可以在所述图像上叠加凳子未被人遮挡的部分。这样，可以呈现人站在凳子前，坐在凳子上等场景。

在步骤S143中，在所述图像上叠加所述虚拟对象。

在一个示例中，目标对象为人，虚拟对象为凳子，人的深度信息大于或等于凳子的深度信息。终端设备可以直接在所述图像上叠加凳子。这样，可以呈现人站在凳子后等场景。

不同深度信息的对象的遮挡关系不同，本实施例中，当获取到目标对象时，终端设备基于目标对象的深度信息和虚拟对象的深度信息，将虚拟对象叠加到终端设备捕捉的图像中，可以在获取到目标对象时根据深度信息的比较结果确定叠加方式，而非不做比较直接叠加或者比较所有对象的深度信息后叠加，可以减少叠加过程中的计算量，从而可以较好应用于终端设备中的AR应用。并且，本公开实施例利用终端设备的摄像装置获取目标对象的深度信息，有利于实施例在终端设备上的应用。因此，根据本实施例虚实对象合成方法，能够实时在终端设备捕捉的图像中正确显示虚拟对象。

图3是根据一示例性实施例示出的一种虚实对象合成装置框图。参照图3，该虚实对象合成装置30应用于终端设备，该装置30包括对象获取模块31、第一信息获取模块32、第二信息获取模块33和叠加模块34。

该对象获取模块31被配置为获取所述终端设备捕捉的图像中的目标对象；

该第一信息获取模块32被配置为在所述深度信息融合模式下，通过所述终端设备的摄像装置获取所述目标对象的深度信息，所述深度信息融合模式用于将计算机建模产生的虚拟对象叠加到所述图像中，所述目标对象的深度信息用于表示目标对象与终端设备之间的距离；

该第二信息获取模块33被配置为获取虚拟对象的深度信息；

该叠加模块34被配置为基于所述目标对象的深度信息和所述虚拟对象的深度信息，将所述虚拟对象叠加到所述图像中。

图4是根据一示例性实施例示出的一种虚实对象合成装置框图。参照图4，在一种可能的实现方式中，该叠加模块34包括第一叠加子模块341。

该第一叠加子模块341被配置为当所述目标对象的深度信息小于所述虚拟对象的深度信息时，在所述图像上叠加所述虚拟对象未被所述目标对象遮挡的部分。

在一种可能的实现方式中，该叠加模块还包括第二叠加子模块352。

该第二叠加子模块342被配置为当所述目标对象的深度信息大于或等于所述虚拟对象的深度信息时，在所述图像上叠加所述虚拟对象。

在一种可能的实现方式中，所述终端设备的摄像装置包括至少两个摄像头，该第一信息获取模块32包括第一确定子模块321。

该第一确定子模块321被配置为根据所述目标对象与所述至少两个摄像头的位置关系，以及所述至少两个摄像头之间的距离确定所述目标对象的深度信息。

在一种可能的实现方式中，该第二信息获取模块33包括获取子模块331和第二确定子模块332。

该获取子模块331被配置为获取所述虚拟对象在所述图像中的位置信息；

该第二确定子模块332被配置为根据所述虚拟对象的位置信息，确定所述虚拟对象的深度信息。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5是根据一示例性实施例示出的一种用于虚实对象合成的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图5，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图6是根据一示例性实施例示出的一种用于虚实对象合成的装置1900的框图。例如，装置1900可以被提供为一服务器。参照图6，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1932，上述指令可由装置1900的处理组件1922执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。