在增强现实中使用多个尺度下的特征以用于色彩传递的制作方法

对相关申请的交叉引用

本申请要求2015年2月18日提交的标题为“在增强现实中使用多个尺度下的特征以用于色彩传递(usingfeaturesatmultiplescalesforcolortransferinaugmentedreality)”的美国专利申请第14/625,380号的优先权，所述申请以引用的方式并入本文中。

本文中所揭示的主题涉及电子装置，且更特定来说，涉及用于与由电子装置实施的增强现实环境一起使用的方法及设备。

背景技术：

在增强现实技术的情况下，实时或预记录的视频内容或一系列相关图像可用一或多个虚拟对象进行增强。用虚拟对象增强的视频内容、视频内容的帧或相关图像在下文可被称为图像目标。虚拟对象叠加在图像目标上，从而使得虚拟对象看起来好像为图像目标在现实世界场景中的部分。图像目标的姿态可用已知方法进行跟踪，且虚拟对象的姿态可进行相应地调整以维持虚拟对象的现实性。

当图像目标中的光照条件改变时，名称为色彩传递的已知技术可用于通过调整虚拟对象的色彩，从而使得虚拟对象的色彩反映图像目标中的光照条件改变来维持虚拟对象的现实性。具有中性光照条件的图像目标帧可用作地面实况(即，基线)以用于测量光照条件改变。广义地说，色彩传递技术测量传入图像目标帧的色彩与地面实况图像目标帧的色彩之间的色差，并相应地调整虚拟对象的色彩。色彩传递函数可在所述过程中导出并利用，且色彩传递函数可考虑地面实况图像目标帧的色彩、传入图像目标帧的色彩及虚拟对象在调整之前的色彩，并为虚拟对象提供合适的经调整色彩。

已知色彩传递技术可在某些情形下带来不正确的、出乎意料的或不太理想的结果。举例来说，其可易受到遮挡：当(例如)地面实况图像目标帧中并不存在的例如手的遮挡对象出现在传入图像目标帧中时，色彩传递过程中的色差测量可不正确或冲突。当遮挡对象的色彩与地面实况的色彩由于其并不与同一实际物件相关联而不类似时，可通过已知色彩传递过程将遮挡对象的色彩相比于地面实况的色彩以导出色差，此带来不正确的色差测量。在使用这些不正确的色差测量的情况下，已知色彩传递技术可将错误的色彩调整施加到虚拟对象。当传入图像目标帧存在尺度改变时(例如，当传入图像目标帧表示放大视图或缩小视图时)，已知色彩传递技术也可产生不太理想的结果。

技术实现要素：

本文中所揭示的实施例可包含一种用于使用多个尺度下的色彩测量特征以用于色彩传递技术的方法，其包括：将地面实况图像目标帧调整大小到多个不同尺度；从处于所述多个不同尺度中的每一者下的所述地面实况图像目标帧选择一或多个色彩测量特征；针对所述地面实况图像目标帧中的每一色彩测量特征进行色彩测量；及至少部分地基于所述色彩测量调整经增强帧中的虚拟对象的色彩。

本文中所揭示的另一实施例可包含一种用于使用多个尺度下的色彩测量特征以用于色彩传递技术的设备，其包括：存储器；及处理器，所述处理器经配置以：将地面实况图像目标帧调整大小到多个不同尺度，从处于所述多个不同尺度中的每一者下的所述地面实况图像目标帧选择一或多个色彩测量特征，针对所述地面实况图像目标帧中的每一色彩测量特征进行色彩测量，及至少部分地基于所述色彩测量调整经增强帧中的虚拟对象的色彩。

本文中所揭示的又一实施例可包含一种用于使用多个尺度下的色彩测量特征以用于色彩传递技术的设备，其包括：用于将地面实况图像目标帧调整大小到多个不同尺度的装置；用于从处于所述多个不同尺度中的每一者下的所述地面实况图像目标帧选择一或多个色彩测量特征的装置；用于针对所述地面实况图像目标帧中的每一色彩测量特征进行色彩测量的装置；及用于至少部分地基于所述色彩测量调整经增强帧中的虚拟对象的色彩的装置。

本文中所揭示的额外实施例可包含一种包含代码的非暂时性计算机可读媒体，所述代码在由处理器执行时使得所述处理器执行一种方法，所述方法包括：将地面实况图像目标帧调整大小到多个不同尺度；从处于所述多个不同尺度中的每一者下的所述地面实况图像目标帧选择一或多个色彩测量特征；针对所述地面实况图像目标帧中的每一色彩测量特征进行色彩测量；及至少部分地基于所述色彩测量调整经增强帧中的虚拟对象的色彩。

附图说明

图1说明其中可实践本发明的实施例的装置的实施例。

图2为说明用于使用多个尺度下的色彩测量特征以用于色彩传递技术的示范性方法的流程图。

图3a到3c说明从三个不同尺度下的地面实况图像目标帧提取的示范性色彩测量特征。

图4为说明用于将色彩传递技术施加到虚拟对象的示范性方法的流程图。

具体实施方式

图1中说明其中可实践本发明的实施例的实例装置100。如本文中所使用的装置(例如，装置100)可为以下各者：移动装置、无线装置、蜂窝电话、个人数字助理、移动计算机、可穿戴式装置(例如，手表、头戴式显示器、虚拟现实眼镜等)、平板计算机、个人计算机、膝上型计算机，或具有处理能力的任何类型的装置。如本文中所使用，移动装置可为可配置以获取从一或多个无线通信装置或网络发射的无线信号且将无线信号发射到一或多个无线通信装置或网络的任何便携式或可移动装置或机器。因此，借助于实例而非限制，装置100可包含无线电装置、蜂窝式电话装置、计算装置、个人通信系统装置、或其它相似的配备可移动无线通信的装置、器具或机器。

装置100展示为包括可经由总线105电耦合(或可按需要以其它方式通信)的硬件元件。所述硬件元件可包含：一或多个处理器110，包含(但不限于)一或多个通用处理器及/或一或多个专用处理器(例如数字信号处理芯片、图形加速处理器及/或类似者)；一或多个输入装置115，其包含(但不限于)鼠标、键盘、小键盘、触摸屏、相机、麦克风及/或类似者；及一或多个输出装置120，其包含(但不限于)显示装置、扬声器、打印机及/或类似者。

装置100可进一步包含一或多个非暂时性存储装置125(及/或与之通信)，所述非暂时性存储装置可包括(但不限于)本地及/或网络可存取的存储装置，及/或可包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(“ram”)及/或只读存储器(“rom”)的固态存储装置(其可为可编程的、可快闪更新的)及/或其类似者。此类存储装置可经配置以实施任何适当的数据存储装置，包含(但不限于)各种文件系统、数据库结构及/或其类似者。

所述装置还可包含通信子系统130，其可包含(但不限于)调制解调器、网卡(无线或有线)、红外通信装置、无线通信装置及/或芯片组(例如蓝牙装置、802.11装置、wi-fi装置、wimax装置、蜂窝式通信设施等)及/或其类似者。通信子系统130可准许与网络、其它装置及/或本文中所描述的任何其它装置交换数据。在一个实施例中，装置100可进一步包括存储器135，如上文所描述，所述存储器可包含ram或rom装置。应了解，装置100可为移动装置或非移动装置，且可具有无线及/或有线连接。

装置100还可包括展示为当前位于工作存储器135内的软件元件，其包含操作系统140、装置驱动器、可执行库及/或例如一或多个应用程序145的其它代码，一或多个应用程序可包括或可经设计以实施由实施例提供的方法及/或配置由实施例提供的系统，如将在本文中予以描述。仅借助于实例，关于下文论述的方法描述的一或多个程序可实施为可由装置100(及/或装置100内的处理器110)执行的代码及/或指令；接着在一方面中，此类代码及/或指令可用以配置及/或调适通用计算机(或其它装置)以执行根据所描述方法的一或多个操作。

这些指令及/或代码的集合可存储在非暂时性计算机可读存储媒体(例如上文所描述的存储装置125)上。在一些情况下，存储媒体可并入于例如装置100的装置内。在其它实施例中，存储媒体可与装置(例如，可装卸式媒体，例如压缩光盘)分离，及/或提供于安装包中，使得存储媒体可用以编程、配置及/或调适其上存储有指令/代码的通用计算机。这些指令可呈可由计算机化装置100执行的可执行代码的形式，及/或可呈源及/或可安装代码的形式，所述源及/或可安装代码在装置100上编译及/或安装(例如，使用多种通常可用编译程序、安装程序、压缩/解压缩实用程序等中的任一者)后，接着呈可执行代码的形式。

应用程序145可包含一或多个增强现实应用程序，其包含色彩传递功能性。应了解，增强现实应用程序的功能性可替代地实施在硬件或不同软件层级中，例如操作系统(os)、固件、计算机视觉模块等。

本发明的实施例利用从以多个不同尺度经重新按比例缩放的图像目标帧提取的色彩测量特征(其可包括多个像素)，以测量地面实况图像目标帧的色彩与传入图像目标帧的色彩之间的色差。色彩测量特征可提供特征中所包含的像素的色彩值测量。照明不变相关性方法可用于通过从相比于地面实况的色彩排除遮挡对象的色彩而减少或防止由遮挡所引起的色差测量误差。为使用照明不变相关性方法，可将地面实况图像目标帧与传入图像目标帧两者转换到照明不变色彩空间。照明不变色彩空间中的图像为大约独立于与原始图像相关联的照明条件的原始图像的灰度版本。换句话说，同一场景在不同光照条件下的两个图像的照明不变版本将大约相同。因此，可将地面实况图像目标帧的照明不变版本与传入图像目标帧的照明不变版本进行相关及比较以定位遮挡对象，从而使得可从色彩传递过程排除遮挡对象的色彩。照明不变相关性方法对类似于遮挡的其它伪影(例如镜面高光)也有用。

参考图2，展示说明用于使用多个尺度下的色彩测量特征以用于色彩传递技术的示范性方法200的流程图。色彩测量特征为给予样本的实际色彩值的色度特征。使用多个尺度下的色彩测量特征能增加对传入图像目标帧中的尺度改变的稳定性。在框210处，可将地面实况图像目标帧(例如，用以充当基线的具有中性光照条件的图像目标帧)调整大小到多个不同尺度。接下来，在框220处，可从处于多个不同尺度中的每一者下的地面实况图像目标帧选择一或多个色彩测量特征。色彩测量特征可是选自用于姿态估计的特征，或可独立于用于姿态估计的特征所界定(特征为可包括可用于特定目的的多个像素的图像的合乎需要部分)。每一方法都具有其优点及缺点。举例来说，再使用姿态估计特征可减少所要求的计算资源，这是因为由常规姿态估计过程产生的相关于按比例缩放及遮挡检测的结果可被再使用。然而，由于姿态估计特征未被选择用于色彩测量目的，因此其可能并不覆盖关于图像目标帧中的色彩的充分大的色彩跨度，且因此可能发生不太理想的结果。另一方面，使用分离于姿态估计特征的色彩估计特征可允许较好的色彩覆盖，且可带来较好的整体色差测量。当然，使用单独的色彩估计特征要求较多计算资源。接下来，在框230处，可针对框220处选定的每一色彩测量特征进行色彩测量以获得色彩测量特征的色彩值。色彩测量特征的色彩值接着可用于获得地面实况与传入图像目标之间的色差。此后，在框240处，可通过至少部分地基于框230处进行的色彩测量特征的色彩测量将色彩传递技术施加到虚拟对象来调整经增强帧(即，由虚拟对象叠加的图像目标帧)中的虚拟对象的色彩。在一个实施例中，调整虚拟对象的色彩可包括将色差添加到虚拟对象的中性色彩。

参考图3a到3c，展示从三个不同尺度下的地面实况图像目标帧300提取的示范性色彩测量特征310a、310b及310c。应注意，三个不同尺度下的地面实况图像目标帧300在图3a到3c中经标准化为相同大小。如图3a到3c中所展示，色彩测量特征310a、310b及310c可选自地面实况图像目标帧300中的不同位置。应了解，在一些实施例中，色彩测量特征可选定于不同尺度下的地面实况图像目标帧中的相同位置处。

参考图4，展示说明用于将色彩传递技术应用于虚拟对象的示范性方法400的流程图。方法400可在图2中的方法200的框240处执行。在框410处，可在传入图像目标帧中选定色彩测量特征。传入图像目标帧中的色彩测量特征可经选定，从而使得其在现实世界场景中的位置对应于地面实况图像目标帧中选定的色彩测量特征的位置。接下来，在框420处，可针对框410处在传入图像目标帧中选定的每一色彩测量特征进行色彩测量。接下来，在框430处，可基于选自地面实况图像目标帧的色彩测量特征的色彩测量及选自传入图像目标帧的色彩测量特征的色彩测量进行一或多个色差测量，以测量地面实况图像目标帧的色彩与传入图像目标帧的色彩之间的色差。照明不变相关性方法可用以改进在遮挡或其它类似情况(例如镜面高光等)的事件下所述过程的准确性。在一些实施例中，可利用在框210处产生的来自多个不同尺度下的地面实况图像目标帧的色彩测量特征。在一些其它实施例中，可仅利用来自其尺度最紧密匹配传入图像目标帧的尺度的地面实况图像目标帧的色彩测量特征。使用来自其尺度匹配传入图像目标帧的尺度的地面实况图像目标帧的色彩测量特征可改进在图像目标的尺度发生改变的情况下色差测量的准确性。此后，在框440处，至少部分地基于地面实况图像目标帧的色彩与传入图像目标帧的色彩之间的色差来调整虚拟对象的色彩。可导出并利用呈f(r,s,c)->t形式的色彩传递函数以用于将色彩传递技术应用于虚拟对象，其中r为地面实况图像目标帧中选定的色彩测量特征的色彩测量，其中s为传入图像目标帧中选定的色彩测量特征的色彩测量，其中c为虚拟对象在色彩调整之前的一或多个色彩，且其中t为虚拟对象在色彩调整之后的一或多个色彩。色彩传递函数可是基于(例如)地面实况图像目标帧的色彩与传入图像目标帧的色彩之间的平均色差。应注意，本发明并不严格地限于所利用的色彩传递函数。

因此，通过使用多个尺度下的特征以用于色彩传递技术，如上文详细描述，可防止某些不太理想的结果。举例来说，照明不变相关性方法可用于防止遮挡扰乱色差测量过程。结果，可改进色彩传递技术在准确性方面的整体性能。

先前已详细地描述了包含色彩传递功能性的增强现实应用或系统的各种实施方案。应了解，如先前描述的增强现实应用或系统可被实施为软件、固件、硬件、其组合等。在一个实施例中，先前所描述功能可由装置100的一或多个处理器(例如，处理器110)实施以达成先前所要功能(例如，图2及4的方法操作)。

本文中的教示可并入到多种设备(例如，装置)中(例如，在多种设备内实施或由多种设备执行)。举例来说，本文中所教示的一或多个方面可并入到以下一般装置中：桌上型计算机、移动计算机、移动装置、电话(例如，蜂窝式电话)、个人数据助理、平板计算机、膝上型计算机、平板计算机、娱乐装置(例如，音乐或视频装置)、耳机(例如，头戴式耳机、手机听筒等)、医疗装置(例如，生物计量传感器、心率监测仪、步数计、ekg装置等)、用户i/o装置、计算机、服务器、销售点装置、娱乐装置、机顶盒、可穿戴式装置(例如，手表、头戴式显示器、虚拟现实眼镜等)、机动车内的电子装置或任何其它合适的装置。

在一些方面中，无线装置可包括用于通信系统的存取装置(例如，wi-fi存取点)。举例来说，此类存取装置可经由有线或无线通信链路而提供通过收发器到另一网络(例如，例如因特网或蜂窝式网络的广域网)的连接性。因此，存取装置可以使得另一装置(例如，wi-fi站)能够存取另一网络或一些其它功能性。另外，应了解，所述装置中的一者或两者可为便携式的，或在一些情况下，为相对非便携式的。

应了解，当装置为移动或无线装置时，其可经由通过无线网络的一或多个无线通信链路通信，所述无线通信链路基于或以其它方式支持任何合适的无线通信技术。举例来说，在一些方面中，无线装置及其它装置可以与包含无线网络的网络相关联。在一些方面中，网络可包括人体局域网络或个人局域网络(例如，超宽带网络)。在一些方面中，网络可包括局域网或广域网。无线装置可支持或以其它方式使用多种无线通信技术、协议或标准中的一或多者，例如，3g、lte、高级lte、4g、cdma、tdma、ofdm、ofdma、wimax及wifi。类似地，无线装置可以支持或以其它方式使用多种对应调制或多路复用方案中的一或多者。因此，无线装置可包含适当组件(例如，空中接口)以使用上文或其它无线通信技术建立一或多个无线通信链路并经由所述链路通信。举例来说，装置可包括具有相关联的发射器及接收器组件(例如，发射器及接收器)的无线收发器，所述无线收发器可包含促进经由无线媒体的通信的各种组件(例如，信号产生器及信号处理器)。众所周知，移动无线装置因此可以无线方式与其它移动装置、蜂窝电话、其它有线及无线计算机、因特网网站等通信。

所属领域的技术人员将理解，可以使用多种不同技术及技艺中的任一者来表示信息及信号。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在整个上文描述中可能参考的数据、指令、命令、信息、信号、位、符号及码片。

所属领域的技术人员将进一步了解，结合本文中所揭示的实施例予以描述的各种说明性逻辑块、模块、发动机、电路及算法步骤可被实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件与软件的此互换性，上文已大致关于其功能性描述了各种说明性组件、块、模块、发动机、电路及步骤。此功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但此类实施方案决策不应被解释为会引起脱离本发明的范围。

可使用通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或经设计以执行本文所描述的功能的其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块及电路。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，dsp与微处理器的组合、多个微处理器、一或多个微处理器结合dsp核心，或任何其它此类配置。

结合本文中所揭示的实施例而描述的方法或算法的步骤可直接体现在硬件、由处理器执行的软件模块或所述两者的组合中。软件模块可驻留在ram存储器、快闪存储器、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可装卸式磁盘、cd-rom，或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息并将信息写入到存储媒体。在替代方案中，存储媒体可集成到处理器。处理器及存储媒体可驻留于asic中。asic可驻留于用户终端中。在替代方案中，处理器及存储媒体可作为离散组件驻留于用户终端中。

在一或多个示范性实施例中，所描述功能可以在硬件、软件、固件或其任何组合中实施。如果在软件中实施为计算机程序产品，则功能或模块可作为一或多个指令或代码存储在非暂时性计算机可读媒体上或通过非暂时性计算机可读媒体发射。计算机可读媒体可包含计算机存储媒体与通信媒体两者，通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可以是可由计算机存取的任何可用媒体。借助于实例而非限制，此类非暂时性计算机可读媒体可包括ram、rom、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)或如红外线、无线电及微波的无线技术从网站、服务器或其它远程源发射软件，则同轴电缆、光纤电缆、双绞线、dsl或如红外线、无线电及微波的无线技术包含于媒体的定义中。如本文中所使用，磁盘及光盘包含压缩光盘(cd)、激光光盘、光学光盘、数字多功能光盘(dvd)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上各者的组合也应包含在非暂时性计算机可读媒体的范围内。

提供所揭示实施例的先前描述以使得所属领域的任何技术人员能够制作或使用本发明。所属领域的技术人员将容易地了解对这些实施例的各种修改，并且可以在不脱离本发明的精神或范围的情况下将本文所定义的一般原理应用到其它实施例中。因此，本发明并不既定限于本文中所展示的实施例，而应符合与本文中所揭示的原理及新颖特征相一致的最广泛范围。