用于彩色与深度视频的同步的方法、设备和媒体与流程

相关申请案的交叉参考

本申请案要求2014年12月12日申请的标题是“用于增强现实系统中的图像处理的方法和设备(methodandapparatusforimageprocessinginaugmentedrealitysystems)”的第14/569,549号美国专利申请案的优先权，所述专利申请案以引用的方式并入本文中。

本文中所揭示的主题大体上涉及可应用于增强现实系统的图像处理技术。

背景技术：

增强现实(ar)系统常常与经过测试以确保兼容性和性能的经特定选择的硬件和/或软件组件一起实施。举例来说，ar系统可具有被改造以同时提供图像帧的输出对(例如，在等效视点处所取得的一个彩色与一个深度)的专有彩色相机传感器和深度传感器。ar功能性还可包含为一般或多功能移动装置(例如智能电话)中的特征。然而，这些移动装置通常不能够使来自彩色相机传感器的输出图像帧与深度传感器同步，这是因为当前移动装置的操作环境不支持具有来自不同装置相机的准确创建时间标识符的时间同步或时间戳。来自当前移动装置相机的输出通常遗漏指示创建时间的任何可靠时间戳。

由于处理可能不是最好匹配的图像对，在系统内具有非同步相机可危害ar输出的准确性。当系统不能够确定相机传感器何时捕获了特定图像时，相机可非同步。举例来说，移动装置内的系统可从创建时间获得具有变化的延迟量的相机输出。举例来说，在时间t1处所创建的传感器图像帧可不可获得用于由移动装置的ar组件处理，直到在稍后时间t2处接收了所述帧为止。彩色和深度传感器可各自具有图像帧的创建与输出之间的不同时间延迟，且输出的频率也可对于每一传感器不同。因此，需要用于处理彩色和深度图像的新型和改善型技术。

技术实现要素：

本文中所揭示的实施例可涉及一种用于深度与彩色相机同步的方法。所述方法可包含获得包括第一图像类型和不同于所述第一图像类型的第二图像类型的多个输入图像，其中图像类型是深度相机图像类型抑或彩色相机图像类型，其中每一图像类型相对于其它类型的图像非同步且其中所述多个输入图像中的每一者不具有对输入图像的实际创建时间的识别；从所述第一图像类型的输入图像选择目标图像。所述方法还可包含从所述第一图像类型的输入图像选择目标图像并从所述第二图像类型的输入图像选择比较图像。所述方法还可进一步包含确定响应于所述比较图像与所述目标图像同步兼容而将所述目标图像与所述比较图像识别为经同步图像对。所述方法可另外包含一起处理所述经同步图像对以用于增强现实输出中。

本文中所揭示的实施例还可涉及一种机器可读非暂时性存储媒体，在其中存储有可由处理器执行以获得包括第一图像类型和不同于所述第一图像类型的第二图像类型的多个输入图像的程序指令。图像类型可以是深度相机图像类型抑或彩色相机图像类型，且每一图像类型可相对于其它类型的图像非同步。所述多个输入图像中的每一者可不具有对输入图像的实际创建时间的识别。所述机器可读非暂时性存储媒体还可具有可由所述处理器执行以从所述第一图像类型的输入图像选择目标图像并从所述第二图像类型的输入图像选择比较图像的指令。所述机器可读非暂时性存储媒体还可具有可由所述处理器执行以确定所述比较图像是否与所述目标图像同步兼容的指令。响应于确定所述比较图像与所述目标图像同步兼容，实施例可将所述目标图像与所述比较图像识别为经同步图像对并一起处理所述经同步图像对以用于增强现实输出中。

本文中所揭示的实施例还可进一步涉及一种用于深度与彩色相机图像同步的装置，其包括存储器和处理器，所述处理器耦合到所述存储器且经配置以从所述存储器获得包括第一图像类型和不同于所述第一图像类型的第二图像类型的多个输入图像。图像类型可以是深度相机图像类型抑或彩色相机图像类型，且每一图像类型可相对于其它类型的图像非同步。所述多个输入图像中的每一者可不具有对输入图像的实际创建时间的识别。所述装置可经进一步配置以从所述第一图像类型的输入图像选择目标图像并从所述第二图像类型的输入图像选择比较图像。所述装置可经进一步配置以确定所述比较图像是否与所述目标图像同步兼容并响应于确定所述比较图像与所述目标图像同步兼容而将所述目标图像与所述比较图像识别为经同步图像对。所述装置还可经配置以一起处理所述经同步图像对以用于增强现实输出中。

本文中所揭示的实施例可进一步涉及一种具有用以执行深度与彩色相机同步的装置的设备。所述设备可包含用于获得包括第一图像类型和不同于所述第一图像类型的第二图像类型的多个输入图像的装置，其中图像类型是深度相机图像类型抑或彩色相机图像类型，其中每一图像类型相对于其它类型的图像非同步且其中所述多个输入图像中的每一者不具有对输入图像的实际创建时间的识别。所述设备还可包含用于从所述第一图像类型的输入图像选择目标图像的装置。所述设备还可包含用于从所述第一图像类型的输入图像选择目标图像并从所述第二图像类型的输入图像选择比较图像的装置。所述设备还可进一步包含用于响应于确定所述比较图像与所述目标图像同步兼容而将所述目标图像与所述比较图像识别为经同步图像对的装置。所述设备可另外包含用于一起处理所述经同步图像对以用于增强现实输出中的装置。

其它特征和优势将从附图和具体实施方式中显而易见。

附图说明

图1a是一个实施例中的可在其中实践深度和彩色输出同步(dcos)的方面的系统的框图；

图1b说明一个实施例中的用于执行dcos的方法的流程图；

图2说明一个实施例中的固定速率彩色相机流和固定速率深度图像流的接收时序；

图3说明一个实施例中的具有可变彩色图像帧的恒定深度图帧的接收时序；

图4说明一个实施例中的彩色图像流与深度图像流之间的时序和匹配；

图5说明一个实施例中的具有固定栅选择的彩色图像流与深度图像流之间的时序和匹配；

图6说明另一个实施例中的具有固定栅选择的彩色图像流与深度图像流之间的时序和匹配；

图7说明一实例实施例中的深度选择；且

图8说明另一个实施例中的用于执行dcos的方法的流程图。

具体实施方式

增强现实(ar)系统可利用多个相机输入以在显示器上为用户提供虚拟对象表示。装置制造商可以未预见到的方式混合硬件与软件以创造新ar系统。举例来说，一些系统可经模块化且用于原始设备制造商无法预见的配置中。不利的是，典型装置的操作系统可能不在时序和同步内经装备以确保系统的所有组件朝向共同ar输出目标一起工作。举例来说，典型的系统可能无法使可实施的多种相机传感器组合同步。更具体地说，用以提供ar输出的深度相机图像和彩色相机图像可能在典型的ar装置硬件和软件实施方案中无法本身经同步或被记时间戳。

在一个实施例中，深度和彩色输出同步(dcos)同步彩色相机传感器数据与深度相机传感器数据(例如，来自各别相机的图像帧)。相对于来自不同类型的传感器的比较图像，dcos可从一种类型的传感器选择目标图像用于匹配。dcos可实施为用以从各别传感器接收图像的模块或引擎。dcos可跟踪接收时间并根据此接收时间而开始彩色与深度传感器图像的比较。举例来说，在时间t1处所接收的rgb图像可与在时间t1之前和之后所接收的深度传感器图像形成对比。尽管接收时间可不同于创建时间，但其可用作初始开始点以用于比较。

在一个实施例中，dcos根据如本文中所描述的边缘检测技术而匹配目标图像与比较图像。在一些实施例中，dcos使用同时定位与映射(slam)或其它跟踪系统来匹配目标图像与比较图像。在一个实施例中，在测试同步(例如，执行边缘检测)之前，dcos出于时间量或图像数目而设定彩色和深度相机之间的固定同步时间差。举例来说，dcos可为每一传感器采用固定的帧每秒数目，以确定两个匹配的传感器之间的帧偏移(即，定时偏移)。可根据处理器可用性或来自帧偏移的漂移检测而(例如，通过再执行选择匹配)更新帧偏移。

在一个实施例中，响应于同步一对图像，实施例任选地变换所述对中的图像中的一者以改进与另一(匹配)图像的匹配。变换减少图像对之间的任何剩余差异，从而进一步增加匹配准确性。在一些实施例中，根据装置的硬件配置或装置上的处理器的当前周期可用性而初始化变换。

图1a是一个实施例中的可在其中实践dcos的方面的系统的框图。系统可以是装置100，其可包含通用处理器161和/或类似者、dcos170和存储器164。在一些实施例中，dcos170可进一步包含选择器模块171、改进模块173、管理器模块174、slam模块175和深度处理器模块176。装置100还可包含耦合到一或多个总线177的数个装置传感器或进一步耦合到至少选择器模块171、改进模块173、管理器模块174、slam模块175和深度处理器模块176的信号线。为了清晰起见，独立于处理器161和/或硬件162而说明dcos170(和所包含的模块171到176)，但可基于而软件165和固件163中的指令而在处理器161和/或硬件162中组合和/或实施dcos170。控制单元160可经配置以实施用于执行如本文中所描述的dcos的方法。举例来说，装置100和控制单元160可经配置以实施图8中所描述的功能。

装置100可以是：移动装置、无线装置、蜂窝电话、增强现实(ar)装置、个人数字助理、可穿戴式装置(例如，眼镜、手表、帽子或类似身体附接装置)、移动计算机、平板电脑、个人计算机、笔记本电脑、数据处理装置/系统、或具有处理能力的任何类型的装置。

装置100可包含能够显现彩色图像(包含3d图像)的屏幕或显示器112。在一些实施例中，显示器112可用以显示由相机114捕获的实况图像、增强现实(ar)图像、图形用户接口(gui)、程序输出等。在一些实施例中，显示器180可包括和/或收容有触摸屏，以准许用户经由虚拟键盘、图标、菜单或其它图形用户接口(gui)、用户手势及/或输入装置(例如触控笔和其它写入工具)的某一组合输入数据。在一些实施例中，可使用液晶显示器(lcd)显示器或发光二极管(led)显示器(例如有机led(oled)显示器)来实施显示器112。在其它实施例中，显示器112可以是可穿戴式显示器，其可操作地耦合到装置100中的其它功能单元但与其分开收容。在一些实施方案中，装置100可包括用以准许通过耦合到装置100的监视器显示经3d重构的图像的端口。

用户接口150还可包含用户可经由其将信息输入到装置100中的键盘、小键盘152或其它输入装置。如果需要，通过触摸屏/传感器将虚拟小键盘集成到显示器112中可免除键盘或小键盘152。举例来说，如果装置100是移动平台(例如蜂窝电话)，那么用户接口150还可包含麦克风154和扬声器156。装置100可包含与本发明无关的其它元件，例如卫星定位系统接收器、电力装置(例如，电池)，以及通常与便携式和非便携式电子装置相关联的其它组件。

装置100可充当移动/便携式平台或无线装置，且可经由一或多个无线通信链路通过基于或以其它方式支持任何合适的无线通信技术的无线网络来通信。举例来说，在一些方面中，装置100可以是客户端或服务器，并且可与无线网络相关联。在一些方面中，网络可包括人体局域网或个人局域网(例如，超宽带网络)。在一些方面中，网络可以包括局域网或广域网。无线装置可支持或以其它方式使用多种无线通信技术、协议或标准中的一或多者，例如，3g、lte、高级lte、4g、cdma、tdma、ofdm、ofdma、wimax和wi-fi。类似地，无线装置可支持或以其它方式使用多种对应调制或多路复用方案中的一或多者。移动无线设备可以无线方式与其它移动装置、蜂窝电话、其它有线和无线计算机、因特网网站等通信。

如上文所描述，装置100可以是便携式电子装置(例如，智能电话、专用增强现实(ar)装置、游戏装置或具有ar处理和显示能力的其它装置)。实施本文中所描述的ar系统的装置可用于多种环境(例如，商场、街道、办公室、家庭，或用户可携带其便携式装置的任何地方)中。用户可以在多种情况中与装置100的多个特征介接。在ar情境中，用户可使用其装置来观察现实世界的所显示表示。用户可通过使用其装置的相机来与其具备ar能力的装置交互，以接收现实世界图像/视频并以将额外或替代信息叠加到装置上的所显示的现实世界图像/视频上的方式来处理图像。当用户在其装置上观察ar实施方案时，可在装置显示器上实时替代或更改现实世界对象或场景。虚拟对象(例如，文本、图像、视频)可插入到装置显示器上所描绘的场景的表示中。

在一些实施例中，装置100可包括图像传感器，例如电荷耦合装置(ccd)或互补型金属氧化物半导体(cmos)传感器和/或相机114，相机114在下文被称为“彩色相机114”。彩色相机114可将光学图像转换为电子或数字图像，且可将所捕获图像发送到处理器161。

一般来说，彩色相机114可以是提供“彩色信息”的彩色或灰度相机，而“深度信息”可以由深度传感器(例如，深度传感器115)提供。如本文所使用的术语“彩色信息”指彩色信息、灰度信息、单色信息、和/或类似者或其某一组合。总的来说，如本文所使用，彩色图像或彩色信息可以看作包括1到n个信道，其中n是取决于用于存储图像的彩色空间的某个整数。举例来说，rgb图像可包括三个信道，各个信道具有红色、蓝色和绿色信息。

可使用深度传感器(例如，深度传感器115)以多种方式捕获深度信息。术语“深度传感器”用以指可用以从彩色相机114独立地获得深度信息的功能单元。举例来说，深度传感器115可物理安装在与相机114相同的大概位置中，然而，深度传感器115可在与相机114不同的频率或帧率下操作。在一些实施例中，尽管在相同或大致相等的时间处被触发或初始化，但深度传感器115与相机114可捕获不同场景。举例来说，因为视角可能移位(例如，一个传感器向另一个传感器左或右)且每一相机的焦距可能不同，所以所得图像可能不仅仅是在深度对彩色内容方面不同。

作为另一个实例，深度传感器115可呈耦合到装置100的光源形式。在一个实施例中，光源可将结构化或纹理化光图案投影到场景中的对象上，光图案可以由一或多个窄光带构成。接着可通过利用由物件的表面形状引起的经投影图案的几何失真来获得深度信息。在一个实施例中，可从例如红外结构光投影仪与被注册为rgb相机的红外相机的组合等立体传感器获得深度信息。

在一些实施例中，装置100可包括多个相机，例如双重正面相机和/或正向和背向相机，所述相机还可以并入各种传感器。在一些实施例中，相机可能够捕获静态图像和视频图像两者。在一些实施例中，借助于非限制性实例，相机可以是能够在30帧每秒(fps)下捕获图像的rgbd或立体摄影机。在一个实施例中，由相机捕获的图像可呈原始未经压缩格式，且可在被(进一步)处理和/或存储于存储器164中之前以某一方式被压缩或以其它方式进行处理。在一些实施例中，可通过处理器161使用无损或有损压缩技术来执行图像压缩。

在一些实施例中，处理器161还可接收来自传感器111的输入。仅举几个实例，传感器111可包括一或多个加速计、一或多个陀螺仪、一或多个磁力计和/或类似者。在某些情况下，加速计可包括3-d加速计，和/或陀螺仪可包括3-d陀螺仪。传感器111可将速度、定向和/或其它位置相关信息提供到处理器161。在一些实施例中，传感器111可借助于相机114和深度传感器115输出与每个图像帧的捕获相关联的测量信息。在一些实施例中，传感器111的输出可部分地由处理器161使用以确定相机114和深度传感器115和/或装置100的位姿。

相机114的位姿指相机114相对于参考框架的位置和定向。在一些实施例中，可针对6个自由度(6dof)确定相机位姿，6dof指三个平移分量(其可由参考帧的坐标的x、y、z坐标给定)和三个角度分量(例如，相对于相同参考框架的横摇、俯仰和偏航)。

在一些实施例中，可通过处理器161基于由相机114捕获的图像而使用视觉跟踪解决方案来确定和/或跟踪相机114和/或装置100的位姿。举例来说，在处理器161上运行的slam模块175可实施并执行基于计算机视觉的跟踪、基于模型的跟踪和/或slam方法。slam指一类技术，其中在形成环境的图(例如，由装置100建模的环境的图)的同时跟踪相对于所述图的相机的位姿。在一些实施例中，通过slam模块175实施的方法可基于由相机114捕获的彩色或灰度图像数据，且可用以产生相机的6dof位姿测量的估计。在一些实施例中，传感器111的输出可用以估计、校正和/或调整所估计位姿。另外，在一些实施例中，由相机114和深度传感器115捕获的图像可用以为传感器111重新校准或执行偏置调整。

在一个实施例中，dcos包含选择模块或引擎(例如，选择器模块171)以促进输入图像的配对。举例来说，选择器模块171可确定哪些彩色图像和深度图像应由匹配模块172处理。下文更详细地描述选择器模块171的其它细节。

在一个实施例中，dcos包含匹配模块或引擎(例如，匹配模块172)。匹配模块172可在如下文更详细描述的一对输入图像(例如，一个深度图像相比于一个彩色图像)之间执行基于边缘的匹配和/或基于深度的匹配。

在一个实施例中，dcos包含改进模块或引擎(例如，改进模块173)。改进模块173可变换经同步图像对中的图像(例如，深度或彩色图像)，以进一步最小化匹配错误并增大图像对之间的兼容性。举例来说，改进模块173可将深度图像变换成看起来像是其在与经同步对中的各别彩色图像相同的位置处被取得的输出。下文描述改进模块173的其它细节。

在一个实施例中，dcos包含管理器模块或引擎(例如，管理器模块174)。管理器模块174实施dcos的适应性工作负荷功能性。举例来说，管理器模块174可确定装置100的处理器和存储器负荷，且向选择器模块171发送调整选择策略的消息。下文描述管理器模块174的适应性工作负荷功能性的其它细节。

在一个实施例中，dcos包含深度处理器模块或引擎(例如，深度处理器模块176)。深度处理器模块176可计算每一所接收深度相机图像内的个别点的深度。

在一个实施例中，dcos可执行6dofslam(例如，slam模块175)，其包含slam映射的跟踪和映射。在一个实施例中，6dofslam(例如，6dof跟踪)可使从关键帧所观测的特征(例如，来自彩色相机114的输入图像)与slam映射相关联。6dofslam(例如，6dof跟踪)可使用特征点相关联以确定与各别相机图像相关的相机位置和定向(即，位姿)。6dof映射还可更新/维持slam映射。如上文所论述，由6dofslam维持的slam映射可含有从两个或大于两个关键帧三角测量的3d特征点。举例来说，关键帧可选自图像或视频流，或经馈入以表示所观测场景。对于每一关键帧，dcos可计算与图像相关联的各别6dof相机位姿。dcos可通过将来自3d图的特征投影到图像或视频帧中并依据所验证2d-3d对应性更新相机位姿来确定相机位姿。

在一个实施例中，dcos从关键帧图像提取特征。如本文所使用的特征(例如，特征点或兴趣点)是图像的所关注或显著部分。从所捕获图像提取的特征可沿着三维空间(例如，轴线x、y和z上的坐标)表示相异点，且每一特征点可具有相关联特征位置。关键帧中的特征匹配或未能匹配所先前捕获的关键帧的特征(即，与其相同或对应)。特征检测可以是用以检查每一像素来确定特征是否以具体像素存在的图像处理操作。特征检测可处理完整的所捕获图像，或替代地处理所捕获图像的某些部分(portion/part)。

对于每一所捕获图像或视频帧，一旦已检测到特征，那么可提取特征周围的局部图像分块。可使用例如尺度不变特征变换(sift)等的熟知技术提取特征，所述技术局部化特征并产生其描述。如果需要，可使用其它技术，例如快速鲁棒特征(surf)、梯度位置朝向直方图(gloh)、归一化互相关(ncc)或其它可比较技术。

图1b说明一个实施例中的用于执行dcos的方法的流程图。在框181处，实施例(例如，dcos)接收具有第一和第二图像类型的多个非同步且未经识别的输入图像。举例来说，第一类型可以是彩色相机类型且第二图像类型可以是深度相机类型。

在框182处，实施例从第一图像类型的输入图像选择目标图像，并从第二图像类型的输入图像选择比较图像。

在框184处，实施例同步目标图像与比较图像。在一个实施例中，dcos可通过在框185处匹配目标图像特征与比较图像特征或通过在框187处跟踪3d坐标并比较深度值来同步目标图像与比较图像。

在框185处，实施例对目标图像和比较图像执行边缘检测。用于匹配目标图像特征与比较图像特征的边缘检测是可在多种实施方案中起作用的灵活同步技术。在一个实施例中，dcos检测由目标图像和比较图像两者共享的共同边缘(例如，或其它图像特征)。在一个实施例中，替代边缘检测，dcos随时间推移使用2个或更多个彩色图像来创建深度图，且将深度图与来自深度传感器的深度图匹配。

在一个实施例中，在执行边缘检测之前，dcos通过首先确定来自框181的多个输入图像中的每一者的接收时间来设置比较队列。dcos可创建包括来自多个输入图像的图像的子集的比较队列，其中比较队列中的图像的子集包括在从接收到目标图像起的阈值时间内接收的第二图像类型的图像，且其中比较图像是选自比较队列。换句话说，这是因为每一图像的准确创建时间未知，且因此为了发现对在目标图像可以有用之前和之后的多个时间处所接收的图像的经同步对比较，dcos设置用以比较的图像的范围。举例来说，可在时间c1处创建来自彩色相机的目标图像，然而，所述目标图像可到达用于在时间a1处由dcos进行处理。因为首先c1是在a1之前还是之后的时间未知，所以在其之前和之后到达的图像可经测试用于匹配，并且因此被输入到比较队列中。在一些实施例中，比较队列由在接收目标图像之前和之后所接收的第二图像类型的阈值数目个图像限定。举例来说，可以是1，意味着在接收目标图像之前所接收的比较图像和在接收目标图像之后的比较图像将测试用于与目标图像匹配。

在框187处，实施例跟踪坐标并比较深度值。举例来说，替代在框185处匹配特征，dcos可执行slam。在一些实施例中，替代在框185处匹配特征，可在跟踪具有彩色图像的3d参考图时使用slam。在一个实施例中，dcos从彩色相机图像类型的多个输入图像跟踪三维(3d)坐标，其中3d坐标包含深度值。dcos在比较图像内确定具有几何学上与目标图像中所跟踪的坐标等效的点的每个点的深度值。举例来说，dcos可将3d坐标投影到比较深度图像。dcos可比较比较图像内的深度值与目标图像内(所跟踪)的深度值。在一些实施例中，dcos根据目标图像与比较图像之间的深度值匹配的数目而确定兼容性得分。

在框189处，实施例使下一同步测试延迟某一阈值时间或图像计数。举例来说，响应于在框184处同步目标图像与比较图像，可确定两个图像之间的帧偏移。举例来说，帧偏移可以是使ar系统知晓要按帧偏移值(例如，一个帧在前，两个帧在后等)同步目标图像与比较图像偏移的属性。在一个实施例中，帧偏移是比较图像的接收时间与目标图像的接收时间之间的定时偏移。dcos可参考定时偏移(例如，帧偏移)以确定下一经同步对。

帧偏移可辅助dcos随时间推移维持同步，而不是频繁地执行边缘检测或跟踪3d坐标来重建同步帧偏移。举例来说，在一些实施方案中，彩色相机和深度相机可首先逐一个或两个图像帧在另一图像类型前或后“不同步”。响应于根据帧偏移而同步彩色传感器输出与深度传感器输出，同步可保持与偶然同步测试恒定，以验证两个图像传感器馈入不会变得“不同步”。

在框191处，实施例根据从目标图像或比较图像中的一者或两者所提取的参数而变换目标图像或比较图像中的一者或两者。举例来说，dcos计算彩色帧与深度帧之间的直接变换，且接着用作通过经估计变换变换深度帧，题匾在经同步图像对之间提供更好的重叠。在一些实施例中，dcos确定由于主机装置的硬件配置文件或由于当前处理器队列(例如，装置过载或繁忙)，应省略执行变换的外加成本。

图2说明一个实施例中的固定速率彩色相机流和固定速率深度图像流的接收时序。如图2中所说明，在固定时间段c1到c8(205)中接收彩色图像。举例来说，如果彩色相机捕获明亮或光线好的环境的图像，那么彩色图像相机可在大致相同的时间处捕获并处理每一图像。图像捕获时间可以恒定，这是因为(例如，经由快门或滚动快门)用以捕获额外光的更长/变化的曝光时间不是必要的，且不在帧间改变捕获时间。如所说明，dcos可在220处初始化对彩色图像的捕获，且可在225处通过dcos接收彩色图像捕获。

在一些实施例中，深度传感器并入有其自身的ir光源，且可具有用于每一帧的一致/恒定曝光时间。每一个别深度传感器图像的捕获时间可与如由深度图像d1到d8(210)的均匀间隔和恒定深度捕获接收时间230指示相同或大致相同。

在一些实施例中，彩色图像完成时间未知，例如，不存在确定何时创建图像的可靠方式。因此，dcos可确定每一彩色图像的接收时间，而不是完成时间。因此，由于来自相机传感器的传输时延和其它延迟，接收时间可能不指示图像捕获时间。因为图像捕获时间可能未知，所以dcos使用如下文更详细描述的用于同步传入的图像的多种方法。

图3说明一个实施例中的具有可变彩色图像帧的恒定深度图帧的接收时序。如图3中所说明，彩色相机114的未知且可变的处理时间330可接着320处的图像捕获的初始化。因此，可在某一稍后时间325处接收彩色捕获c2。举例来说，相机图像可记录光源与暗源的混合物，使得曝光时间在帧之间不同。因此，非同步增强现实系统可在不与实际捕获各别彩色图像的时间直接相关的时间时接收彩色图像。

图4说明一个实施例中的彩色图像流与深度图像流之间的时序和匹配。如图4中所说明，彩色图像405不与来自深度图像410中的接收前或接收后深度图像一贯地匹配。举例来说，彩色图像c5和彩色图像c6都与深度图像d6最好地匹配(分别是对425和430)，而彩色图像c4与接收后深度图像d5最好地匹配，且彩色图像c7与接收前深度图像d7最好地匹配。

图5说明一个实施例中的具有固定栅选择的彩色图像(505)流与深度图像(510)流之间的时序和匹配。在一个实施例中，dcos可响应于比较一或多个可能经同步对而确定最佳可用匹配偏移(例如，接收前帧、接收后帧、或某一其它位置或指定时间偏移)。在一个实施例中，dcos执行对帧数目的最优对选择，且接着响应于确定所得偏移恒定而设定预定时间段或帧计数的偏移。举例来说，如图5中所说明，dcos可(通过如在先前图4中所描述的分析)确定c2和d2是最好兼容匹配，且将其分类为经同步对。接下来，dcos可继续确定最好匹配，并使c3与d3、c4与d4配对。接下来，dcos可确定使用邻近和接收前深度帧的图案有可能是将来经同步对的彩色帧最好匹配，且绕过彩色图像与深度图像之间的后续匹配比较。因此，如图5中所说明，可根据最好匹配520而确定对，且在经过某些时间或经过预定设定数目个图像帧之后，dcos可使帧偏移525固定。响应于使帧偏移固定，根据预定固定偏移而创建后续经同步对。举例来说，关于图5，设定固定偏移以使彩色图像帧与先前邻近(根据接收时间)深度图像配对。

图6说明另一个实施例中的具有固定栅选择的彩色图像流与深度图像流之间的时序和匹配。如图6中所说明，彩色图像605维持与深度图像610的固定偏移。举例来说，深度图像与到达(根据接收时间)在深度图像之后的两个地点的彩色图像同步。在其它实施例中，后续深度图像(例如，下一图像，接收时间之前的两个图像，或其它偏移)可以是最好匹配，而不是所说明的两个图像先前匹配。如所说明的两个地点先前匹配只是彩色图像流与深度图像流之间的可能经同步匹配的一个实例。

在一个实施例中，dcos跟踪自从指派了配对偏移以来所经过的时间或所处理的图像数目。响应于确定已经过阈值时间量或图像，dcos可确定下一目标图像与下一比较图像之间的兼容性。举例来说，响应于10分钟经过而不确定漂移是否已从偏移发生，dcos可检查一或多个经同步对以确定先前图像匹配偏移是否仍是最佳可能匹配。如果最好匹配仍由匹配偏移提供，那么下一时间阈值可扩展。举例来说，dcos可确定匹配偏移是正确的，且将计数器设定为2分钟，直到下一所启动匹配为止。在一些实施例中，dcos可仅停用所有将来匹配，并无限地维持当前匹配偏移。

在一些实施例中，偏移是特定移动装置的初始硬件配置和传感器配置的结果。举例来说，移动装置a可与传感器b和c配对。dcos可确定用于同步移动装置a上的传感器b与c的偏移。如果在多种情形下维持偏移，那么其它匹配需要发生。因此，配置和所包含偏移可在具有带有传感器b和c的移动装置a的客户端的远程服务器上可用。

图7说明一个实施例中的深度选择。在一个实施例中，dcos与移动装置(例如，装置100)上的本地slam系统介接或与其集成。dcos可利用slam(或其它跟踪系统)以跟踪所接收彩色图像中的标志或特征。slam系统中的跟踪到的特征或标志可具有已知2d坐标和相关联深度(例如，3d坐标)。深度还可被视为在空间上从某一点到在特定相机视角下在相机传感器平面上所投影的点的距离。因此，dcos可确定由彩色相机传感器捕获的每一彩色图像内的每个点或像素、深度或相机距离。此深度可与由深度相机对于2d坐标平面中的相同或类似位置处(例如，深度图像中的x-y坐标处)的点或像素所记录的深度形成比较。在一个实施例中，除了独立图像同步/配对方法以外或作为所述方法，dcos还比较彩色图像中的特征或标志的深度与深度图像中的相同位置处的深度。dcos可将经同步对指派到具有深度值中的最少差异量的彩色图像与深度图像对。

如图7的实例实施例中所说明，具有点“a”750和点“b”755的彩色图像705可将一或多个点投影到一或多个深度图像(例如，第一深度图像710和第二深度图像715)。点“a”750和点“b”在彩色图像755中各自具有不同和唯一的x-y坐标。点“a”750和点“b”755的x-y坐标可用以在第一深度图像710和第二深度图像715内发现等效点(例如，相同或类似x-y坐标处的点)。dcos可比较这些等效x-y坐标点的深度，并确定哪一深度图像在深度上是最接近的匹配。举例来说，点“a”750的深度可以是5尺，且相比于来自第二深度图像715的具有4.9尺的深度的点“a”770，来自第一深度图像710的点“b”760的深度可以是4.8尺。4.9尺的深度图像深度值更接近5尺的彩色图像深度(例如，通过由slam提供的3d坐标值所确定)。因此，dcos可根据相比于其它深度图像是最接近匹配的所选/特定点的深度值类似性而选择第二深度图像715作为最兼容的匹配。dcos还可测试一或多个其它点。举例来说，dcos可测试/比较点“b”755的深度与一或多个深度图像(例如，分别来自第一和第二深度图像的点“b”765和点“b”775)内的深度。dcos可测试彩色与深度图像对内的任何数目个点，以在选择用于配对/匹配的兼容深度图像之前确定深度值的总体、平均类似性。在一些实施例中，dcos可测试/比较第一点的深度，且如果那个深度点值比较不是决定性的(例如，多个深度图像具有与彩色图像深度值类似的值)，那么dcos可继续测试额外点直道确定了最好匹配为止。

图8说明另一个实施例中的用于执行dcos的方法的流程图。在框805处，实施例(例如，dcos)获得包括第一图像类型和不同于第一图像类型的第二图像类型的多个输入图像。图像类型可以是深度相机图像类型抑或彩色相机图像类型。举例来说，深度相机可产生深度图像而彩色相机产生彩色(或灰度)图像。可在与其它类型的图像非同步的情况下获得或接收每一图像类型，且可在不具有对输入图像的实际创建时间的识别的情况下获得或接收多个输入图像中的每一者。举例来说，第一图像的创建可在时间t1处发生，且用于处理到增强现实系统中的图像的实际接收可在稍后时间t2处发生。

在框810处，实施例从第一图像类型的输入图像选择目标图像。举例来说，目标图像可以是深度图像或彩色图像。

在框815处，实施例从第二图像类型的输入图像选择比较图像。第二图像类型可以是不同于与目标图像相关联的第一图像类型的图像类型。举例来说，如果目标图像是彩色图像，那么dcos可选择一或多个深度图像以相对于目标(例如，彩色)图像进行比较或分析。

在框820处，实施例确定比较图像是否与目标图像同步兼容。在一个实施例中，确定兼容性包含检测在目标图像和比较图像两者中存在的几何边缘。边缘检测是确定由两个不同相机类型捕获的两个场景之间的类似性的一个实例，然而，其它类型的匹配检测也是可能的，且属于本文中所描述的实施例的范围内。在其它实施例中，dcos执行输入彩色图像的3d跟踪，使得3d坐标包含对于每一彩色图像已知的深度值。因此，dcos可比较从彩色图像的3d跟踪(例如，slam跟踪)获得的深度值与从比较深度图像内的类似点所计算的深度值。

在框825处，响应于确定比较图像与目标图像同步兼容，实施例将目标图像与比较图像识别为经同步图像对。举例来说，同步目标图像与比较图像可包含连结所述两个图像或使共同id或标记与两个图像相关联。

在一个实施例中，响应于形成经同步图像对，dcos改进经同步对以进一步最小化所述对的任何匹配错误。在一个实施例中，dcos通过根据从目标图像或比较图像中的一者或两者所提取的参数而变换目标图像或比较图像中的一者或两者来改进经同步图像对之间的匹配。鉴于彩色图像c和深度图d，变换θ最小化潜在匹配错误。举例来说，如在下文的等式1中详述：

关于等式1，xi是来自深度图的几何边缘的轮廓点，xi是对应于彩色图像中的ei的轮廓点，且θ是6dof运动参数。

在框830处，实施例一起处理经同步图像对以用于增强现实输出中。举例来说，处理可包含在显示器上显示彩色图像，同时并入有从深度图像提取的深度信息。

如上文所描述，装置100可以是便携式电子装置(例如，智能电话、专用增强现实(ar)装置、游戏装置，例如眼镜等可穿戴式装置、或具有ar处理和显示能力的其它装置)。实施本文所描述的ar系统的装置可用于多种环境(例如商场、街道、房间，或用户可使用便携式装置的任何地方)中。在ar情境中，用户可使用装置100来通过其装置的显示器观察现实世界的表示。用户可通过使用其装置的相机来与其具备ar能力的装置交互，以接收现实世界图像/视频并将额外或替代信息叠加或重叠到装置上的所显示的现实世界图像/视频上。当用户在其装置上观察ar实施方案时，可在装置显示器上实时替代或更改现实世界对象或场景。虚拟对象(例如，文本、图像、视频)可插入到装置显示器上所描绘的场景的表示中。

在一个实施例中，dcos处理装置100的移动、来自彩色相机114的输入、来自深度传感器115的输入以在slam映射中显示目标(例如，一或多个对象或场景)的经更新实时增强。通过装置远离初始参考图像位置的运动，装置可从交替视图中捕获额外的图像。在提取特征并从额外关键帧三角测量之后，可实现增强的增加的准确性(例如，对象周围的边界可更精确地拟合、场景中的对象的表示将显得更真实，且目标放置可相对于相机114位姿更准确)。

在一个实施例中，dcos将对象或图形插入或集成到由相机114捕获且显示于显示器112上的视频流或图像中。dcos任选地促使用户为了额外的信息而增强目标。举例来说，用户可能够添加用户内容以增强目标的表示。用户内容可以是图像、3d对象、视频、文本，或可与目标的表示集成或重叠或替代目标的表示的其它内容类型。

显示器可借助于从原始场景的顺畅跟踪实时更新。举例来说，标志上的文本可用替代文本替代，或3d对象可在战略上放入场景中且显示于装置100上。当用户改变相机114的位置和定向时，可调整或增强图形或对象以匹配相机114的相对移动。举例来说，如果虚拟对象插入到增强实境显示器中，那么远离虚拟对象的相机运动可减小虚拟对象相对于由相机114行进的距离的大小。举例来说，与从虚拟对象退后半步相比，从虚拟对象退后四步应引起虚拟对象大小的更大减小，所有其它变量是相同的。运动图形或动画可在由dcos表示的场景内制成动画。举例来说，可在ar显示器中所描绘的场景内“移动”动画对象。.本领域的技术人员将认识到，可以除ar以外的方式(例如，机器人定位)实施本文中所描述的实施例。

dcos可实施为软件、固件、硬件、模块或引擎。在一个实施例中，通过装置100中的通用处理器161实施先前dcos描述，以实现先前所要的功能(例如，至少是图1b和图8中所说明的方法)。在一个实施例中，dcos可实施为可包含额外子组件的引擎或模块。在其它实施例中，所描述的子组件中的一或多者的特征可组合或分割成不同个别组件、模块或引擎。

本文中的教示可并入到多种设备(例如，装置)中(例如，在其内实施或由其执行)。在一个实施例中，dcos是由处理器执行以接收图像或视频作为输入的引擎或模块。本文中所教示的一个或多个方面可并入到电话(例如，蜂窝电话)、个人数据助理(“pda”)、平板电脑、移动计算机、笔记本电脑、平板电脑、娱乐装置(例如，音乐或视频装置)、头戴式耳机(例如，头戴受话器、听筒等)、用户i/o装置、计算机、服务器、销售点装置、娱乐装置、机顶盒或任何其它合适的装置中。这些装置可具有不同电力和数据要求且可导致针对每一特征或特征集合产生的不同电力分布。

在一些方面中，无线装置可包括用于通信系统的接入装置(例如，wi-fi接入点)。举例来说，此接入装置可经由有线或无线通信链路通过收发器140(例如，例如因特网或蜂窝式网络等广域网)提供到另一网络的连接性。因此，接入装置可以使得另一装置(例如，wi-fi站)能够接入另一网络或一些其它功能性。另外，应了解，所述装置中的一者或两者可以是便携式的，或在一些情况下，是相对非便携式的。

所属领域的技术人员将理解，可以使用多种不同技术和技艺中的任一者来表示信息和信号。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在整个上文描述中可能参考的数据、指令、命令、信息、信号、位、符号和码片。

所属领域的技术人员将进一步了解，结合本文所揭示的实施例描述的各种说明性逻辑块、模块、引擎、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、引擎、电路和步骤。此功能性是实施为硬件还是软件取决于特定应用和施加于整个系统上的设计约束。熟练的技术人员可针对每一特定应用以不同方式来实施所描述功能性，但此些实施决策不应解释为会导致脱离本发明的范围。

在一或多个示范性实施例中，所描述的功能或模块可以硬件(例如，硬件162)、软件(例如，软件165)、固件(例如，固件163)或其任何组合予以实施。如果以软件实施为计算机程序产品，那么功能或模块可存储于非暂时性计算机可读媒体上的一或多个指令(例如，程序指令或代码)上或经由所述指令传输。计算机可读媒体可包含计算机存储媒体和通信媒体两者，通信媒体包含有助于将计算机程序从一处传送到另一处的任何媒体。存储媒体可以是可有计算机或数据处理装置/系统存取的任何可用媒体。举例来说且非限制，此些非暂时性计算机可读媒体可包括ram、rom、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用以携载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(dsl)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输软件，那么同轴缆线、光纤缆线、双绞线、dsl或例如红外线、无线电和微波等无线技术包含于媒体的定义中。如本文中所使用的磁盘和光盘包含压缩光盘(cd)、激光光盘、光学光盘、数字多功能光盘(dvd)、软磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘使用激光以光学方式再现数据。以上各者的组合也应包含于非暂时计算机可读媒体的范围内。

提供对所揭示实施例的先前描述是为了使所属领域的技术人员能够制作或使用本文中的实施例。所属领域的技术人员将容易了解对这些实施例的各种修改，且可在不脱离本文中所描述的实施例的精神或范围的情况下将本文中定义的一般原理应用于其它实施例。因此，本描述并不希望限于本文中所示的实施例，而应被赋予与本文中所揭示的原理和新颖特征一致的最广范围。