色彩通道和光学标记的制作方法

色彩通道和光学标记的制作方法
【专利摘要】描述了色彩通道光学标记技术。在一个或多个实现中，检查从相机获取的多个色彩通道，这些色彩通道中的每一个色彩通道都描绘了光学标记，该光学标记与在这些色彩通道中的另一色彩通道中描绘的另一光学标记具有不同的尺寸。标识处于多个色彩通道中的相应一个中的至少一个光学标记，并使用标识出的光学标记来计算可用于描述计算设备的一部分的至少位置或定向的光学基础。
【专利说明】色彩通道和光学标记
【背景技术】
[0001 ] 计算设备所利用的显示技术日益发展。例如，最初的计算设备提供有单色监视器。用户通过查看单色监视器上的简单文本并经由键盘输入随后可在该监视器上进行查看的文本来与计算设备进行交互。
[0002]显示技术随后被扩展为使用色彩和图形用户界面。例如，这些技术可被利用来使用色彩示出表示文件、连接到计算设备的设备、图像等的图形。随后，用户可使用键盘以及通过使用光标控制设备(诸如，鼠标)来与图形用户界面进行交互。
[0003]显示技术已诸如通过使用查看三维电视机的眼镜、使用虚拟技术等而持续发展。然而，在实现这些技术时可发生使得这些技术难以用传统计算设备来实现的复杂性。

【发明内容】

[0004]描述了色彩通道光学标记技术。在一个或多个实现中，检查从相机获取的多个色彩通道，这些色彩通道中的每一个色彩通道都描绘了光学标记，该光学标记与在这些色彩通道中的另一色彩通道中描绘的另一光学标记具有不同的尺寸。标识出处于多个色彩通道中的相应一个中的至少一个光学标记，并且使用标识出的光学标记来计算可用于描述计算设备的一部分的至少位置或定向的光学基础。
[0005]在一个或多个实现中，装置包括第一光学标签和第二光学标签，第一光学标签可被计算设备的相机在第一位置处分辨出，并且第一光学标签使用第一色彩来描绘，第二光学标签可被计算设备的相机在第一光学标签不可分辨的第二位置处分辨出，第二光学标签使用与第一色彩不同的第二色彩来描绘。
[0006]在一个或多个实现中，装置包括相机、显示设备和一个或多个模块。一个或多个模块被配置为从相机的红色通道获取第一图像，从相机的绿色通道获取第二图像，并从相机的蓝色通道获取第三图像。该一个或多个模块还被配置为:标识第一图像、第二图像或第三图像中的哪个图像描绘了可被该一个或多个模块分辨的光学标记，以确定该装置的至少一部分的位置或定向；计算描述该装置的至少所述部分的位置或定向的基础；以及使用计算到的基础来生成要通过显示设备来显示的增强现实显示。
[0007]提供本
【发明内容】
以便以简化形式介绍将在以下【具体实施方式】中进一步描述的一些概念。本
【发明内容】
不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
【专利附图】

【附图说明】
[0008]参考附图来描述【具体实施方式】。在附图中，附图标记最左边的数字标识该附图标记首次出现的附图。在说明书和附图的不同实例中使用相同的附图标记可指示相似或相同的项目。
[0009]图1是在一示例实现中的可用于采用在此描述的增强现实技术的环境的图示。
[0010]图2是在一示例实现中的更详细地示出图1的增强现实模块的系统的图示，该增强现实模块供计算设备用来实现基础生成。
[0011]图3描绘了在一示例实现中的示出由具有不同的大小和色彩的多个增强现实(AR)标签形成的复合AR标签的装置。
[0012]图4是描绘了在一示例实现中的利用色彩通道技术来为计算设备的至少一部分计算光学基础的过程的流程图。
[0013]图5是描绘了在一示例实现中的基于来自红色色彩通道、绿色色彩通道和蓝色色彩通道的光学标记的分辨率来生成增强现实显示的过程的流程图。
【具体实施方式】[0014]概览
[0015]在此处的各示例中描绘增强现实技术。增强现实技术可用于使用计算机生成的输出(诸如，声音或图形)来增强的现实世界环境的视图。通过这种方式，用户的现实世界视图可包括由计算设备生成的传感输入，因此可增强用户的体验。
[0016]在以下讨论中，描述了涉及使用光学标记和色彩通道的增强现实技术。例如，相机可用于捕捉计算设备的物理环境(诸如，用户的媒体室)的图像。随后，可分析该图像以定位给出了相机相对于该物理环境的位置和/或定向的指示的标记。例如，增强现实标签(AR标签)可用于指示相机和标签之间的距离以及相对于标签的定向。通过这种方式，图像可用于计算光学基础，该光学基础用于确定相机在物理环境中的定向和/或位置。
[0017]然而，传统的AR标签具有其中这些标签可被相机分辨的非常有限的范围。例如，相机可具有给定的分辨率，而传统的AR标签一般以单一尺寸形成，使得这些标签可在相机和这些AR标签之间的有限距离范围内被相机分辨出。因此，设计者通常被迫确定相机和AR标签的典型操作范围，该操作范围可能以AR标签和计算设备并非设计用于的其他范围来限制对这些技术的使用。
[0018]因此，在此描述了多个AR标签可被覆盖的技术。此外，这些标签可采用不同的尺寸和色彩以对应于计算设备可分辨的色彩通道。例如，计算设备可包括支持红色通道、绿色通道和蓝色通道的相机。具有这些色彩的AR标签可作为支持对应于这些色彩的不同尺寸的复合AR标签而被覆盖。例如，大尺寸的AR标签可被着红色，中尺寸的AR标签可被着绿色，并覆盖在红色AR标签之上。同样，小尺寸的AR标签可被着蓝色，并覆盖红色AR标签和绿色AR标签。随后，相机可捕捉复合标签的图像，并使用单独的红色通道、绿色通道和蓝色通道来分辨出大标签、中标签或小标签中的一个或多个。通过这种方式，通过使用这些不同的范围，计算设备使用AR标签的有效范围可被翻三倍，而无需扩展复合标签的总大小。自然地，构想了其他色彩示例和光标标记技术，其进一步讨论可相关于以下部分找到。
[0019]在以下讨论中，首先描述可采用本文描述的技术的示例环境。随后描述可在该示例环境以及其他环境中执行的示例过程。因此，各示例过程的执行不限于该示例环境，并且该示例环境不限于执行各示例过程。
[0020]示例环境
[0021]图1是在一示例实现中的可用于采用此处描述的增强现实技术的环境100的图示。所示环境100包括计算设备102，该计算设备可用各种方式来配置。例如，虽然计算设备102被示为移动通信设备(例如，平板设备、无线电话)，但计算设备102可以以各种其他方式来配置。例如，计算设备102可被配置成能够通过网络104通信的计算机，诸如台式计算机、移动站、娱乐设备、通信地耦合至显示设备的机顶盒、游戏控制台、和平板设备等。
[0022]因而，计算设备102的范围可以是从具有充足存储器和处理器资源的全资源设备(如个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(如传统机顶盒、手持式游戏控制台)。此外，尽管示出了单个计算设备102，但是计算设备102可以表示多个不同设备，比如用户可穿戴的头盔和游戏控制台、被公司用于执行提供“云中”的平台的操作的多个服务器、遥控器、和机顶盒组合等等。
[0023]计算设备102还被示为包括增强现实模块106。增强现实模块106表示计算设备102的、用于增强计算设备102的现实世界周围环境的视图的功能。在所示出的示例中，例如，计算设备102被示为物理地存在于房间108中，该房间108具有定位在房间108的某转角处的沙发110、椅子112和桌子114。
[0024]计算设备102包括相机116，该相机116被配置为捕捉计算设备102的物理周围环境(例如，在本示例中为房间108)的一个或多个图像。这一个或多个图像可用于捕捉要被增强的“现实”的视图，但是其他输入设备也被构想，诸如话筒。增强现实模块106可以从相机116处接收数据(例如，一个或多个图像)以生成帧118，帧118被示为被存储在计算设备102的帧缓冲器120中。
[0025]帧118随后可由计算设备102的显示设备122来显示，虽然显示设备122被示为移动通信设备的一部分，但可采取各种配置。在一个或多个实现中，显示设备122可被包括为头盔的一部分，并被定位为供用户的眼睛中的一个或多个查看。此外，显示设备122可以是或可以不是部分透明的。例如，显示设备122可被配置为显示相机116捕捉到的图像以及增强两者。在另一示例中，显示设备122可被配置为显示增强，而不显示相机116捕捉到的图像的视图，但准许物理周围环境的视图透过显示设备122的至少一部分而被观察。因此，增强现实模块106所生成的增强可以以各种方式被显示。
[0026]在所示的示例中，由显示设备122显示的帧118包括相机116捕捉到的图像。帧118还包括由增强现实模块106生成的多个增强。所示的由显示设备122显示的示例包括表现为定位在房间108的墙上的第一图片124和第二图片126，以及表现为被放置在桌子114上的碗128。因此，增强现实模块106可以增强由显示设备122显示的现实的视图。应当容易明白，由增强现实模块106生成的增强可采取多种其他形式，诸如作为游戏的部分的物体和计算设备102的周围环境的视图的其他变化。
[0027]为了生成这个视图并知道将这些增强放置在“哪里”，增强现实模块106可利用各种技术来确定计算设备102相对于环境(例如，所示出的房间108)的定向和/或位置。例如，增强现实模块106可利用一个或多个光学标记来确定计算设备102如何定位、定向、和移动等。这些光学标记可采用各种形式。例如，增强现实模块106可将起居室中的一个或多个视点设置成标记，由此用作确定定向和/或定位(诸如，桌子114的转角、椅子112的定向等等)的基础。因此，房间中的物项可用作确定计算设备102位于房间中的哪里的基础。
[0028]在另一示例中，增强现实模块106可利用物理地定位在计算设备102的周围环境内的一个或多个增强现实(AR)标签的视图。示例AR标签130被示为定位在房间108内的桌子114上。虽然示出了单个AR标签130，但可在该环境中利用多个AR标签。示例AR标签130 (或其他标记)可用作确定深度(例如，AR标签130和相机116之间的距离)、计算设备102相对于AR标签130的二维定向等等的基础。
[0029]例如，AR标签130可包括增强现实模块106可识别来确定距AR标签130的距离和/或计算设备102相对于AR标签130的定向的图案。通过这种方式，标记可被增强现实模块106利用来确定计算设备102定位在物理环境中的“哪里”以及计算设备102在物理环境中“如何”定位。增强现实模块106可将该确定用作生成要被输出来供计算设备102的用户查看的增强的基础。
[0030]增强现实模块106还可利用一个或多个传感器132来确定和验证计算设备102的位置和/或定向。例如，传感器132可被配置为惯性测量单元(IMU)，该惯性测量单元可包括陀螺仪、一个或多个加速计、磁力计、并包括其任何组合等。这些单元可用于生成外部基础，利用该外部基础可验证使用之前描述的光学标记技术来生成的基础。例如，可使用由一个或多个传感器(例如，IMU134)生成的基础来评估使用以上描述的利用相机116的光学标记技术来生成的基础，以得到的差异。通过这种方式，这些技术可用于确定计算设备102相对于其物理周围环境的定向和位置。
[0031]增强现实模块106还被示为包括标记标识模块136。标记标识模块136表示采用具有光学标记(诸如，AR标签130)的色彩通道技术的功能。例如，标记标识模块136可以从具有各自处于不同色彩的多个通道的相机116处接收馈源。可通过根据相机116所支持的色彩通道为AR标签130着色来支持AR标签130的不同尺寸。通过这种方式，光学标记技术的有效范围可通过利用不同的尺寸和不同的色彩来扩展，其进一步讨论可相对于图2来发现。
[0032]一般而言，本文描述的任何功能可使用软件、固件、硬件(例如，固定逻辑电路)、手动处理或这些实现的组合来实现。如此处所使用的术语“模块”和“功能”一般表示硬件、软件、固件、或其组合。在软件实现的情况中，模块、功能，或逻辑代表指令和执行硬件所指定的操作的硬件，例如，一个或多个处理器和/或功能块。
[0033]例如，计算设备102可包括使得计算设备102的硬件执行操作的实体(例如软件)，例如处理器、功能块，等。例如，计算设备102可包括计算机可读介质，其被配置用于维护使得计算设备尤其是计算设备102的硬件执行操作的指令。因此，指令用于配置硬件来执行操作，并以此方式致使硬件变换以执行功能。可由计算机可读介质通过各种不同配置将指令提供给计算设备102。
[0034]一种这样的计算机可读介质配置是信号承载介质，并因此被配置来将指令(例如，作为载波)，例如通过网络104，传送到计算设备的硬件。计算机可读介质还可被配置为计算机可读存储介质，因此不是信号承载介质。计算机可读存储介质的示例包括，随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪存、硬盘存储器，和其他可使用磁、光以及用于存储指令和其他数据的其他技术的存储设备。
[0035]图2是在一示例实现中的更详细地示出图1的增强现实模块106的系统200的图示，该增强现实模块供利用多个不同色彩通道的计算设备102用来实现基础生成。本示例中的相机116被示为捕捉AR标签130的图像。
[0036]这些图像被示为被分解成多个不同的色彩通道，这些色彩通道的示例包括红色色彩通道202、绿色色彩通道204、和蓝色色彩通道206。这些通道中的每一个被示为包括对应于相应通道的色彩的标记图像。例如，红色色彩通道202包括相对大尺寸的红色AR标签图像，因此被配置为可在相机116和AR标签130之间的相对大距离处被查看到。然而，绿色色彩通道204包括采取与红色AR标签的大尺寸相比相对中尺寸的绿色AR标签图像，并因此被配置为可在相机和AR标签130之间的相对中等距离处被查看到。同样，蓝色色彩通道206包括采取相对小尺寸的蓝色AR标签图像，因此被配置为可在相机116和AR标签130之间的相对近距离处被查看到。通过这种方式，这些色彩通道中的每一个可涉及在相机116和使用相机116的单个分辨率的AR标签130之间、可能(例如，完全或部分地)不同的特定距离范围。
[0037]标记标识模块136可随后比较红色通道、绿色通道和蓝色通道206以定位可分辨的一个或多个图像，以确定计算设备102的一部分(例如，包括相机116的那部分)的位置和定向。例如，相机116可位于其中从红色色彩通道202和绿色色彩通道204中获得的图像中的AR标签可分辨、但包括在蓝色色彩通道206中的AR标签不可分辨的距离处。
[0038]在这个示例中，标记标识模块136可利用分辨出的AR标签图像中的一个或多个(例如，通过求平均、求加权平均、置信值、及仅使用AR标签的“最清楚的”图像等等)来得到标识出的标记208。随后，标识出的标记208可被基础计算模块210用来计算描述计算设备102的部分的位置或定向的光学基础212。随后，可出于各种目的而使用这个光学基础212，诸如为了生成之前描绘的增强现实显示。
[0039]通过这种方式，在此描述的色彩通道技术可以克服使用传统技术而遇到的各种缺点。例如，之前的传统技术因受到用于捕捉AR标签的图像的相机的分辨率的限制而具有有限范围。由于加AR标签一般依赖于标识固定大小的标记，传统的AR标签和相机之间的距离的操作范围受到该组合的制约。例如，一旦相机移出了分辨AR标签的图像的范围，则这一组合可能失效。例如，分辨AR标签的特征的能力可能因相机的像素分辨率不再足以分辨出该特征而丧失。
[0040]同样，传统的“大” AR标签可以将其中可分辨AR标签的最小范围限制为通常捕捉到的图像将包括该标签的大部分，以便能够分辨该图像。例如，在近范围处，相机可能无法捕捉大AR标签的、足以标识该标签以计算出光学基础的那部分的图像。
[0041 ] 在另一示例中，传统的AR标签可在该AR标签无法被计算设备归类的情况下而被跳过。这可在AR标签不可用于标识的情况下引入错误并可导致缺少对光学基础的确定。在其他示例中，传统的AR标签不可重叠。因此，如果物理环境相对较小但仍可从极微小的距离和巨大的距离处被看见，则在使用传统技术的环境中可能不存在足够的空间来包括要被用来支持这些不同距离的每一 AR标签类型。
[0042]然而，使用在此描述的色彩通道技术，分开的通道可用于捕捉具有不同尺寸的光学标记的图像，由此增加了相机和标记之间的有效距离范围。例如，来自相机116的传入RGB流可被分解成它的组成部分，即所示的红色通道202、绿色通道204和蓝色通道206。这些通道随后可被转换到灰度级并被处理以标识出标记。因此，可以为不同的色彩通道编码不同尺寸的标记。此外，基于先前的参考位置，标记标识模块136可以为给定帧估计出相对而言哪个图像最可能相关，由此提升足够的像素覆盖。
[0043]如所示出地，为了实现与相机的位置或定向的相对较长距离的配准，可使用较大的标记通道(例如，红色色彩通道202)。另一方面，为了与相机116的位置或定向的相对较短距离的配准，可使用较小的标记通道(例如，蓝色色彩通道206)。如果相机116逼近大AR标签到接近的地步，例如相机116的视野可以截去大AR标签的区域，从而可阻止大标签的这部分的图像被标识。因此，在这样的示例中，另一色彩通道可用于标识相应的AR标签(例如，绿色色彩通道204或蓝色色彩通道206)。
[0044]此外，标记标识模块136可以利用来自多个色彩通道的AR标签的分辨率。例如，标记标识模块136可能能够标识出包括在多个色彩流中的相应一个中的多个AR标签。随后，可使用这些标识出的AR标签来得到组合值，诸如通过获得加权和、求各置信值的平均等等。通过使用多个不同的色彩，AR标签130还可被组合以形成复合AR标签，由此可利用较少量的空间而仍支持较大的距离范围，此进一步讨论可相对于下图来发现。
[0045]图3描绘了在一示例实现中的示出由具有不同大小和色彩的多个AR标签来形成的复合AR标签的装置300 ο在这个示例中，三个不同大小的标记被示为具有不同的尺寸，红色标记302具有相对大的尺寸,绿色标记304具有中间大小的尺寸,蓝色标记306具有相对小的尺寸。通过使用前向散列来示出由红色标记302使用的红色，通过使用后向散列来示出由绿色标记304使用的绿色，并通过使用垂直散列来示出由蓝色标记306使用的蓝色。
[0046]通过使用不同的色彩，可形成包括红色标记、绿色标记和蓝色标记306的复合标记308。例如，复合标记308的各部分可以包括单个色彩、两个色彩、三个色彩、和无色彩等等。因此，这些色彩可被覆盖，使得不同尺寸的标记可被复合标记308支持。随后，通过分解这些通道，这些色彩中的每一个可被分辨出，即使被覆盖。
[0047]虽然在这个示例中描述了三种色彩，但应易于明白，各种不同数目的色彩和色彩本身可被利用，而不背离其精神和范围。此外，虽然在这些示例中描述了 AR标签，但应易于明白，各种光学标记可被利用，诸如通常在物理环境中发现和可标识的物体，如之前相对于图1所描述的。
[0048]示例过程
[0049]以下讨论描述了可利用上述系统和设备来实现的增强现实技术。可以使用硬件、固件或软件或其组合来实现每一个过程的各方面。过程被示为一组框，它们指定由一个或多个设备执行的操作，不一定仅限于所示出的用于由相应的框执行操作的顺序。在以下讨论的各部分中，将分别参考图1的环境100及图2和3的系统200和装置300。
[0050]图4是描绘了在一示例实现中的其中利用色彩通道技术来为计算设备的至少一部分计算光学基础的过程400的流程图。检查从相机获取的多个色彩通道。这些色彩通道中的每一个描绘了光学标记，该光学标记与在这些色彩通道中的另一个中描绘的另一光学标记具有不同的尺寸(框402)。相机116可例如捕捉AR标签130的图像、以及房间106中的物体(其可能使用了光学标记)等等。
[0051]标识出处于多个色彩通道中的相应一个中的各光学标记中的至少一个(框404)。标记标识模块136可例如检查这些不同色彩通道中的图像以确定这些图像中的一个或多个是否足以标识出光学标记。
[0052]使用标识出的光学标记来计算可用于描述计算设备的一部分的至少位置或定向的光学基础(框406)。对光学基础的计算可例如基于标识出的处于单个色彩通道中的单个光学标记、从多个通道中获取的图像，并且还可涉及使用先前的光学基础和/或从色彩通道获取的图像的内插。
[0053]至少部分地基于光学基础来生成增强现实显示以供计算设备显示(框408)。增强现实显示例如可被配置为包括根据光学基础被定位在显示中的、由增强现实模块106生成的对象。
[0054]图5描绘了在一示例实现中的基于来自红色色彩通道、绿色色彩通道和蓝色色彩通道的光学标记的分辨率来生成增强现实显示的过程的流程图。从相机的红色通道获得第一图像，从相机的绿色通道获得第二图像，以及从相机的蓝色通道获得第三图像(框502)。相机116例如可包括被配置成捕捉红色图像、绿色图像和蓝色图形并经由各个色彩通道来提供这些图像的传感器。在另一示例中，RGB馈源可被计算设备102分解成红色通道、绿色通道和蓝色通道。
[0055]使用一个或多个模块来标识出第一图像、第二图像或第三图像中的哪个图像描绘了这一个或多个模块可分辨的光学标记，以确定该装置的至少一部分的位置或定向(框504)。如上所述，可以将这些图像转换成灰度级，并对其进行处理以确定是否这些图像中的一个或多个可分辨来标识出光学标记(诸如，AR标签)。
[0056]计算描述该装置的至少该部分的位置或定向的基础(框506)。例如，可以例如根据AR标签的单个图像、这些图像中的两个的平均值、及三个色彩通道的加权平均等等来计算该基础。随后，可使用计算出的基础来生成增强现实显示以由显示设备来进行显示(框508)。如之前所讨论的，虽然描述了红色色彩通道、绿色色彩通道和蓝色色彩通道，但可以利用各种不同的色彩，而不背离其精神和范围。
[0057]结语
[0058]虽然已经用对结构特征和/或方法动作专用的语言描述了本发明，但是应该理解，在所附权利要求中定义的本发明不必限于所述的具体特征或动作。相反，这些具体特征和动作是作为实现所要求保护的本发明的示例形式而公开的。
【权利要求】
1.一种由计算设备实现的方法，所述方法包括: 检查从相机获取的多个色彩通道，每一所述色彩通道都描绘了光学标记，该光学标记与在另一所述色彩通道中描绘的另一光学标记具有不同的尺寸； 标识出处于所述多个色彩通道中的相应一个中的至少所述光学标记；以及 使用标识出的光学标记来计算可用于描述计算设备的一部分的至少位置或定向的光学基础。
2.如权利要求1所述的方法，其特征在于，所述多个色彩通道包括红色色彩通道、绿色色彩通道和蓝色色彩通道。
3.如权利要求1所述的方法，其特征在于，不同尺寸的所述光学标记能分别在距相机的不同距离处被分辨出。
4.如权利要求1所述的方法，其特征在于，还包括将所述多个色彩通道分解成要供所述检查使用的分开的馈源。
5.如权利要求1所述的方法，其特征在于，所述计算包括利用使用来自所述多个色彩通道的相应光学标签而计算出的置信值的加权输出来分辨协调帧。
6.如权利要求1所述的方法，其特征在于，所述标识包括从所述多个色彩通道的图像获取中选择具有用于计算所述光学基础的足够分辨率的至少一个所述光学标记。
7.如权利要求1所述的方法，其特征在于，所述光学标记是由多个不同色彩形成的复合光学标记的部分，这些色彩中的每一个对应于相应的所述色彩通道，并可分辨来以相应的所述尺寸示出相应的所述光学标记。
8.如权利要求1所述的方法，其特征在于，所述计算设备的所述部分是用户可佩戴的。
9.如权利要求1所述的方法，其特征在于，还包括至少部分地基于所述光学基础来生成增强现实显示以供所述计算设备显示。
10.一种装置，包括: 第一光学标签，该第一光学标签可被计算设备的相机在第一位置处分辨出，并且该第一光学标签使用第一色彩来描绘；以及 第二光学标签，该第二光学标签可被所述计算设备的所述相机在所述第一光学标签不可分辨的第二位置处分辨出，所述第二光学标签使用与所述第一色彩不同的第二色彩来描
O
【文档编号】G06K7/10GK103477348SQ201280019306
【公开日】2013年12月25日 申请日期:2012年4月21日 优先权日:2011年4月21日
【发明者】B·J·苏格登, T·G·萨尔特 申请人:微软公司