用于提供交互信息的方法和系统的制作方法

用于提供交互信息的方法和系统的制作方法
【专利摘要】一些实施例提供了用于提供信息的方法。这些方法包括：用显示装置的一个或多个相机沿着第一方向拍摄视频；检测所述视频中获取的关注对象；得到与关注对象对应的附加信息；确定用户相对于所述显示装置的显示器的取向，其中，所述显示器与所述第一方向相反地取向；基于确定的所述用户的取向，确定各视频图像中将要显示的部分，使得所述视频图像的所述部分被构造成对于用户而言看起来好像所述显示装置没有定位在所述用户和关注对象之间；在拍摄所述视频图像时，显示所述视频图像的所述部分并且同时将所述附加信息与关注对象协同地显示。
【专利说明】用于提供交互信息的方法和系统

【技术领域】
[0001]本发明总体涉及提供信息，更具体地，涉及提供相对于关注对象的信息。

【背景技术】
[0002]对消费性电子装置的使用持续增加。越来越多的用户携带提供各式各样功能的便携式消费性电子装置。用户变得愈发依赖这些装置。另外，用户不断地期望这些电子装置有附加的用途。


【发明内容】

[0003]本发明的数个实施例通过提供用于提供附加信息的方法，有利地应对了以上的需要以及其它需要。在一些实施方式中，一种提供信息的方法，所述方法包括:用显示装置的一个或多个相机沿着第一方向拍摄视频，所述视频包括一系列视频图像；检测所述视频中拍摄的第一关注对象；得到与所述第一关注对象对应的附加信息；确定用户相对于所述显示装置的显示器的取向，其中，所述显示器的取向与所述第一方向相反；基于确定的所述用户相对于所述显示器的取向，确定各视频图像中将要在所述显示器上显示的部分，使得所述视频图像中的所述部分在显示时被构造成对于用户而言看起来好像所述显示装置没有定位在所述用户和所述第一关注对象之间；以及在拍摄所述视频图像时，通过所述显示装置显示所述视频图像的所述部分并且同时将所述附加信息与所述第一关注对象协同地显
/Jn ο
[0004]其它实施例提供了用于提供对应于关注对象的信息的系统。这些实施例中的一些包括:用于沿着第一方向拍摄视频的装置，所述视频包括一系列视频图像；用于检测在所述视频中拍摄的第一关注对象的装置；用于得到与所述第一关注对象对应的附加信息的装置；用于确定用户相对于所述显示装置的显示器的取向的装置，其中，所述显示器的取向与所述第一方向相反；用于基于确定的所述用户相对于所述显示器的取向确定各视频图像中将要在所述显示器上显示的部分使得所述视频图像中的所述部分在显示时被构造成对于用户而言看起来好像所述显示装置没有定位在所述用户和所述第一关注对象之间的装置；以及用于在拍摄所述视频图像时显示所述视频图像的所述部分并且同时将所述附加信息与所述第一关注对象协同显示的装置。

【专利附图】

【附图说明】
[0005]通过结合下面的附图提供的下面对本发明更具体的描述，本发明的数个实施例的以上和其它方面、特征和优点将更清楚。
[0006]图1示出根据一些实施例的提供和/或显示对应于关注对象的附加信息的过程的简化流程图。
[0007]图2A示出根据一些实施例的定位成近邻关注对象的显示装置的简化立体图。
[0008]图2B示出根据一些实施例的从用户的角度看相对于关注对象定位的显示装置的简化立体图。
[0009]图3A示出根据一些实施例的显示装置的简化平面图，其中，显示装置被取向成示出显示装置的显示器。
[0010]图3B示出图3A的显示装置的简化平面图，显示装置被取向成示出显示装置的壳体或背面。
[0011]图4A至图4B分别示出根据一些实施例的显示装置的简化俯视图和侧视图并且还示出对显示装置的前置相机所拍摄的图像中的部分和子集的选择的变化。
[0012]图5A至图示出根据一些实施例的显示装置的简化视图，图示了基于用户的距离取向对图像中的部分的选择的变化。
[0013]图6示出根据一些实施例的显示装置的背面的简化立体图。
[0014]图7示出根据一些实施例的基于确定的用户取向选择的视野的部分或子集中与显示装置的前置相机之一对应的简化表示。
[0015]图8示出根据一些实施例的在确定用户取向的过程中使用的参数的简化图形表
/Jn ο
[0016]图9示出根据一些实施例的在确定用户取向的过程中使用的参数的简化图形表
/Jn ο
[0017]图10示出根据一些实施例的提供与关注对象相关的附加信息的过程的简化流程图。
[0018]图11示出根据一些实施例的识别关注对象并且提供与关注对象的交互的过程的简化流程图。
[0019]图12示出根据一些实施例的在显示装置上显示与关注对象对应的附加信息的过程的简化流程图。
[0020]图13示出根据一些实施例的检测用户相对于显示装置的取向的过程的简化流程图。
[0021]图14示出根据一些实施例的允许用户与显示装置和/或与识别的关注对象相关联地显示附加信息交互的过程的简化流程图。
[0022]图15示出根据一些实施例的用于实现为用户提供与识别到的关注对象相关的附加信息的方法、技术、装置、设备、系统、服务器、源等的系统。
[0023]在附图的数个视图中，对应的参考符号始终表明对应的组件。熟练的技术人员应该理解，附图中的元件是为了简便和清楚起见进行例示的，并不一定按比例绘制。例如，附图中的一些元件的尺寸可以相对于其它元件被夸大，以有助于增强对本发明的各种实施例的理解。另外，为了有助于不太妨碍本发明的这些各种实施例的视图，常常没有示出商业上可行的实施例中可用或必须的一般但熟知的元件。

【具体实施方式】
[0024]下面的描述将没有限制含义，而只是出于描述示例性实施例的一般原理的目的。应该参照权利要求书确定本发明的范围。
[0025]在整个本说明书中引用“一个实施例”、“实施例”、“一些实施例”、“一些实现方式”或类似的语言意指结合实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，在整个本说明书中出现的短语“在一个实施例中”、“在实施例中”、“在一些实施例中”和类似的语言可以但不一定都是指同一实施例。
[0026]此外，在一个或多个实施例中，可以用任何合适的方式组合本发明中描述的特征、结构或特性。在下面的描述中，提供众多具体细节，诸如，编程、软件模块、用户选择、网络事务、数据库查询、数据库结构、硬件模块、硬件电路、硬件芯片等的示例，以得到对本发明的实施例的全面理解。然而，相关领域的技术人员将认识到，可以在没有一个或多个特定细节的情况下或者用其它方法、组件、材料等实践本发明。在其它情形下，为了避免混淆本发明的一些方面，没有详细示出或描述熟知的结构、材料或操作。
[0027]本发明的实施例提供了相对于关注对象或装置的附加信息。当用户正在看通过与显示装置装在一起的一个或多个相机拍摄的关注对象和周围环境的显示图像时，可以在显示装置上显示关注对象。因此，在至少一些情形下，在显示装置上呈现的显示视图对应于如果显示装置移走时用户将会看到的视图。通过这个视图，当显示装置被构造成还显示与所关注装置或对象对应的附加信息时用户看起来好像看“穿”显示装置。
[0028]图1示出根据一些实施例的提供和/或显示与关注对象对应的附加信息的过程110的简化流程图。在步骤112中，由沿通常背离用户的第一方向的一个或多个相机拍摄视频或一系列图像。在步骤114中，检测、选择和/或识别视频内一个或多个关注对象。
[0029]在步骤116中，对应于一个或多个关注对象得到附加信息。在步骤118中，确定用户相对于显示装置的显示器的取向。通常，用户正在看的是显示器，因此，显示器通常与第一方向反向地或者成180度地取向。在步骤120中，基于用户相对于显示器的取向，确定视频的各图像中将要在显示器上显示的部分或子集。在一些实施例中，确定视频图像的部分，使得当显示这些部分时，它们被构造成向用户呈现的是好像显示装置没有定位在用户和关注对象之间。在步骤122中，视频图像的这些部分在视频图像被实时拍摄时进行显示，而附加信息与关注对象协同进行显示。通常，在显示拍摄图像的这些部分时，同时显示附加信息。当视频图像的部分包括多个关注对象时，在一些情形下，当空间可用时，附加信息可以与关注对象中的每个协同进行显示。当空间不可用时，可以采取一个或多个其它动作，诸如划分一个或多个关注对象的优先顺序并且根据间隔和划分优先顺序来显示附加信息，促使显示装置重新取向(例如，从风景到肖像)和/或进行其它这种动作。
[0030]通常，通过装在回放装置中的一个或多个相机拍摄图像。另外，一些实施例利用两个相机允许回放装置三维地显示视频和/或图像。例如，显示装置可以包括三维(3D)显示器，该显示器可以在提供3D视频回放时利用这两个相机拍摄的两个不同视频。在一些情形下，将相机定位在显示装置上，使得它们分开一定距离。该距离可以是基本上任何距离，在一些实施例中，大致等于平均成年人两眼之间的平均距离。一个或多个相机通常定位在回放装置的外壳内。所述一个或多个相机的视野是沿着背离显示装置的显示器达大致180度的第一方向，使得当用户看显示器时，相机的视野大体平行于用户的视野。
[0031]相机的视野可以相对大，以适应各种用户相对于显示装置的取向。另外，可以基于显示装置的大小、显示装置有可能占用用户视野中的多少和其它这种相关因素来构造视野。在一些实施例中，相机中的一个或多个可以是用于提供较高分辨率视频和/或图像的高清晰度相机。
[0032]图2A示出定位成邻近关注对象或装置214的显示装置212的简化立体图，在这个实施例中，关注对象或装置214是电视机。图2B示出从用户的角度看相对于关注对象214定位的显示装置212的简化立体图。因此，显示装置212拍摄视频。基于用户216的角度，显示装置识别视频的帧中要显示(或回放)的部分并且显示图像的这些部分，从而使用户216看起来好像用户正在看穿显示装置212和/或好像显示装置没有设置在用户和关注对象之间。另外，在显示视频图像的这些部分的过程中，一些实施例三维显示视频图像的这些部分，使得对于用户而言，显示的视频图像的这些部分看上起像是具有如果从用户的视野中去除显示装置212原本会看到的深度一致的深度。在图2B中的示例中，显示装置212将关注对象的部分220与周围环境的一部分一起显示。
[0033]如上所述，显示装置212还可以显示相对于关注对象214的附加信息。例如，当用户216正在观看TV 214时，附加信息222可以包括关于正在观看的节目的信息、可能可用的后续或可供选择的电视节目、与电视节目相关的信息的链接、关于TV 214的信息(例如，用户指导信息和/或用户指导信息的获取途径)、和/或与关注对象214相关的其它信息。类似地，附加信息222可以包括允许用户216控制关注对象(诸如，开大音量、选择不同的频道或节目、记录节目、通过电子节目指南进行观看和导航和/或其它这种信息)的控制。另外，可以显示附加信息222，使得它不干扰关注对象214。例如，通过显示装置212将附加信息222显示在图像内并且处于关注对象214的被显示部分的上方(例如，显示在被显示TV的上方，而不妨碍TV和/或TV的显示器上的视频)。在一些实现方式中，可以通过显示装置212相对于关注对象214显示被显示的附加信息222，使其保持在同一位置或取向，而不管显示装置212的视角如何。正在从另一个角度看关注对象的关注对象214的其他用户或观众通常将不能够看到显示装置212，因此，将不看到附加信息。
[0034]显示装置212可以基本上是任何能够在给定方向上拍摄一系列图像和/或视频并且相对于用户的角度播放这一系列图像或视频中的各图像的至少一些部分的显示装置。例如，显示装置212可以是(但不限于)智能电话、平板计算装置、媒体回放装置、Tablet S、iPad、iPhone、iTouch、相机、摄像机、其它这种便携式和/或手持装置、或其它这种相关装置。因此，在一些情形下，显示装置可以像标准装置一样操作而不提供如本文所述的附加信息，而在其它情形下，显示装置可以进行操作，以提供附加信息。在一些实施例中，显示装置被专门构造成唯一地像本文所述这样操作来提供附加信息。在一些实施例中，显示装置包括立体增强现实(S.A.R)显示装置212(例如，平板)。SAR装置可以提供头部追踪相机(例如，显示器侧的相机320-321)，头部追踪相机可以用于将立体视图与用户的头部和/或眼部位置对准。
[0035]关注对象214可以基本上是显示装置212 (或提供到显示装置的识别信息)或其它装置或服务可以辨认并且显示装置可以显示其相关信息的任何东西。例如，所关注装置可以包括(但不限于)多媒体回放装置(例如，TV、机顶盒、蓝光播放器、DVD播放器、放大器、无线电、平板计算装置，Tablet S、iPad、iTouch和其它这种装置)、家用电器、商业和/或商业标识、关注点或其它这种对象。在一些情形下，显示装置可以在识别关注对象时考虑其它信息，诸如，地理和/或全球定位系统(GPS)信息、取向和/或罗盘信息、加速度计信息、地图信息、图像拍摄信息、通信信息(例如，来自关注对象(例如，WiF1、LAN等))和/或其它这种信息。例如，显示装置可以包括内部加速度计(例如，三个自由度(DOF)、6个DOF或其它加速度计)。
[0036]在一些情形下，远程装置或服务可以识别关注对象。例如，一个或多个图像或帧、或视频的一部分可以被转发到第三方服务，诸如，通过网络、互联网或其它一种或多种通信方法进行通信。第三方可以识别一个或多个关注对象(或潜在的关注对象)并且转发回与所述一个或多个所关注装置中的每个对应的附加信息。
[0037]例如，在一些实施例中，图1的步骤114可以包括:可以评价一个或多个图像以选择一个或多个潜在的关注对象。然后，回放装置可以试图识别一个或多个潜在的关注对象。如果无法识别一个或多个潜在的关注对象，则回放装置可以诸如通过互联网请求一个或多个远程装置和/或服务的支持。当所述一个或多个远程装置可以识别一个或多个潜在的关注对象时，它们可以将一个或多个标识返回到回放装置。可以包括其它信息，诸如，可以相对于关注对象显示的附加信息。识别信息还可以包括使回放装置在图像和/或视频内识别正被识别的是哪个装置的某种方式，诸如，图像的坐标信息、大小、形状、颜色和/或其它这种信息。因此，回放装置在识别关注对象时可以自己和/或在远程装置或服务的帮助下确定一个或多个关注对象的标识。
[0038]图3A示出根据一些实施例的显示装置212的简化平面图，其中，显示装置被取向成示出显示装置的显示器312。图3B示出图3A的显示装置212的简化平面图，显示装置正被取向成示出显示装置212的壳体或背面314。参照图3A至图3B，在显示器或正面316上，显示装置212包括定位在外壳318内的显示器312。外壳318围绕着延伸直至背面330。在一些实施例中，显示装置212可以包括一个或多个输入/输出(I/O)部分或其它通信接口 324。在一些情形下，显示装置212还包括一个或多个显示器侧相机320-321。
[0039]一个或多个指向正向的相机334-335(以下被称为前置相机)相对于后面314定位。通常，前置相机334-335是相对高分辨率的相机，在一些情形下，是高清晰度(HD)分辨率相机(例如，通常I兆像素或更多)。如上所述，在一些实施例中，包括两个或更多个前置相机334-335并且这些相机分开一定距离338，其中，在至少一些实现方式中，距离338大致等于平均成年人双眼之间的平均距离。因此，基于两个或更多个前置相机334-335拍摄的视频进行视频回放可以允许显示装置212显示具有以三维(3D)表现的视频。在一些实现方式中，显示器312被构造成用3D回放视频。例如，显示器312可以包括在不需要专用眼镜的情况下提供3D立体观看的透镜状显示器或者用户可需要或可不需要专用眼镜或护目镜的其它显示器。例如，显示装置212可以包括用于立体视频的透镜状或其它“无眼镜”方法。在其它实现方式中，可以使用IXD快门眼镜、偏振滤光器眼镜或其它这种眼镜、护目镜或其它这种装置。然而，许多实施例用3D进行显示，这允许显示装置212使用立体视图，从而允许用户以虚拟感觉“看穿”显示装置212。因此，在许多情形下，用户关注的焦点不是显示装置212的显示器312的表面，而是关注对象214，关注对象214可以被虚拟地显示为不是在显示装置的表面上，而是在视觉上与用户相距一定距离。
[0040]在一些情形下，显示器312可以是允许用户通过触摸屏幕(例如，缩放夹捏(zoompinching)、滚动、选择选项、实现命令、和/或其它这种动作)进行交互的触摸屏。例如，显示装置212可以显示顺着街道更远处的饭店的标志，带有显示菜单、部分菜单或访问饭店菜单的选项的附加信息。用户能够放大图像来更好地观看，以更清楚地识别关注对象(例如，放大饭店的标志)等。另外，可以在显示装置212上包括一个或多个按钮、跟踪球、触摸板或其它用户界面组件。在一些实施例中，一个或多个显示器侧相机320-321的分辨率低于前置相机334-335的分辨率。显示器侧相机320-321还可以分开一定距离340，从而允许更准确地确定用户216的位置和/或取向。
[0041]前置相机334-335被取向成具有与显示器312成180度并且大体平行于当用户216对准(例如，相对于显示器312垂直和水平地居中)显示器312并且正看着显示器时用户的视野的视野。采用这种取向，前置相机334-335拍摄如果显示装置310没有定位在用户的视野内用户216将会看到的视频和/或图像。在一些实施例中，前置相机334-335由相对宽的视野构成并且采用宽视角镜头。在一些情形下，前置相机334-335的视野可以大于平均成年人的视野。
[0042]显示器侧相机320-321可以被构造成拍摄用户216的图像和/或视频。可以在跟踪用户的头部和/或眼睛位置的取向时评价这些图像和/或视频。基于用户的取向，显示装置212可以确定前置相机334-335所拍摄的视频或图像中哪些部分将被显示以相对于用户的视野为用户216提供准确的呈现。
[0043]图4A至图4B分别示出根据一些实施例的显示装置212的简化俯视图和侧视图并且还示出基于用户216相对于显示装置212的水平(y)取向和/或垂直(x)取向对前置相机334-335所拍摄的图像的部分和子集412-417的选择的变化。在图4A至图4B中示出的是，随着用户216相对于显示装置212的显示器312的角度变化，用于立体显示的宽视角图像的子集相应地变化。此外，前置相机334-335具有相对宽的视野420。当用户216相对于显示装置212移动时，选择的将在显示装置上显示的前置相机334-335所拍摄的图像的部分对应于用户的移动而变化(或移动)。
[0044]参照图4A，显示器侧相机320-321用于跟踪用户相对于显示装置212的取向。当用户相对于显示装置横向(y)移动时，拍摄的图像中将要显示的部分对应地变化。例如，当用户216相对于显示装置212以第一角度422 (例如，向右)取向时，限定将显示大体向着视野左侧的图像的第一部分412。当视图向着第二角度233(例如，中心取向)移动时，限定将显示拍摄图像的第二部分413。
[0045]另外，将显示的拍摄图像的部分412-417也受用户相对于显示装置212的垂直角度或取向影响。例如，当用户在显示装置下方425成角度地取向时，图像中被显示的部分由第四部分415限定。当用户朝着与显示装置的中心取向226向上移动时，限定将显示拍摄图像的第五部分416。此外，当用户朝着显示装置212上方227向上移动时，限定将显示拍摄图像的第六部分417。
[0046]注意的是，在图4A-4B中，当用户的取向改变时图像中被显示的这些部分的角度或量430被示出为基本上相等；然而，这些部分的角度430通常变化并且会根据用户的取向大范围变化。类似地，如下所述，随着用户移动更靠近和/或更远离(在图4A至图4B中示出为“X”方向)显示装置212，图像中将要显示的部分的角度430也变化。另外，为了图示目的，拍摄图像的部分412-417被示出为是有间距的；然而，被显示的这些部分是没有间距的，而是连续延伸的并且重叠地跨越前置相机334-335的整个视野420。
[0047]图5A和图5C示出简化侧视图并且图5B和图示出根据一些实施例的显示装置212的简化俯视图，示出了基于用户216相对于显示装置212的距离或深度(x)取向的前置相机334-335所拍摄的图像的部分412-417的选择的变化。随着用户的头部与显示装置的距离变化，基于头部和/或眼睛跟踪，用于选择将要显示的相机图像的子集的水平角度和垂直角度对应地改变。
[0048]参照图5A至图5B，基于确定用户216与显示装置212的距离(第一距离512)，显示装置计算用于选择相机图像中将要显示的部分的前置相机的视野的第一水平角度520和第一垂直角度522。随着用户216和显示装置212之间的距离改变，用于选择相机图像中要使用的部分的视野的水平角度和垂直角度中的一者或两者改变。
[0049]图5C至图示出与显示装置212相距第二距离514 (在这个示例中，较靠近显示装置212)的用户216。因此，显示装置计算用于选择相机图像中将要显示的部分的前置相机的视野的第二水平角度524和第二垂直角度526。此外，在这个示例中，用户较靠近显示装置212，因此，垂直角度和水平角度增大，使得第二水平角度524和第二垂直角度526分别大于第一水平角度520和第一垂直角度522。改变量直接与距离的改变成正比，在一些情形下，显示装置212的显示器312的大小和/或与显示装置的距离是关注对象214。
[0050]图6示出根据一些实施例的显示装置212的背面314的简化立体图。此外，显示装置可以包括两个或更多个前置相机334-335(例如，立体相机)。用于拍摄立体图像的各前置相机使用相对大的角度提供广视野620-621。响应于确定用户相对于显示装置212的取向(例如，垂直头部角度和水平头部角度和距离512)，向用户216呈现大角度图像的子集或部分。
[0051]图7示出基于确定的用户216相对于显示装置212的取向选择的视野621的部分或子集712中与前置相机335之一对应的简化表示。使用所选择的部分712，显示装置212可以显示前置相机334-335拍摄的视频中图像的对应部分。
[0052]在跟踪用户216相对于显示装置212的取向的过程中，显示装置212通常会跟踪用户的身体或用户的头部。在其它情形下，显示装置可以另外地或者可供选择地跟踪用户的眼睛，并且使用该信息确定在显示拍摄的视频图像的部分或子集时要从相机输入中选择的角度。当确定了取向时，显示装置关心从用户到显示装置的距离。因此，一些实施例设置最大距离，该最大距离可以是3-5英尺、I米或某个其它距离，可以取决于显示装置和显示装置的用途。在许多情形下，显示装置是手持装置，因此，用户和显示装置之间的距离通常受用户手臂长度的限制。因此，3-4英尺的最大距离阈值常常是合理的。一些实施例还考虑或应用用户和显示装置212之间的最小距离(例如，用户眼睛与显示装置相距I或2英寸)。
[0053]在确定和跟踪用户相对于显示装置的取向的过程中，一些实施例利用要使用的角度和从用户头部到显示装置的距离之间的线性关系。图8和图9示出根据一些实施例的在确定用户取向的过程中使用的参数的简化图形表示。可以针对用户、用户头部、用户眼睛等计算初始角度812。如上所述，可以使用一个或多个显示器侧相机320-321检测用户并且计算用户相对于显示装置的取向。在一些情形下，例如，可以基于用户眼睛816和显示装置212 (例如，显示器312的中点)之间的距离814，以弧度为单位计算一只眼或双眼的初始角度812。还可以基于显示装置212相对于用户面部和/或眼睛的取向，计算(例如，以弧度为单位)校正角度820 (通常是水平角度和垂直角度二者)。用这些参数，显示装置212可以限定最终角度912，最终角度912相对于用户的取向限定相机图像中将在显示装置的显示器312上呈现的子集或部分。
[0054]此外，一些实施例设置最大距离阈值和最小距离阈值。当用户或用户眼睛816处于或超过最大距离时，在一些实施例中，显示装置212将初始角度812设置成预定最小值。当用户眼睛816在最小距离内时，在一些实施例中，显示装置将初始角度812设置成匹配从用于采集视频或场景数据的前置相机234-235得到的最大广角度视野420。
[0055]参照图9，对于水平取向和垂直取向二者，显示装置212可以通过将初始角度812乘以校正角度820的余弦来得到最终角度912。因此，用于限定拍摄图像中将要显示的部分的最终角度912按照校正角度820从初始角度812起减小和取向。当校正角度是O时，就使用初始角度812。当显示装置212相对于用户的视野倾斜时，校正角度820减少将要显示的场景914的量(即，前置相机所拍摄的整个场景的角度)并且选择要检索场景中的哪个部分。如在图9中可以看到的，最终角度912是整个场景914的角度(前置相机334-335的视野)的部分。校正角度820旋转相机输入中将要显示的部分或子集，使其匹配显示装置212相对于用户位置的角度或倾斜。
[0056]可以采用识别用户的取向和/或跟踪用户或用户眼睛的其它方法。例如，用户可以佩戴允许更容易地跟踪的物体和/或正佩戴的物体可以提供信息，诸如，3D眼镜或护目镜(通常由电池供电)。来自眼镜或其它装置的信息可以通过有线或无线通信(例如，射频、发光、或其它这种技术)进行通信。另外地或者可供选择地，眼镜或其它装置可以具有无源结构(例如，反射补丁或图案)，例如，通过图像处理可以瞄准这些无源结构。在采集信息的过程中，可以使用可见光和/或红外线。类似地，可以使用显示装置上的一个或多个相机、眼镜等。在跟踪的过程中，可以使用一种或多种算法，诸如，智能图像处理(wit imageprocessing)，这些算法可以是基于特征的、基于强度的等或者它们的组合。一些实施例可以采用自动校准、手动校准、自动校准和手动校准的组合，而其它实施例和/或计算的方面可以不使用或不需要校准(例如，预定的和/或假定的规格)。
[0057]在许多应用中，最少需求方法(对于用户216而言)避免用户配戴任何设备，并且通常采用涉及图像处理的方法。一些实施例试图简化显示装置2122和/或显示装置的处理。因此，一些实施例将图像拍摄硬件和/或处理减至最少。例如，在一些实施例中，使用单个可见光显示器侧相机320。其它实施例可以另外地或者可供选择地使用一个或多个IR相机，这些IR相机将常常与一个或多个对应的IR光源协作。
[0058]当使用针对拍摄图像的面部跟踪算法时，可以在限定的空间或区域内确定用户眼睛的位置和取向。这些算法限定的空间常常是没有单位的(例如，因为它是基于图像流内的像素)。为了将该空间转化为显示装置212和用户216中的3D体积，执行计算。这种校准可以包括一些基本的几何信息。像素之间的角度是稳定的并且是基于拍摄装置(例如，显示器侧相机320)的已知光学器件。另外，可以通过在拍摄图像的特征内提供两个或更多个已知距离，实现某个校准。例如，可以使用半圆形量角器，因为端部之间的距离将是已知的并且从各端部到其半圆形的峰。用这些距离和角度，算法提取空间坐标可以被转变成相对于相机320和/或显示器312的真实值。
[0059]回头参照图2B，在显示拍摄图像的部分时，显示装置212可以被构造成显示与关注对象214相关的附加信息222。通常，显示装置212在显示信息222时以使得信息222不干扰观看关注对象214这样的方式来显示信息222。另外，在一些情形下，以识别附加信息222是与关注对象214而非不同对象(例如，布置、接近度、LED线、插图编号、颜色等或它们的组合)相关这样的方式显示附加信息222。注意的是，显示装置212在回放前置相机334-335所拍摄的视频的相关部分时可以显示不止一个潜在的关注对象。另外，在一些情形下，可以同时显示与不止一个关注对象相关的信息。用户能够选择或者以其它方式识别关注装置中的一个。
[0060]图10示出根据一些实施例的提供与关注对象214相关的附加信息222的过程1010的简化流程图。在步骤1012中，一个或多个前置相机334-335被启用和/或被保持为启动。一些实施例包括步骤1014，在步骤1014中，为了识别关注对象214和/或识别可能相关和/或关注的信息，可以考虑附加信息。该附加信息可以包括(但不限于)GPS信息、以无线方式接收的信息(例如，经由WiFi诸如从关注对象214接收的)、加速度计信息、罗盘信息、来自与关注对象相关的源的信息、和/或其它这种信息。该信息可以是基于被本地存储在显示装置212上或者被远程存储(例如，通过显示装置通过互联网访问远程源或数据库)的信息。在一些情形下，信息被保持在显示装置212或者显示装置访问的其它装置或服务可以访问的一个或多个数据库和显示装置使用的信息中。
[0061]在步骤1016中，前置相机334-335拍摄视频。例如，用户216可以扫描用户前方的区域。在步骤1018中，显示装置212识别一个或多个关注对象、允许显示装置212识别关注对象214的关注对象的位置和/或特征。在一些实施例中，显示装置可以访问一个或多个单独的装置和/或服务，以有助于识别一个或多个关注对象和/或得到与一个或多个关注对象对应的附加信息。在步骤1020中，显示装置212确定它是否有能力与一个或多个装置通信(例如，经由互联网、WiF1、局域网、红外线、RF等)。例如，显示装置212可以确定它是否能访问互联网以获取关于潜在的关注对象214的附加信息。在其它情形下，显示装置212可以与关注对象(例如，TV)或与关注对象关联的装置(例如，机顶盒)通信以获取附加信息。
[0062]在显示装置212不能访问来自附加源的信息的那些情形下，进入步骤1022，在步骤1022中，显示装置212识别的关注对象和/或显示装置212显示的附加信息222限于显示装置本地存储的信息。可供选择地，当显示装置212有权访问其它源时，过程1010继续到步骤1024，以确定显示装置可以与关注对象214通信。例如，可以确定关注对象是否具有通用即插即用(UPnP)能力。在显示装置212不能与关注对象通信(例如，UPnP不可用或者不能建立通信)的那些情形下，一些实施例提供步骤1026，在步骤1026中，显示装置212可以访问源，以下载可以为显示装置212提供特征的应用、软件、可执行等(例如，下载显示各种位置特征的应用)。可以从基本上任何相关的应用源或“商店”下载应用，这可以取决于合适的操作系统。当UPnP或其它通信可用时，可以进入步骤1030，在步骤1030中，可以得到相关信息，相关信息由显示装置212显示(例如，最新的交易和特价)，并且通常是在显示关注对象214的拍摄视频的同时显示。例如，关注对象214可以揭示可以检测到并且由显示装置212上的应用使用的局域网上的API。
[0063]一些实施例提供了平台，应用开发人员能够利用通过该平台提供的特征。例如，该平台提供图像处理(例如，用户取向、面部识别、装置(图像)识别等)。因此，应用供应商将在应用的范围内定义显示装置212为了识别关注对象214而应该获取的参数(例如，如果TV制造商产生应用，该应用可以在局域网揭示应用内定义应用和/或显示装置212为了将TV识别为将通过显示装置212实现应用而受到控制的装置可以使用的参数)。
[0064]另外，该平台提供关于关注对象214在用户相对于显示装置212的“视图”内的定位和/或空间数据，因此，应用不一定提供这个功能，而是可以使用由此提供的功能。例如，应用可以使用空间数据在虚拟世界内相对于用拍摄视频显示并且通常用3D显示的关注对象准确地显示附加信息222。此外，显示装置显示的关注对象不是动画，而是可以用3D显示的关注对象的实际图像。
[0065]另外，该平台提供具有各种交互等级的应用，诸如，触摸屏反馈(例如，向应用提供触摸屏反馈信息，该应用可以使用该信息确定如何调节显示的附加信息22和/或传达命令或控制给关注对象214(例如，调节音量))。类似地，该平台提供用户跟踪和/或用户取向信息以及确定如何相对于用户取向调节显示内容。
[0066]如上所述，存在多个关注对象。另外，显示装置可以拍摄一个或多个关注对象的图像和/或拍摄同时包括多个关注对象的图像(例如，视频)。在一些实施例中，显示装置212可以识别或有助于识别关注对象。另外，远程装置或服务可以有助于识别一个或多个关注对象，和/或提供与一个或多个关注对象对应的附加信息。
[0067]图11示出根据一些实施例的识别关注对象214并且提供与关注对象的交互的过程1110的简化流程图。例如，当关注对象214是音频/视频(A/V)回放装置(例如，TV)时，过程1110可以允许用户通过显示装置212控制关注对象。在步骤1112中，一个或多个前置相机334-335被启用和/或保持启动。在步骤1114中，前置相机334-335拍摄视频。例如，用户216可以将前置相机对准一个或多个潜在的关注对象，扫描用户前方的区域或进行其它这种动作。在步骤1116中，为了识别可能是关注对象214的对象和/或对象的方面，显示装置212评价前置相机拍摄的图像。例如，显示装置可以基于对象的形状、对象的方面的形状、符号、字母数字字符、潜在的区别特征的间距和/或相对取向(例如，按钮位置和/或取向、端口位置、面部解剖(例如，眼睛、嘴巴、鼻子位置和/或取向等)等)、和/或其它这种信息来搜索本地和/或远程数据库。类似地，一些实施例还可以考虑潜在的关注对象的当前一个位置、多个位置和/或特征或者显示装置212可用于识别关注对象214的其它这种信息。在步骤1120中，检测关注对象214。在一些情形下，可以识别多个潜在的关注对象。另外，显示装置212和/或用户216可以选择该多个对象中的单个对象。
[0068]另外，与上述实施例类似的一些实施例可以考虑GPS信息、以无线方式接收的信息(例如，经由WiFi诸如从关注对象214接收的)、加速度计信息、罗盘信息、来自与关注对象相关的源的信息、和/或其它这种信息。该信息可以是基于被本地存储在显示装置212上或者被远程存储(例如，通过显示装置通过互联网访问远程源或数据库)的信息。在一些情形下，信息被保持在显示装置212或者显示装置访问的其它装置可以访问的一个或多个数据库和显示装置使用的信息中。
[0069]在步骤1122中，显示装置212确定关注对象214是否被构造成与显示装置212建立无线通信。在不能建立通信的那些情形下，一些实施例可以包括步骤1124，在步骤1124中，显示装置212可以允许用户使用显示装置作为对关注对象的远程控制器(例如，通过红外(IR)远程控制命令信息，其中，两个装置都具有相关能力和正确的对应命令)。在一些情形下，IR命令或代码可以被本地存储和/或被更新(例如，定期地来自远程数据库)。可供选择地，当可以建立无线通信时，过程1110继续到步骤1126，在步骤1126中，显示装置212确定关注对象或装置是否具有UPnP能力或其它类似能力。在UPnP不可用的那些情形下，可以进入步骤1128，下载将允许用户216利用显示装置212来控制关注对象214的应用或代码。一旦可以建立UPnP，就进入步骤1130，在步骤1130中，显示装置212使用UPnP查询并且控制关注对象214。
[0070]在许多实施例中，显示装置212对关注对象214的识别是基于提供得自本地或远程数据库等的附加信息222的应用内定义的信息。在一些情形下，可以用可用于识别另外的关注对象的信息来更新显示装置212、在显示装置上运行的应用和/或相关数据库。例如，可以通过应用源(例如，与显示装置212关联的应用商店或源)添加用于添加新的关注对象(例如，制造商的设备)的附加数据文档。在一些情形下，显示装置212可以存储或有权访问识别数据文档的基础集合。可以由显示装置制造商、显示装置分销商、关注对象制造商等控制和/或更新这些识别数据文档。另外，在一些实施例中，可以通过对显示装置进行软件更新来改变、替换和/或更新识别数据文档。
[0071]另外，一些实施例提供整合例如增强型显示装置212和消费性电子装置(例如，BD播放器、电视、音频系统、游戏控制台，诸如此类)上示出的数据的机制。当被查询时，关注对象214或与关注对象关联的其它源可以向显示装置212提供可以增强用户体验的信息，该信息可以被示出为显示装置212的显示器312上的增强现实数据。举例来说，透过TV的增强型显示装置212观看电视，显示装置212可以显示表明那天稍晚时候当前或不同TV频道上将示出什么节目(例如，电视剧、电影、赛事等)的信息(例如，电影胶片状显示)。可以示出附加信息，使得它不干扰TV上正在回放的内容(例如，悬浮在TV上方或者TV的侧面，这可取决于显示装置212相对于关注对象的相对取向)，这样可以避免一定要用屏幕上的某个其它内容(图形或视频)掩盖或去除正在TV上播放的视频。其它系统已经试图通过呈现为部分透明的覆盖物、调整视频大小以使其较小或者会不利地影响用户体验的其它这种效果来应对TV内容的掩盖停止。可供选择地，本发明的实施例可以显示附加信息，使得它不掩盖正在TV上播放的视频。可以使用显示装置212上的多个相机提供立体图像和/或显示3D表示。更进一步地，可以提供用户信息的其它系统没有考虑用户取向和/或显示装置相对于用户取向的取向。
[0072]然而，一些实施例的机制是使用在显示图像上的包括关注对象的区域“之外”的显示屏上的区域显示与关注对象或装置相关的信息(例如，在TV上正示出的内容)。TV屏幕上的视频保持全屏并且没有被图形覆盖。附加信息可以被显示成出现在显示装置212的增强现实显示器312中，在TV屏幕本身的观看区域之外。本发明的实施例可以提供向增强型显示装置提供该信息使得显示装置可以相对于关注对象准确地显示附加信息并且知道或者可以计算如何相对于关注对象显示信息的方式。另外，因为显示装置212可以被构造成显示附加信息222或者被提供用于显示附加信息222的信息，所以附加信息222可以被显示成看起来在TV面板之外并且正示出的视频不一定要被掩盖、覆盖或调整大小。
[0073]另外，一些实施例可以被构造成跟踪用户216相对于显示装置212的取向(例如，使用头部或眼睛跟踪)以准确地显示拍摄图像的至少一些部分并且给出用户正在“看穿”显示装置以看到另一侧有什么的印象。显示装置的显示器312上的立体图像重现如果显示装置不在那里用户将会看到的内容。在一些情形下，显示装置212可以是透明LCD或者其它装置，所述装置允许用户实际上看穿显示器，同时继续跟踪用户相对于显示装置212的取向以识别相关的附加信息222，相关附加信息将相对于用户透过显示装置212看到的内容和/或附加信息的取向而如何显示。另外，被构造成相对于关注对象显示附加信息的显示装置212上启用的应用可以被构造成请求或控制显示装置212，使得在显示附加信息的同时并没有显示前置相机拍摄的视频图像，使得用户可以在查看附加信息的同时看穿透明LCD。在许多情形下，一旦提供附加信息222的应用终止，不再进行主要控制和/或不再是焦点应用(例如，运行，但是在后台运行)，显示装置212就可以继续显示任何相关信息、图像、视频或与焦点应用相关的其它信息。在一些实施例中，透明显示器的一部分可以在正在显示附加信息222的情况下保持透明，而显示器的另一部分可以专用于替代应用(例如，互联网浏览器应用)。
[0074]类似地，当显示装置212没有透明显示器时，正提供附加信息222的焦点应用可以指示显示装置停止显示前置相机拍摄的视频图像和/或暂时停止显示前置相机拍摄的图像(例如，在显示装置212上运行的应用可以请求在运行应用的同时停止绘制视频背景，而不管在显示装置上是否有背板或背光灯)。当该应用失去焦点或退出时，显示装置212可以重新开始正常装置操作。
[0075]因为显示装置相对于真实环境对准，所以一些实施例还允许在真实世界的显示项上设置标签(非交互式)和交互选项。例如，显示装置212可以被构造成当正从A/V接收器播放歌曲时在A/V接收器上方显示相册封面。又如，显示装置212可以被构造成另外地或者可供选择地在A/V接收器上方悬浮地示出表演歌曲的艺术家的视频。类似地，附加信息222可以看起来在游戏控制台上方(例如，剩余的HD空间、正在回放什么游戏或者什么游戏是可用的、促销信息(例如，关于新游戏的)和其它这种信息)。显示装置212可以类似地示出扬声器之间的音频如何相对于A/V接收器达到平衡的视觉表现，红色X可以被显示为附加信息222并且在破损、没有正常工作等的拍摄图像中显示在扬声器上方。一些实施例可以被构造成为消费性电子装置提供标准方法来向基本上增强现实装置描述它能够显示什么数据以及如何向用户显示该数据。
[0076]本发明的实施例可以提供众多实现方式和应用。以下只是一些实施例的实现方式的示例。可以基本上是相对于关注对象214的任何信息(例如，包括菜单或其它控件的图像、文本、图形、表格等)的附加信息可以由显示装置212显示，并且通常与显示装置拍摄的包括关注对象的图像关联地(例如，关于显示装置被对着、对准、对齐或指向的对象的信息)示出。附加信息222可以允许用户例如通过用显示装置212上的触摸屏显示器312与显示的一个或多个虚拟菜单交互来控制关注对象或装置214。显示装置212可以用于家庭自动化，例如，开关灯、看装置用了多少电、改变恒温计水平等。类似地，显示装置212可以与汽车链接，比如，当关注对象是用户的车时(例如，将显示装置对着车，拍摄车的视频或图像)，显示装置可以显示关于车或相对于车的维修的信息(例如，当需要下一次油或传动液更换时)等。又如，在家庭环境下，显示装置212可以将房间中的扬声器平衡显示为用户可以穿过的3D虚拟形状。在一些情形下，可以显示TV频道指南(例如，悬浮在TV屏幕上方)，所以没有掩盖TV上的视频。用户可以通过显示装置212的触摸屏显示器312从悬浮在TV上方虚拟显示的显示指南中选择项目。TV可以响应于在显示装置212实现的命令(例如，变到选择的频道、输入、流视频或其它视频源)。
[0077]类似地，当打开音乐或无线电台时，显示装置212可以在拍摄图像或视频中显示相册、艺术家的图像、歌词和/或其它这种信息，使附加信息222悬浮在AV接收器上方。通过与显示装置交互(例如，通过用户界面、触摸屏等)，例如，因显示装置212将虚拟无线数据信号覆盖显示为用户可跟随、沿着前进和/或穿过的3D形状，用户可将装置连接并且路由到局域网、家庭网络等上。另外，可以为电话提供信息222(例如，当电话铃响起时，显示装置212在电话上方悬浮地显示呼叫者的身份和/或电话号码)。
[0078]又如，通过将显示装置212指向足球，显示装置可以识别足球，将其与多媒体内容关联并且显示对应于与足球关联的多媒体内容的信息222 (例如，显示关于在包括足球的显示图像或视频上显示的赛事的相关TV节目的信息)。附加信息222可以包括隐藏式字幕信息或用于残疾用户的其它信息。
[0079]另外，附加信息222可以与家庭改进、汽车维修、嗜好、装配指示和其它这种教育信息关联。例如，显示装置212可以虚拟地包括一件家具，改变墙壁的颜色，在实际执行家具、油漆、贴砖或其它工作之前示出地板上的贴砖。还可以基于图像处理、用户选择或交互和/或其它相关信息提供推荐(例如，基于食谱提供配餐的酒、基于墙壁颜色提供家具的颜色，基于选择的家具提供油漆颜色等)。通过将显示装置与CAD模型和/或其它相关信息或节目协作，显示装置212可以虚拟地示出家庭、办公室、工厂等的墙壁内部的布线、铺管、框架，好像用户可以看穿墙壁一样。
[0080]在消费性应用中，当用户在商店中行走时，显示装置可以虚拟地在近邻显示的产品的地方悬浮地显示产品价格。类似地，显示装置212可以虚拟地在靠近显示的对象或人的地方悬浮地显示关于对象和人的信息222。例如，可以在图像或视频内，诸如，在显示器中的人头部的上方，显示该人的名字。这个信息可以限于例如当人员授权公开数据时，否则不能示出数据。类似地，显示装置212可以采用面部识别功能或者可以将图像转发到可以执行面部识别的远程源，以在显示的人员的图像或视频中添加附加信息222之前识别该人员。
[0081]作为另一个示例应用，在主题公园，显示装置212可以显示只能透过显示装置看到的虚拟人物。另外，显示装置212可以允许用户与虚拟人物交互，使得虚拟人物不仅仅是静态图。类似地，显示装置212可以允许用地理藏宝进行虚拟寻宝游戏。可以显示地图，和/或可以在地面上显示虚拟指引线，指出如何步行达到某处。类似地，地图或虚拟指引线可以用在主题公园中以引导客人以最短线路前进，可以用在工业区中使访客到达期望的目的地和其它这种虚拟指导。
[0082]一些实施例提供医疗应用。例如，可以使用显示装置得到患者的医疗记录(例如，通过面部识别、患者姓名识别等)。可以提供药物的用法说明和/或关于药物的警告。例如，用户可以拍摄药瓶的视频并且显示装置可以识别处方(例如，通过条形码检测、文本识别等)并且显示关于处方的信息(例如，副作用、用途、推荐剂量、不应该与所识别的药物一起服用的其它药物等)。
[0083]因此，本发明的实施例提供了允许应用利用显示装置212的属性为用户提供与关注对象相关的附加信息的框架、平台或环境。这些应用可以做好准备利用给定关注对象的环境或者提供信息。基本上，任何源可以产生这些应用，以利用通过本发明的实施例提供的环境来利用显示装置的特征。在许多实施例中，这些应用不一定包含了用户跟踪、图像或视频拍摄、视频片段选择的能力、或与这些特征关联的处理。替代地，这些应用可以被简化成利用显示装置212提供的这些特征或在显示装置上运行的一个或多个其它应用。
[0084]图12示出根据一些实施例的在显示装置212上显示与关注对象214对应的附加信息222的过程1210的简化流程图。在一些实现方式中，可以响应于显示装置212上激活相关程序或应用来启动过程1210，以如上所述并且如下进一步所述地显示附加信息。另外地或者可供选择地，可以响应于显示装置212的激活(例如，在启动过程期间或者响应于系统启动或者在系统启动之后)来激活过程1210。另外，过程1210可以激活一个或多个其它过程和/或与在过程1210在进行中之前、之后或之时可以实现的一个或多个其它过程协作地操作。以下，相对于附加信息222是显示装置212显示的控制面板描述过程1210，其中，控制面板例如允许用户控制关注对象214(例如，控制电视机)。
[0085]在步骤1212中，可以加载一个或多个关注对象的识别数据。例如，可以将用于关注对象的注册制造商和/或服务的识别数据加载到图像识别库应用或服务中。如上所述，在一些情形下，过程1210可以与一个或多个其它过程(P2、P3)(诸如，以下参照图13至图14描述的过程1310和1410)协作。在步骤1214中，激活显示装置212的一个或多个前置相机334-335以拍摄视频和/或图像。相机数据可以被转发到图像识别库服务或应用。在一些情形下，这个步骤可以包括图10的过程1010和/或图11的过程1110中的一些或全部。
[0086]在步骤1216中，当识别关注对象时，得到用于显示与检测到的关注对象214对应的附加信息222的信息、参数等。例如，当附加信息是用户可以用于控制关注对象214的控制面板(例如，可以允许用户从用户界面选择控制选项的用户界面)时，得到的信息可以包括用于显示或绘制控制面板的模型数据和响应的映射信息、用于控制面板的各控制项的控制信息和/或信号，所述信息和/或信号可以被传送到关注对象以在关注对象实现所需的控制操作。此外，可以使用加载到图像识别库应用或服务(例如，针对注册的制造商、和/或关注对象的服务、对象的图像、对象的尺寸、可识别特征和/或特征的相对取向等)中的识别数据来识别一个或多个关注对象。当检测到多个潜在的关注对象并且显示装置可以请求用户选择所关注装置中的一个时，显示装置可以选择装置中的一个(例如，基于过去的用户动作、最相关、最近使用的等)，可以针对一个或多个关注对象等显示附加信息。
[0087]在步骤1218中，附加信息222 (在这个示例中，控制面板)相对于正在显示装置212上显示的内容来构造，控制面板被显示成被取向成靠近关注对象214、在关注对象214上方或者相对于关注对象214的其它取向的虚拟3D模型空间。在确定取向以显示控制面板的过程中，该过程可以考虑控制面板是否重叠关注对象，是否重叠对应于另一个关注对象的其它附加信息，是否重叠另一个关注对象等。在这种情况下，过程1210可以相对于试图显示的控制面板(和/或与其它关注对象关联的其它附加信息)进行重新定位、重新取向、重新格式化或采取其它动作。在一些情形下，诸如，当无法找到没有重叠的控制面板的位置时，显示装置可以提示用户旋转显示装置212 (例如，从风景取向到肖像取向)。在一些情形下，过程1210可以返回步骤1214，以继续从前置相机拍摄视频和/或图像。
[0088]图13示出根据一些实施例的检测用户216相对于显示装置212的取向的过程1310的简化流程图。此外，可以将这个过程1310与图12的过程1210和/或其它过程协作地利用。在步骤1312中，激活一个或多个显示器侧相机320-321 (当用户正观看显示器312时通常朝着用户取向)。可以激活头部和/或眼睛跟踪库、软件和/或应用，以检测和跟踪用户的相对位置。在步骤1314中，显示装置从一个或多个显示器侧相机接收视频和/或图像，相对于跟踪库处理这些视频和/或图像以如上所述(诸如，相对于图4A至图9)得到用户注视的取向(例如，头部和眼睛位置/取向和/或角度)。
[0089]在步骤1316中，确定前置相机334-335拍摄的图像的视角和/或部分412-417。在一些情形下，拍摄图像中将要显示的部分的识别可以类似于识别虚拟相机的取向和通过用户的头部和/或眼睛相对于显示装置212的位置和/或取向而识别的虚拟位置。在步骤1318中，产生或绘制附加信息222，以使其与前置相机拍摄的图像中确定将要显示的部分协同地显示。在一些情形下，显示附加信息类似于在一个或多个前置相机334、335显示的背景视频的所述部分之上使虚拟场景栩栩如生或绘制虚拟场景(例如，得自过程1210的附加信息)。另外，如以上用一些实施例描述的，显示装置可以具有透明显示器312。用这些类型的显示装置，当相对于透明显示器去除了背板和/或背光时，附加信息222可以在识别的取向上显示，而显示装置不显示前置相机拍摄的背景视频。在步骤1320中，控制面板元件(或其它附加信息)被映射到显示装置212的显示器312和/或被映射到触摸屏的矩形区域。例如，控制面板的交互部分被映射到触摸屏，使得显示装置212可以检测用户的触摸并且识别用户正在试图激活控制元件中的哪个。此外，控制面板的控制元件可以取决于关注对象214、关注对象的能力、显示装置的能力、用户的权限、用户的访问级别和/或其它这种因素。在一些情形下，过程1310可以返回步骤1314，以继续跟踪用户216相对于显示装置212的取向。
[0090]图14示出根据一些实施例的允许用户216与显示装置212交互和/或与识别到的关注对象214相关联地显示的附加信息(例如，附加信息的控制面板)交互的过程1410的简化流程图。过程1410通常与其它过程(包括图13的过程1310)协同地实现。在步骤1412中，激活触摸屏显示器312。在步骤1414中，访问将面板控件映射到过程1310中产生的触摸屏的矩形区域的当前映射。
[0091]在步骤1414中，识别用户在触摸屏上触摸的取向，当用户触摸的位置被映射到控制元件时识别映射的对应控制元件。在步骤1416中，触摸信息(例如，触摸次数、拖拽、夹捏等)被转发到被映射的一个或多个控制元件的响应。该响应基于触摸信息识别相关动作并且开始和/或采取合适的动作。控制元件响应可以例如调用对控制面板更新后的或新的模型数据的请求，开始媒体回放，向关注对象214发送控制命令(例如，改变TV频道)，或者进行由提供的响应映射确定的基本上任何一个或多个相关动作。在一些情形下，过程1410可以返回步骤1414，进一步等候用户与触摸屏的交互。
[0092]可以在许多不同类型的装置和/或系统上利用、实现和/或运行本文描述的方法、技术、系统、装置、服务、服务器、源等。参照图15，示出根据一些实施例的系统1500，该系统1500可用于任何这种实现方式。系统1500的一个或多个组件可用于实现以上或以下提到的任何系统、设备或装置或这种系统、设备或装置的部件，诸如(例如)以上或以下提到的显示装置212、关注对象214、相机320-321、334-335、显示器312、内容源、图像处理系统、装置检测、用户取向跟踪等中的任一个。然而，不一定需要使用系统1500或其任一部分。
[0093]举例来说，系统1500可以包括控制器1510、用户接口 1516、一个或多个通信链路、路径、总线等1520。电源(未示出)被包括或者与系统1500连接。一些实施例还包括一个或多个相机1530、输入/输出端口或接口 1532、一个或多个通信接口、端口、收发器1534和/或其它这种组件。控制器1510可以通过一个或多个处理器1512、微处理器、中央处理单元、逻辑器件、存储器1514、逻辑数字存储器、固件和/或其它控制硬件和/或软件实现，并且可以用于执行或辅助执行本文描述的方法和技术的步骤，并且控制各种通信、程序、内容、列表、服务、接口等。用户接口 1516可以允许用户与系统1500交互并且通过该系统接收信息。用户接口 1516包括显示器1522，在一些情形下，包括诸如遥控器、键盘、鼠标、跟踪球、游戏控制器、按钮、触摸屏等一个或多个用户输入1524，用户输入1524可以是系统1500的部分或者以有线或无线方式与系统1500连接。
[0094]一个或多个通信收发器1534允许系统1500通过分布式网络、局域网、互联网、通信链路1520、其它网络或通信信道与其它装置通信和/或进行其它这种通信。另外，收发器1534可以被构造用于有线、无线、光、光纤电缆或其它这种通信构造或这种通信的组合。I/O端口可以允许系统1500与其它组件、传感器、外围装置等连接。
[0095]系统1500包括带有控制器1510的基于控件和/或处理器的系统的不例。此外，控制器1510可以通过一个或多个处理器、控制器、中央处理单元、逻辑器件、软件等实现。另夕卜，在一些实现方式中，处理器1512可以提供多处理器功能。
[0096]可以被处理器1512访问的存储器1514通常包括至少处理器1512访问的一个或多个处理器可读和/或计算机可读介质，并且可以包括易失性和/或非易失性介质，诸如RAM,ROM,EEPROM,闪存存储器和/或其它存储器技术。另外，存储器1514被示出在系统1500的内部和控制器1510的内部；然而，存储器1514可以是内部存储器、外部存储器或内部存储器和外部存储器的组合。类似地，存储器1514中的一些或全部可以在处理器1512内部。外部存储器可以基本上是任何相关存储器，诸如(但不限于)闪存安全数字(SD)卡、通用串行总线(USB)棒或驱动器、其它存储卡、硬盘驱动器和其它这种存储器中的一个或多个或这种存储器的组合。存储器1514可以存储代码、软件、应用、可执行文件、脚本、信息、参数、数据、内容、多媒体内容、坐标信息、3D虚拟环境坐标、节目、程序、媒体流、多媒体文件、文本内容、标识符、日志或历史数据、用户信息等。
[0097]可以在基于处理器的系统可执行的一个或多个计算机程序中实现以上或以下描述的实施例、方法、过程、方式、和/或技术中的一个或多个。举例来说，这种基于处理器的系统可以包括基于处理器的系统1500、计算机、平板、多媒体播放器、智能电话、相机等。这种计算机程序可以用于执行以上或以下描述的方法、过程和/或技术的各种步骤和/或特征。也就是说，计算机程序可以适于致使基于处理器的系统或者将基于处理器的系统构造成执行和实现以上或以下描述的功能。例如，这种计算机程序可以用于实现以上或以下描述的步骤、过程或技术的任何实施例，以显示与关注对象相关的附加信息，通常显示包括关注对象的拍摄图像或视频，同时相对于关注对象虚拟地显示附加信息。又如，这种计算机程序可以用于实现使用以上或以下描述的实施例、方法、过程、方式和/或技术中的任一个或多个的任何类型的工具或类似的实体。在一些实施例中，可以使用计算机程序内的程序代码模块、循环、子程序等执行以上或以下描述的方法、过程和/或技术的各种步骤和/或特征。在一些实施例中，计算机程序可以在计算机可读存储器或一个或多个记录介质(诸如，本文描述的计算机可读存储器或一个或多个记录介质中的任一个)上存储或实施。
[0098]因此，一些实施例提供了包括介质的处理器或计算机程序产品，该介质被构造成实施输入到处理器或计算机的计算机程序和内嵌在介质中的计算机程序，所述计算机程序被构造成致使处理器或计算机执行或进行包括本文描述的实施例、方法、过程、方式和/或技术中的任一个或多个中涉及的步骤中的任一个或多个的步骤。例如，一些实施例提供了存储与计算机仿真一起使用的一个或多个计算机程序的一个或多个计算机可读存储介质，所述一个或多个计算机程序被构造成致使基于计算机和/或处理器的系统执行以下步骤，包括:用显示装置的一个或多个相机沿着第一方向拍摄视频，所述视频包括一系列视频图像；在所述视频中识别拍摄的关注对象；得到与关注对象对应的附加信息；识别用户相对于显示装置的显示器的取向，其中，显示器与第一方向相反地取向；基于识别的用户相对于显示器的取向，确定各视频图像中将在显示器上显示的部分，使得视频图像的这些部分在显示时被构造成对于用户而言看起来好像显示装置没有定位在用户和关注对象之间；在拍摄视频图像时，通过显示装置显示视频图像的这些部分并且同时将附加信息与关注对象协同地显示。
[0099]其它实施例提供了存储与计算机仿真一起使用的一个或多个计算机程序的一个或多个计算机可读存储介质，所述一个或多个计算机程序被构造成致使基于计算机和/或处理器的系统执行以下步骤，包括:沿着第一方向拍摄视频图像；在视频图像中识别拍摄的关注对象；得到与关注对象对应的附加信息；识别用户相对于显示器的取向；基于识别的用户相对于显示器的取向，确定各视频图像中将在显示器上显示的部分；在拍摄视频图像时显示视频图像的这些部分并且同时将附加信息与关注对象协同地显示。
[0100]如上所述，一些实施例在视频图像中识别拍摄的一个或多个关注对象。在一些情形下，可以识别多个关注装置，而提供的附加信息222可以限于少于所有潜在的关注装置。例如，提供的附加信息可以限于能够提供附加信息中的一些或全部或者以其它方式将显示装置212引导至附加信息源的那些装置。在其它情形下，装置中的一些可以被断电，因此，附加信息可以与这些断电的装置无关。在其它情形下，显示装置212可以为用户216提供选择潜在的一个或多个关注对象的能力(例如，通过使用户通过触摸屏显示器312选择一个或多个关注装置，从潜在对象的列表中选择对象，基于用户与显示装置212的交互识别关注对象，语音识别、以前的用户历史等)。
[0101]附加信息可以被存储在显示装置212上，得自关注对象214，得自远程源(例如，通过互联网访问)，或者其它这种方法。例如，显示装置212可以访问局域网并且识别来自关注对象的通信(例如，基于带有装置ID的头部)。在一些情形下，显示装置212可以向关注对象214发出请求，其中，在一些情形下，显示装置也许必须知道正在请求什么。在其它情形下，显示装置212可以发出请求，然后关注对象214例如基于当前条件分发附加信息222，附加信息可以包括菜单，然后关注对象可以响应于菜单选择，关注对象可以周期性广播将被相关装置等接收的附加信息。在一些情形下，附加信息可以为用户提供关于其它附加信息的选项。例如，关注对象可以提供动画元件，当选择动画元件时，提供正在观看的比赛的得分、关于比赛或比赛中的运动员的统计数据等。
[0102]此外，显示装置212可以从除了关注对象214之外的另一个源得到附加信息222。例如，显示装置212可以识别关注对象(例如，面部识别；装置识别；识别文本(例如，零售产品的盒子上)；基于位置(例如，商店内的位置)进行识别等)，然后访问数据库(无论是本地还是远程的，这取决于识别的关注对象)以获取附加信息。例如，在零售环境下，显示装置212可以识别关注对象，访问本地数据库以得到信息(例如，商店库存信息、待办订单、丢失产品、优惠券、定价(例如，每盎司/托盘/等的定价)、比较、评论等)。另外地或可供选择地，显示装置212可以通过互联网访问数据库并且得到附加信息222 (例如，产品信息、能量使用、优惠券、折扣、定价(例如，每盎司/托盘/等的定价)、比较、评论等)。用面部识别，显示装置212可以使用本地存储的信息、社交网络站点信息等。通过绘制地图和/或街道景观信息，显示装置212可以访问远程源(例如，谷歌地图等)以得到相关的附加信息222。
[0103]显示装置212还通常基于用户216相对于显示装置的取向来显示附加信息。因此，显示装置可以识别用户相对于显示器312的取向。这个取向可以是基于身体、头部、眼睛或其它识别。类似地，可以连续地更新头部和/或眼睛跟踪。显示装置212使用一个或多个显示器侧相机320-321、图像处理和计算来确定将要显示前置相机334至335拍摄的图像或视频的相关部分。通过获知用户取向，显示装置212还可以显示前置相机334-335拍摄的图像或视频中的相关部分。另外，通常识别相关部分，使得由显示装置212显示被显示的部分，从而给出用户216有效地看穿显示装置的外观。另外，在一些实施例中，显示装置212可以基于用户取向以相关取向3D地显示前置相机334-335拍摄的图像和/或视频和/或附加信息。如此一来，附加信息可以以空间定位和取向显示，诸如，看起来在3D空间中是突出的。一些实施例当确定用户取向时考虑用户与显示装置212(例如，X轴)的距离和相对于显示装置的角度(例如，y轴和z轴)。当拍摄图像或视频时，通常，基本上实时地由显示装置212显示前置相机334-336拍摄的图像或视频中被识别的部分。另外，附加信息通常是与关注对象协同地与图像或视频中被显示的部分同时显示的。
[0104]另外，显示装置可以执行对前置相机334-335拍摄的图像或视频的图像处理，以确定附加内容将要在哪里显示。类似地，图像处理可以允许显示装置212基于可以显示附加信息的相关空间，确定要显示的附加信息的量、字体和其它相关因素。另外，在一些情形下，附加信息中的一些或全部可以另外地或者可供选择地被显示装置212作为音频内容提供。在一些情形下，在识别附加信息、识别要显示的图像或视频中的部分和/或识别信息将要显示在图像或视频中被显示的部分中的什么地方的过程中考虑其它因素，诸如，显示装置212的取向、GPS信息、加速度计信息、陀螺仪信息；关注对象214进行的图像处理(例如，关注对象214传送回显示装置212)等。
[0105]本说明书中描述的许多功能单元已经被标注为装置、系统模块和组件，以更具体地强调他们的实现独立性。例如，装置和/或系统可以被实现为硬件电路(包括定制VLSI电路或门阵列)、现货供应的半导体(诸如，逻辑芯片、晶体管或其它离散组件)。还可以用可编程硬件装置(诸如，现场可编程门阵列、可编程阵列逻辑、可编程逻辑器件等)实现装置和系统。
[0106]装置和系统还可以用软件实现，由各种类型的处理器来执行。识别的可执行代码的模块可以例如包括计算机指令的一个或多个物理或逻辑块，这些指令可以例如被组织为对象、程序或功能。但是，识别的模块的可执行文件不需要被物理设置在一起，而是可以包括存储在不同位置的完全不同的指令，当这些指令被逻辑联系在一起时包括装置或系统并且实现所述的装置或系统的目的。
[0107]事实上，可执行代码的装置或系统可以是单个指令或许多指令，甚至可以分布于多个不同的代码段，分布在不同程序之中，遍及数个存储器装置。类似地，操作数据可以在本文中被识别和示出为在装置或系统内，并且可以按任何合适形式实施并且组织在任何合适类型的数据结构内。操作数据可以被收集为单个数据集合，或者可以被分布于不同的位置(包括不同的存储装置)，并且可以至少部分地作为电子信号存在于系统或网络上。
[0108]虽然已经通过本发明的具体实施例、示例和应用描述了本文公开的本发明，但在不脱离权利要求书中阐述的本发明的范围的情况下，本领域的技术人员可以对本发明进行众多修改和变形。
【权利要求】
1.一种提供信息的方法，所述方法包括: 用显示装置的一个或多个相机沿着第一方向拍摄视频，所述视频包括一系列视频图像； 检测所述视频中拍摄的第一关注对象； 得到与所述第一关注对象对应的附加信息； 确定用户相对于所述显示装置的显示器的取向，其中，所述显示器的取向与所述第一方向相反； 基于确定的所述用户相对于所述显示器的取向，确定各视频图像中将要在所述显示器上显示的部分，使得所述视频图像中的所述部分在显示时被构造成对于用户而言看起来好像所述显示装置没有定位在所述用户和所述第一关注对象之间；以及 在拍摄所述视频图像时，通过所述显示装置显示所述视频图像的所述部分并且同时将所述附加信息与所述第一关注对象协同地显示。
2.根据权利要求1所述的方法，其中显示所述视频图像的所述部分的步骤包括三维地显示所述视频图像的所述部分，从而对于用户而言看起来具有与从用户的视野中去除所述显示器原本会看到的深度一致的深度。
3.根据权利要求2所述的方法，其中显示所述附加信息的步骤包括显示所述附加信息，使得显示的所述附加信息不干扰用户观看所述第一关注对象。
4.根据权利要求1所述的方法，还包括: 检测来自与所述第一关注对象对应的用户的交互； 基于检测到的交互，识别要传送到所述第一关注对象的控制信息；以及 将所述控制信息传送到所述第一关注对象。
5.根据权利要求4所述的方法，其中检测所述交互的步骤包括检测与显示的所述附加信息的交互。
6.根据权利要求1所述的方法，其中沿着所述第一方向拍摄所述视频的步骤包括沿着与用户看着所述显示装置时的视野方向对应的第一方向拍摄所述视频。
7.根据权利要求1所述的方法，还包括: 除了所述第一关注对象之外，还检测第二关注对象，其中，在所述视频中拍摄所述第二关注对象； 得到与所述第二关注对象对应的附加信息； 其中，显示所述视频图像的部分的步骤包括当拍摄所述视频图像时显示所述视频图像的所述部分并且同时将对应于所述第一关注对象的附加信息与所述第一关注对象协同地显示并且将对应于所述第二关注对象的附加信息与所述第二关注对象协同地显示。
8.一种提供与关注对象对应的信息的系统，所述系统包括: 用于沿着第一方向拍摄视频的装置，所述视频包括一系列视频图像； 用于检测在所述视频中拍摄的第一关注对象的装置； 用于得到与所述第一关注对象对应的附加信息的装置； 用于确定用户相对于所述显示装置的显示器的取向的装置，其中，所述显示器的取向与所述第一方向相反； 用于基于确定的所述用户相对于所述显示器的取向确定各视频图像中将要在所述显示器上显示的部分使得所述视频图像中的所述部分在显示时被构造成对于用户而言看起来好像所述显示装置没有定位在所述用户和所述第一关注对象之间的装置；以及 用于在拍摄所述视频图像时显示所述视频图像的所述部分并且同时将所述附加信息与所述第一关注对象协同显示的装置。
9.根据权利要求8所述的系统，其中用于显示所述视频图像的所述部分的装置包括用于三维地显示所述视频图像的所述部分以对于用户而言看起来具有与从用户的视野中去除所述显示器原本会看到的深度一致的深度的装置。
10.根据权利要求9所述的系统，其中用于显示所述附加信息的装置包括用于显示所述附加信息使得显示的所述附加信息不干扰用户观看所述第一关注对象的装置。
11.根据权利要求8所述的系统，还包括: 用于检测来自与所述第一关注对象对应的用户的交互的装置； 用于基于检测到的交互识别要传送到所述第一关注对象的控制信息的装置；以及 用于将所述控制信息传送到所述第一关注对象的装置。
12.根据权利要求11所述的系统，其中用于检测所述交互的装置包括用于检测与显示的所述附加信息的交互的装置。
13.根据权利要求8所述的系统，其中用于沿着所述第一方向拍摄所述视频的装置包括用于沿着与用户看着显示装置时的视野方向对应的第一方向拍摄所述视频的装置。
【文档编号】G09G5/00GK104170003SQ201380013791
【公开日】2014年11月26日 申请日期:2013年3月26日 优先权日:2012年3月27日
【发明者】T·鲍尔曼, T·道森, M·德麦钱特, S·弗里德兰德, S·希尔, 李慧勋, D·杨, J·R·米尔纳 申请人:索尼公司