视觉分层的系统和方法

视觉分层的系统和方法
【专利摘要】相机识别被安放在工作空间中的物理对象。显示器把第一数字信息显示到所述工作空间中。分层模块把所述物理对象视为工作空间中的第一层，并且把所述第一数字信息视为工作空间中的第二层。控制器经由所述第一数字信息的显示控制所述第一层和第二层的视觉相邻性。
【专利说明】视觉分层的系统和方法
【背景技术】
[0001]共享数字信息并且基于那个数字信息进行协作正变得越来越普遍。输入设备捕获数字信息(例如，用户在计算设备、数字相机、扫描设备上的输入等)。输出设备输出数字信息以便由用户或者用户组使用。输出设备可以包括把数字信息显示到显示屏上或工作空间中的数字显示器或数字投影仪。
【专利附图】

【附图说明】
[0002]接下来的描述包括附图的讨论，所述附图具有以本发明的实施例的实现的示例的方式给出的说明。附图应当以示例的方式理解，而不应以限制的方式理解。如在此使用的，对一个或者多个“实施例”的参考将被理解为描述包括在本发明的至少一个实现中的特定的特征、结构或者特性。因此，在此出现的表述(诸如，“在一个实施例中”、或者“在一个可替代的实施例中”)描述本发明的各种实施例和实现，并且不必都指代同一实施例。然而，它们也不必相互排除。
[0003]图1是依据各种实施例图示系统的框图。
[0004]图2是依据各种实施例图示系统的透视、外视图。
[0005]图3是依据各种实施例图示系统中的逻辑层的透视图。
[0006]图4是依据各种实施例图示系统中的层状态的框图。
[0007]图5是依据各种实施例的系统中操作的流程图。
[0008]图6是依据各种实施例的系统中操作的流程图。
【具体实施方式】
[0009]在此描述的实施例涉及投影捕获系统。在相同时间在相同工作空间中的投影、捕获和用户输入控制的组合有利于混合现实(例如，物理的和虚拟的)协作。例如，虚拟对象可以是用户计算机上的文件(例如，电子演示幻灯片、电子文档、数字照片等)。物理对象可以是二维的对象(例如，照片、文档等)或者三维的对象(例如，模型、小部件等)。如在此描述的，物理对象和虚拟对象被视为视觉上可互换的“层”。如在此描述的，这些层表示逻辑层，并且允许在此描述的系统和设备控制工作空间环境，使得一层(例如，物理对象或者数字信息组)具有位于另一层上方的外观。在不同位置上的用户经由单独的投影捕获系统进行协作的协作环境中，因为每个系统上的相机把实况(例如，视频)供给发送到用于投影的其他位置，所以每个用户能够看见本地和远程对象(物理的和虚拟的)并且与本地和远程对象(物理的和虚拟的)交互。
[0010]图1是依据各种实施例图示系统的框图。图1包括依据各种实施例的特定的部件、模块等。然而，在不同的实施例中，更多、更少、和/或其他部件、模块、部件/模块的布置等可以依据在此描述的教导被使用。此外，在此描述的各种部件、模块等可以被实现为一个或者多个软件模块、硬件模块、特殊用途的硬件(例如，专用硬件、专用集成电路(ASIC)、嵌入式控制器、硬接线电路等)、或者它们的某种组合。图1中图示的各种模块和/或部件可以被实现为包含指令的计算机可读存储介质，所述指令由处理器执行并且存储在存储器中以便执行在此描述的操作和功能。
[0011]系统100包括相机110、显示器120、分层模块130、以及控制器140。相机110、显示器120、以及分层模块130被可操作地连接到控制器140以便利于改变工作空间中各层之间的视觉相邻性。在一个示例中，显示器120把地图显示到工作表面上。显示器120可以是放置在工作表面上的显示屏，或者它可以是经由数字投影把信息显示在工作表面上的数字投影仪。此外，相机110检测放置在工作表面上的物理对象(例如，房屋或者建筑物的模型)。相机110可以是可见光相机(例如,数字图像相机(digital image camera)、数字摄像机等)或者红外(IR)相机。
[0012]分层模块130把所述物理对象与一个视觉层相关联，并且把被投射的地图与另一个视觉层相关联。通过保持各个层的状态信息，控制器140能够控制各层的视觉相邻性。换言之，一层可能最初表现为在另一层的“上方”，但是控制器140可以改变所述视觉相邻性，使得“底”层视觉上变为“顶”层。
[0013]图2-3是依据各种实施例图示系统的透视、外视图。图2-3包括依据各种实施例的特定的部件、模块等。然而，在不同的实施例中，更多、更少、和/或其他部件、模块、部件/模块的布置等可以依据在此描述的教导被使用。此外，在此描述的各种部件、模块等可以被实现为一个或者多个的软件模块、硬件模块、特殊用途的硬件(例如，专用硬件、专用集成电路(ASIC)、嵌入式控制器、硬接线电路等)或者它们的某种组合。
[0014]系统200包括顶部210和底部220。底部220包括红外(IR)相机224和投影仪222，以及收容的其他部件(例如，处理器、存储器、分层模块、控制器等)。投影仪222可以是包括但不限于LED (激光发射二极管)和DLP (数字光处理)投影的任何适合的光投影仪。在各种实施例中，投影仪222朝着顶部210投射数字信息，在顶部210镜子把所述投影反射到工作表面230上。IR相机224检测被安放在工作表面230上的物理对象的位置。
[0015]投影仪222把数字信息(例如，线)的投影250投射到工作表面230上。对象260是被放置在工作空间230中的物理对象。IR相机224检测所述对象260的位置。分层模块(例如，分层模块130)把投影250与一个逻辑层相关联，并且把对象260与另一个逻辑层相关联。如图2所示，对象260表现为在投影250的“上方”。换言之，对象260表现为为前景层，而投影250表现为为背景层。
[0016]图3图示了上述逻辑层。层310表示工作表面230。层320表示投影250并且在这个示例中位于层310的“上方”。层330表示对象260并且在这个示例中位于层320的“上方”。一旦对象和数字地被投射的信息已与逻辑层相关联，所述分层模块保持关于各层视觉次序的状态信息。
[0017]系统200还包括允许用户与系统200交互的用户输入设备240。在各种实施例中，用户输入(UI)设备240包括红外数字笔和/或红外相机，用以检测工作空间230中UI设备240的位置。尽管任何适合的UI设备均可以被使用，但数字笔具有如下优点:在没有感应板或者其他特殊表面的情况下，允许在三维空间中(包括沿着工作空间230的表面)输入。因此，系统200能够被用于多种工作表面。
[0018]从UI设备240或者其他输入机构接收的用户输入可以指示改变工作空间230中各层的视觉相邻性的请求。例如，采用UI设备240接触对象260可以指示使对象260为前景层、投影250作为背景层的请求。接触工作空间230的表面可以指示使投影250为前景层、对象260作为背景层的请求。系统200可以使用所述输入和来自分层模块的状态信息改变来自投影仪222的所述投影，从而使得各层的视觉次序被改变(例如，前景层和背景层交换)。
[0019]图4是图示投影捕获系统中各层(真实的和虚拟的)的状态变化的框图。为了说明性的目的，对象被安放于其上的并且数字信息被投射于其上的工作空间的表面被认为是层LO0因此，层LI会在视觉上邻接层LO (例如，“在其上方”)，并且层L2会在视觉上邻接层LI (例如，“在其上方”)。如图所示，状态410包括与层LI相关联的物理对象(例如，地图、文档、其他的二维或者三维对象等)。换言之，所述物理对象在视觉上邻接L0。数字信息(例如，图像、文档等)的投影最初与层L2相关联，并且在视觉上邻接层LI。因此，在状态410，数字信息的投影对于系统用户在视觉上表现为在所述物理对象的“上方”。
[0020]响应于改变各层的视觉相邻性的用户输入或者其他控制信号，系统分层模块把层关联性从状态410的层关联性改变到状态420的层关联性。在状态420，物理对象变为层L2，并且数字信息的投影变为层LI。为了产生所述物理对象在所述投影“上方”的视觉外观，所述系统可以简单地停止投射所述数字信息到所述工作空间。
[0021]状态412包括最初与层LI相关联的数字信息(例如，地图、文档、图像等)的投影。换言之，所述投影在视觉上邻接L0。物理对象(例如，二维的或者三维的)最初与层L2相关联，并且在视觉上邻接层LI。为了获得物理对象在所述投影“上方”的视觉外观，所述系统可以把与所述物理对象的坐标相对应的数字信息(例如，地图或者图像数据等)从所述投影中移除。例如，在所述物理对象坐落的位置，所述系统可以投射空白空间(例如，白色或者其他适合颜色的光)，而在工作空间中的所有其他位置仍然投射原始数字信息(例如，地图或者图像数据等)。可替代地，所述系统可以(例如，从所述物理对象正上方(directly above))捕获所述物理对象的数字图像，并且把那个图像投射在所述物理对象坐落的位置(替代投射空白空间)。在其中任一示例中，效果均是所述物理对象位于所述被投射数字信息“上方”的外观。
[0022]响应于改变各层的视觉相邻性的用户输入或者其他控制信号，系统分层模块把层关联性从状态412的层关联性改变到状态422的层关联性。在状态422，物理对象变为层LI，并且数字信息的投影变为层L2。为了产生所述被投射数字信息在所述物理对象“上方”的视觉外观，所述系统可以简单地把所有数字信息投射到所述工作空间中，包括所述物理对象坐落的位置。
[0023]应当注意的是，多个投影捕获系统可以在远程位置被使用以用于虚拟协作。图4中描绘的状态图示了这种协作的示例。在第一位置的用户可以具有依据状态410的物理对象和投影。同时，在第二位置的用户可以具有依据状态412的物理对象和投影。换言之，由状态410表示的系统可以捕获所述物理对象的数字图像，并且把它发送到协作系统，在此处所述数字图像被依据状态412投射。同样地，在第二位置的用户具有依据状态412的物理对象。这个物理对象也被数字地捕获，并且被发送到其他系统(显示为状态410中的投影)。如此，在不同位置上的系统用户可以使用真实对象和虚拟对象这二者进行协作。
[0024]图5是依据各种实施例的系统中操作的流程图。图5包括依据某些实施例的特定的操作和执行次序。然而，在不同的实施例中，其他操作、省略一个或者多个所描述的操作、和/或以其他执行次序进行也可以依据在此描述的教导被使用。
[0025]系统识别510工作空间中的物理对象。所述物理对象可以是二维的或者三维的。对象可以由相机(例如，红外相机、数字图像捕获(digital image capture)相机、数字摄像机等)识别。在各种实施例中，识别包括确定工作空间内所述对象的位置(例如，坐标)。分层模块把所述物理对象与第一层相关联520。系统还把作为第二层的数字信息(例如，图像)显示(例如，投射)530到工作空间中。再次，所述分层模块保持所述被投射信息与所述第二层之间的关联性。
[0026]系统(也许可能响应于用户输入)改变540第一层和第二层之间的视觉相邻性。例如，第一层最初可以在视觉上邻接工作空间的表面(例如，表现为“在其上方”)。第二层最初可以在视觉上邻接所述第一层(例如，表现为“在其上方”)。响应于用户的请求或者其他控制信号，系统切换(switch)各层的视觉次序。因此，所述第二层变为在视觉上邻接所述工作空间的表面，而所述第一层变为在视觉上邻接所述第二层。
[0027]图6是依据各种实施例的系统中操作的流程图。图6包括依据某些实施例的特定的操作和执行次序。然而，在不同的实施例中，其他操作、省略一个或者多个所描述的操作、和/或以其他执行次序进行也可以依据在此描述的教导被使用。
[0028]投影捕获系统识别610工作空间中的物理对象。再次，所述物理对象可以是二维的或者三维的。对象可以由相机(例如，红外相机、数字图像捕获相机、数字摄像机等)识别。系统分层模块把所述物理对象与第一层相关联620。系统还把作为第二层的数字信息(例如，图像)显示(例如，投射)630到工作空间中。再次，所述分层模块保持所述被投射信息与所述第二层之间的关联性。
[0029]所述系统检测640所述物理对象位置的变化。例如，所述系统可以包括红外相机或者可见光相机(例如，数字静止图像相机(digital still-1mage camera)或者数字摄像机)，用于检测所述物理对象的位置。响应于检测所述物理对象的位置变化，所述系统保持650所述第一层与所述第二层之间的视觉相邻性。例如，如果工作空间被逻辑上划分为四个象限，物理对象可能最初被检测为占据第一象限。如果所述物理对象(与一层相关联)最初在视觉上位于被投射数字信息(与不同的层相关联)的上方，则所述系统可以放弃投射否则会位于第一象限的数字信息，以便与各层的视觉次序一致。然而，响应于检测所述物理对象从第一象限到第二象限的运动，然后所述系统可以投射与第一象限相关联的数字信息，而从所述投影中移除与所述第二象限相关联的数字信息，从而，保持所述物理对象位于所述被投射数字信息上方的外观。
[0030]在此描述的示例中，方法和系统管理第一层和第二层的视觉相邻性。在此描述的方法和系统可容易地扩展到多于两层。例如，被投射数字信息的附加层可以由投影捕获系统管理。另外，附加物理对象均可以与不同的层相关联。在这些多个物理层和被投射层之间的视觉相邻性可以依据在此描述的实施例管理。
[0031]对被披露的本发明实施例和实现的各种修改可以在不背离其范围的情况下被做出。因此，在此的说明和示例应当以示例性的、而不是以限制性的意义来解释。
【权利要求】
1.一种系统，包括: 相机，识别被安放在工作空间中的物理对象； 显示器，在工作空间中显示第一数字信息； 分层模块，把所述物理对象视为工作空间中的第一层，并且把所述第一数字信息视为工作空间中的第二层；以及 控制器，经由所述第一数字信息的显示，控制所述第一层和第二层的视觉次序。
2.根据权利要求1所述的系统，其中，所述相机是红外相机或可见光相机中的至少一个。
3.根据权利要求1所述的系统，进一步包括: 所述控制器响应于所述物理对象相对于所述第一数字信息的位置变化，改变所述第一数字信息的显示以保持所述第一层和第二层之间的现有的视觉次序。
4.根据权利要求1所述的系统，进一步包括: 用户输入模块，接收用户输入；以及 所述控制器改变所述第一数字信息的显示以改变所述第一层和第二层的视觉次序。
5.根据权利要求1所述的系统，进一步包括: 所述显示器在工作空间中显示第二数字信息；以及 所述分层模块把所述第二数字信息视为工作空间中的第三层；以及所述控制器控制所述第一数字信息和第二数字信息的显示，以改变所述第一层、第二层和第三层之间的视觉次序。
6.根据权利要求1所述的系统，其中，所述显示器是数字投影仪。
7.一种包含指令的计算机可读存储介质，当所述指令被执行时，使计算机: 识别被安放在工作空间中的物理对象； 把所述物理对象与第一层相关联； 在工作空间中显示作为第二层的数字信息；以及 改变所述第一层和第二层之间的视觉相邻性。
8.根据权利要求7所述的计算机可读存储介质，包括另外的指令，其使计算机: 响应于所述物理对象相对于所述被显示的数字信息的位置变化，保持所述第一层和第二层之间的现有的视觉相邻性。
9.根据权利要求7所述的计算机可读存储介质，包括另外的指令，其使计算机: 在工作空间中显示作为第三层的附加的数字信息；以及 改变所述第一层、第二层和第三层之间的视觉相邻性。
10.一种用于投影仪-相机系统的方法，包括: 识别被安放在工作空间中的物理对象； 把所述物理对象与第一层相关联； 把作为第二层的数字信息投射到所述工作空间中；以及 改变所述第一层和第二层之间的视觉相邻性。
11.根据权利要求10所述的方法，其中，所述物理对象经由红外感测被识别。
12.根据权利要求10所述的方法，其中，所述数字信息包括数字图像供给或者数字视频供给。
13.根据权利要求10所述的方法，进一步包括:响应于所述物理对象相对于所述被投射的数字信息的位置变化，保持所述第一层和第二层之间的现有的视觉相邻性。
14.根据权利要求10所述的方法，其中，改变所述视觉相邻性包括: 接收用户输入； 响应于所述用户输入，改变所述第一层和第二层的视觉相邻性。
15.根据权利要求10所述的方法，进一步包括: 把作为第三层的附加的数字信息投射到所述工作空间中；以及 改变所述第一层、 第二层和第三层之间的视觉相邻性。
【文档编号】G03B21/20GK103703763SQ201180072678
【公开日】2014年4月2日 申请日期:2011年7月29日 优先权日:2011年7月29日
【发明者】O.K.西弗特 申请人:惠普发展公司，有限责任合伙企业