投影的交互式虚拟桌面的制作方法

本发明一般地涉及计算机领域，并且更具体地涉及投影仪。

背景技术：

投影仪或图像投影仪是将图像(或移动图像)投影到诸如投影屏幕的表面上的光学设备。目前，投影仪可以作为手持式投影仪(也称为口袋投影仪、移动投影仪、微型投影仪或迷你投射器(mini beamer))来提供。手持式投影仪甚至可以嵌入在智能手机中。手持式投影仪是将图像投影仪的使用应用于诸如移动电话、个人数字助理和数字相机的手持式设备中的技术。

技术实现要素：

根据一种实施例，提供了一种用于创建无边界投影交互式虚拟桌面的方法，其中该无边界投影交互式虚拟桌面包括与计算设备的至少一个桌面相关联的区域的投影部分的可调整图像。该方法可以包括将投影仪和运动传感器集成到设备中。该方法还可以包括从集成的运动传感器捕获与设备相关联的地点、地点变化、方向变化或朝向变化中的至少一个。该方法可以包括基于设备相对于投影表面的所捕获的地点、所捕获的方向变化、或所捕获的朝向变化来计算投影图像。该方法还可以包括基于投影仪的朝向和所捕获的地点跨在设备中运行的至少一个应用来协调计算出的投影图像，其中投影图像与投影表面相关联。该方法还可以包括对与经协调的投影图像相关联的区域的一部分的视图进行投影，其中所投影的视图包括交互式虚拟桌面，该虚拟桌面包括多个要素，该多个要素包括应用图像。该方法可以附加地包括基于标准来调整所述区域的所述部分的所投影的视图。

根据另一种实施例，提供了一种用于创建无边界投影交互式虚拟桌面的计算机系统，其中该无边界投影交互式虚拟桌面包括与计算设备的至少一个桌面相关联的区域的投影部分的可调整图像。该计算机系统可以包括一个或多个处理器、一个或多个计算机可读存储器、一个或多个计算机可读有形存储设备、以及存储在所述一个或多个存储设备中的至少一个上的程序指令，所述程序指令用于由所述一个或多个处理器中的至少一个经由所述一个或多个存储器中的至少一个执行，由此所述计算机系统能够执行一种方法。该方法可以包括将投影仪和运动传感器集成到设备中。该方法还可以包括从集成的运动传感器捕获与设备相关联的地点、地点变化、方向变化或朝向变化中的至少一个。该方法可以包括基于设备相对于投影表面的所捕获的地点变化、所捕获的方向变化、或所捕获的朝向变化来计算投影图像。该方法还可以包括基于投影仪的朝向和所捕获的地点跨在设备中运行的至少一个应用来协调计算出的投影图像，其中投影图像与投影表面相关联。该方法还可以包括对与经协调的投影图像相关联的区域的一部分的视图进行投影，其中所投影的视图包括交互式虚拟桌面，该虚拟桌面包括多个要素，该多个要素包括应用图像。该方法可以附加地包括基于标准来调整所述区域的所述部分的所投影的视图。

根据还有的另一种实施例，提供了一种用于创建无边界投影交互式虚拟桌面的计算机程序产品，其中该无边界投影交互式虚拟桌面包括与计算设备的至少一个桌面相关联的区域的投影部分的可调整图像。该计算机程序产品可以包括一个或多个计算机可读存储设备和存储在所述一个或多个有形存储设备中的至少一个上的程序指令，该程序指令可由处理器执行。

该计算机程序产品还可以包括将投影仪和运动传感器集成到设备中的程序指令。该计算机程序产品还可以包括从集成的运动传感器捕获与设备相关联的地点、地点变化、方向变化或朝向变化中的至少一个的程序指令。该计算机程序产品可以包括基于设备相对于投影表面的所捕获的地点变化、所捕获的方向变化、或所捕获的朝向变化来计算投影图像的程序指令。该计算机程序产品还可以包括基于投影仪的朝向和所捕获的地点跨在设备中运行的至少一个应用来协调计算出的投影图像的程序指令，其中投影图像与投影表面相关联。该计算机程序产品还可以包括对与经协调的投影图像相关联的区域的一部分的视图进行投影的程序指令，其中所投影的视图包括交互式虚拟桌面，该虚拟桌面包括多个要素，该多个要素包括应用图像。该计算机程序产品可以附加地包括基于标准来调整所述区域的所述部分的所投影的视图的程序指令。

附图说明

现在将参照附图通过示例的方式描述本发明的实施例，附图中：

图1示出了根据一种实施例的联网的计算机环境；

图2是示出根据至少一种实施例的由用于投影无边界交互式虚拟桌面的程序所执行的步骤的操作流程图；

图3是根据至少一种实施例的投影桌面图像的示例性图示；

图4是根据至少一种实施例的调整投影桌面图像的设备的移动的示例性图示；

图5是根据至少一种实施例的、与投影桌面图像的不同子部分交互的多个设备的协调的示例性图示；以及

图6是根据至少一种实施例的、在图1中绘出的计算机和服务器的内部和外部组件的框图。

具体实施方式

本文公开了所要求保护的结构和方法的详细实施例；但是，可以理解，所公开的实施例仅仅是可以以各种形式体现的所要求保护的结构和方法的说明。但是，本发明可以以许多不同的形式体现，并且不应当被解释为限于本文所阐述的示例性实施例。相反，提供这些示例性实施例使得本公开将是彻底的和完全的，并且将向本领域技术人员充分地传达本发明的范围。在描述中，可能省略了众所周知的特征和技术的细节，以避免不必要地模糊所给出的实施例。

本发明的实施例一般地涉及计算机领域，并且更具体地涉及投影仪。以下描述的示例性实施例提供了一种系统、方法和程序产品，以提供无边界投影交互式虚拟桌面等。此外，本实施例具有通过能够将桌面的无边界表面的桌面图像投影到表面上来提高图像处理的技术领域的能力。另外，本实施例具有节省资源的潜力。这样，电池电力将通过总照明和透镜调整的组合调整被节省，从而导致以投影尺寸为代价的亮度保持。

如前所述，投影仪现在可以作为手持式或微型投影仪，并且甚至可以嵌入到智能电话来提供，其中智能电话具有足够的存储容量来处理演示材料但几乎没有空间来容纳附连的显示屏。手持式投影仪涉及可以将数字图像投影到任何附近的观察表面上的小型化硬件和软件。但是，这种手持式投影仪不能实现宽的用户界面，而是仅仅可以提供屏幕到投影表面中的镜像。此外，当前的手持式投影仪可能遭受高能量使用的影响，并且因此可能需要频繁地对电池再充电。

另外，存在关于投影仪或标准屏幕的使用的共同的问题。这些设备的用户可能忙于多任务、复制或粘贴功能或可能需要跨应用进行协调的其它交互。例如，复杂的组织(诸如填写大量的文档)可能是困难的，并且可能需要用户在小屏幕上在许多对话框和选择列表之间导航。这样，除其他之外，实现投影可以根据设备投影仪的地点和朝向被平移、缩放和旋转的图像的方法会至少是有利的。

根据至少一种实现方式，本实施例可以包括具有运动传感器的投影仪设备，以及可以使用设备中的运动传感器根据设备的投影仪的地点和朝向来平移、缩放和旋转作为无边界交互式虚拟桌面(即，无边界交互式虚拟桌面)的被投影图像的软件。这样，无边界交互式虚拟桌面是工作空间，该桌面的至少一部分仅存在于设备的存储器中，但是该桌面的有界区域或有界区域的一部分可以通过投影仪被可视化，并且在桌面中要素可以在任何方向上无限地移动。更具体而言，虚拟的无边界桌面是具有以下能力的桌面：使其自身的至少一部分单独存在于存储器中，即，其至少一部分存在于存储器中并且可以被显示或投影在有形介质上或经由有形介质显示或投影或可以不被显示或投影在有形介质上或不经由有形介质显示或投影。例如，根据本实施例的至少一种实现方式，每个要素的位置相对于桌面的中心位置存储，并且桌面的一部分的表示作为有界图像或无边界区域的一部分被投影和绘制到诸如墙壁或桌面的表面上。另外，桌面的投影部分可以基于检测到与投影仪设备相关联的移动而被改变。这样，通过显露与投影仪设备相关联的桌面的先前未显露部分，与投影仪设备相关联的检测到的移动变化对应于交互式桌面的投影部分的表面。例如，投影设备向右的移动可以显露与桌面相关联的先前投影或未显露图像。在一种实施例中，向右的移动可以模仿链接到计算机屏幕或移动设备屏幕的桌面的“滑动”特征。另外，根据本说明书的各种实施例，桌面的投影部分可以是与投影仪设备相关联的桌面的投影部分，或者它可以是与连接到投影仪设备的计算设备相关联的桌面的投影部分。

此外，两个或更多个投影仪设备可以彼此结合使用以绘制虚拟交互式桌面的连续的更大的投影部分。例如，与每个投影仪设备单独操作时相比，投影仪设备的组合桌面的绘制的投影部分可以允许绘制要被绘制的每个桌面更大的区域。

另外，用户可以通过使用手势、屏幕上显示和设备上的按钮与虚拟桌面交互。例如，当用户移动包含运动传感器的投影仪设备时，被投影的无边界桌面的部分可以被调整。例如，向右的移动可以绘制投影桌面的不同部分，或者除了绘制投影桌面的新部分之外，这种移动可以包括在移动之前的桌面的已绘制部分。另外，桌面可以能够显示多个“要素”，诸如文档、图像、文件夹、视频、web浏览器标签、应用窗口或应用。

根据至少一种实现方式，可以在屏幕或任何大的观看表面(诸如墙壁)上观看完整的桌面。此外，通过将设备保持远离投影表面，由投影仪照亮的区域可以被增大，但是，投影的强度会被降低，有可能降低到不可见的程度。这样，根据至少一种实现方式，可以仅使用可以嵌入在设备中的小且相对低功率的投影仪来创建无边界虚拟表面，并且可以基于可用的电池寿命来调整投影的强度，而不会牺牲有效强度。例如，用户可以将设备移动得更靠近表面，并且尽管照明区域随后更小，但是在这种情况下它可以利用较少的功耗就同样明亮。此外，根据至少一种实现方式，可以允许多个用户同时与要素交互。此外，投影区域的相对尺寸可以取决于设备的高度而不同；但是，要素的地点可以相对于投影表面而不是设备被保持。

本说明书的各种实施例可以维持投影图像保真度以及保持投影要素相对于投影表面的地点。此外，可以使用低功率投影仪来照亮较大增强现实的子部分，同时提供投影图像的实时调整；基于运动传感器实时调整投影图像；协调与投影虚拟桌面的不同子部分交互的多个设备；以及通过总照明和透镜调整的组合调整来节省电池电力，从而导致以投影尺寸为代价的亮度保持。另外，利用投影设备本身做出的手势可以保持在投影表面上的相对定位，同时允许选择、拖拽和其它操作。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以下描述的示例性实施例提供了一种用于提供无边界投影交互式虚拟桌面的系统、方法和程序产品。本发明的实施例可以计算投影以考虑为绝对的或相对于标记的多个变量。例如，设备的地点可以在三维中计算。这样，观看区域可以被平移并且投影可以被缩放。此外，设备的朝向可以在三维中计算，使得观看区域的图像可以被拉伸和扭曲，就好像设备是平的一样。另外，对象在表面上的放置可以被计算。这样，放置在表面上的对象可以由内置于主设备中或作为主设备的补充的相机或相机阵列检测到。然后，图像可以被校正，使得当对象被放置在表面和设备之间时，图像不会由于更靠近设备而被放大。此外，为了进一步提高精确度，设备可以与台式相机或能够在三维中精确锁定(pinpointing)设备的地点和位置的其它传感器(诸如红外光(IR)设备阵列)结合使用。

本实施例的实现还可以允许用户交互。例如，可以与设备本身进行一系列手势以选择桌面上的要素和与之交互。一些主要的交互涉及拾取和放下项目、以及使用设备屏幕和手势与设备交互。特别地，用户可以向前轻拂设备以放下项目(其可以创建堆叠)；向上轻拂它以从桌面拾取项目；或者将它轻拂到侧边以混洗(shuffle)堆叠。当设备被移动时，该移动可以通过设备中的运动传感器进行跟踪。这样的运动传感器可以检测附近的表面，或者这样的运动传感器可以与表面上或表面附近的设备交互。根据至少一种实现方式，投影图像可以被重新计算，以表示与表面的那个部分对应的图像的区域，并且潜在地使用现有技术被倾斜和拉伸以考虑设备相对于(一个或多个)表面的角度。此外，用户还可以拾取单个多页要素(诸如书或文档)，并且然后使用向侧面轻拂来翻过文档的页面。

本说明书的各种实施例还可以允许对象锁定。这样，虚拟对象可以被锁定到物理对象以创建混合堆叠。例如，放置在真实桌面上的过山车上的虚拟元件可以在过山车移动时移动。放置在真实纸张上的诸如文档、照片或视频的要素可以与真实的纸一起移动，就好像它在纸的堆叠中一样。这样，堆叠可以当在相机的视野中或移出视野时移动。根据至少一种实现方式，如果物理项目在相机的视野之外，则当物理对象首次在新地点被观察到时，设备可以首先识别并记录它们的新地点。但是，如果旧地点在新地点被定位之前被相机看到，则堆叠可以被暂时放置在虚拟“仓(bin)”中，直到该地点可以被重新分配。然后，用户可以独立于仓和堆叠在堆叠和仓视图中的物理地点对他们设备上的仓和堆叠进行分类，并且可以使用该视图来进一步组织文档，即使它们曾经已离开桌面的地点。这样，桌面可以被保存并且在新地点重新创建。为了便于此，用户可以取得仓(即，其物理锁定(pin)或配对物尚未找到的任何堆叠)并且将其放置在桌子上的新地点中。

根据至少一种实现方式，本实施例可以允许屏幕上交互。因此，当设备指向桌子上的要素但是还没有要素“在手中”或被拾取时，被指向的要素或该要素的表示(诸如特定图标)可以显示在设备上。然后，用户可以在屏幕上与该要素交互。例如，用户可以通过编辑要素、读取要素或在该要素内导航来与该要素交互。当用户拾取一要素时，该要素被“锁住”到屏幕，直到用户将该要素放下或使用其它屏幕上导航来离开它。此外，设备屏幕上的显示可以通过列出要素、堆叠和不在堆叠中的要素以及允许对要素和堆叠进行操作来允许与要素和堆叠进一步交互。另外，屏幕上显示可在设备未指向要素或者在按钮在设备上被按压或做出特殊手势时呈现。本实施例可以允许使用手势或屏幕上显示将堆叠转换成或添加到在线文档或内容管理系统或文件系统中的文件夹、集合或集。例如，整个桌子可以利用单个动作被转换成库或文件夹集，从而在内容管理或文件系统中镜像桌面组织。堆叠可以被添加到文件夹，使得堆叠中还有的项目将被自动添加到文件夹，并且堆叠可以被链接到文件夹，使得文件夹中的项目可以被自动添加到堆叠。屏幕上显示上的所有动作可以采用手势进行，并且设备可以允许定制，诸如将手势分配给动作和对新手势进行编程。

根据本实施例，设备本身可以是手持式的、可穿戴的或可植入的，并且可以包括投影仪、运动传感器、屏幕上显示和专用软件。这些可以在物理上分离到在各种实现方式中一起工作的不同模块中。另外，本实施例可以允许亮度调整。这样，投影仪还可以包括透镜，其不仅可以用于聚焦投影，而且可以在保持亮度的同时减小或增大投影区域的尺寸。使用这种机制，照亮区域可以通过降低来自设备的整体照明强度来减小，而不降低亮度。这种亮度调整可以用来保持电池寿命，或者在设备移动得更靠近或远离设备时保持亮度恒定。

此外，每个正在使用本实施例的多个用户可以全部同时与虚拟桌面上的要素交互。当要素被修改时，该修改可以通过近场通信、通过服务器或云服务、或通过设备之间的网络通信来传送。这样，多个设备可以与无线电天线或其它定位传感器交互，以改进它们相对于彼此的位置和朝向。随着投影区域变得靠近和重叠，设备上的相机可以用来通过相对于桌面在存储器中的表示监视由其它设备投影的图像来提高设备地点和朝向检测的准确性。此外，人类视觉频谱之外的视觉标记或要素可以嵌入在投影中以帮助多个设备协调它们的投影。

现在参考图1，其中绘出了根据一种实施例的示例性联网的计算机环境100。计算机环境100可以包括计算机102A、102B，该计算机具有处理器104A以及被启用以运行无边界投影交互式虚拟桌面程序108A的数据存储设备106A。根据本实施例的至少一种实现方式，计算机102A、102B还可以包括运动传感器116和投影仪112。运动传感器116可以包括捕获设备的相对运动的任何机制。此外，根据本实施例的至少一种实现方式，运动传感器116可以能够检测设备102A、102B在一个时间点的位置，以及然后设备102A、102B在以后的时间点的位置。另外，根据替代的实现方式，除了可以辅助设备相对于表面的移动的运动传感器116之外，设备102A、102B还可以使用来自使用主动或被动自动聚焦检测系统(诸如对比度或相位检测)的技术，以检测投影表面的平面相对于设备的相对角度。这样，可以对多个点进行采样以获得最佳聚焦，从而导出到投影平面中的多个点的距离，并且因此可以允许计算到多个点的距离并且重新创建平面在设备的存储器中的几何形状。

联网的计算机环境100还可以包括通信网络110和服务器114，

该服务器114具有处理器104B和被启用以运行无边界投影交互式虚拟桌面程序108B的数据存储设备106B。联网的计算机环境100可以包括多个计算机102A、102B和服务器114，图中仅示出了它们中一个。通信网络可以包括各种类型的通信网络，诸如广域网(WAN)、局域网(LAN)、电信网络、无线网络、公共交换网络和/或卫星网络。应当理解，图1仅提供一种实现方式的说明，并且不暗示关于可以实现不同实施例的环境的任何限制。

如将参考图6所讨论的，客户端计算机102A、102B和服务器114可以分别包括内部组件800和外部组件900。客户端计算机102A、102B可以是例如移动设备、电话、个人数字助理、上网本、膝上型计算机、平板计算机、台式计算机、服务器计算机、或能够运行诸如无边界投影交互式虚拟桌面程序108A的程序的任何类型的计算设备。

诸如无边界投影交互式虚拟桌面程序108A、108B的程序可以在客户端计算机102A、102B或服务器计算机114上运行。如前所述，无边界投影交互式系统可以包括集成到包括软件(诸如无边界投影交互式虚拟桌面程序108A)的移动设备(诸如客户端计算机102A、102B)中的投影仪112和运动传感器116。无边界投影交互式虚拟桌面程序108A、108B可以使用设备102A、102B中的运动传感器116根据设备的投影仪的地点和朝向来平移、缩放和旋转作为无边界虚拟桌面的投影图像。此外，用户可以通过使用手势、屏幕上显示和设备102A、102B上的按钮来与投影虚拟桌面交互。例如，当用户可能移动包含运动传感器116的投影仪设备102A、102B时，被投影的无边界桌面的部分可以被调整。另外，桌面可以能够显示多个“要素”，诸如文档、图像、文件夹、视频、web浏览器标签、应用窗口或应用。下面关于图2进一步详细解释无边界投影交互式虚拟桌面方法。

现在参考图2，其中绘出了示出根据至少一种实施例的由用于投影无边界交互式虚拟桌面的程序所执行的步骤的操作流程图200。在202，投影仪和运动传感器被集成到移动设备中。无边界投影交互式虚拟桌面程序108A、108B(图1)可以被实现为在客户端计算机102A、102B(图1)上运行。如前所述，无边界投影交互式虚拟桌面系统可以包括集成在设备中的投影仪112(图1)和运动传感器116(图1)，该设备诸如但不限于终端用户移动设备102B(图1)、计算机102A(图1)、智能电话或包括运动传感器116(图1)的平板电脑。无边界投影交互式虚拟桌面系统还可以包括软件，诸如无边界投影交互式虚拟桌面程序108A、108B(图1)，其可以使用设备中的运动传感器116(图1)根据设备的投影仪112(图1)的地点和朝向来平移、缩放和旋转作为无边界虚拟桌面的投影图像。例如，当用户可能移动包含运动传感器116(图1)的投影仪设备102A、102B(图1)时，被投影的无边界桌面的部分可以被调整。

接下来在204，从运动传感器捕获设备的地点，其包括捕获地点、方向或朝向的变化。这样，无边界投影交互式虚拟桌面程序108A、108B(图1)可以基于集成在设备中的运动传感器来确定设备的地点。但是，根据替代的实现，运动传感器可以被实现为解释从附连到投影仪设备的相机捕获的图像的软件，而不是被实现为集成在投影仪设备中的物理硬件的运动传感器。此外，根据替代的实现方式，可以在投影表面上使用红外波点。这样，可以在投影表面上实现红外波点，使得投影仪设备可以通过相机或红外传感器能够确定投影仪设备相对于由红外波点指示的固定点的位置。另外，运动传感器可以选自由以下各项组成的组：嵌入式加速度计、陀螺仪、定位系统、以及嵌入式或外部电磁或超声波运动传感器。

然后在206，基于设备相对于投影表面的地点计算投影图像。如先前关于一种实现方式所描述的，图像的投影可以通过无边界投影交互式虚拟桌面程序108A、108B(图1)来计算，以考虑为绝对的或相对于标记(诸如投影表面)的多个变量。例如，变量可以包括设备在三维中的地点、设备在三维中的朝向、和对象在表面上的放置。使用基本的三维几何形状，投影图像的维度可以通过将锥体或棱锥从投影仪延伸到表面来计算。投影的外部维度被计算，并且投影图像被调整，以投影无边界桌面的对应部分。

这样，基于这些变量，观看区域可以被平移，并且投影可以由无边界投影交互式虚拟桌面程序108A、108B(图1)来缩放。此外，观看区域的图像可以被拉伸和扭曲，就好像设备是平的一样。另外，放置在表面上的对象可以被检测到，并且然后图像可以被校正，使得当对象被放置在表面和设备之间时，图像不会由于更靠近设备而被放大。此外，为了进一步提高精确度，设备102A、102B(图1)可以与台式相机或能够在三维中精确锁定设备的地点和位置的其它传感器(诸如红外光(IR)设备阵列)结合使用。

接下来在208，基于投影仪的地点和朝向，无边界投影图像跨移动设备中运行的应用进行协调。这样，桌面上的每个窗口或要素相对于中心参考点被定位。根据本实施例的一种实现方式，跨移动设备中运行的至少一个应用协调无边界投影图像可以基于捕获的投影仪的地点和朝向。此外，与图像投影相关联的强度可以基于投影仪到投影表面的距离。

然后在210，无边界区域的一部分的有界视图被投影。投影的有界视图可以包括多个要素，其中包括表示虚拟桌面的应用图像。根据至少一种实现方式，有界视图可以通过对有界视图的计算进行调整来保持有界投影中要素相对于投影表面的位置和尺寸。另外，要素可以选自包括以下各项的组：文档、图像、文件夹、视频、web浏览器标签、应用窗口和应用图标。

接下来在212，有界视图基于标准进行调整。根据本实施例的一种实现方式，可以用来调整有界视图的标准可以包括一组规则。规则可以基于以下要素，诸如但不限于：功耗、到投影表面的距离、运动、图像保真度、外部光或环境光、设备相对于表面的倾斜度或角度、以及从至少一个其它设备接收到的信息。尽管有设备的移动，尽管有投影设备的任何移动，但是对视图的主要调整使投影图像中的要素相对于投影表面保持在恒定的地点、朝向和视角。功耗和剩余电力被监视，并且对应于如后所述的流明输出和投影缩放的调整，图像被调整，从而保持要素相对于表面的位置，同时调整灯输出和缩放以减小或增大观看区域的尺寸。

此外，本实施例可以提供用户界面(UI)，由此用户界面(UI)可以允许一个或多个用户使用至少两个单独的设备来对这些要素进行独立地操作。例如，用户界面(UI)可以允许至少两个用户对要素进行独立地操作，而每个用户正在使用其自己单独的设备。此外，与无边界投影交互式虚拟桌面相关联的用户界面(UI)可以支持从一组手势中选择的手势。该组手势可以包括诸如拖拽、拾取、放下、锁定、和导航等的手势。例如，当用户移动包含运动传感器的投影仪设备时，被投影的无边界桌面的部分可以被调整。如前所述，用户可以向前轻拂设备以放下项目(其可以创建堆叠)、向上轻拂它以从桌面拾取项目、或者将它轻拂到侧边以混洗堆叠。当设备被移动时，该移动可以通过设备中的运动传感器进行跟踪。根据至少一种实现方式，

在有界视图基于标准被调整之后，该方法可以继续循环回到先前所述的步骤204以从运动传感器捕获设备的地点并重复关于步骤206-步骤212所描述的过程。

可以理解，图2仅提供一种实现方式的说明，并且不暗示关于不同实施例可以如何被实现的任何限制。可以基于设计和实现要求对所绘出的环境做出许多修改。例如，如先前关于替代实现方式所描述的，运动传感器可以被实现为解释从附连到投影仪设备的相机捕获的图像的软件，而不是被实现为集成在投影仪设备中的物理硬件的运动传感器。此外，根据替代的实现方式，可以在投影表面上使用红外波点。此外，如先前所述，除了可以辅助设备相对于表面的移动的运动传感器116(图1)之外，设备102A、102B(图1)还可以使用来自使用主动或被动自动聚焦检测的技术，以检测投影表面的平面相对于设备的相对角度。这样，可以对多个点进行采样以获得最佳聚焦，从而导出到投影平面中的多个点的距离，并且因此可以允许计算到多个点的距离并且重新创建平面在设备的存储器中的几何形状。

现在参考图3，其中绘出了根据本实施例的至少一种实现方式的投影桌面图像的示例性图示300。如前所述，用户可以使用包括运动传感器116(图1)、投影仪112(图1)和软件108A、108B(图1)的投影仪设备302，软件108A、108B可以使用设备302中的运动传感器116(图1)来平移、缩放和旋转作为根据设备302的投影仪112(图1)的地点和朝向创建的整个虚拟桌面304的有界视图(即，一部分)的投影图像。例如，根据本实施例的至少一种实现方式，计算机屏幕的“快照”可以作为图像304被投影和绘制到表面(诸如墙壁或桌面)上。投影的所有区域一起形成虚拟桌面304。虚拟桌面304能够显示多个“要素”306-312，这些要素可以包括文档、图像、文件夹、视频、web浏览器标签、应用窗口或应用。仅为了说明的目的，投影区域304被示为圆形，但是，它可以被绘制为另一种形状，诸如矩形或正方形。

使用投影仪设备302的用户可以通过使用手势、屏幕上显示和设备302上的按钮与投影虚拟桌面304交互。例如，当用户移动包含运动传感器的投影仪设备302时，被投影的桌面304的部分可以被调整。例如，向右移动可以绘制投影桌面304的不同部分，或者除了绘制投影桌面304的新部分之外，这种移动可以包括在移动之前桌面304的绘制部分。

为了说明的目的，虚拟桌面304外部的区域314可以绘出由于当前没有被投影而对用户不可见的显示区域。但是，该区域314可以在投影仪设备302的内部被表示出，并且可以通过移动投影仪设备302被显露。此外，在投影仪设备302的顶部绘制的点316表示投影仪在设备上的地点，用于说明性目的。

现在参考图4，其中绘出了根据至少一种实施例的调整投影桌面图像的设备的移动的示例性图示400。如前所述，当用户移动投影仪设备302时，被投影的桌面304的部分被调整。例如，将投影仪设备302向右移动可以绘制投影桌面304的不同部分，或者除了绘制投影桌面304的新部分之外，这种移动可以包括桌面304在移动之前的描绘部分。因此，投影仪设备302的移动可以导致先前显示的“要素”306-312(诸如文档、图像、文件夹、视频、web浏览器标签、应用窗口或应)的地点可以相对于桌面304的绘制部分被调整并且新的“要素”402-404被显示。另外，如图4所绘制的，投影仪设备302的移动可以调整投影桌面的绘制部分相对于显示投影桌面图像的表面314的位置。

另外，本实施例可以能够仅使用可以嵌入在设备302中的小且相对低功率的投影仪来创建虚拟表面314，并且可以基于可用的电池寿命来调整投影的强度而不牺牲有效强度。例如，用户可以将设备302移动得更靠近表面，并且尽管照明区域随后更小，但是在这种情况下它可以利用较少的功耗就同样明亮。这样，电池电力将通过总照明和透镜调整的组合调整被节省，从而导致以投影尺寸为代价的亮度保持。

此外，根据至少一种实现方式，假设投影仪112(图1)使用投影仪112(图1)的全部区域，那么当将设备302中的投影仪112(图1)与表面314的距离加倍时，投影图像304的表面积314将变为四倍(通过在每个维度加倍)。假设从投影仪112(图1)输出恒定的流明，那么对于距离的每次加倍，投影图像的勒克斯(lux)(流明/平方米)将变为四分之一。只要存在如由当前电池电荷的预计寿命和用户设置或当前使用所确定的足够存储的可用电力，本实施例就可以响应于设备302相对于投影仪表面314的移动，增加从投影仪112(图1)的光源输出的流明，以维持恒定的勒克斯。例如，忽略由于在不同调光比下输出波长的不同组成而导致的通过投影仪112(图1)的可变透射率，对于设备302到表面314的距离的加倍，投影仪112(图1)可以将流明输出增加四倍。

另外，设备302可以通过减小投影的表面积314来在维持恒定的勒克斯的同时减少功耗，同时还维持投影图像304中的要素306-312相对于表面314的尺寸，从而允许即使在具有高电池保存的较高的光线条件下，也易于查看桌面。在一种实施例中，使用了硅上液晶(liquid crystal on silicon，LCoS)微型投影仪，其中从光源或灯发射的流明与用于聚焦光源的透镜阵列一起变化，以实现投影相对于表面314的恒定尺寸。当需要电力节省时，本实施例可以自动地减小投影表面的尺寸或通过聚焦光源的全部流明的光学元件将光源聚焦在较小的投影区域304上，同时协调对光源的调光。例如，利用LED作为向数字光处理(DLP)或硅上液晶(LCoS)供电的光源，到光源的输入功率可以使用现有的LED调光技术来调光。投影区域304的减小与流明输出的减少相协调，以在投影图像上实现恒定的勒克斯。通常，这单独地将简单地导致较小的图像被投影到表面上。例如，对于投影图像304尺寸上的每次减半，在投影表面314上显示的文档将呈现一半的尺寸。本实施例重新计算要投影的图像，从而调整桌面到投影仪的图像产生要素的映射、相对于投影图像尺寸的减小直接有效地投影原始图像的较小区域、并且保持投影对象与表面314的整体关系。对于终端用户的结果简单地是看到较少的桌面被投影304，而不是由于确定电池节省更为关键而看到较小或较暗的图像。

现在参考图5，其中绘出了根据至少一种实施例的与投影桌面图像的不同子部分交互的多个设备的协调的示例性图示500。根据至少一种实现方式，本实施例可以允许至少一个用户使用不同的投影仪设备502、504同时与虚拟桌面的要素交互；例如，使用不同投影仪设备502、504的多个用户同时与虚拟桌面518的要素交互。这样，当要素506-516被修改时，该修改可以通过近场通信、通过诸如服务器114(图1)的服务器、云服务、或通过设备502、504之间的网络通信110(图1)被传送。这样，多个设备502、504可以与无线电天线或其它定位传感器交互，以改进它们相对于彼此的位置和朝向。随着投影区域变得靠近和重叠，设备502、504上的相机可以用来通过相对于桌面在存储器中的表示监视由其它设备502、504投影的图像来提高设备地点和朝向检测的准确性。此外，人类视觉频谱之外的视觉标记或要素可以嵌入在投影中，以帮助多个设备502、504协调它们的投影。

投影区域的边界(或从中可以计算投影区域的设备502、504的位置、朝向和投影仪配置)可以经包括RFID、蓝牙的近场通信或通过计算机网络来传送。可替代地，每个设备502、504可以通过使用相机(包括在人类视觉领域之外的相机或检测器)独立地检测其它设备502、504的投影图像518。一旦由任何设备502、504检测到来自多个设备502、504的投影图像518中的重叠，就使用若干电力控制和协调机制。如果设备502、504的投影图像与来自设备502、504中另一个的投影具有显著的重叠，则单个设备502、504可以独立地减少或消除从其投影仪光源的输出。设备502、504可以通过以上列出的所有通信方法、发送消息以及可能地允许确认来与其它设备502、504协调这种输出的减少。设备502、504可以发送电力使用和剩余的电力统计，以允许涉及投影的其它设备502、504确认电力减少策略，或者所有数据可以被发送到联网设备502、504，诸如向设备502、504发出命令的服务器114(图1)。在激光束转向(laser beam steering，LBS)方法投影仪的情况下，激光可以被转向以便跳过在重叠的投影区域中的像素，这可以通过在聚焦到那些像素上时关闭，或者通过在那些区域周围转向完成。为了维持对整个投影的恒定频率或刷新率，如果激光在重叠区域周围转向，则激光可以通过围绕某些像素或投影区域转向而关闭一段时间，该段时间对应于在一个周期内减少的时间量。在诸如硅上液晶(liquid crystal on silicone，LCoS)或数字光处理(digital light processing，DLP)的基于灯的解决方案中，如果投影区域中存在重叠，则设备可以减少或关闭投影仪的灯。在采用这些技术之前用于所需重叠的阈值可以被配置并且可以取决于所涉及的设备的剩余电力和电力使用。

图6是根据本发明说明性实施例的在图1中绘出的计算机的内部和外部组件的框图600。应当理解，图6仅提供一种实现方式的说明，并且不暗示关于可以实现不同实施例的环境的任何限制。可以基于设计和实现要求对所绘出的环境做出许多修改。

数据处理系统800、900表示能够执行机器可读程序指令的任何电子设备。数据处理系统800、900可以表示智能电话、计算机系统、PDA、或其它电子设备。可以由数据处理系统800、900表示的计算系统、环境和/或配置的示例包括但不限于个人计算机系统、服务器计算机系统、瘦客户端、胖客户端、手持式或膝上型设备、多处理器系统、基于微处理器的系统、网络PC、小型计算机系统、和包括任何上述系统或设备的分布式云计算环境。

用户客户端计算机102A、102B(图1)和网络服务器114(图1)可以包括图6所示的内部组件800a、b、c和外部组件900a、b、c的相应集合。内部组件集合800中的每一个包括一个或多个总线826上的一个或多个处理器820、一个或多个计算机可读RAM 822和一个或多个计算机可读ROM 824，以及一个或多个操作系统828和一个或多个计算机可读有形存储设备830。客户端计算机102A、102B(图1)和网络服务器114(图1)中的一个或多个操作系统828和无边界投影交互式虚拟桌面程序108A、108B被存储在相应的计算机可读有形存储设备830中的一个或多个上，用于经由相应的RAM 822(其通常包括高速缓冲存储器)中的一个或多个由相应的处理器820中的一个或多个执行。在图6所示的实施例中，计算机可读有形存储设备830中的每一个是内部硬盘驱动器的磁盘存储设备。可替代地，计算机可读有形存储设备830中的每一个是半导体存储设备，诸如ROM 824、EPROM、闪存或者可以存储计算机程序和数字信息的任何其它计算机可读有形存储设备。

每组内部组件800a、b、c还包括读/写驱动器或接口832，以从一个或多个便携式计算机可读有形存储设备936(诸如CD-ROM、DVD、记忆棒、磁带、磁盘、光盘或半导体存储设备)读取和向这些设备写入。诸如无边界投影交互式虚拟桌面程序108A、108B(图1)的软件程序可以存储在相应的便携式计算机可读有形存储设备936中的一个或多个上，经由相应的R/W驱动器或接口832读取并且加载到相应的硬盘驱动器830中。

每组内部组件800a、b、c还包括网络适配器或接口836，诸如TCP/IP适配器卡、无线Wi-Fi接口卡、或3G或4G无线接口卡或其它有线或无线通信链接。客户端计算机102A、102B(图1)和网络服务器114(图1)中的无边界投影交互式虚拟桌面程序108A、108B(图1)可以经由网络(例如，互联网、局域网或其它、广域网)和相应的网络适配器或接口836从外部计算机下载到客户端计算机102A、102B(图1)和网络服务器114(图1)。从网络适配器或接口836，客户端计算机102A、102B(图1)和网络服务器114(图1)中的无边界投影交互式虚拟桌面程序108A、108B(图1)被加载到相应的硬盘驱动器830中。网络可以包括铜线、光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。

外部组件集合900a、b、c中的每一个可以包括计算机显示监视器920、键盘930和计算机鼠标934。外部组件900a、b、c还可以包括触摸屏、虚拟键盘、触摸板、定点设备和其它人机接口设备。内部组件集合800a、b、c中的每一个还包括与计算机显示监视器920、键盘930和计算机鼠标934接口的设备驱动器840。设备驱动器840、R/W驱动器或接口832和网络适配器或接口836包括硬件和软件(存储在存储设备830和/或ROM 824中)。

已经出于说明的目的给出了本发明的各种实施例的描述，但是这些描述并不旨在是详尽的或限于所公开的实施例。在不脱离所描述的实施例的范围的情况下，许多修改和变化对于本领域普通技术人员将是显而易见的。本文所使用的术语的选择是为了最好地解释实施例的原理、实践应用或对市场中发现的技术的技术改进，或者使得本领域的其他普通技术人员能够理解本文所公开的实施例。