微调用于投影到目标上的内容的制作方法
【专利摘要】本发明提供用于在投影目标的界限内微调用于投影的内容的系统和方法。所述系统和方法基于所述投影目标的一或多个特性来微调所述用于投影的内容，所述一或多个特性包含形状、轮廓和到所述投影目标的距离。此外，所述系统和方法基于所述一或多个特性指定无内容将被投影的空白区域，且所述空白区域将连同所述内容一起产生或以其它方式被投影，以使得所述内容被投影到所述投影目标上且所述空白区域被投影在所述投影目标外部，使得所述经投影的内容不明显地溢出到在所述投影目标外部的表面或对象上。
【专利说明】
微调用于投影到目标上的内容
技术领域
[0001] 本文中所掲示的实施例大体上设及将投影配合到投影目标。具体来说，本文中所 掲示的实施例可在目标的界限内微调用于投影的内容。
【背景技术】
[0002] 个人、移动或微微投影仪可连同移动装置一起使用W将图像或内容从移动装置投 影到目标对象上。经投影的图像或内容可向用户提供比当前在其移动装置上可供使用的视 图大的视图或可允许用户共享来自其移动装置的图像或内容。移动投影仪还可用于增强扩 增现实(AR)应用。AR为一项允许用户改变其与世界互动的方式的新兴技术。AR为物理、现实 世界环境的现场、直接或间接视图，其中元素由计算机产生的传感器输入(例如，声音、视 频、图形，或GPS数据)扩增。在一些使用中，AR由具有捕获用户周围的环境的图像且接着使 用对象辨识算法来辨识所捕获的图像中的对象W用于扩增的图像捕获装置的装置来实现。 可接着在装置的显示器上向所述用户提供用户周围的环境的视图，其中所述视图的部分是 基于例如所辨识的对象而扩增。替代或除了将经扩增环境的视图显示在屏幕上之外，移动 投影仪还可允许辨识对象W及将内容投影到实际对象上。
【发明内容】
[0003] 与一些实施例一致，提供一种包含W下步骤的方法:确定投影目标;确定所述投影 目标的一或多个界限；基于所述所确定的一或多个界限确定内容区域和空白区域;确定缩 放因数;基于所述缩放因数在所述内容区域内产生用于投影的内容；W及产生所述空白区 域。所述方法也可在有形的非暂时性计算机可读媒体中实施。
[0004] 与一些实施例一致，还提供一种设备，其包含经配置W基于投影目标的一或多个 投影参数投影内容区域和空白区域的投影仪。所述设备还包含:相机，其经配置W捕获包含 所述投影目标的视野的一或多个图像;一或多个处理器，其禪合到所述投影仪和所述相机， 所述一或多个处理器经配置W确定所述一或多个投影参数;和存储器，其禪合到所述一或 多个处理器。
[0005] 与一些实施例一致，进一步提供一种包含用于确定投影目标的装置的系统。所述 系统还包含用于确定所述投影目标的一或多个界限的装置、用于基于所述所确定的一或多 个界限确定内容区域和空白区域的装置，和用于确定缩放因数的装置。所述系统进一步包 含用于基于所述缩放因数在所述内容区域内产生用于投影的内容的装置和用于产生所述 空白区域的装置。
【附图说明】
[0006] 图1为与一些实施例一致的说明处理系统的图。
[0007] 图2A到2D说明与一些实施例一致的微调内容W配合在目标对象上的区域的界限 内的实例。
[000引图3A和3B说明与一些实施例一致的微调内容W配合在对象上的实例。
[0009] 图4A和4B说明与一些实施例一致的微调内容W配合在对象的界限外部的实例。
[0010] 图5A和5B说明与一些实施例一致的微调内容的实例。
[0011 ]图6A和6B说明微调内容W配合在手的界限内的实例。
[0012] 图7A到7的兑明与一些实施例一致的基于检测到的手势微调内容的实例。
[0013] 图8A和8B说明与一些实施例一致的微调内容W配合在多个对象上的实例。
[0014] 图9A和9B说明与一些实施例一致的微调内容W配合在对象的多个部分上的实例。
[0015] 图IOA和IOB说明与一些实施例一致的微调具有多个图像的内容W配合在多个对 象上的实例。
[0016] 图11为与一些实施例一致的说明用于微调内容的方法的流程图。
[0017] 图12为与一些实施例一致的说明用于将经遮蔽的图像投影在对象上的方法的流 程图。
[0018] 图13为与一些实施例一致的说明用于将经遮蔽的警示投影在目标上的方法的流 程图。
[0019] 图14为与一些实施例一致的说明用于基于检测到的手势将经遮蔽的内容投影在 目标上的方法的流程图。
[0020] 在图示中，具有相同名称的元件具有相同的或相似的功能。
【具体实施方式】
[0021] 在W下描述中，阐述描述某些实施例的特定细节。然而，对于所属领域的技术人员 将显而易见的是，所掲示的实施例可在没有运些特定细节中的一些或全部的情况下实践。 所呈现的特定实施例意图为说明性的而非限制性的。所属领域的技术人员可认识到其它材 料(尽管本文中未具体描述)在本发明的范围和精神内。
[0022] 如上文所指出，移动投影装置可连同移动装置一起使用W将图像或内容从移动装 置投影到目标对象上W向用户提供比当前在其移动装置上可供使用的的视图大的视图或 扩增目标对象W形成扩增现实。然而，存在投影对于用户且甚至用户附近的其它人可能不 便的的情形。举例来说，公共空间中的投影对于其它人可能会分散注意力或可能使得其它 人能够查看包含于投影中的私有内容。即使用户尝试指定用户可仅能够从其查看投影的投 影目标，但投影可能被按比例缩放地太小而使得用户不能够容易地查看投影或，在投影被 适当地按比例缩放的情况下，投影仍可能与目标重叠 W使得投影溢出到超出目标的区域 上。
[0023] 因此，所需的是用于微调经投影图像内的内容W配合在特定目标的边界内的系统 和方法。
[0024] 图1为与一些实施例一致的说明处理系统100的图。处理系统100可为移动装置，例 如，智能电话、平板计算机、个人计算机、膝上型计算机或上网本、机顶盒(STB)(例如，由电 缆或卫星内容提供商提供的机顶盒），或视频游戏系统控制台处理系统100还可为头戴式显 示器(HMD)或其它可佩戴计算装置。在一些实施例中，处理系统100在汽车中实施，例如在汽 车的娱乐中屯、或控制台中实施，或包含在医疗装置(例如，智能膜岛素累或智能膜岛素仪 表）中或在医疗装置中实施。根据一些实施例，可使用经配置W捕获图像W及投影内容的硬 件和/或软件的任何适当组合来实施处理系统100。具体来说，处理系统100可包含硬件和/ 或软件的任何适当组合，所述硬件和/或软件具有一或多个处理器，并且能够读取存储在非 暂时性机器可读媒体上的用于由所述一或多个用于捕获图像W及投影内容的处理器执行 的指令。机器可读媒体的一些常见形式包含例如软盘(floppy disk)、软磁盘（flexible disk)、硬盘、磁带、任何其它磁性媒体、CD-ROM、任何其它光学媒体、穿孔卡片、纸带、具有孔 桐图案的任何其它物理媒体、341、？1?01、6?1?01、化45护6?1?01、任何其它存储器忍片或盒带， 和/或一或多个处理器或计算机被调适成从其进行读取的任何其它媒体。
[00巧]处理系统100可包含经配置W与网络通信的网络接口组件10 2。与一些实施例一 致，网络接口组件102可经配置W与同轴电缆、光纤电缆、数字订户线(D化)调制解调器、公 共交换电话网络(PSTN)调制解调器、W太网装置和/或各种其它类型的有线网络通信装置 介接。网络接口组件102还可包含一或多个无线收发器，其中每一无线收发器可包含天线， 所述天线为可分离的或一体的并且能够根据不同的无线联网协议(例如，Wi-Fi?、3G、4G、 HSDPA、LTE、RF、NFC)发射W及接收信息。
[00%]与一些实施例一致，处理系统100包含用于互连处理系统100内的各种组件且在所 述各种组件之间传达信息的系统总线104。在一些实施例中，总线104在片上系统(SoC)中实 施并且连接一或多个处理器的忍片和/或核屯、上的各种元件或组件。组件可包含处理组件 106,处理组件106可为一或多个处理器、中央处理单元(CPU)、图像信号处理器（ISP)、微控 制器、或数字信号处理器(DSP)、图形处理单元(GPU)，W及音频信号处理器，所述音频信号 处理器可包含模拟和/或数字音频信号处理器。组件还可包含存储器组件108,其可对应于 随机存取存储器(RAM)、只读存储器(ROM)、光学存储器、磁性存储器、固态存储器或例如上 文所描述的其它存储器。
[0027] 与一些实施例一致，处理系统100还可包含用于向用户显示信息的显示器组件 110。显示器组件110可为液晶显示化CD)屏幕、有机发光二极管(OLED)屏幕(包含主动矩阵 AM化抓屏幕）、LED屏幕、等离子显示器，或阴极射线管(CRT)显示器。显示器组件110可与处 理系统100整合，或可与处理系统100分离并且禪合到处理系统100。处理系统100还可包含 输入和导航组件112,其允许用户输入信息并且沿着显示器组件110进行导航。输入和导航 组件112可包含（例如)键盘或小键盘(不管是物理还是虚拟）、鼠标、跟踪球、或其它此类装 置，或电容性触摸屏或另一基于传感器的触摸屏。
[00%]处理系统100还可包含捕获与系统100和/或其环境相关联的数据的传感器114。传 感器114可包含(但不限于)麦克风或音频传感器、相机、光传感器、近程传感器、环境光传感 器、压力传感器、惯性传感器(例如，加速度计和/或巧螺仪）、磁力计等等。传感器114可个别 地或W组合(例如，传感器阵列或任何其它组合)使用。传感器114可能够相互依赖地或彼此 独立地操作。传感器114可通过系统总线104与处理组件106通信，W便与存储在(例如)存储 器组件108和其它模块中的指令一致地处理传感器114所捕获的数据，且产生或W其它方式 获得与所捕获的数据相关联的元数据。
[00巧]处理系统100还可包含相机116。在一些实施例中，相机116可为可见光相机或深度 传感相机，例如，Micro饼ft廢Xbox? Kinect?相机。相机116还可经配置W检测红外（IR)光 或紫外(UV)光。相机116还可为立体相机、飞行时间（ToF)相机，或能够检测捕获图像的其它 相机。在一些实施例中，相机116可经配置W捕获相机116的视野内目标的一或多个图像W 供处理。此外，相机116可用于捕获图像W供手势检测、跟踪、对象辨识和其它目的。相机还 可能够捕获一系列图像，例如视频。
[0030] 处理系统100还可包含投影仪118。投影仪118可能够投影光W形成一或多个图像。 所述一或多个图像可包含例如静态或移动图像等内容，其作为帖集合而投影。在一些实施 例中，投影仪118可更改所投影的光的放置，来给予所投影的图像移动或动画的外观。投影 仪118可为数字光处理(DLP)投影仪、激光束-转向化BS)投影仪、娃上液晶化CoS)投影仪或 另一投影仪。在一些实施例中，投影仪118还可为移动或便携式投影仪。在一些实施例中，投 影仪118可为可佩戴投影仪。
[0031] 处理系统100还可能够投影产生120、对象辨识122、跟踪124、微调126和手势检测 128。运些功能可由一或多个软件模块执行，在经处理组件106执行时所述软件模块执行功 能。在其它实施例中，所述功能可指代软件模块，其包含专用集成电路(ASIC)或具有存储器 和用于执行指令W执行所述功能的至少一个处理器的另一电路。在一些实施例中，投影产 生120可包含产生一或多个图像W供通过投影仪118投影。所产生的一或多个图像可为用于 投影到目标对象或区域上的内容。在一些实施例中，所述内容可为用于扩增目标对象或区 域的内容。所述内容还可为图像或一系列图像，例如视频或动画。在一些实施例中，投影的 内容可包含由二维(2D)或=维(3D)数据产生的内容的投影。所述内容还可为警示、消息、用 户界面(UI)元素、社交联网内容和其类似者。所述内容还可经微调W在预定分辨率下投影 到目标对象上，在一些实施例中，所述预定分辨率可为目标对象上显示的最大分辨率。
[0032] 对象辨识122可包含对由相机116捕获的图像执行一或多个对象辨识算法。对象辨 识122中执行的对象辨识算法可能够使用特征检测、图案辨识、外观匹配、图像匹配和其类 似者来辨识一或多个图像帖中的目标。在一些实施例中，对象辨识122中辨识的对象可为用 于跟踪124的对象、指定为投影的目标的对象和用于扩增的对象。在一些实施例中，对象辨 识122可包含自动将所辨识的对象辨识和指定为用于投影和/或扩增的目标。
[0033] 在一些实施例中，处理系统100的用户可能够通过选择或W其它方式与视野内的 对象互动而将所述对象指定为用于投影的目标或用于扩增的对象，由于所述对象由例如显 示器组件110显示在处理系统100上。如果用户选择用于扩增的对象，那么对象辨识122可包 含尝试辨识所选择的对象且使用基于由第=方提供的信息的内容或通过与所述对象相关 的信息来扩增所辨识的对象。在一些实施例中，对象辨识122可包含使用网络接口组件102 来与网络通信，W执行对象辨识122且寻找与所述对象相关的内容。
[0034] 跟踪124可包含与随时间推移对象在目标区域内的位置相关联。在一些实施例中， 跟踪124可经配置W基于在一段时间内对象在目标区域中所确定的位置和取向而控制投 影，使得所投影的内容保持投影在一或多个指定目标对象上，即使在投影仪移动或目标对 象移动时也是如此。跟踪124可基于由相机116所捕获的图像和在一些实施例中来自传感器 114的信息来控制投影仪118的投影。在一些实施例中，跟踪124可包含使用由相机116捕获 的图像和/或由传感器114(例如，加速度计或巧螺仪)获得的信息估计关于目标对象的位 姿、取向和深度信息。跟踪124可进一步包含产生一或多个矩阵，其后来可用于投影产生120 中，从而控制投影仪118的投影，包含产生扩增现实内容。跟踪124可包含基于来自相机116 的所捕获图像和/或来自传感器114的信息缩放、旋转和平移用于投影产生120的内容。跟踪 124可包含基于所捕获图像和跟踪内容确定六个自由度，从而基于所确定的六个自由度投 影。对于相机116是或包含深度感测相机的实施例，可处理一或多个图像W产生视野的深度 图。深度图可用于用来跟踪和控制投影的跟踪124,包含维持投影的恰当焦点。
[0035] 微调126可包含执行一或多个动作W微调由投影产生所产生的和由投影装置所投 影的内容，从而投影在目标对象的边界内。一般来说，微调126可包含确定将具有内容的投 影区域，其可被称为内容区域;和空白区域，其为将不具有内容的投影区域。在一些实施例 中，空白区域可为投影黑色或暗像素的区域。暗像素可包含黑色像素，但还可包含相较于所 投影的内容的平均强度或所投影的内容的边缘的平均强度更暗的像素。在一些实施例中， 暗像素可包含具有在RGB色度上为80%或大于80%暗的颜色的像素。在一些实施例中，暗像 素可包含具有相对于由投影仪118所投影的光的颜色较暗的颜色的像素。在一些实施例中， 空白区域可为投影黑色或暗扫描线的区域。此外，在一些实施例中，暗像素可为无光由投影 仪118投影的区域。举例来说，控制像素的镜面、激光器或另一组件可关闭W在空白区域中 产生暗像素。
[0036] -般来说，微调126可包含基于目标对象的形状或轮廓产生空白区域W遮蔽所投 影的图像。举例来说，微调126可包含确定目标对象的形状;基于所确定的形状形成空白区 域；W及遮蔽投影，W使得内容投影在所确定的形状内且实质上无内容投影在所确定的形 状外部，而暗像素投影在所确定的形状外部。在一些实施例中，可通过根据由相机116捕获 的目标对象的图像确定目标对象的轮廓来确定形状。在其它实施例中，可通过根据可能已 存储于存储器组件108中或从与系统100通信的另一装置接收的目标对象的图像确定目标 对象的轮廓来确定形状。在一些实施例中，可将空白区域自动地设置成稍微大于或稍微小 于所确定的轮廓，例如大1像素或小1像素。在一些实施例中，可通过对象辨识122确定形状， 其中将目标对象辨识为具有预定形状和轮廓的已知形状。在一些实施例中，出于将特定经 遮蔽的内容投影到目标对象上的目的，可由第S方(例如，制造商、零售商或内容提供商)设 置形状并且因此设置空白区域。
[0037] 微调126还可包含基于到目标对象的距离缩放投影。如先前所描述，相机116可为 或包含可能够形成深度图的深度相机，所述深度图可由跟踪124使用W用于将投影维持在 预定位置处且在恰当焦点处。微调126还可使用深度图W用于确定缩放因数，从而缩放投影 W在目标对象上具有所要大小或分辨率。另外，微调126可通过从深度图中的背景中分割投 影目标来使用深度图确定投影目标的形状。在一些实施例中，微调126缩放投影W在目标对 象上具有例如最大分辨率等的分辨率，从而允许用户在最大分辨率下查看投影。微调126可 进一步缩放投影W在内容区域内具有最大分辨率，即，使得所投影的内容并不明显溢出到 空白区域中。因此，在一些实施例中，微调126可包含确定投影目标的形状;基于所确定的形 状确定内容区域和空白区域W供投影;确定到投影目标的距离；W及基于所确定的距离和 所确定的内容区域确定缩放因数。内容和空白区域中所确定的内容区域W及所确定的缩放 因数可接着由投影产生120使用W用于产生经微调的内容，从而在通过缩放因数确定的分 辨率下投影在投影目标的界限内。在一些实施例中，可基于用户偏好或设置来调整缩放因 数。举例来说，用户可设置将由投影产生120使用的特定缩放因数W用于产生经微调的内 容，从而在通过设置的缩放因数所确定的预定分辨率下投影。
[0038] 在一些实施例中，对象辨识122、跟踪124和微调126可W用于处理系统100中W用 于精炼由投影仪118所投影的内容。举例来说，相机116可能够捕获由投影仪118所投影的内 容W及投影目标的一或多个图像。可对所捕获的一或多个图像执行对象辨识122、跟踪124 和微调126W确定所投影内容的缩放、所投影内容的焦点和所确定的内容区域和空白区域 的边界，从而精炼所投影内容的运些特征。可将与经精炼的特征相关的信息提供到投影产 生120W使得具有运些经精炼的特征的内容可通过投影仪118投影。此精炼确定118可在与 所投影内容的帖率相关的预定速率下执行或可在可变速率下执行。举例来说，处理系统100 可在每一精炼确定之后确定精炼的程度，并且，由于所述程度变小，因此可降低精炼的频 率。作为另一实例，当对象辨识122和/或跟踪124确定投影目标的大小或位置的明显改变或 系统100的位置的明显改变时，可提高精炼的频率。
[0039] 手势检测128可包含通过处理由相机116和/或传感器114所捕获的一系列图像或 其它信息，从而检测由相机116和/或传感器114所捕获的统计数据的突然改变来检测手势。 所述统计值可为直方图、平均照度、照度差异等，且手势检测128可包含比较当前统计值与 先前统计值，其中先前统计值可经计算为在紧接在来自传感器114的当前经捕获数据或来 自相机116的图像之前的时间处所获取的一组一或多个经捕获数据的统计值的组合。在一 些实施例中，手势检测128可包含通过计算绝对差值、一组统计值中的每一者的绝对差总和 或直方图的每一分组的绝对差总和来比较统计值，其结果可与阔值相比较W排除由环境照 明或装置运动产生的差值。可将大于阔值的差值分类为指示手势的统计值的突然改变。手 势检测128还可使用超声波检测随时间推移的移动。
[0040] 在一些实施例中，手势检测128可包含检测用于启动投影仪118的投影的手势。手 势检测128可包含检测用于微调126待投影在目标对象的界限内的内容的手势。在一些实施 例中，微调126待投影在目标对象的界限内的内容可实施为与系统100相关联的私用模式的 一部分。手势检测128可检测用于进入和离开私用模式的一或多个手势。通过手势检测所检 测到的实例手势可包含覆盖手势，其可为在系统100上方的位置中所检测到的手或另一控 制对象。可检测到的另一手势为张开的或握紧的手。另一手势可为"投掷运动"，其中握紧的 手发生移动且接着张开。可检测到的其它手势可包含使手倾斜或从系统100上方将手去除。 所述手势中的每一者皆可被检测到且手势检测128可将特定命令与所检测到的手势中的每 一者相关联。举例来说，覆盖手势可启动投影;张开的手可进入私用模式或W其它方式提供 用于微调126所投影内容的指示;且投掷运动可离开私用模式或W其它方式指示所投影内 容不再被限制于目标对象的边界。运些手势和其相关联的动作仅为实例。实际上，手势检测 128可能够基于经捕获数据检测手势且将命令或动作与所检测到的手势相关联。
[0041 ] 根据一些实施例，处理系统100可包含比图1中所展示的组件多或少的组件。此外， 图1中所展示的组件可直接禪合到图1中的一或多个其它组件，从而消除对系统总线104的 需要。此外，图1中所展示的组件可经展示为单式系统100的一部分，但还可为组件分离但禪 合且处于通信中的系统的一部分。一般来说，图1中所展示的组件作为能够执行本文中所掲 示的实施例的处理系统100中的组件的实例展示。然而，处理系统100可具有更多或更少的 组件并且仍然能够执行本文中所掲示的一些实施例。
[0042]图2A到2D说明与一些实施例一致的微调内容W配合在目标对象上的区域的界限 内的实例。出于说明的目的，图2A到2D中仅展示处理系统100的一部分，但可参考图1中所展 示的处理系统100的其它组件。如图2A中所展示，目标对象200包含目标对象200上的区域 202。相机116可捕获对象200和区域202的一或多个图像，所述图像可经处理W用于投影产 生120、对象辨识122、跟踪124和微调126。在一些实施例中，可在图像捕获时将捕获帖投影 到对象200上，例如掲示于同在申请中的2013年9月26日申请的美国申请案第14/038,480 号，高通(Qualcomm)参考文献第131009号中，所述美国申请案和高通参考文献的全部内容 W引用的方式全文并入本文中。
[0043] 对一或多个所捕获图像的对象辨识122可包含尝试辨识对象200和/或区域202。在 一些实施例中，对象辨识122可包含基于所辨识的对象检索和/或产生用于投影的内容。在 一些实施例中，对象辨识122还可包含基于与所辨识的对象相关联的信息而将对象200上的 区域202指定为内容区域。举例来说，对象200的制造商、零售商或生产者可在区域202中特 定地指定用于投影的内容，此可经由对象辨识确定。
[0044] 跟踪124可包含确定关于对象200和区域202的位姿、位置、六个自由度(DOF)和其 它信息。在一些实施例中，相机116可为或包含可用于确定包含对象200的视野的深度图（包 含到对象200的距离dl和到区域202的距离d2)的深度相机。深度图W及距离dl和d2可用于 对对象200和区域202的跟踪124;微调126和聚焦投影在对象200和/或区域202上的内容。
[0045] 在一些实施例中，可将对象200的一部分(例如，区域202)指定为内容区域。可由第 =方将区域202指定为内容区域，使得对象辨识122辨识对象200且确定包含例如先前所描 述的将区域202指定为内容区域的关于对象200的信息。在一些实施例中，系统100的用户可 能够手动地将对象200的一部分(例如，区域202)指定为内容区域。在一些实施例中，可通过 使用输入和导航组件112选择显示在显示器组件110上的区域来进行所述指定。微调126可 接着包含微调待投影的内容W在区域202的界限内。
[0046] 举例来说，微调126可包含基于一或多个图像确定区域202的形状且基于所确定的 形状和轮廓确定内容区域和空白区域，W使得内容可投影在所确定的形状的界限内而无内 容投影在所确定的形状的界限外部。在一些实施例中，确定形状可包含根据对象200和区域 202的一或多个图像确定区域202的轮廓。在一些实施例中，可基于对象辨识122确定形状和 轮廓，其中目标对象经辨识为具有预定形状和轮廓的已知形状。微调126还可包含基于到对 象200的距离dl和到区域202的距离d2确定缩放因数。
[0047] 所确定的内容区域和空白区域W及所确定的缩放因数可接着由投影产生120使用 W用于产生经微调的内容，从而在通过缩放因数确定的分辨率下投影在区域202的界限内。 图2B说明在区域202的界限外部的空白区域204。在一些实施例中，空白区域204可为虚拟遮 罩区域，其中黑色或暗像素投影到对象200上且环绕对象200投影在区域202的界限外部。在 一些实施例中，空白区域204可为在扫描投影期间投影的黑色或暗扫描线。在其它实施例 中，空白区域204可为投影仪经配置W通过例如关闭空白区域204中的像素而不投影任何像 素的区域。
[004引图2抗兑明投影图像206的投影仪118。与一些实施例一致，图像206可具有经设计W 在通过缩放因数确定的分辨率下配合在区域202的界限内的尺寸。图2D说明将图像206投影 在对象200(其中空白区域204环绕区域202)的区域202上的投影仪118。出于说明的目的，假 定图2D中的投影仪118投影具有与对象200相同的尺寸的区域。然而，如果投影仪118投影超 出对象200的界限的区域，那么空白204可填充区域202外部的区域的界限。在一些实施例 中，相机116可继续捕获包含所投影图像206和空白区域204的一或多个图像。跟踪124可包 含基于由相机116捕获的或W其它方式提供到系统100的对象200的图像、所投影图像206和 空白区域204来调整所投影图像206和空白区域204。
[0049] 如图2A到2D中所展示，用户可能够投影内容，例如预定区域(例如，区域202)内的 图像206。举例来说，想要查看大于系统100的显示器组件110上可用的表面区域的表面区域 上的图像206的用户可能够将图像206投影到对象200上的区域202上W供查看。用户可将区 域202指定为内容区域且微调126可能够确定图像206的区域和空白区域204W及缩放因数， 使得图像206能够在可为最大分辨率的预定分辨率下投影在区域202上，因此，允许用户查 看较大区域202上的图像206。此外，用户将不必担屯、所投影的图像206延伸超出区域202的 界限或溢出到对象200后方或环绕对象200的表面上，由于微调126将那些区域确定为在目 标区域202外部并且因此产生无内容被投影的空白区域204。
[0050] 在一些实施例中，图像206可为用于扩增对象200W形成扩增现实的图像。举例来 说，对象辨识122可辨识对象200且从对象200的制造商、零售商或生产者检索图像206。微调 126可确定空白区域204使得所检索到的图像206投影在对象200的区域202上。在一些实施 例中，空白区域204和图像206的区域可连同图像206-起被检索到，使得所述区域由对象 200的制造商、零售商或生产者预定。
[0051] 图3A和3B说明与一些实施例一致的微调内容W配合在对象上的实例。具体来说， 图3A和3B中所展示的实例说明微调内容W配合在对象300的界限内的实例。如图3A中所展 示，相机116可捕获对象300的一或多个图像。所述一或多个所捕获图像可接着用于投影产 生120、对象辨识122、跟踪124和微调126。在一些实施例中，对象300的图像可提供到系统 100或可能已存储于系统100的存储器组件108中。对象辨识122可确定用于投影到对象300 上的内容(例如，图像302)。在一些实施例中，系统100的用户可指定用于投影到对象300上 的图像302。此外，对象辨识122可将对象300指定为内容区域。举例来说，如果图像302经设 计W显示在平坦表面上，那么对象辨识122可尝试确定最接近于系统100的平坦表面且将所 述表面指定为内容区域。作为另一实例，如果图像302为用于投影的视频中的许多图像中的 一者，那么对象辨识122可尝试确定适用于显示所述视频的表面。举例来说，对象辨识122可 尝试定位平坦、矩形表面和/或静态表面W用于显示视频，且将视野内的此表面指定为内容 区域。
[0052] 微调126可确定对象300的形状、对象300的形状和/或轮廓、到对象的距离;且确定 空白区域304和内容区域W用于投影图像302。如图3B中所展示，投影仪118可将图像302和 空白区域304投影到对象300上使得图像302投影在对象300的界限内且空白区域304投影在 对象300的界限外部。在一些实施例中，空白区域304可对应于虚拟光遮罩，其包含经投影的 黑色或暗像素或已由投影仪118关闭的像素 W使得在那些像素处无内容通过投影仪118投 影。在一些实施例中，图像302可为用于扩增对象300W形成扩增现实的图像。在其它实施例 中，图像302可为系统100的用户想要投影在对象300上(例如，在对象300而不是在系统100 的显示器组件上查看）的图像或其它内容。
[0053] 图4A和4B说明与一些实施例一致的微调内容W配合在对象402的界限外部的实 例。图4A和4B中所说明的实例可指代"反向微调"，其中内容投影在对象402外部且对象402 通过将空白区域406投影在对象402上而经遮蔽。如图4A中所展示，相机116可捕获具有环绕 对象402的区域400的对象402的一或多个图像。所述一或多个所捕获图像可接着用于投影 产生120、对象辨识122、跟踪124和微调126。在一些实施例中，区域400和对象402的图像可 由系统100接收或可存储于存储器组件108中。对象辨识122可确定用于投影到环绕对象402 的区域400上的内容（例如，图像404)。在一些实施例中，系统100的用户可指定用于投影到 环绕对象402的区域400上的图像404。微调126可确定对象402的形状、对象402的轮廓、到对 象402和区域400的距离;且确定空白区域406和内容区域W用于将图像404投影到环绕对象 402的区域400上。如图4B中所展示，投影仪118可将图像404投影到区域400上且空白区域 406可产生在对象402上，使得图像404投影在对象402的界限外部且空白区域406产生在对 象402上。
[0054] 例如展示于图4A和4B中的产生空白区域406 W遮蔽对象402和环绕对象402投影例 如图像404的内容可适用于环绕对象402投影关于对象402的信息而不会混淆对象402或投 影表现为与对象402相互作用的内容。举例来说，图像404可包含用于使用、操作或维持对象 402的指令且可环绕对象402投影，同时空白区域406遮蔽对象402W防止对象402由图像404 遮挡。在另一实例中，图像404可与对象402相互作用，例如参考对象402或展示对象402的语 音气泡和其类似者，同时空白区域406遮蔽对象402W防止对象402由图像404遮挡。
[0055] 图5A和5B说明与一些实施例一致的微调内容的实例。具体来说，图5A和5B中所展 示的实例说明微调内容W配合在对象502上的区域500的界限内的实例。如图4A中所展示， 相机116可捕获具有区域500的对象502的一或多个图像。所述一或多个所捕获图像可接着 用于投影产生120、对象辨识122、跟踪124和微调126。在一些实施例中，区域500和对象502 的图像可由系统100接收或可存储于存储器组件108中。在一些实施例中，对象辨识122可确 定用于投影到对象502的区域500上的内容，例如图像504。在一些实施例中，系统100的用户 可指定用于投影到对象502的区域500上的图像504。举例来说，对象辨识122可将对象502辨 识为具有为空白空间的区域500,且将区域500指定为内容区域(图像504可投影到其上）。或 者，对象辨识122可辨识对象502,且基于与对象502相关联的预定指令而将区域500指定为 内容区域（图像504可投影到其上）。举例来说，图像504可为与对象502相关联的内容，例如 经定制W用于投影到区域500上的关于对象502的使用说明书或信息。
[0056] 微调126可接着确定区域500的形状、区域500的轮廓、到对象502和区域500的距 离;且确定空白区域506。如图5B中所展示，投影仪118可将图像504投影到对象502的区域 500上且产生空白区域506使得图像504仅投影在区域500上。
[0057] 在一些实施例中，图5A和5B中所展示的实例可与图4A和4B中所展示的实例组合使 得图像可投影在对象502上且投影在对象502外部的区域上，使得对象502的一部分由空白 区域506遮蔽。举例来说，如果用户或AR内容提供商并不想要扩增对象502或仅想要扩增对 象502的一部分，但想要扩增环绕对象502的区域，那么图像404和/或504可分别环绕对象 502投影和投影在对象502上。在一些实施例中，系统100可能够投影多个图像且产生在对象 上和环绕对象的多个空白区域，其中的每一者可通过跟踪124分开地跟踪。在一些实施例 中，多个图像和空白区域可交替地通过投影仪118投影。
[0058] 图6A和6B说明微调内容W配合在手600的界限内的实例。在一些实施例中，系统 100的处理组件106可产生一或多个警示、消息或其它内容。系统100的用户可想要投影与所 产生的一或多个警示、消息或其它内容相关联的内容，但可想要使所述内容保持私有。举例 来说，如果系统100的用户经由电子邮件、即时消息或短消息业务(SMS)接收包含个人信息 的消息，那么所述用户可不想要所述个人信息被其它人查看。因此，用户可想要微调待投影 到对象上的内容，从而允许用户在合适的分辨率下投影内容而不会使投影的内容溢出到超 出对象的表面上。因此，如本文中所展示的实施例可允许用户将内容投影到对象(例如，其 手)上，同时空白区域产生在对象外部W使投影的内容保持私有且对于在所述用户周围的 其它人为不可侵入的。
[0059] 如图6A中所展示，相机116可捕获手600的一或多个图像。所述一或多个所捕获图 像可接着用于投影产生120、对象辨识122、跟踪124和微调126。在一些实施例中，手600的图 像可由系统100接收或可存储于存储器组件108中。微调126可确定手600的形状、手600的轮 廓、到手600的距离;且确定空白区域和内容区域W用于投影到600上。如图6B中所展示，投 影仪118可将消息602投影到手600上使得消息602投影在手600的界限内且空白区域604经 产生且在一些实施例中投影在手600的界限外部。因此，如图6B中所展示的为个人消息602 的投影的内容将仅投影到手600上且消息602中的任何信息将不溢出到超出手600的表面 (其中其它人可查看个人消息602中的信息)上。
[0060] 图7A到7D说明与一些实施例一致的基于检测到的手势微调内容的实例。如先前所 描述，手势检测128可包含通过处理由相机116和/或传感器114所捕获的一系列图像或其它 信息，从而检测由相机116和/或传感器114所捕获的统计数据的突然改变;或使用超声波检 测随时间推移的移动来检测手势。所检测到的手势可接着使用例如包含于手势检测128中 或存储于存储器组件108中的手势库而与动作或命令相互关联。
[0061] 如图7A中所展示，系统100的用户可处于具有第一对象700和第二对象702的区域 中。如所描绘，第一对象700可比第二对象702更接近于系统且比第二对象702小，但与本发 明一致的实施例可不W此为限。投影仪118可将图像704投影到第二对象702上。在一些实施 例中，图像704可为通过对象辨识122确定的由投影产生120产生的内容的一部分，且可投影 在通过跟踪124确定的第二对象702上的位置处。当系统100的用户想要将图像704投影到第 一对象700上时，用户可作出可由相机116和/或传感器114检测到且可由手势检测128处理 的手势W将所述手势与动作相互关联，所述动作例如将图像704投影到第一对象700上。所 检测到的手势可为例如握紧的手的手势，指示封闭或私用模式。手势检测128可将此手势与 用于投影到不同目标上或切换到私用模式的命令或指示切换投影目标的其它动作相互关 联。
[0062] 如图7B中所展示，相机116可捕获可由微调126使用的第一对象700的图像W确定 缩放因数从而缩放图像704且确定内容区域和空白区域。如图7C中所展示，缩放因数、所确 定的内容区域和空白区域可由投影产生120使用W在所确定的内容区域内在通过缩放因数 确定的分辨率下投影图像704,产生空白区域706W遮蔽在内容区域外部的区域。在一些实 施例中，第一对象700可更接近于系统100的用户，并且因此对于用户查看图像704可能更为 方便。第一对象700还可提供系统100的用户更多的保密性，使得当将图像704投影在对象 700上时在所述用户周围的其它人不能够查看图像704。
[0063] 在一些实施例中，还可基于对象辨识122将第一对象700确定为适用于将图像704 投影到其上。举例来说，响应于用于切换投影目标的手势，对象辨识122可处理由相机116捕 获的一或多个图像W基于因数(例如，到系统100的距离、大小、尺寸等)寻找用于投影目标 的合适的对象。微调126可接着基于通过对象辨识122所辨识的第一对象700确定缩放因数、 内容区域和空白区域706。
[0064] 当系统100的用户想要从第一对象700切换投影目标时，用户可作出另一手势。举 例来说，用户可作出指示公用或开放模式的张开其手的手势或朝向第二对象702(或其它所 要目标对象)作出投掷运动。相机116和/或传感器114可检测可通过手势检测128与例如切 换投影目标的动作相互关联的此手势。如图7D中所展示，投影仪118可接着再次将图像704 投影在第二对象702上。在一些实施例中，可将图像704投影到第二对象702上而无需微调 126,即无需空白区域或解除遮蔽，使得基于投影仪118的规范和第二对象702与投影仪118 之间的距离投影图像704。在一些实施例中，微调126可基于包含第二对象702的一或多个图 像确定缩放因数、内容区域和空白区域706。在一些实施例中，用于预先将图像704投影到第 二对象702上的所确定的任何缩放因数、内容区域和空白区域可由投影产生120保存和检索 W用于将图像704投影到第二对象702上。
[0065] 图8A和8B说明与一些实施例一致的微调内容W配合在多个对象上的实例。具体来 说，图8A和8B中所展示的实例说明微调待显示在第一对象800和第二对象802上的单个图像 的实例。如图8A中所展示，相机116可捕获第一对象800和第二对象802的一或多个图像。所 述一或多个所捕获图像可接着用于投影产生120、对象辨识122、跟踪124和微调126。在一些 实施例中，第一对象800和第二对象802的图像可提供到系统100或可能已存储于系统100的 存储器组件108中。对象辨识122可确定内容，例如具有用于分别投影到第一对象800和第二 对象802上的第一图像部分804和第二图像部分806的图像。在一些实施例中，系统100的用 户可指定用于投影到第一对象800和第二对象802上的图像且甚至指定将哪一图像部分显 示在每一对象上。此外，对象辨识122可将第一对象800和第二对象802辨识和确定为分别为 第一图像部分804的内容区域和第二图像部分806的内容区域。举例来说，如果由第一图像 部分804和第二图像部分806形成的图像对于恰当显示在第一对象800或第二对象802中的 仅一者上来说太大，那么对象辨识122可尝试确定第一对象800或第二对象802的第二对象 且确定所述图像更好地显示为分别投影在第一对象800和第二对象802上的第一图像部分 804和第二图像部分806且将第一对象800和第二对象802的面或侧部指定为内容区域。
[0066] 微调126可确定第一对象800和第二对象802的形状、第一对象800和第二对象802 的形状和/或轮廓、到第一对象800和第二对象802的距离;且确定空白区域808和内容区域 W用于投影第一图像部分804和第二图像部分806。如图8B中所展示，投影仪118可将第一图 像部分804投影在第一对象800上且将第二图像部分806投影在第二对象802上。投影仪118 还可环绕第一对象800和第二对象802且在第一对象800与第二对象802之间投影空白区域 808,使得由第一图像部分804和第二图像部分806形成的图像仅投影在第一对象800和第二 对象802上。在一些实施例中，空白区域808可对应于虚拟光遮罩，其包含经投影的黑色或暗 像素或已经被投影仪118关闭的像素，W使得在那些像素处无内容或光通过投影仪118投 影。
[0067] 图9A和9B说明与一些实施例一致的微调内容W配合在对象的多个部分上的实例。 具体来说，图9A和9B中所展示的实例说明微调待显示在第一区域900和第二区域902上的单 个图像的实例。如图9A中所展示，相机116可捕获第一区域900和第二区域902的一或多个图 像。所述一或多个所捕获图像可接着用于投影产生120、对象辨识122、跟踪124和微调126。 在一些实施例中，第一区域900和第二区域902的图像可提供到系统100或可能已存储于系 统100的存储器组件108中。对象辨识122可确定内容，例如具有用于分别投影到第一区域 900和第二区域902上的第一图像部分904和第二图像部分906的图像。在一些实施例中，系 统100的用户可指定用于投影到第一区域900和第二区域902上的图像且甚至指定将哪一图 像部分显示在每一区域上。此外，对象辨识122可辨识和确定具有第一区域900和第二区域 902的对象由多个区域组成且将第一区域900和第二区域902确定为分别为第一图像部分 904的内容区域和第二图像部分906的内容区域。
[0068] 微调126可确定第一区域900和第二区域902的形状、第一区域900和第二区域902 的形状和/或轮廓、到第一区域900和第二区域902的距离;且确定空白区域908和内容区域 W用于投影第一图像部分904和第二图像部分906。如图9B中所展示，投影仪118可将第一图 像部分904投影在第一区域900上且将第二图像部分906投影在第二区域902上。投影仪118 还可环绕第一区域900和第二区域902投影空白区域908,使得由第一图像部分904和第二图 像部分906形成的图像仅投影在第一区域900和第二区域902上。在一些实施例中，空白区域 908可对应于虚拟光遮罩，其包含经投影的黑色或暗像素或已经被投影仪118关闭的像素， W使得在那些像素处无内容或光通过投影仪118投影。
[0069] 图IOA和IOB说明与一些实施例一致的微调具有多个图像的内容W配合在多个对 象上的实例。具体来说，图IOA和IOB中所展示的实例说明微调待显示在第一对象1002上的 第一图像1004和待显示在第二对象1002上的第二图像1006的实例。如图IOA中所展示，相机 116可捕获第一对象1000和第二对象1002的一或多个图像。所述一或多个所捕获图像可接 着用于投影产生120、对象辨识122、跟踪124和微调126。在一些实施例中，第一对象1000和 第二对象1002的图像可提供到系统100或可能已存储于系统100的存储器组件108中。对象 辨识122可确定内容，例如用于分别投影到第一对象1000和第二对象1002上的第一图像 1004和第二图像1006。在一些实施例中，系统100的用户可指定用于投影到第一对象1000或 第二对象1002上的第一图像1004和第二图像1006。此外，对象辨识122可将第一对象1000和 第二对象1002辨识和确定为分别为第一图像部分1004的内容区域和第二图像部分1006的 内容区域。
[0070] 微调126可确定第一对象1000和第二对象1002的形状、第一对象1000和第二对象 1002的形状和/或轮廓、到第一对象1000和第二对象1002的距离;且确定空白区域1008和内 容区域W用于投影第一图像1004和第二图像1006。如图IOB中所展示，投影仪118可将第一 图像1004投影在第一对象1000上且将第二图像部分1006投影在第二对象1002上。投影仪 118还可环绕第一对象1000和第二对象1002且在第一对象1000与第二对象1002之间投影空 白区域1008,使得第一图像1004和第二图像1006分别仅投影在第一对象1000和第二对象 1002上。在一些实施例中，空白区域1008可对应于虚拟光遮罩，其包含经投影的黑色或暗像 素或已经被投影仪118关闭的像素，W使得在那些像素处无内容或光通过投影仪118投影。 因此，微调126可允许投影产生120产生通过投影仪118投影的包含第一图像1004、第二图像 1006和空白区域1008的单个投影，其对于用户表现为两个对象上的两个离散图像。
[0071] 在一些实施例中，可通过从相机116或包含第一对象1000和第二对象1002的区域 的其它地方接收图像来确定第一对象1000和第二对象1002随时间推移的移动，使得跟踪 124可将第一图像1004维持投影在第一对象1000上且将第二图像1006维持投影在第二对象 1002上。跟踪124还可维持产生空白区域1008,使得第一图像1004和第二对象1006仅投影在 第一对象1000和第二对象1002上。
[0072] 图11为与一些实施例一致的说明用于微调内容的方法的流程图。出于说明的目 的，将参照图1、图2A到2D、图3A到3B、图4A到4B、图5A到5B和图6A到6B中的任一者来描述图 11。图11中所展示的程序1100可体现在用于由一或多个处理器执行的计算机可读指令中， 且在一些实施例中可由系统100的操作系统实施且可实施为操作系统中的后台服务。如图 11中所展示，程序1100通过确定投影目标(1102)开始。在一些实施例中，可基于用户输入确 定投影目标。举例来说，用户可通过使用输入和导航组件112选择目标来指定显示在显示器 组件110上的目标。在一些实施例中，可使用对象辨识122确定投影目标。举例来说，对象辨 识122可包含基于所述目标的形状或大小或所述目标的表面的类型来确定合适的投影目 标。对象辨识122还可包含基于与所述目标相关联的预定信息（如由内容提供商、零售商或 制造商所设置)来确定投影目标。
[0073] -旦确定投影目标，就可确定投影目标的一或多个界限（1104)。在一些实施例中， 可通过由相机116捕获投影目标的一或多个图像;接收投影目标的图像或从存储器组件108 检索投影目标的图像来确定投影目标的一或多个界限。可接着基于捕获的一或多个图像确 定投影目标的一或多个特性。举例来说，微调126可根据所述一或多个图像W及到投影目标 的距离来确定投影目标的形状和轮廓。在一些实施例中，相机116可为或包含深度相机且可 确定可用于确定到投影目标的距离的深度图。此外，深度图可用于通过从深度图中的背景 中分割投影目标来确定投影目标的形状。
[0074] 基于投影目标的一或多个界限，程序1100可确定内容区域和空白区域（1106)。在 一些实施例中，内容区域可包含在投影目标内的区域，且空白区域可包含在投影目标外部 的区域。举例来说，当确定投影目标的一或多个界限包含确定投影目标的轮廓时，确定内容 区域和空白区域可包含将投影目标的轮廓内的区域确定为内容区域且将投影目标的轮廓 外部的区域确定为空白区域。
[0075] 程序1100可接着确定缩放因数（1108)。在一些实施例中，确定缩放因数可包含基 于到投影目标的距离确定缩放因数，使得基于投影目标的界限在可为最大分辨率的预定分 辨率下投影投影在投影目标上的内容。投影产生120可接着基于所确定的缩放因数产生用 于投影的内容W及所确定的内容区域的界限（1110)且产生空白区域(1112)。在一些实施例 中，投影仪118可接着投影所产生的内容区域和所产生的空白区域。在一些实施例中，经投 影的空白区域可为经投影的暗像素。在一些实施例中，空白区域可不经投影，但实际上投影 仪118可关闭空白区域内的像素。因此，程序1100可微调用于投影到投影目标上的内容，其 并不溢出到超出投影目标的表面或区域上。程序1100可用于将例如图像的内容投影到例如 图2A到2D、图3A到3B、图4A到4B和图5A到5B中所展示的对象上。此外，程序1100可用于将消 息投影到手上，例如图6A和6B中所展示。
[0076] 图12为与一些实施例一致的说明用于将经遮蔽的图像投影在对象上的方法的流 程图。出于说明的目的，将参照图3A到3B描述图12。图12中所展示的程序1200可体现在用于 由一或多个处理器执行的计算机可读指令中，且在一些实施例中可由系统100的操作系统 实施且可实施为操作系统中的后台服务。如图12中所展示，程序1200通过辨识视野中的对 象（1202)开始。举例来说，如图3A中所展示，相机116可捕获对象300的一或多个图像。在一 些实施例中，对象的图像可由系统100接收或W其它方式存储于存储器组件108中。对象辨 识122可接着包含基于图像中的对象300的特征辨识对象300。可接着确定投影在所辨识的 对象上的图像(1204)。在一些实施例中，对象辨识122可包含基于与对象相关联的信息确定 用于投影在所辨识的对象上的内容，例如图像。再次参考图3A，对象300可具有可得益于将 图像302投影在对象300上的某些特征或特性。举例来说，对象300可为产物且图像302可为 与所述产物或关于所述产物的信息相关联的图像。对象辨识122可包含基于系统内存储在 本地的信息或经由网络确定的信息确定图像302。信息可由用户提供或可由第=方(例如， 零售商、制造商或内容提供商)提供。
[0077] 程序1200可接着通过确定到对象的距离和对象的形状（1206)继续。举例来说，微 调126可根据一或多个所捕获图像W及到对象300的距离确定对象300的形状和轮廓。在一 些实施例中，相机116可为或包含深度相机且可确定可用于确定到对象300的距离的深度 图。此外，深度图可用于通过从深度图中的背景中分割投影目标来确定对象300的形状。
[0078] 基于所确定的形状和到对象300的距离，微调126可形成空白区域（1208)。在一些 实施例中，空白区域可包含将投影在对象的所确定的形状外部的区域上的暗像素，例如空 白区域304。空白区域还可对应于经关闭或W其它方式不通过投影仪118投影的像素。程序 1200可接着通过将所确定的图像302和空白区域304投影到对象300上（1210)而继续。跟踪 124可接着跟踪对象300且基于跟踪调整空白区域304(1212)。在一些实施例中，跟踪124包 含基于来自传感器114的信息和/或由系统100接收到的、存储于存储器组件108中或由相机 116捕获的图像来检测对象300在六个自由度中的位置或取向的改变。程序1200可微调用于 投影到对象上的图像使得投影的图像并不投影到超出对象的表面或区域上。尽管已参照图 3A和3B描述程序1200,但程序1200可进一步包含指定对象内的投影目标，例如图2A到2D、图 3A至Ij 3B、图4A到4B和图5A到5B中所展示。此夕h对象可为手，且图像可为消息，例如图6A和她 中所展示。在一些实施例中，对象可为其它对象，例如笔记本型计算机、计算装置、屏幕、纸 片、方框、卡片或其它此类对象。此外，图像还可为其它内容，包含图片、视频、社交网络帖 子、日历警示、用户界面元素和其类似者。
[0079] 图13为与一些实施例一致的说明用于将经遮蔽的警示投影在目标上的方法的流 程图。出于说明的目的，将参照图6A到6B描述图13。图13中所展示的程序1300可体现在用于 由一或多个处理器执行的计算机可读指令中，且在一些实施例中可由系统100的操作系统 实施且可实施为操作系统中的后台服务。如图13中所展示，程序1300开始于系统100产生系 统警示（1302)时。在一些实施例中，系统警示可包含告警、通知、日历警示、接收到的消息 (例如，电子邮件、即时消息或短消息业务消息(SMS))和其类似者。举例来说，如图6B中所展 示，系统警示可包含消息602。程序1300可接着通过辨识视野中的目标（1304)而继续。举例 来说，如图6A中所展示，相机116可捕获手600的一或多个图像。对象辨识122可接着包含基 于在一或多个所捕获图像中或由系统100接收到的或存储于存储器组件108中的图像中所 捕获的手600的特征来辨识手600。
[0080] 程序13000可接着通过确定距离和目标的形状（1306)而继续。举例来说，微调126 可包含根据一或多个图像W及到手600的距离确定手600的形状和轮廓。在一些实施例中， 相机116可为或包含深度相机且可确定可用于确定到手600的距离的深度图。此外，深度图 可用于通过从深度图中的背景中分割投影目标来确定手600的形状。
[0081] 基于所确定的形状和到手600的距离，微调126可形成空白区域（1308)。在一些实 施例中，空白区域可为将投影在对象的所确定的形状外部的区域上的暗像素，例如空白区 域604。在一些实施例中，空白区域可为当投影时不通过投影仪118投影或W其它方式关闭 的像素。程序1300可接着通过将警示投影到由空白区域遮蔽的目标上（1310)而继续。如图 6B中所展示，举例来说，消息602和空白区域604可投影到手600上，使得消息602仅投影在手 600上。跟踪124可接着跟踪目标(例如，手600)且基于跟踪调整空白区域604(1312)。在一些 实施例中，跟踪124包含基于来自传感器114的信息和/或由系统100接收到的、存储于存储 器组件108中或由相机116捕获的图像来检测手600在六个自由度中的位置或取向的改变。 程序1300可微调用于投影到目标上的警示，使得投影的警示并不投影到超出目标的表面或 区域上。
[0082] 图14为与一些实施例一致的说明用于基于检测到的手势将经遮蔽的内容投影在 目标上的方法的流程图。出于说明的目的，将参照图7A到7D描述图14。图14中所展示的程序 1400可体现在用于由一或多个处理器执行的计算机可读指令中，且在一些实施例中可由系 统100的操作系统实施且可实施为操作系统中的后台服务。如图14中所展示，程序1400开始 于手势检测128检测用于进入私用模式的手势（1402)时。在一些实施例中，用于进入私用模 式的手势可为握紧的手或当与手势库中的手势相互关联时对应于用于进入私用模式的动 作的另一手势。程序1400可接着通过辨识视野中的目标（1404)而继续。举例来说，如图7B中 所展示，相机116可捕获第一对象700的一或多个图像。在一些实施例中，系统100可接收第 一对象700的图像或可W其它方式具有存储于存储器组件108中的第一对象的一或多个图 像。对象辨识122可包含基于来自第一对象700的图像的第一对象700的特征来辨识第一对 象 700。
[0083] 程序1400可接着通过确定距离和目标的形状(1406)而继续。举例来说，微调126可 包含根据图像W及到第一对象700的距离确定第一对象700的形状和轮廓。在一些实施例 中，相机116可为或包含深度相机且可确定可用于确定到第一对象700的距离的深度图。此 夕h深度图可用于通过从深度图中的背景中分割投影目标来确定第一对象700的形状。
[0084] 基于所确定的形状和到第一对象700的距离，微调126可形成空白区域（1408)。在 一些实施例中，空白区域可包含将投影在第一对象700的所确定的形状外部的区域上的暗 像素，例如空白区域706。在一些实施例中，空白区域可为当投影时不通过投影仪118投影或 W其它方式关闭的像素。程序1400可接着通过将内容投影到由空白区域遮蔽的目标上 (1410)而继续。如图7C中所展示，举例来说，图像704和空白区域706可经投影使得图像704 仅投影在第一对象700上且被空白区域706遮蔽。手势检测可接着检测用于进入公用模式的 手势（1412)。在一些实施例中，用于进入公用模式的手势可为张开的手、投掷运动或当检测 到与手势库中的手势相互关联时对应于用于进入公用模式的动作的另一手势。投影仪118 可接着投影未被空白区域遮蔽的内容（1414)。举例来说，微调126可不确定空白区域;确定 不具有区域或为零区域的空白区域;或可基于较大目标对象(例如，第二对象702)确定空白 区域。
[0085] 根据本发明，软件(例如程序代码和/或数据)可W存储在一或多个机器可读媒体 (包含非暂时性机器可读媒体)上。还预期本文中所标识的软件可W使用一或多个联网和/ 或未联网的通用或专用计算机和/或计算机系统来实施。在适用的情况下，本文中所描述的 各种步骤的排序可改变、组合为复合步骤，和/或分离成子步骤W提供本文中所描述的特 征。
[0086]因此，如本文中所描述的实施例可提供通过确定投影目标的一或多个界限且基于 所确定的一或多个界限微调用于投影在投影目标上的内容来配合到投影目标的投影的系 统和方法。另外，为了使投影目标上用于查看的内容的分辨率最大化，本文中所描述的实施 例可确定在投影目标外部的无内容的区域且投影运些区域中无内容的区域(例如，经遮蔽 的像素），使得所述内容可经缩放到预定分辨率W投影到投影目标上而不会使投影的内容 溢出到超出投影目标的表面和区域上。上文所提供的实例仅是例示性的，且并不意图是限 制性的。所属领域的技术人员可W根据所掲示的的实施例容易地设计意图在本发明的范围 内的其它系统。因此，本申请案仅受所附权利要求书的限制。
【主权项】
1. 一种方法，其包括： 确定投影目标； 确定所述投影目标的一或多个界限； 通过一或多个处理器确定有内容待投影的内容区域和无内容待投影的空白区域，基于 所述一或多个界限确定所述内容区域和所述空白区域； 通过所述一或多个处理器确定缩放因数； 基于所述缩放因数在所述内容区域内产生用于投影的内容；以及 产生所述空白区域。2. 根据权利要求1所述的方法，其中确定所述投影目标的一或多个界限包括： 接收所述投影目标的一或多个图像；以及 根据所述一或多个图像确定所述投影目标的形状。3. 根据权利要求2所述的方法，其进一步包括基于所述投影目标的所述所确定的形状 确定所述投影目标的轮廓。4. 根据权利要求2所述的方法，其进一步包括基于所述一或多个图像确定包含所述投 影目标的区域的深度图。5. 根据权利要求4所述的方法，其中确定缩放因数包括基于所述所确定的深度图确定 到所述投影目标的距离。6. 根据权利要求4所述的方法，其中确定所述投影目标的形状包括将所述投影目标从 所述所确定的深度图中的背景中分割出来。7. 根据权利要求2所述的方法，其中产生所述空白区域包括基于所述投影目标的所述 所确定的形状形成虚拟遮罩。8. 根据权利要求1所述的方法，其进一步包括在所述所确定的内容区域内通过投影仪 将所述所产生的内容投影于所述投影目标上。9. 根据权利要求1所述的方法，其进一步包括通过投影仪投影所述所产生的空白区域。10. 根据权利要求9所述的方法，其中投影所述所产生的空白区域包括投影暗像素。11. 根据权利要求1所述的方法，其进一步包括： 跟踪所述投影目标；以及 基于所述跟踪调整所述所确定的内容区域和所述所确定的空白区域。12. 根据权利要求1所述的方法，其进一步包括： 检测手势；以及 基于所述检测到的手势确定所述空白区域不具有区域。13. 根据权利要求1所述的方法，其进一步包括： 检测手势； 基于所述检测到的手势确定第二投影目标； 确定所述第二投影目标的一或多个界限； 基于所述第二投影目标的所述所确定的一或多个界限确定第二内容区域和第二空白 区域； 基于到所述第二投影目标的距离确定第二缩放因数；以及 在所述所确定的内容区域内通过投影装置将内容投影到所述第二投影目标上。14. 一种设备，其包括： 投影仪，其经配置以基于投影目标的一或多个投影参数来投影内容区域和空白区域； 相机，其经配置以捕获包含所述投影目标的视野的一或多个图像； 一或多个处理器，其耦合到所述投影仪和所述相机，所述一或多个处理器经配置以确 定所述一或多个投影参数;以及 存储器，其耦合到所述一或多个处理器。15. 根据权利要求14所述的设备，其中所述一或多个处理器经配置以通过处理所述一 或多个图像且确定到所述投影目标的距离、所述投影目标的形状和所述投影目标的轮廓来 确定所述一或多个投影参数。16. 根据权利要求14所述的设备，其中所述空白区域包括投影在所述内容区域的所述 所确定的轮廓外部的暗像素。17. 根据权利要求14所述的设备，其中所述相机包括数字光处理DLP投影仪、激光束转 向LBS投影仪、硅上液晶LCoS投影仪中的至少一者。18. 根据权利要求14所述的设备，其中所述相机进一步经配置以捕获由用户作出的手 势。19. 根据权利要求18所述的设备，其中所述手势包含用于在私用模式和公用模式之间 切换的手势。20. -种系统，其包括： 用于确定投影目标的装置； 用于确定所述投影目标的一或多个界限的装置； 用于基于所述所确定的一或多个界限确定有内容待投影的内容区域和无内容待投影 的空白区域的装置； 用于确定缩放因数的装置； 用于基于所述缩放因数在所述内容区域内产生用于投影的内容的装置；以及 用于产生所述空白区域的装置。21. 根据权利要求20所述的系统，其中所述用于确定所述投影目标的一或多个界限的 装置包括： 用于接收所述投影目标的一或多个图像的装置；以及 用于根据所述一或多个图像确定所述投影目标的形状的装置。22. 根据权利要求21所述的系统，其进一步包括用于基于所述一或多个图像确定包含 所述投影目标的区域的深度图的装置。23. 根据权利要求20所述的系统，其进一步包括用于在所述所确定的内容区域内将所 述所产生的内容投影于所述投影目标上的装置。24. 根据权利要求20所述的系统，其进一步包括用于投影所述所产生的空白区域的装 置。25. 根据权利要求20所述的系统，其进一步包括： 用于跟踪所述投影目标的装置；以及 用于基于所述跟踪调整所述所确定的内容区域和所述所确定的空白区域的装置。26. 根据权利要求20所述的系统，其进一步包括： 用于检测手势的装置；以及 用于基于所述检测到的手势确定所述空白区域不具有区域的装置。27. 根据权利要求20所述的系统，其进一步包括： 用于检测手势的装置； 用于基于所述检测到的手势确定第二投影目标的装置； 用于确定所述第二投影目标的一或多个界限的装置； 用于基于所述第二投影目标的所述所确定的一或多个界限确定第二内容区域和第二 空白区域的装置； 用于基于到所述第二投影目标的距离确定第二缩放因数的装置；以及 用于在所述所确定的内容区域内通过投影装置将内容投影到所述第二投影目标上的 装置。28. -种计算机可读媒体，其包含在由一或多个处理器执行时致使包含所述一或多个 处理器的系统执行方法的指令，所述方法包括： 确定投影目标； 确定所述投影目标的一或多个界限； 基于所述所确定的一或多个界限而通过一或多个处理器确定有内容待投影的内容区 域和无内容待投影的空白区域； 通过所述一或多个处理器确定缩放因数；以及 基于所述缩放因数在所述内容区域内产生用于投影的内容；以及 产生所述空白区域。
【文档编号】G06F1/16GK105830439SQ201480068503
【公开日】2016年8月3日
【申请日】2014年12月9日
【发明人】拉明·礼萨伊法尔, 乔尔·辛布兰·贝纳特, 尼科罗·安德鲁·帕多瓦尼, 维吉尼亚·沃克·基廷
【申请人】高通股份有限公司