成像功率的动态节省的制作方法

成像功率的动态节省的制作方法
【专利摘要】本发明涉及成像功率的动态节省。设备和技术的代表性实现给成像设备和系统提供可适应的设定。可以基于是否在预定区域内检测到运动来定义操作模式。可以基于当前的操作模式来动态地调整照明或调制的一个或多个参数。
【专利说明】成像功率的动态节省
【背景技术】
[0001]因为半导体工艺已经变得更快支持基于光波的成像系统，此类系统变得更广泛地用于对象检测。一些成像系统能够每秒提供数十张图像，而使此类设备对于对象跟踪也是有用的。由于一些成像系统的潜在的小形状系数和潜在的高信号保真度，它们良好地适合于许多类型的消费设备(例如，电视、计算机、平板、智能电话等)中的手势控制。当此类成像系统的分辨率可以变化时，使用这些系统的应用能够利用它们的操作速度。
[0002]由于成像系统的功率要求以及移动设备的有限的功率存储容量，诸如笔记本计算机、或智能电话之类的移动设备不易适配于使用此类成像系统。基于光的成像系统的高功率要求的最大贡献者是在操作和调制功能期间以恒定的功率级和/或恒定的频率来应用的照明源。此外，在最差情况使用场景中，为了最佳性能可以用恒定的最大横向分辨率(即，像素的数目)来应用此类系统。功率需求通常超过移动设备的功率存储容量，从而降低当应用于移动设备时成像系统的有用性。
【专利附图】

【附图说明】
[0003]参考附图提出了详细的描述。在附图中，附图标记的最左的一个或多个数字标识该附图标记第一次出现在其中的附图。在不同附图中使用相同的附图标记指示类似或相同的项目。
[0004]为了本讨论，将附图中图示的设备和系统示出为具有多个组件。如本文描述的设备和/或系统的各种实现可以包括更少的组件，并且依然在本公开的范围内。可替代地，设备和/或系统的其他实现可以包括附加的组件或所描述的组件的各种组合，并且依然在本公开的范围内。
[0005]图1是根据一种实现的所描述的设备和技术可以被采用在其中的示例性应用环境的图示。
[0006]图2是根据一种实现的示例性成像系统组件的框图。
[0007]图3是根据一种实现的示例性操作模式和关联的成像参数的状态图。该状态图还示出了用于在操作模式之间切换的示例性触发。
[0008]图4是图示根据一种实现的用于调整成像系统的参数的示例性过程的流程图。
【具体实施方式】
[0009]综沭
本公开涉及被设置成检测、识别、和/或跟踪在相对于成像系统在预定区域中的对象和/或手势的成像系统(例如，使用发射的电磁(EM)辐射的成像系统)。例如，可以使用成像系统来检测和识别对象或人手的手势，比如，在计算设备附近的区域中。当对象或手做出手势时，成像系统可以识别并且跟踪手-手势组合来作为计算设备的鼠标或其他输入的替代。
[0010]在一种实现中，例如，成像系统使用诸如反射光发射的距离计算之类的飞行时间原理来检测、识别、和/或跟踪诸如人手或手势之类的对象。因为EM辐射被反射离开预定区域中的对象，所以飞行时间距离计算可以是基于接收发射的EM辐射的反射。例如距离计算可以基于光的速度以及反射的EM辐射的传播时间。
[0011]由于此类成像系统的潜在的较小形状系数和潜在的较高信号保真度，它们能够良好地适合于手势控制，例如在许多类型的消费设备(例如，电视、计算机、平板设备、智能电话等)中。然而，此类成像系统的功率要求会使它们禁止在能够具有有限的电池存储的移动设备中使用。在许多情况中，可能不持续要求手势跟踪和控制，而是当手势出现在“预定义区域”中时才要求。因此，当没有手势(例如，对象运动)出现在预定义区域中时，掉电或去激活成像系统的一些功能和/或部分可以是有用的。因而，当成像系统处于“待机模式”中时，能够节省功率。然后，当在预定义区域中检测到对象运动时，能够部分或全部地激活成像系统的功能和/或部分。
[0012]设备和技术的代表性实现给示例性成像设备和系统提供可适应的设定。例如，可适应的设定可以与成像设备和系统的各种操作模式关联，并且可以被使用以节省功率，从而使成像设备更能适应于在移动设备中使用。可以基于是否在预定区域内检测到对象运动来定义操作模式。例如，能够为待机情况定义一种操作模式，并且能够为活动情况定义另一种。在一种实现中，成像设备以一定间隔捕获预定义区域的图像。操作模式基于在预定区域的捕获图像之间是否检测到差异，以及该差异是否指示预定义区域内的对象运动来定义。
[0013]操作模式可以与诸如功率级、调制、占空比等之类的发射的EM辐射的参数关联。另外，操作模式可以与诸如调制、图像捕获率、电流检测等之类的成像设备传感器的光敏像素的参数关联。可以基于当前的操作模式和后续的操作模式来动态地且自动地调整发射的EM辐射的或像素的一个或多个参数。例如，当检测到对象运动时成像系统可以使用较高分辨率模式，而当没有检测到对象运动时可以使用较低分辨率模式。在各种实现中，也可以基于操作模式来调整照明参数。
[0014]在本公开中讨论了用于成像系统、设备、和技术的各种实现和布置。参考附图中图示的示例性基于光的成像系统和设备讨论了技术和设备。然而，这不意在限制，而是为了便于讨论和说明性便利。所讨论的技术和设备可以应用于任何各种成像设备设计、结构等等(例如，基于辐射、基于声发射、基于粒子发射等)，并且依然在本公开的范围内。
[0015]以下使用多个示例更详细地说明实现。尽管这里和以下讨论了各种实现和示例，但是通过将单独的实现和示例的特征和元素结合，进一步的实现和示例可以是可能的。
[0016]示例性成像系统环境
图1是根据一种实现的所描述的设备和技术可以被采用在其中的示例性应用环境100的图示。如在图示中示出的，例如，成像系统102可以与计算设备(“移动设备”)104—起应用。可以使用成像系统102来检测诸如人手之类的对象106的运动，例如在预定区域108中。在一种实现中，成像系统102被设置成检测和/或识别对象或人手106的手势，并且可以被设置成跟踪对象或人手106的运动和/或手势来作为移动设备104的鼠标或其他输入设备的替代。例如，在一种实现中，可以在显示设备110上呈现或显示成像系统102的输出(例如，鼠标指针或光标)。
[0017]在各种实现中，成像系统102可以与移动设备104集成，或可以使一些组件与移动设备104分离或远离。例如，可以将用于成像系统102的一些处理远程地(例如，云、网络等)定位。在另一个示例中，可以在远程设备上或在远程位置发送、显示、或呈现来自成像系统102的一些输出。
[0018]如本文讨论的，移动设备104指代诸如膝上计算机、智能电话等之类的移动计算设备。移动设备104的示例可以无限制地包括移动计算设备、膝上或笔记本计算机、手持计算设备、平板计算设备、上网本计算设备、个人数字助理(PDA )设备、阅读器设备、智能电话、移动电话、媒体播放器、可佩戴式计算设备等等。所述实现关于这点不受限制。进一步地，关于成像系统102的实现，作为计算设备104的固定计算设备也被包括在本文的范围内。固定计算设备可以无限制地包括固定计算机、个人或台式计算机、电视、机顶盒、游戏机、音频/视频系统、电器等等。
[0019]示例性对象106可以包括成像系统102可以被设置成检测、识别、跟踪和/或等等的任何项目。例如，此类项目可以包括诸如全部或部分人手之类的人类身体部分。对象106的其他示例可以包括鼠标、冰球、棒、控制器、游戏块、运动装置等等。在各种实现中，成像系统102也可以被设置成检测、识别、和/或跟踪对象106的手势。手势可以包括表达想法的对象106的任何运动或位置或配置。例如,手势可以包括以一定方位或配置(例如,用一个或多个手指指向、用手的一个或多个部分做出封闭形状等)来安置(position)人手和/或以一种模式(例如，以椭圆运动、以基本上线性的运动等)来移动手。当安置、配置、移动等等其他对象106时，也可以用它们来做出手势。
[0020]成像系统102可以被设置成检测、识别、和/或跟踪在相对于移动设备104的预定区域108内的对象106。例如，可以选择预定区域108来包含人手或其他对象106可以在其内的区域。在一种情况中，预定区域108可以包含手可以在其处出现以做出手势来作为鼠标或其他输入设备的替代的区域。例如该区域可以在移动设备104的前面、旁边、或周围。
[0021]图1的图示示出了在移动设备104前面作为类-立方体区域的预定区域108。这是为了图示和讨论的目的，并且不意在限制。预定区域108可以是任何的形状或尺寸，并且可以被选择以使得当期望的对象出现时，所述预定区域108将通常地包含所述期望的对象，但是不包含非期望的对象(例如，不意在检测、识别、跟踪等等其他项目)。在一种实现中，预定区域108可以包括一英尺乘一英尺的立方体。在其他实现中，预定区域108可以包括其他的形状和尺寸。
[0022]如上面讨论的，本文参考成像系统102所描述的技术、组件、和设备不限于图1中的图示，并且可以应用于其他成像系统和设备设计和/或应用而不背离本公开的范围。在一些情况中，可以使用附加的或可替代的组件来实现本文描述的技术。需要理解的是成像系统102可以作为独立的系统或设备、或者作为另一个系统的部分(例如，与其他组件、系统等集成)来实现。
[0023]示例件成像系统
图2是示出根据一种实现的成像系统102的示例性组件的框图。如在图2中示出的，成像系统102可以包括照明模块202、调制组件204、传感器模块206、以及控制模块208。在各种实现中，成像系统102可以包括更少的、附加的、或可替代的组件，并且依然在本公开的范围内。成像系统102的一个或多个组件可以与成像系统102的另一个组件来搭配、组合、或以其他方式集成。例如，在一种实现中，成像系统102可以包括成像设备或装置。进一步地，成像系统102的一个或多个组件可以与组件的另一个或另一些远程地定位。[0024]如果被包括在一种实现中，照明模块202被设置成基于系统102的操作模式来发射电磁(EM)辐射(例如，光辐射)以照明预定区域108。例如在一种实现中，照明模块202是光发射器。在各种实现中，光发射器包括发光二极管(LED)、激光发射器等等。在一种实现中，当照明模块202活动时，其照明整个环境(例如，预定区域108)。在可替代的实现中，照明模块202以脉冲、阶段、或扫描的方式来照明环境。
[0025]在各种实现中，可以从照明模块202发射不同形式的EM辐射。在一些实现中，发射红外光等等。例如，光辐射可以包括一种或多种经调制的光脉冲。可以在短间隔内接通照明模块202，从而允许发射的一个或多个光脉冲照明预定区域108，包括预定区域108内的任何对象106。例如，红外光向预定区域108提供对于人眼不是可见的照明，因此不使人分心。在其他实现中，可以发射提供视觉反馈等等的其他类型或频率的EM辐射。如上面提到的，在可替代的实现中，可以由照明模块202发射其他的能量形式(例如，基于辐射、基于声发射、基于粒子发射等)。
[0026]在一种实现中，照明模块202被设置成照明可以出现在预定区域108中的一个或多个对象106，以检测对象106的运动。例如，照明模块202被设置成基于系统的操作模式来发射电磁辐射以照明预定区域108的至少部分。在一种实现中，照明模块202的输出(例如，光脉冲)的参数或特性被设置成基于在预定区域108中是否检测到对象106的运动而自动地且动态地调整。例如，为了节省功率，当在预定区域108中没有检测到对象运动时可以去激活照明模块202的功率输出或调制，并且当在预定区域108中检测到对象运动时将其激活。
[0027]如果被包括在一种实现中，调制组件204被设置成基于成像系统102的操作模式来调制从照明模块202发射的EM辐射和/或调制传感器模块206的一个或多个光敏像素。在一种实现中，调制组件204被设置成在飞行时间操作(例如，计算对象离成像系统102的距离)期间将EM辐射的调制与传感器模块206的像素的调制相关。在各种实现中，当系统处于待机模式(例如，当在预定区域108中没有检测到对象106运动时)中时，调制组件204可以去激活从照明模块202发射的EM辐射的调制和/或去激活传感器模块206的一个或多个光敏像素的调制，并且当系统处于活动模式(例如，当在预定区域108中检测到对象106运动时)中时激活EM辐射的调制和/或激活一个或多个光敏像素的调制。
[0028]如在图2中示出的，在各种实现中，传感器模块206被包括在成像系统102中。在一种实现中，传感器模块206被设置成接收从预定区域108中的(一个或多个)对象106反射的EM辐射。在一种实现中，传感器模块206由多个光敏像素组成。在一个示例中，多个像素中的每个可以是单独的图像传感器。在此类示例中，来自传感器模块206的结果图像可以是单独像素的传感器图像的组合。在一种实现中，多个光敏像素中的每个被设置成将EM辐射的反射转换成电流信号。在各种实现中，一个或多个处理组件(例如，控制模块208)可以将来自像素的电流信号处理成图像。
[0029]在一种实现中，传感器模块206被设置成捕获预定区域108的一个或多个图像。例如，当处于待机模式时传感器模块206可以捕获预定区域108的低分辨率图像，并且当处于活动模式时捕获预定区域108的较高分辨率三维图像。在各种实现中，传感器模块206可以被设置成以一定间隔(例如，当处于待机模式时以500毫秒间隔等等，而当处于活动模式时以16毫秒间隔等等，等)或以特定帧率(例如，当处于待机模式时2fps等等，而当处于活动模式时以60fps等等，等)来捕获预定区域108的图像。因此，在至少一种实现中，当处于活动模式时成像系统102使用第一帧率来捕获图像，并且当处于待机模式时使用第二较低的帧率来捕获图像。
[0030]在一种实现中，传感器模块206 (或者传感器模块206的单独像素)提供光辐射从照明模块202传播到对象106并且回到传感器模块206的时间测量。因此，在此类实现中，成像系统102包括被设置成基于接收光辐射的反射以及基于飞行时间原理来检测预定区域108内的对象106的手势的三维手势识别系统。
[0031]例如，在该实现中，传感器模块206是被设置成基于接收反射的EM辐射来检测预定区域108内的对象106的图像传感器。传感器模块206能够基于从照明模块202发射的EM辐射反射回传感器模块206所花费的时间来检测对象是否在预定区域108中。这能够与当在预定区域108中没有对象时EM辐射返回到传感器模块206所花费的时间相比较。
[0032]在一种实现中，传感器模块206被设置成基于接收光辐射的反射来识别预定区域108内的对象106(例如，诸如人手)的手势。例如，传感器模块206能够基于传感器模块206的每个单独像素的成像来识别人手、对象106、和/或手势。作为单独成像传感器的每个像素组合能够基于由单独像素接收的部分EM辐射的反射时间而产生手、手势等等的图像。这与传感器模块206的帧率结合而允许跟踪手、对象、手势等等的图像。在其他的实现中，传感器模块206能够用从多个单独像素中成像来识别多个对象、手、和/或手势。
[0033]在一种实现中，传感器模块206的分辨率可以基于成像系统102的操作模式而是可调整的。例如，当没有检测到对象106运动时传感器模块可以以第一操作模式来捕获预定区域108的低分辨率图像(例如，10x10像素)以节省能量。当检测到某一对象106运动时传感器模块可以为了最佳性能而以第二操作模式来捕获预定区域108的较高分辨率图像(例如，160x160像素)。在其他的实现中，其他分辨率值可以与操作模式、或可替代的操作模式关联。
[0034]在进一步实现中，传感器模块206可以执行对被配置成接收EM辐射的反射的像素的装仓(binning)。例如，装仓可以包括将一组相邻的像素组合并且将该组像素作为单个复合像素来处理。增加的像素区域可以导致较高的传感器灵敏度，并且因此降低照明需求，从而在较低的环境光中允许在发射的EM辐射或操作方面的功率减少。功率减少可以是以减少的峰值功率、减少的积分时间等等的形式。进一步地，通过使用更少的像素可以减少图像处理而达到附加的功率节约。
[0035]在一种实现中，基于是否在预定区域108中检测到对象106的运动而为与用于照明模块202的输出的参数、特性等等(例如，功率级、调制等)关联的成像系统102来定义操作模式。图3是示出根据一种实现的两个示例性操作模式和其关联的成像系统102参数的状态图300。两个操作模式被标记了意味着在预定区域108中没有检测到对象运动的“待机模式”(即，第一操作模式)，以及意味着在预定区域108中检测到至少一个对象的一些运动的“活动”(即，第二操作模式)。在可替代的实现中，更少的、附加的、或可替代的操作模式可以由成像系统102以类似的方式来定义和/或使用。
[0036]如在图3中示出的，成像系统102可以基于是否在预定区域108内检测到对象运动而在操作模式(例如，待机模式和活动模式)之间交替。在各种实现中，也可以使用持续时间以确定从一个操作模式到另一个操作模式的切换。例如，在一种实现中，当在预定区域108内没有检测到对象运动时，可以在预设持续时间(例如，500毫秒等等)内将成像系统102设定成待机模式。
[0037]如在图3中示出的，在各种实现中，当成像系统102处于待机模式时，可以调整或去激活成像系统102的照明模块202的一个或多个功能以节省功率。例如，照明在图像捕获期间可以被去激活或者其在图像捕获期间可以是未调制的。在另一个示例中，当成像系统102处于待机模式时，在图像捕获期间照明可以是“闪光的(flashed)”。换句话说，例如，当传感器模块206捕获低分辨率图像时，可以用光辐射的一个或多个不连续脉冲来使照明脉动，类似于传统静物照相机上的闪光。进一步地，不需要调制此类闪光脉冲而节省更多功率。
[0038]在一种实现中，当在单个照明期间照明预定区域108时，成像系统102可以捕获低分辨率图像。这是对比于捕获较高分辨率图像，其可以使用多个(例如，在一个示例中，近似地是4)照明期间来用于类似的、但是三维的捕获。
[0039]另外，当成像系统102处于待机模式时，可以将对照明或照明模块202的两个或更多调整结合以节省功率。在其他的实现中，当处于待机模式时，可以调整照明模块202的附加的或可替代的功能。在各种实现中，当处于待机模式时，控制模块208被设置成调整或去激活照明模块202的以上功能。
[0040]同样如图3中示出的，在各种实现中，当成像系统102处于活动模式时，可以激活成像系统102的照明模块202的一个或多个功能。例如，照明(即，光辐射)可以在图像捕获期间被激活，并且其可以在图像捕获期间被调制。进一步地，当处于活动模式时，照明在图像捕获期间可以是以全功率或全强度。在其他实现中，当处于活动模式时，可以激活照明模块202的附加的或可替代的功能。在各种实现中，当处于活动模式时，控制模块208被设置成调整或激活照明模块202的以上功能。
[0041]如图3中示出的，在各种实现中，当成像系统102处于待机模式时，可以调整或去激活成像系统102的传感器模块206 (和/或调制组件204)的一个或多个功能以节省功率。例如，传感器模块206可以捕获预定区域108的低分辨率图像。例如，低分辨率图像可以包括用比在活动模式捕获的图像更少的像素来捕获的图像。在其他示例中，低分辨率图像可以包括二维图像、灰度图像等等(例如，强度图像)、或以上的组合。
[0042]在进一步实现中，传感器模块206可以被设置成使用未调制像素来捕获图像。换句话说，可以参考传感器模块206的光敏像素来调整或去激活调制组件204。在一种实现中，如上述的，当成像系统102处于待机模式时，可以将像素的一些或全部装仓。在另一种实现中时，传感器模块206可以被设置成读取由光敏像素产生的部分电流。换句话说，读取由传感器模块的像素接收的反射光所生成的预设比例的电流。
[0043]在一种实现中，在传感器模块206中使用具有至少两个面(side)或部分(section)的像素。在该实现中，传感器模块206可以被设置成从少于像素的全部面或部分来读取。例如，在一种实现中，当成像系统102处于待机模式时，传感器模块206可以被设置成从两个或更多个面或部分之一读取。这样做能够减少当处于待机模式时成像系统102的功耗。在可替代的实现中，传感器模块206可以被设置成从像素的另一部分的面或部分来读取。
[0044]在一种实现中，如上面讨论的，当处于待机模式时，传感器模块206可以被设置成比当处于活动模式时用于捕获图像的帧率更低的帧率来捕获图像。进一步地，在组合中可以调整与任何的或所有的传感器模块206相关的功能。在其他实现中，当处于待机模式时，可以调整传感器模块206或调制组件204的附加的或可替代的功能。在各种实现中，当处于待机模式时，控制模块208被设置成调整或去激活传感器模块206和/或调制组件204的这些功能。
[0045]同样如图3中示出的，在各种实现中，当成像系统102处于活动模式时，可以激活成像系统102的传感器模块206 (和/或调制组件204)的一个或多个功能。例如，当处于活动模式时，传感器模块206可以捕获预定区域108的高分辨率图像和/或预定区域108的三维图像。在一种实现中，当处于活动模式时，成像系统102被设置成基于飞行时间原理来执行被设置成检测预定区域108内的手势的三维成像。
[0046]在一种实现中，传感器模块206被设置成使用调制的像素来捕获图像。换句话说，可以关于传感器模块206的光敏像素来调整或激活调制组件204。在一种实现中，当成像系统102处于活动模式时，可以个别地使用像素的一些或全部来增加或最大化捕获图像的分辨率。在另一种实现中，传感器模块206可以被设置成读取由光敏像素产生的全电流。换句话说，读取由传感器模块的像素接收的反射光所生成的电流的全值。
[0047]在一种实现中，在传感器模块206中使用具有至少两个面或部分的像素的情况下，传感器模块206可以被设置成从像素的两个或全部面或部分来读取。例如，在一种实现中，当成像系统102处于活动模式时，传感器模块206可以被设置成从全部的两个或更多个面或部分来读取。
[0048]在一种实现中，如上面讨论的，当处于活动模式时，传感器模块206可以被设置成以比当处于待机模式时用于捕获图像的帧率更高的帧率来捕获图像。进一步地，在组合中可以调整或激活与任何的或所有的传感器模块206相关的功能。在其他实现中，当处于活动模式时，可以调整或激活传感器模块206或调制组件204的附加的或可替代的功能。在各种实现中，当处于活动模式时，控制模块208被设置成调整或激活传感器模块206和/或调制组件204的以上功能。
[0049]如果被包括在一种实现中，控制模块208可以被设置成向成像系统102提供控制和/或处理。例如，控制模块208可以控制成像系统102的操作模式、控制其他模块(202、204,206)的操作、和/或处理由其他模块(202、204、206)输出的信号和信息。在各种实现中，控制模块208被设置成与照明模块202、调制组件204、和传感器模块206的一个或多个通信。在一些实现中，可以将控制模块208集成到其他模块(202、204、206)的一个或多个中、或远离模块(202、204、206)。
[0050]在一种实现中，控制模块208被设置成基于捕获的图像是否指示预定区域108内的对象106的运动而确定成像系统102的操作模式。在该实现中，控制模块208被设置成比较捕获的图像(例如，或低分辨率或高分辨率图像)来确定图像中的任何差异。例如，在一种实现中，控制模块208将预定区域的图像与预定区域的先前捕获的图像相比较。如果对象在图像捕获之间的时间期间移动了，则后来的图像可以将该运动反映为图像中的差异。如果在后续的图像中没有检测到差异，则可以指示在预定区域108内没有对象运动。
[0051]因此，在一种实现中，控制模块208被设置成确定预定区域108的低分辨率图像或较高分辨率图像(取决于捕获时的操作模式)和先前捕获的图像之间的差异，并且基于该差异(或缺乏差异)是否指示在预设持续时间内预定区域108内的对象运动而确定成像设备或系统102的操作模式。如参考图3中的状态图300讨论的，当在预设持续时间内在预定区域108内没有检测到对象运动时控制模块208将成像系统102切换或设定成第一操作模式，而当在预定区域108内检测到对象106的运动时控制模块208将成像系统102切换或设定成第二操作模式。在可替代的实现中，控制模块208可以被设置成基于其他的触发(例如，发热量、功率级、光照条件等)来将成像系统102自动地在操作模式之间切换。
[0052]在一种实现中，控制模块208被设置成检测、识别、和/或跟踪由一只或多只手、或由对象106做出的手势。在各种实现中，可以将控制模块208编程为识别一些手势和/或对象106并且排除其他。也可以将控制模块208编程为识别和跟踪与到移动设备等等的输入或命令关联的某些手势。在一个示例中，当跟踪手势时，控制模块208将成像系统102设定成第二操作模式以确保最佳性能，并且提供手势的最准确读取。
[0053]在各种实现中，控制模块208可以被设置成基于反射的EM辐射的测量时间来计算对象106离成像系统102的距离。因此，控制模块208可以被设置成将从传感器模块206(或者从传感器模块206的像素)输出的电流信号转换成对象106离成像系统102的距离。进一步地，在一种实现中，控制模块208可以被设置成将电流信号转换成对象106的三维图像。在一种实现中，控制模块208被设置成将对象106的计算的距离和/或三维图像输出。例如，成像系统102可以被设置成向显示设备、向被设置成处理信息的另一个系统等等输出距离、检测的对象106的三维图像、对象106的跟踪坐标等等。
[0054]在各种实现中，可以使用附加的或可替代的组件以实现(accomplish)公开的技术和布置。
[0055]代表件讨稈
图4图示用于调整成像系统(诸如成像系统102)的参数的代表性过程400。过程400描述了在预定区域(诸如预定区域108)中检测一个或多个对象(诸如对象106)的运动。可以基于是否在预定区域中检测到对象的运动而调整发射的电磁(EM)辐射的一个或多个参数。过程400参考图1-3来描述。
[0056]描述过程所依照的次序不意在被解释为限制，并且能够以任何次序将任何数目的描述的过程块组合来实现过程、或可替代的过程。另外，可以从过程中删除单独的块而不背离本文描述的主题事项的精神和范围。此外，能够以任何适合的材料或其组合来实现该过程而不背离本文描述的主题事项的范围。
[0057]在块402，该过程包括用处于第一操作模式的三维成像器来捕获预定区域的低分辨率图像。例如，低分辨率图像可以包括二维图像、灰度图像、用较少像素捕获的图像、以上的组合等等。
[0058]在块404，该过程包括用处于第二操作模式的三维成像器来捕获预定区域的较高分辨率三维图像。例如，可以使用比低分辨率图像更多数目的像素来捕获较高分辨率图像。另外，基于飞行时间图像捕获技术，较高分辨率图像可以是三维的。
[0059]在各种实现中，图像捕获(低或较高分辨率)可以包括用来照明预定区域的发射的电磁(EM)辐射。在一些实现中，在环境光(例如，环境的自然光)中执行图像捕获而不具有主动照明。在一种实现中，在环境光对于图像捕获不充分的情况下，EM辐射在图像捕获期间通过使用一个或多个不连续脉冲而可以是“闪光的”。[0060]在一个示例中，例如，EM辐射可以由包括LED或激光发射器的发射器(诸如照明模块202等等)来发射。在一些实现中，EM辐射可以是调制光。例如，可以使用调制组件(诸如调制组件204)来对光进行调制，以及可以相关于成像设备的一个或多个光敏像素的调制来对光进行调制。在一种实现中，当成像系统处于待机模式操作时，不对光进行调制。在各种实现中，预定区域可以相对于计算设备(诸如移动设备104)，例如，诸如以便向计算设备提供输入。
[0061]在各种实现中，该过程包括接收由成像传感器(诸如传感器模块206)反射的EM辐射以捕获图像。例如，成像传感器可以由一个或多个光敏像素组成。比如，成像传感器可以经由光学器件、接收器、天线等等来接收EM反射。
[0062]在块406，该过程包括确定预定区域的低分辨率图像或较高分辨率图像与先前捕获图像之间的差异。例如，可以针对一个或多个差异来比较后续的捕获图像，其中(一个或多个)差异可以指示预定区域内的一个或多个对象已经移动或正在移动。在各种实现中，比较图像以及检测差异(或缺乏差异)能够触发操作模式的切换(待机模式到活动模式或者活动模式到待机模式)。
[0063]在块408，该过程包括当差异指示在预设持续时间内预定区域内没有对象运动时，以第一操作模式来操作三维成像器。例如，当在预定区域内没有检测到手势(即，对象运动)时，可以将三维成像器设定成待机模式以节省功率。
[0064]在块410，该过程包括当差异指示在预定区域内的对象运动时，以第二操作模式来操作三维成像器。例如，当在预定区域内检测到手势(即，对象运动)时，为了改善的性能可以将三维成像器设定成活动模式。
[0065]在一种实现中，该过程包括基于操作模式(例如，基于是否在预定区域内检测到对象的运动)来调整EM辐射和/或图像传感器的一个或多个参数。在各种实现中，EM辐射的一个或多个参数可以包括:激活、照明时间或占空比、以及电磁辐射的调制。例如，在一种实现中，该过程包括当在预设持续时间内在预定区域内没有检测到对象运动时去激活预定区域的照明，以及当在预定区域内检测到对象运动时激活预定区域的照明。
[0066]在各种实现中，图像传感器的一个或多个参数可以包括:分辨率和/或维度、颜色、像素调制、像素装仓、部分电流读出、从像素的单个面或部分读取、以及帧率。例如，在一种实现中，该过程包括当处于第一操作模式时，在捕获低分辨率图像时避免调制三维成像器的一个或多个光敏像素和/或避免调制预定区域的照明。在另一种实现中，该过程包括当处于第二操作模式时使用三维成像器的多个光敏像素来捕获较高分辨率、三维图像。在进一步实现中，该过程包括当以第二操作模式来操作时检测预定区域内的手势。
[0067]在进一步实现中，该过程可以包括当处于第一操作模式时读取由三维成像器的一个或多个光敏像素生成的部分电流，和/或当处于第一操作模式时使用三维成像器的多个光敏像素中的部分来捕获低分辨率图像。
[0068]另一个示例包括当处于第二操作模式时使用第一帧率来捕获图像，并且当处于第一操作模式时使用第二较低的帧率来捕获图像。在另一种实现中，该过程包括当以第一操作模式来捕获图像时，将三维成像器的光敏像素装仓，所述装仓包括将一组相邻的像素组合并且将该组作为单个复合像素来处理。
[0069]在一种实现中，该过程进一步包括诸如测量从发射EM辐射到接收EM辐射的反射的时间以及基于测量的时间来计算对象的距离之类的飞行时间技术。在各种实现中，该过程包括为了输入控制而向计算设备输出手势信息，等等。另外，该过程可以包括向显示设备、向被设置成处理信息的另一个系统等等输出诸如距离、被检测对象的三维图像、对象的跟踪坐标等之类的成像信息。
[0070]在可替代的实现中，其他技术可以以各种组合被包括在过程400中，并且依然在本公开的范围内。
[0071]总益
尽管用结构特征和/或方法论动作所特有的语言描述了本公开的实现，但是需要理解的是所述实现不必局限于所描述的特定的特征或动作。更确切地说，特定的特征和动作被公开为实现示例性设备和技术的代表性形式。
【权利要求】
1.一种装置，包括: 被设置成以第一操作模式捕获预定区域的低分辨率图像，以及以第二操作模式捕获预定区域的较高分辨率三维图像的传感器模块； 被设置成确定预定区域的低分辨率图像或较高分辨率图像与先前捕获的图像之间的差异，并且基于所述差异是否指示在预设持续时间内预定区域内的对象运动而确定装置的操作模式的控制模块。
2.权利要求1的装置，其中低分辨率图像包括二维图像和灰度图像的至少之一。
3.权利要求1的装置，其中当所述差异指示在预设持续时间内预定区域内没有对象运动时，所述控制模块被设置成将所述装置设定处于第一操作模式。
4.权利要求1的装置，其中当处于第一操作模式时，所述控制模块被设置成去激活所述装置的照明源，所述照明源被设置成照明预定区域的至少部分。
5.权利要求4的装置，其中当处于第一操作模式时，在所述传感器模块捕获预定区域的低分辨率图像时，所述控制模块被设置成使所述装置的所述照明源闪光。
6.权利要求1的装置，其中当处于第一操作模式时，所述控制模块被设置成去激活所述装置的照明源和传感器模块的一个或多个光敏像素的至少之一的调制。
7.权利要求1的装置，其中当所述差异指示在预定区域内的对象运动时，所述控制模块被设置成将所述装置设定处于第二操作模式。
8.权利要求7的装置，其中第二操作模式包括基于飞行时间原理来执行被设置成检测预定区域内的手势的三维成像。
9.权利要求7的装置，其中当处于第二操作模式时，所述控制模块被设置成激活照明源，所述照明源被设置成发射照明预定区域的至少部分的电磁辐射。
10.权利要求9的装置，其中当处于第二操作模式时，所述控制模块被设置成激活调制组件，所述调制组件被设置成调制电磁辐射和/或传感器模块的一个或多个光敏像素。
11.一种系统,包括: 由被设置成以待机模式捕获预定区域的低分辨率图像和以活动模式捕获预定区域的较高分辨率三维图像的光敏像素组成的传感器模块； 被设置成基于所述系统的操作模式来发射光辐射的照明模块； 被设置成基于所述系统的操作模式来调制传感器模块的一个或多个光敏像素和/或光辐射的调制组件； 被设置成确定预定区域的低分辨率图像或较高分辨率图像与先前捕获的图像之间的差异，并且基于所述差异是否指示在预设持续时间内预定区域内的对象运动来确定所述系统的操作模式的控制模块。
12.权利要求11的系统，其中当所述系统处于待机模式时，所述调制组件被至少部分地去激活并且所述传感器模块被设置成捕获预定区域的二维和/或灰度图像。
13.权利要求11的系统，其中当所述系统处于待机模式时，不调制一个或多个光敏像素和/或光辐射。
14.权利要求11的系统，其中当所述系统处于待机模式时，所述照明模块被去激活或所述照明模块被设置成在捕获低分辨率图像期间发射光辐射的不连续闪光。
15.权利要求11的系统，其中当所述系统处于活动模式时，所述照明模块是活动的并且一个或多个光敏像素和光辐射被调制。
16.权利要求11的系统，其中所述系统包括被设置成基于接收光辐射的反射和基于飞行时间原理来检测预定区域内的手势的三维手势识别系统。
17.—种方法,包括: 用处于第一操作模式的三维成像器来捕获预定区域的低分辨率图像； 用处于第二操作模式的三维成像器来捕获预定区域的较高分辨率三维图像； 确定预定区域的低分辨率图像或较高分辨率图像与先前捕获的图像之间的差异； 当所述差异指示在预设持续时间内在预定区域内没有对象运动时，以第一操作模式来操作三维成像器； 以及 当所述差异指示预定区域内的对象运动时，以第二操作模式来操作三维成像器。
18.权利要求17的系统，进一步包括当在预设持续时间内在预定区域内没有检测到对象运动时去激活预定区域的照明，以及当在预定区域内检测到对象运动时激活预定区域的照明。
19.权利要求17的系统，进一步包括当处于第一操作模式时，在捕获低分辨率图像时避免调制三维成像器的一个或多个光敏像素和/或避免调制预定区域的照明。
20.权利要求17的系统，进一步包括当处于第一操作模式时，读取由三维成像器的一个或多个光敏像素生成的部分电流。
21.权利要求17的系统，进一步包括当处于第二操作模式时使用三维成像器的多个光敏像素来捕获较高分辨率三维图像，以及当处于第一操作模式时使用三维成像器的多个光敏像素的部分来捕获低分辨率图像。
22.权利要求17的系统，进一步包括当处于第二操作模式时使用第一帧率来捕获图像，以及当处于第一操作模式时使用第二较低帧率来捕获图像。
23.权利要求17的系统，进一步包括当以第一操作模式来捕获图像时将三维成像器的光敏像素装仓，所述装仓包括将一组相邻的像素组合并且将所述组作为单个复合像素来处理。
24.权利要求17的系统，进一步包括当以第二操作模式来操作时检测预定区域内的手势。
25.—种三维成像设备，包括: 被设置成使用飞行时间原理以第一操作模式来捕获预定区域的二维和/或灰度图像，以及以第二操作模式来捕获预定区域的高分辨率三维图像的传感器模块； 被设置成确定预定区域的二维和/或灰度图像或高分辨率图像与先前捕获的图像之间的差异，以及当所述差异指示在预设持续时间内在预定区域内没有对象运动时将所述装置设定成处于第一操作模式，并且当所述差异指示预定区域内的对象运动时将所述装置设定成处于第二操作模式的控制模块。
【文档编号】G06F1/32GK103838371SQ201310588337
【公开日】2014年6月4日 申请日期:2013年11月21日 优先权日:2012年11月21日
【发明者】M.迪拉赫尔, M.弗拉切尔, M.戈奇利希, M.马克, J.普赖因萨克 申请人:英飞凌科技股份有限公司