利用可变场照明设备的对象检测和跟踪的制作方法
【专利说明】利用可变场照明设备的对象检测和跟踪
[0001]相关申请的交叉引用
[0002]本申请要求于2013年I月18日提交的美国申请序列号13/744，810的优先权，该美国申请序列号13/744，810要求于2012年11月8日提交的美国临时申请序列号61/724，073的权益，它们的整体公开内容通过引用并入于此。
【背景技术】
[0003]本公开总体上涉及成像系统，并且具体涉及使用光学成像的三维(3D)对象检测、跟踪以及表征。
[0004]运动捕捉系统被用于各种情境中，以便获得关于各种对象(包括诸如人手或者人体之类的具有关节构件的对象)的构造和运动的信息。这种系统通常包括用于捕捉运动中对象的序列图像的相机以及用于分析图像以便创建对象的体积、位置和运动的重构的计算机。对于3D运动捕捉，通常使用至少两个相机。
[0005]基于图像的运动捕捉系统依靠将关心的对象与其它对象或者背景区分开的能力。这常常使用图像分析算法来实现，图像分析算法通常通过比较像素以检测颜色和/或亮度的突然改变来检测边缘。对关心对象的充足照明显然是成功检测的关键。对于在宽阔检测空间中运行的系统，通常高的照明强度是必要的；实际上，整个监控区域沉浸于光中(该光可以是可见的或者在可见光谱外，例如红外辐射)，使得“最坏情形”的对象位置接收足够的照明。这意味着统一光强度几乎总是大于必要的，从而在硬件设计、发光元件的数目和/或照度、以及功率消耗方面予以过多的要求。
【发明内容】
[0006]本发明涉及通过剪裁对检测空间内对象位置的照明来优化用于检测、识别和/或跟踪目的的对象照明的成像系统和方法。例如，来自跟踪系统的反馈可以用于控制发光元件和使发光元件瞄准，使得照明可以依照需要减少或者增加。
[0007]总体而言，依照本发明的系统利用具有不同或者可变照射角度(还称为光束角，即关于光束轴彼此相对的两个方向之间的角度，对于这两个方向，照明强度是最大照明强度的一半)的发光元件(例如，发光二极管(LED)、白炽灯泡、激光器等)的阵列。照射角度越大，强度将随着距离衰减越快。因此，在对象被跟踪时，其范围和位置确定哪个照明设备被开启，或者它们的照射角度。
[0008]例如，检测空间最初可以用具有与跟踪设备(例如相机)的聚集视场相似的聚集视场的一个或者多个宽光束发光元件照亮。一旦获得对象的位置，可以关闭宽光束发光元件，并且可以激活指向对象方向的一个或者多个窄光束发光元件。在对象移动时，激活窄光束发光元件中的不同窄光束发光元件。在很多实施方式中，这些定向发光元件仅需要位于相机的视场中心；例如，在手跟踪的情形下，人们常常不会试图同时以宽角度和大距离与相机交互。
[0009]如果被跟踪的对象与相机成大角度(即，对于运动跟踪设备侧远)，其可能相对接近设备。因此，低功率、宽光束发光元件可以是合适的。结果，发光阵列可以包括接近相机的仅一个或者小数目的宽光束发光元件连同相等或者更大数目的窄光束设备(例如，集体覆盖相机前方空间的中心场区域一例如，在相机法线周围30°或者45°圆锥体内)。因此，可能减少或者最小化用于照射空间所需要的发光元件的数目，其中通过使用指向中心场的小数目的宽光束元件和更大(或者相等)数目的窄光束元件来检测运动。
[0010]还可能用指向不同方向的很多窄光束LED覆盖宽视场。可以操作这些窄光束LED以便于扫描所监控的空间，以便标识实际聚光照射对象的元件；仅实际聚光照射对象的这些元件保持开启而其它的被关闭。在一些实施例中，运动系统计算所跟踪对象的预测轨迹，并且该轨迹用于预期在对象移动时应该激活哪个照明元件。在获得新的跟踪信息时，轨迹连同照明模式被修正。
[0011]因此，在第一方面中，本发明涉及图像捕捉和分析系统，其包括:朝着视场定向的相机；指向视场的多个单独可控的发光元件，发光元件包括至少一个宽光束发光元件和多个窄光束发光元件；以及耦合到相机的控制器。在各种实施例中，控制器和光源被配置为操作相机捕捉包括在视场中移动的对象的图像序列；并且操作发光元件用足够的强度照射移动的对象，以便于通过相机进行图像捕捉，但是使用最小的供应功率。
[0012]在各种实施例中，发光元件包括至少一个宽光束发光元件和多个窄光束发光元件。窄光束发光元件可以具有大约60°的光束角，而宽光束发光元件可以具有大约120°的光束角。控制器可以被配置为跟踪对象并且激活窄光束发光元件中的不同窄光束发光元件，以便在对象移动时保持对象被照射。此外，控制器可以被配置为停用不必要用于照射对象的发光元件。在一些实施例中，控制器操纵窄光束发光元件，以便在对象移动时保持对象被至少一个这种元件照射。例如，控制器可以被配置为分析来自相机的图像，以便预测对象的轨迹并且依照所预测的轨迹激活或者操纵发光元件。
[0013]在第二方面中，本发明涉及图像捕捉和分析系统。在各种实施例中，系统包括:朝着视场定向的相机；多个单独可控的发光元件和与发光元件中的至少一些发光元件关联的可控光学器件，该光学器件可控地更改所关联的发光元件的光束角；以及耦合到相机和光源的控制器。控制器被配置为操作相机捕捉包括在视场中移动的对象的图像序列；并且操作发光元件和光学器件用足够的强度照射移动的对象，以便于通过相机进行图像捕捉，但是使用最小的供应功率。在一些实施例中，光学器件为可调透镜。控制器可以控制光学器件变化发光元件的光束角，并且控制驱动电流以变化发光元件的输出照度，以便最小化驱动电流。
[0014]在第三方面中，本发明涉及用于与朝着视场定向的相机和多个发光元件一起使用的图像捕捉和分析方法；发光元件包括至少一个宽光束发光元件和多个窄光束发光元件。具体而言，发光元件可以包括至少一个宽光束发光元件和多个窄光束发光元件。在各种实施例中，方法包括操作相机捕捉包括在视场中移动的对象的图像序列；并且操作发光元件用足够的强度照射移动的对象，以便于通过相机进行图像捕捉，但是使用最小的供应功率。在一些实施方式中，窄光束发光元件具有大约60°的光束角而宽光束发光元件具有大约120°的光束角。
[0015]在各种实施例中，跟踪对象，并且激活窄光束发光元件中的不同窄光束发光元件以便在对象移动时保持对象被照射；可以停用不必要用于照射对象的发光元件。此外，可以操纵窄光束发光元件，以便在对象移动时保持对象被至少一个这种元件照射。可以分析来自相机的图像以便预测对象的轨迹，并且可以依照所预测的轨迹激活和/或操纵发光元件。
[0016]在第四方面中，本发明涉及用于与朝着视场定向的相机和多个单独可控的发光元件以及与发光元件中的至少一些发光元件关联的可控光学器件一起使用的图像捕捉和分析方法；光学器件可控地更改所关联的发光元件的光束角。在各种实施例中，方法包括操作相机捕捉包括在视场中移动的对象的图像序列；并且操作发光元件和光学器件用足够的强度照射移动的对象，以便于通过相机进行图像捕捉，但是使用最小的供应功率。
[0017]如在本文中所使用的，术语“基本上”或者“大约”意指±10% (例如，按重量或者按体积)，而在一些实施例中，意指±5%。术语“本质上由......组成”意指排除对功能有贡献的其它材料，除非本文另外定义。术语“光”指代任何形式的电磁辐射并且不仅仅指代例如可见光。贯穿本说明书提及的“一个示例”、“示例”、“一个实施例”或者“实施例”意指联系示例描述的具体特征、结构或者特性包括在本技术的至少一个示例中。因此，贯穿本说明书各处出现的短语“在一个示例中”、“在示例中”、“一个实施例”或者“实施例”不必要全部指代相同示例。此外，具体特征、结构、例程、步骤或者特性可以在本技术的一个或者多个示例中以任何合适的方式组合。本文提供的标题仅为了方便而非旨在限制或者解释所要求保护的技术的范围或者含义。
[0018]以下详细描述连同附图一起将提供对本发明的实质和优点的更好理解。
【附图说明】
[0019]图1A示出了用于捕捉图像数据的表示性系统。
[0020]图1B示出了根据本发明的实施例的用于捕捉图像数据的系统。
[0021]图2是根据本发明的实施例的实现图像分析装置的计算机系统的简化框图。
[0022]图3A至图3C是根据本发明的实施例的可以获得的像素行亮度数据的图表。
[0023]图4是根据本发明的实施例的用于标识图像中对象定位的过程的流程图。
[0024]图5示出了根据本发明的实施例的其中光源以规律间隔脉冲开启的时间线。
[0025]图6示出了根据本发明的实施例的用于使光源脉冲和捕捉图像的时间线。
[0026]图7是根据本发明的实施例的用于使用连续图像标识对象边缘的过程的流程图。
[0027]图8是根据本发明的实施例的并入运动检测器作为用户输入设备的计算机系统的顶视图。
[0028]图9是根据本发明的实施例的平板计算机的前视图，其示出了并入运动检测器的计算机系统的另一示例。
[0029]图10示出了根据本发明的实施例的并入运动检测器的护目镜系统。
[0030]图11是根据本发明的实施例的用于使用运动信息作为用户输入以便控制计算机系统或者其它系统的过程的流程图。
[0031]图12示出了根据本发明的另一实施例的用于捕捉图像数据的系统。
[0032]图13示出了根据本发明的又一实施例的用于捕捉图像数据的系统。
【具体实施方式】
[0033]首先参照图1A，其示出了未实现本发明的用于捕捉图像数据的系统100。系统100包括耦合到图像分析系统106的一对相机102、104。相机102、104可以是任何类型的相机，包括跨可见光谱敏感的相机，或者更典型地，对于有限波长带(例如，红外(IR)或者紫外带)具有增强的灵敏度的相机；更一般地，术语“相机”在本文中指代有能力捕捉对象图像和以数字数据形式表示该图像的任何设备(或者设备组合)。例如，可以采用线传感器或者线相机，而非捕捉二维(2D)图像的常规设备。术语“光”一般用于意指任何电磁辐射，其可以在或者可以不在可见光谱内，并且可以是宽带的(例如白光)或者窄带的(例如单个波长或者波长的窄带)。
[0034]相机102、104优选地有能力捕捉视频图像(即，在至少15帧每秒的恒定速率的连续图像帧)，但是不要求具体帧速率。相机102、104的性能对于本发明来时不是至关重要的，并且相机可以关于帧速率、图像分辨率(例如，每图像的像素)、颜色或者强度分辨率(例如，每像素的强度数据的比特数)、透镜焦距、景深等而变化。总体上，对于具体应用，可以使用有能力聚焦在关心的空间体积内的对象上的任何相机。例如，为了捕捉其它部分静止的人的手运动，关心的体积可以被定义为边长大约一米的立方体。
[0035]所示系统100包括一对光源108、110，其可以被设置到相机102、104的两侧，并且由图像分析系统106控制。光源108、110可以是具有一般常规设计的红外光源，例如红外发光二极管(LED)，并且相机102、104可以对红外光敏感。过滤器120、122可以被放置在相机102、104前方以便过滤掉可见光，使得仅红外光被登记在由相机102、104捕捉的图像中。在其中关心的对象是人手或者人体的一些实施例中，红外光的使用可以允许运动捕捉系统在范围广泛的照明条件下操作，并且可以避免可能与将可见光直射到有人移动的区域中关联的各种不便或者注意力分散。然而，要求具体的波长或者电磁频谱区域。
[0036]应该强调的是，图1A所示的布置是表示性的而非限制性的。例如，可以使用激光器或者其它光源代替LED。对于激光器设置，可以采用附加的光学器件(例如，透镜或者漫射器)以便加宽激光器光束(并且使其视场