用于通过光学成像进行的对象检测和表征的增强对比度的制作方法

用于通过光学成像进行的对象检测和表征的增强对比度的制作方法
【专利摘要】利用引导在感兴趣的对象处的受控光照，图像中可看到的感兴趣的对象与背景表面之间的增强对比度被提供。利用光强度随距离的衰减，诸如红外光源之类的光源(或者多个光源)可以被放置在一个或多个照相机附近以在照相机捕获图像时将光照在对象上。被捕获的图像可以被分析以区分对象像素与背景像素。
【专利说明】用于通过光学成像进行的对象检测和表征的增强对比度
[0001] 与相关申请的夺叉参考
[0002] 本申请要求2012年11月8日提交的美国专利No. 61/724, 068的优先权和权益，该 美国专利的全部公开通过引用被合并于此。另外，本申请要求美国专利申请（2012年3月 7日提交的）No. 13/414, 485和（2012年12月21日提交的）13/724, 357的优先权，并且还 要求美国临时专利申请（2012年11月8日提交的）No. 61/724, 091和（2012年1月17日 提交的）61/587, 554的优先权和权益。前述申请全部内容都通过引用被合并于此。

【技术领域】
[0003] 本公开总地涉及成像系统并且具体涉及利用光学成像的三维（3D)对象检测、跟 足示和表征。

【背景技术】
[0004] 运动捕获系统被用在各种情境中以获得关于各种对象的构造和运动的信息，包括 具有联结构件的对象，例如人手和人身体。这样的系统一般包括照相机以捕获运动中的对 象的连续图像以及计算机以分析这些图像来创建对对象的体积、位置和运动的重建。对于 3D运动捕获，通常使用至少两个照相机。
[0005] 基于图像的运动捕获系统依赖从背景中区分出感兴趣对象的能力。这通常利用图 像分析算法来实现，所述算法通常通过比较像素而检测颜色和/或亮度的突然变化来检测 边缘。但是，这样的传统系统在很多常见环境下会遭遇性能恶化，例如感兴趣对象与背景和 /或可能错误地记录为对象边缘的背景中的图案之间是低对比度。
[0006] 在一些情况下，区分对象和背景可以通过"装备"感兴趣对象来实现，例如通过让 人在进行运动时带上反射器网或活动光源等。特殊照明状况（例如低光照）可以被用于使 反射器或光源在图像中凸显出来。但是，装备对象不总是一种方便或所想要的选择。


【发明内容】

[0007] 本发明的特定实施例涉及通过增强图像中可看到的对象和背景表面之间的对比 度来提高对象识别度的成像系统；这可以例如利用在对象处被引导的受控光照来实现。例 如，在其中诸如人手之类的感兴趣对象与任何背景表面相比很大程度上更靠近照相机的运 动捕获系统中，光强度随距离的衰减（对于点状光源为Ι/r 2)可以通过将光源（或多个光 源）放置在照相机或其它图像捕获设备附近并且将光照在对象上而被利用。被附近的感 兴趣对象反射的光源光可以被预期为比从更远的背景表面反射的光亮得多，并且背景越远 (相对于对象），效果越明显。因此，在一些实施例中，被捕获图像中的像素亮度的截止阈值 可以被用于区分"对象"像素与"背景"像素。虽然可以利用宽带环境光源，但是各种实施 例利用具有受限的波长范围的光和匹配为检测这样的光的照相机；例如，红外光源光可以 与对红外频率敏感的一个或多个照相机一起使用。
[0008] 因此，在第一方面，本发明涉及一种用于识别数字表示的图像场景中的感兴趣对 象的图像捕获及分析系统。在各种实施例中，该系统包括面向视场的至少一个照相机；被置 于与照相机在视场的相同侧上并且方向被放置为照亮视场的至少一个光源；以及被耦接到 照相机和光源的图像分析器。该图像分析器可以被配置为操作照相机以捕获包括在光源照 亮视场时被捕获的第一图像的一系列图像；识别出与对象相对应而不是与背景（例如附近 的或者反射的图像成分）相对应的像素；并且基于被识别的像素，构建包括对象的位置和 形状的对象的3D模型，以从几何上确定该对象与感兴趣的对象相对应。在特定实施例中， 图像分析器在（i)与位于视场的近端区内的对象相对应的前景图像成分与（ii)与位于视 场的远端区内的对象相对应的背景图像成分之间进行区分，其中近端区从照相机开始延 伸并且具有相对于照相机的深度，该深度为与前景图像成分相对应的对象与照相机之间的 预期最大距离的至少两倍，其中远端区相对于所述至少一个照相机被置于近端区以外。例 如，近端区可以具有预期最大距离的至少四倍的深度。
[0009] 在其它实施例中，图像分析器操作照相机以在光源没有照亮所述视场时捕获第二 和第三图像并且基于第一与第二图像之间的差异和第一与第三图像之间的差异识别出与 对象相对应的像素，其中第二图像在第一图像之前被捕获并且第三图像在第二图像之后被 捕获。
[0010] 光源可以例如是漫射发射器一例如红外发光二极管，在这种情况下，照相机为红 外敏感照相机。两个或更多个光源可以被布置为在照相机的两侧并且与照相机基本在同一 平面上。在各种实施例中，照相机和光源的方向被放置为垂直向上。为了增强对比度，照相 机可以被操作为提供不超过100微秒的曝光时间并且光源可以在曝光时间期间以至少5瓦 的功率水平被激活。在特定实施例中，全息衍射光栅被置于每个照相机的镜头与视场之间 (即在照相机镜头前面）。
[0011] 图像分析器可以通过以下步骤从几何上确定对象是否对应于感兴趣的对象，所述 步骤为识别出从体积上限定候选对象的椭圆，丢掉几何上与基于椭圆的限定不一致的对象 片段，并且基于椭圆确定候选对象是否对应于感兴趣的对象。
[0012] 在另一方面，本发明涉及一种用于捕获和分析图像的方法。在各种实施例中，该方 法包括以下步骤：激活至少一个光源以照亮包含感兴趣的对象的视场；在光源被激活时利 用照相机（或多个照相机）捕获视场的一系列数字图像；识别出与对象相对应而非与背景 相对应的像素；并且基于被识别出的像素，构建包括对象的位置和形状的对象的3D模型， 以从几何上确定该对象与感兴趣的对象相对应。
[0013] 光源可以被放置以使得感兴趣的对象被置于视场的近端区内，其中近端区从照相 机延伸到感兴趣的对象与照相机之间的预期最大距离的至少两倍的距离处。例如，近端区 可以具有预期最大距离的至少四倍的深度。光源可以例如是漫射发射器一例如红外发光二 极管，在这种情况下，照相机为红外敏感照相机。两个或更多个光源可以被布置为在照相机 的两侧并且与照相机基本在同一平面上。在各种实施例中，照相机和光源的方向被放置为 垂直向上。为了增强对比度，照相机可以被操作为提供不超过100微秒的曝光时间并且光 源可以在曝光时间期间以至少5瓦的功率水平被激活。
[0014] 或者，对象像素可以通过捕获光源未被激活时的第一图像、光源被激活时的第二 图像以及光源未被激活时的第三图像而被识别，其中与对象相对应的像素基于第二与第一 图像之间的差异和第二与第三图像之间的差异而被识别。
[0015] 从几何上确定对象是否对应于感兴趣的对象可以包括或者由以下步骤组成：识别 出从体积上限定候选对象的椭圆，丢掉几何上与基于椭圆的限定不一致的对象片段，并且 基于椭圆确定候选对象是否对应于感兴趣的对象。
[0016] 在另一方面中，本发明涉及一种将圆形对象放置在数字图像内的方法。在各种实 施例中，该方法包括以下步骤：激活至少一个光源以照亮包含感兴趣的对象的视场；操作 照相机以捕获一系列图像，这些图像包括在所述至少一个光源照亮视场时所捕获的第一图 像；以及分析图像以检测其中指示视场中的圆形对象的高斯亮度衰减模式。在一些实施例 中，圆形对象在不识别其边缘的情况下被检测。该方法还可以包括通过多个被捕获图像跟 踪被检测的圆形对象的运动。
[0017] 本发明的另一方面涉及一种用于将圆形对象放置在视场内的图像捕获及分析系 统。在各种实施例中，该系统包括面向视场的至少一个照相机；被置于与照相机在视场的 相同侧上并且方向被放置为照亮视场的至少一个光源；以及被耦接到照相机和光源的图像 分析器。该图像分析器可以被配置为操作照相机以捕获包括在光源照亮视场时被捕获的 第一图像的一系列图像；并且分析图像以检测其中指示视场中的圆形对象的高斯亮度衰减 模式。在一些实施例中，圆形对象可以在不识别其边缘的情况下被检测。该系统还可以通 过多个被捕获图像跟踪被检测的圆形对象的运动。
[0018] 如这里所使用的，术语"基本"或"大约"表示（例如重量或体积的）±10%，并且在 一些实施例中为±5%。术语"实质上由…组成"表示排除促进功能的实现的其它材料，除 非在这里另外定义。在整个说明书中对"一个示例"、"示例"、"一个实施例"或"实施例"的 引用表示结合该示例描述的特定特征、结构或特性被包括在本技术的至少一个示例中。因 而，在整个说明书中的各个地方的短语"在一个示例中"、"在示例中"、"一个实施例"或"实 施例"的出现不一定都指同一示例。此外，特定特征、结构、例程、步骤或特性可以在本技术 的一个或多个示例中按任何合适的方式被组合。这里所提供的名称只是为了方便并且不意 欲限制或解释所要求保护的技术的范围或意义。
[0019] 结合附图的以下详细描述将提供对本发明的本质和优点的更好的理解。

【专利附图】

【附图说明】
[0020] 图1是图示了根据本发明实施例的用于捕获图像数据的系统。
[0021] 图2是实现根据本发明实施例的图像分析设备的计算机系统的简化框图。
[0022] 图3A-3C是根据本发明实施例的可以得到的针对像素行的亮度数据的图。
[0023] 图4是根据本发明实施例的用于识别图像中的对象的位置的过程的流程图。
[0024] 图5图示了根据本发明实施例的按规律间隔被脉冲激励的光源的时间表。
[0025] 图6图示了根据本发明实施例的用于脉冲激励光源和捕获图像的时间表。
[0026] 图7是根据本发明实施例的用于利用连续图像识别对象边缘的过程的流程图。
[0027] 图8是根据本发明实施例的包括作为用户输入设备的运动检测器的计算机系统 的顶视图。
[0028] 图9是图示了根据本发明实施例的包括运动检测器的计算机系统的另一示例的 平板计算机的前视图。
[0029] 图10图示了根据本发明实施例的包括运动检测器的护目镜系统。
[0030] 图11是根据本发明实施例的用于利用运动信息作为用户输入来控制计算机系统 或其它系统的过程的流程图。
[0031] 图12图示了根据本发明另一实施例的用于捕获图像数据的系统。
[0032] 图13图示了根据本发明又一实施例的用于捕获图像数据的系统。

【具体实施方式】
[0033] 首先参考图1，该图图示了根据本发明实施例的用于捕获图像数据的系统100。系 统100包括被耦接到图像分析系统106的一对照相机102, 104。照相机102, 104可以是任 意类型的照相机，包括在可见光谱上敏感的照相机或者更典型的对受限波长谱带（例如红 外（IR)或紫外谱带）有增强敏感性的照相机；更一般来说，这里的术语"照相机"指能够捕 获对象的图像并且以数字数据的形式表示该图像的任意设备（或者设备的组合）。例如，不 同于捕获二维（2D)图像的传统设备的线连传感器或线连照相机可以被利用。术语"光"一 般被用于指任何电磁辐射，该电磁辐射可以在或不在可见光谱内，并且可以是宽带的（例 如白光）或窄带的（例如单一波长或者窄谱带波长）。
[0034] 数字照相机的核心是图像传感器，该图像传感器包含光敏感图片单元（像素）的 网格。镜头将光聚焦到图像传感器的表面，并且当光以不同强度撞击像素时形成图像。每 个像素将光转换为电荷（电荷的大小反映所检测到的光的强度），并且收集电荷使得其可 以被测量。CCD和CMOS图像传感器两者都实现这个相同的功能，但是在信号被测量和传送 的方式上是不同的。
[0035] 在CCD中，来自每个像素的电荷被传输到将电荷转换为可测量电压的单一结构。 这通过以下方式来实现，该方式即按"斗链"方式逐行然后逐列地将每个像素中的电荷顺序 地移向其邻居一直到电荷到达测量结构为止。相比之下，CMOS传感器在每个像素位置处放 置测量结构。测量结果直接从每个位置被传送到传感器的输出。
[0036] 照相机102, 104优选能够捕获视频图像（即按每秒至少15帧的固定速率的连续 图像帧），但是不要求特定的帧速率。照相机102, 104的能力对于本发明来说不是至关重要 的，并且照相机在帧速率、图像分辨率（例如每个图像的像素）、颜色或强度分辨率（例如每 个像素的强度数据的比特数）、透镜的焦距、景深等方面可以是变化的。一般来说，对于特定 应用，能够聚焦在感兴趣的空间体积内的对象上的任何照相机都可以使用。例如，为了捕获 在其它方面静止的人的手的运动，感兴趣的体积可以被限定为一边为大约一米的立方体。
[0037] 系统100还包括一对光源108, 110,这对光源可以被置于照相机102, 104的任一侧 并且由图像分析系统106控制。光源108, 110可以是具有一般传统设计的红外光源，例如 红外发光二极管（LED)，并且照相机102, 104可以对红外光敏感。滤色器120, 122可以被放 在照相机102, 104的前面以滤出可见光，使得只有红外光被记录在照相机102, 104所捕获 的图像中。在其中感兴趣的对象是人的手或身体的一些实施例中，红外光的使用可以允许 运动捕获系统在宽范围的光照情况下工作并且可以避免可能与将可见光引至其中人正在 运动的区域中相关联的各种不便或干扰。但是，需要电磁谱的特定波长或区域。
[0038] 应当强调之前的布置是代表性的而非限制性的。例如，激光器或其它光源可以代 替LED被使用。对于激光器设置，附加的光学结构（例如透镜或漫射片）可以被用于加宽 激光束（并且使其视场与照相机的视场相类似）。有用的布置还可以包括用于不同范围的 短且宽角度照明器。光源通常是扩散光源而不是镜面反射点源；例如，具有光扩展封装的封 装LED是合适的。
[0039] 在操作中，照相机102, 104定向为朝向感兴趣的区域112,感兴趣的对象114(在该 示例中为手）和一个或多个背景对象116可以存在于感兴趣的区域112中。光源108, 110被 布置为照亮区域112。在一些实施例中，光源108, 110中的一个或多个以及照相机102, 104 中的一个或多个被置于要被检测的运动下面（例如手运动要被检测的地方）运动发生的空 间区域下方。这是最佳的位置，因为关于手所记录的信息量与其在照相机图像中所占用的 像素数目成比例，当照相机相对于手的"指向"的角度尽可能地接近于垂直时手将占用更多 的像素。因为对于用户来说将其手掌朝向屏幕是不舒服的，所以最佳位置为从底部向上看、 从顶部向下看（这需要搭桥）或者从屏幕边框沿对角线向上或向下看。在向上看的情形中， 比较不可能与背景对象（例如用户书桌上的混乱）混淆并且如果直接向上看，则与视场外 的其它人混淆的可能性非常小（并且还通过不对脸部成像而提高了私密性）。可以例如为 计算机系统的图像分析系统106可以控制光源108, 110和照相机102, 104的操作以捕获区 域112的图像。基于所捕获的图像，图像分析系统106确定对象114的位置和/或运动。
[0040] 例如，作为确定对象114的位置的步骤，图像分析系统106可以确定照相机 102, 104所捕获的各个图像的哪些像素包含对象114的部分。在一些实施例中，图像中的任 意像素可以取决于该像素是否包含对象114的一部分而被归类为"对象"像素或"背景"像 素。在使用光源108, 110的情况下，将像素归类为对象或背景像素可以基于像素的亮度。 例如，感兴趣的对象114与照相机102, 104之间的距离（A)被预期为小于背景对象116与 照相机102, 104之间的距离（rB)。因为来自光源108, 110的光的强度按Ι/r2降低，所以对 象114将比背景116更亮地被照亮，并且包含对象114的部分的像素（即对象像素）将相 应地与包含背景116的部分的像素（即背景像素）更亮。例如，如果r B/r。= 2,则对象像素 将比背景像素大约亮四倍，这里假定对象114和背景116对来自光源108, 110的光有类似 的反射性，并且还假定区域112的整体照明（至少在照相机102, 104所捕获的频带内）受 光源108, 110支配。对于适当选择的照相机102, 104、光源108, 110、滤色器120, 122和常 碰到的对象，这些假定一般都成立。例如，光源108, 110可以是能够在窄频带内很强地发出 辐射的红外LED，并且滤色器120, 122可以被匹配到光源108, 110的频带。因而，虽然人手 或身体或者背景中的热源或其它对象可能发出一些红外辐射，但是照相机102, 104的响应 仍然可能受源自光源108, 110并且被对象114和/或背景116反射的光的支配。
[0041] 在该布置中，图像分析系统106可以通过向每个像素应用亮度阈值来快速且准 确地区分对象像素与背景像素。例如，CMOS传感器或类似设备中的像素亮度可以在从 0. 0(暗）到1. 0(完全饱和）的亮度级上被测量，介于中间的某些分级取决于传感器设计。 通常由于所沉积的电荷或二极管电压，由照相机像素编码的亮度与对象的亮度标准地（线 性地）成比例。在一些实施例中，光源108, 110足够亮以使得从在距离&处的对象反射的 光产生1. 0的亮度水平而在距离rB = 2a处的对象产生0. 25的亮度水平。因而，对象像素 可以基于亮度很容易地与背景像素区分开。此外，对象的边缘也可以基于相邻像素之间的 亮度差异而很容易地被检测，允许每个图像内的对象的位置被确定。对来自照相机102, 104 的图像之间的对象位置做相关允许图像分析系统106确定对象114在3D空间中的位置，并 且分析图像序列允许图像分析系统106利用传统的运动算法来重建对象114的3D运动。
[0042] 应理解系统100是图示性的并且改变和修改都是可能的。例如，光源108, 110被 显示为被置于照相机102, 104的任一侧。这可以便于实现如从两个照相机的角度来看的对 对象114的边缘的照亮；但是，关于照相机和光源的特定布置不是所要求的。（其它布置的 示例在下面被描述。）只要对象比背景明显靠近照相机，这里所描述的增强的对比度就可以 被实现。
[0043] 图像分析系统106(也被称为图像分析器）可以包括或由能够例如利用这里所描 述的技术来捕获和处理图像数据的任意设备或设备成分构成。图2是实现根据本发明实施 例的图像分析系统106的计算机系统200的简化框图。计算机系统200包括处理器202、存 储器204、照相机接口 206、显示器208、扬声器209、键盘210和鼠标211。
[0044] 存储器204可以被用于存储要被处理器202执行的指令以及与指令的执行相关联 的输入和/或输出数据。具体而言，存储器204包含控制处理器202的操作及其与其它硬件 成分的交互的指令，这些指令从概念上被图示为下面将更详细描述的一组模块。操作系统 引导低级别的基本系统功能的执行，例如存储器分配、文件管理和大规模存储设备的操作。 操作系统可以为或者包括各种操作系统，例如Microsoft WINDOWS操作系统、Unix操作系 统、Linux操作系统、Xenix操作系统、IBM AIX操作系统、Hewlett Packard UX操作系统、 Novell NETWARE 操作系统、Sun Microsystems SOLARIS 操作系统、OS/2 操作系统、BeOS 操 作系统、MACINTOSH操作系统、APACHE操作系统、0PENSTEP操作系统或者另外的操作系统平 台。
[0045] 计算环境还可以包括其它可移除/不可移除、易失性/非易失性计算机存储介质。 例如，硬盘驱动可以向不可移除的非易失性磁介质读或写。磁盘驱动可以从可移除的非易 失性磁盘读取或向其写入，并且光盘驱动可以从诸如CD-ROM或其它光介质之类的可移除 的非易失性光盘读取或向其写入。可以被用在示例性操作环境中的其它可移除/不可移 除、易失性/非易失性计算机存储介质包括但不限于磁带盒、闪存卡、数字通用盘、数字视 频带、固态RAM、固态ROM等。存储介质通常通过可移除或不可移除的存储器接口被连接到 系统总线。
[0046] 处理器202可以是通用微处理器，但是取决于实现方式，备选地可以是微控制器、 外围集成电路元件、CSIC(用户专用集成电路）、ASIC(专用集成电路）、逻辑电路、数字信号 处理器、诸如FPGA(现场可编程门阵列）之类的可编程逻辑设备、PLD(可编程逻辑设备）、 PLA(可编程逻辑阵列）、RFID处理器、智能芯片或者能够实现本发明的过程的步骤的任何 其它设备或设备的布置。
[0047] 照相机接口 206可以包括实现计算机系统200与诸如图1中所示的照相机 102, 104之类的照相机以及诸如图1的光源108, 110之类的关联光源之间的通信的硬件 和/或软件。因而，例如，照相机接口 206可以包括照相机可以被连接到的一个或多个数 据端口 216, 218,以及在将数据信号作为输入提供给在处理器202上执行的传统运动捕获 ("mocap"）程序214之前修改从照相机接收到的数据信号（例如为了减少噪声或者对数 据重新格式化）的硬件和/或软件信号处理器。在一些实施例中，照相机接口 206还可以 向照相机发送信号，例如以激活或者停用照相机、控制照相机设置（帧速率、图像质量、敏 感性等）等等。这样的信号可以例如响应于来自处理器202的控制信号而被发送，所述控 制信号可以反过来响应于用户输入或其它检测到的事件而生成。
[0048] 照相机接口 206还可以包括控制器217, 219,光源（例如光源108, 110)可以被 连接到所述控制器。在一些实施例中，控制器217, 219例如响应于来自处理器202的执行 mocap程序214的指令向光源提供工作电流。在其它实施例中，光源可以从外部电源（未被 示出）提取工作电流，并且控制器217, 219可以生成用于光源的控制信号，例如指示光源被 打开或关闭或者改变亮度。在一些实施例中，单一控制器可以被用于控制多个光源。
[0049] 限定mocap程序214的指令被存储在存储器204中，并且这些指令在被执行时 对从被连接到照相机接口 206的照相机提供的图像进行运动捕获分析。在一个实施例中， mocap程序214包括各种模块，例如对象检测模块222和对象分析模块224 ;同样，这两个 模块都是传统的并且在现有技术中被充分表征的。对象检测模块222可以分析图像（例如 经由照相机接口 206捕获的图像）以检测其中对象的边缘和/或关于对象的位置的其它信 息。对象分析模块224可以分析对象检测模块222所提供的对象信息以确定对象的3D位 置和/或运动。可以在mocap程序214的代码模块中实现的操作的示例在下面描述。存储 器204还可以包括mocap程序214所使用的其它信息和/或代码模块。
[0050] 显示器208、扬声器209、键盘210和鼠标211可以被用于方便实现与计算机系统 200的用户交互。这些成分可以是具有一般传统设计的或者按需要被修改以提供任意类型 的用户交互。在一些实施例中，利用照相机接口 206和mocap程序214的运动捕获的结果 可以被解读为用户输入。例如，用户可以执行利用mocap程序214分析的手势，并且该分析 的结果可以被解读为对在处理器200上执行的某个其它程序（例如web浏览器、字处理器 或其它应用）的指令。因而，作为演示，用户可以利用向上或向下扫动手势来"滚动"当前 被显示在显示器208上的网页，利用旋转手势来提高或降低从扬声器209输出的音频的音 量等等。
[0051] 应当理解计算机系统200是图示性的并且可以进行改变和修改。计算机系统可以 按各种形式因素来实现，包括服务器系统、台式机系统、膝上型计算机系统、平板计算机、智 能电话或个人数字助理等等。特定的实现方式可以包括这里未被描述的其它功能，例如有 线和/或无线网络接口、媒体播放和/或记录功能等等。在一些实施例中，一个或多个照相 机可以被构建到计算机中，而不是作为单独的成分被提供。此外，图像分析器可以只利用计 算机系统成分的子集来实现（例如作为具有合适的1/0接口以接收图像数据和输出分析结 果的处理器执行程序代码、ASIC或固定功能数字信号处理器）。
[0052] 虽然计算机系统200在这里参考特定模块被描述，但是应当理解这些模块是为了 描述的方便而限定的而不是为了暗示关于组成部件的特定物理布置。此外，这些模块不需 要对应于物理上不同的成分。就物理上不同成分被使用的程度而言，成分之间的连接（例 如用于数据通信）根据需要可以是有线的和/或无线的。
[0053] 处理器202对对象检测模块222的执行可以使处理器202操作照相机接口 206来 捕获对象的图像并且通过分析图像数据来区分对象像素与背景像素。图3A-3C是根据本发 明的各个实施例可以得到的针对像素行的亮度数据的三个不同的图。虽然每个图图示了一 个像素行，但是应当理解图像通常包含很多行像素，并且一行可以包含任意数目的像素；例 如HD视频图像可以包括每行具有1920个像素的1080行。
[0054] 图3A图示了其中对象具有单一横截面（例如穿过手掌的横截面）的针对像素行 的亮度数据300。与对象相对应的区域302中的像素具有高亮度，而与背景相对应的区域 304和306中的像素具有相对低得多的亮度。可以看出，对象的位置是很明显的，并且对象 的边缘的位置（在308和310处）容易被识别。例如，具有高于0.5的亮度的任意像素可 以被假定为对象像素，而具有低于〇. 5的亮度的任意像素可以被假定为背景像素。
[0055] 图3B图示了其中对象具有多个不同的横截面（例如穿过张开的手的手指的横截 面）的针对像素行的亮度数据320。与对象相对应的区域322, 323和324具有高亮度，而 与背景相对应的区域326-329中的像素具有低亮度。同样，简单的亮度阈值截止（例如在 0. 5处）足以区分对象像素与背景像素，并且对象的边缘可以很容易地被确定。
[0056] 图3C图示了其中到对象的距离在像素行上变化（例如有两个手指伸向照相机的 手的横截面）的针对像素行的亮度数据340。区域342和343对应于被伸出的手指并且 具有最高亮度；区域344和345对应于手的其它部分并且亮度稍低；这可能部分由于远离 部分由于被伸出的手指所投射的阴影。区域348和349为背景区域并且比包含手的区域 342-345要暗得多。亮度的阈值截止（例如在0.5处）同样足以区分对象像素与背景像素。 关于对象像素的进一步分析也可以被进行以检测区域342和343的边缘，提供关于对象的 形状的更多信息。
[0057] 应理解图3A-3C中所示的数据是图示性的。在一些实施例中，可能想要调节光源 108, 110的强度以使得在预期距离（例如图1中的A)处的对象将被曝光过度一即，即使不 是全部的对象像素也是很多个对象像素将被充分饱和到1. 0的亮度水平。（对象的实际亮 度可能实际上会更高。）虽然这可能也使背景像素更亮一点，但是光强度随距离的Ι/r2衰 减仍然导致很容易在对象和背景像素之间进行区分，只要光强度不被设置为高到背景像素 也达到饱和水平即可。如图3A-3C所图示的，使用在对象处被引导的光照来产生对象和背 景之间的强烈对比允许使用简单且快速的算法来在背景像素与对象像素之间进行区分，这 可能在实时运动捕获系统中特别有用。简化区分背景和对象像素的工作也可以将计算资源 空闲出来用于其它运动捕获工作（例如重建对象的位置、形状和/或运动）。
[0058] 现在参考图4,该图图示了根据本发明实施例的用于识别图像中的对象的位置的 过程400。过程400可以例如在图1的系统100中实现。在框402处，光源108, 110被开 启。在框404处，一个或多个图像利用照相机102, 104被捕获。在一些实施例中，来自每个 照相机的一个图像被捕获。在其它实施例中，一系列图像从每个照相机中被捕获。来自两 个照相机的图像可以在时间上紧密相关（例如同时到几毫秒以内）以使得来自两个照相机 的相关图像可以被用于确定对象的3D位置。
[0059] 在框406处，阈值像素亮度被应用以区分对象像素与背景像素。框406还可以包 括基于背景和对象像素之间的过渡点识别出对象的边缘的位置。在一些实施例中，每个像 素首先基于其是否超过阈值亮度截止值而被归类为对象或背景。例如，如图3A-3C中所示， 在饱和水平0. 5处的截止值可以被使用。一旦像素被归类，边缘可以通过找到背景像素与 对象像素相邻接的位置而被检测。在一些实施例中，为了避免噪声伪影，在边缘的任一侧上 的背景和对象像素的区域可以被要求具有特定的最小尺寸（例如2、4或8个像素）。
[0060] 在其它实施例中，边缘可以在不首先将像素归类为对象或背景的情况下被检测。 例如，Λ β可以被定义为相邻像素之间的亮度差异，并且在阈值以上的I Λ β I (例如按饱 和量级来衡量为〇. 3或0. 5)可以指示在相邻像素之间从背景到对象或者从对象到背景的 过渡。（Λβ的符号可以指示过渡的方向。）在其中对象的边缘实际上在像素中间的一些 情况下，可能存在具有在边界处的中间值的像素。这可以例如通过计算针对像素 i的两个 壳度值：β L = ( β i+ β i_l) /2和β R = ( β i+ β i+1) /2而被检测，其中像素（i_l)在像素 i的左边而像素（i+1)在像素 i的右边。如果像素 i不靠近边缘，则I β L-β R| -般将接近 零；如果像素靠近边缘，则I 0L-i3R|将更接近1，并且关于| i3L_i3R|的阈值可以被用于 检测边缘。
[0061] 在一些情况下，对象的一部分可能部分地遮住图像中的另一对象；例如，如果是 手，手指可能部分地遮住手掌或另一手指。一旦背景像素已被消除，在对象的一部分部分地 遮住另一对象的地方出现的遮盖边缘还可以基于亮度的更小但不同的变化而被检测。图3C 图示了这样的部分遮盖的示例，并且遮盖边缘的位置是明显的。
[0062] 被检测到的边缘可以被用于各种用途。例如，如之前所指出的，两个照相机所看到 的对象的边缘可以被用于确定3D空间中的对象的近似位置。与照相机的光轴横切的2D平 面中的对象的位置可以根据单一图像被确定，并且如果照相机之间的间隔已知，则来自两 个不同照相机的时间相关图像中的对象的位置之间的偏差（视差）可以被用于确定到对象 的距离。
[0063] 此外，对象的位置和形状可以基于来自两个不同照相机的时间相关的图像中的对 象边缘的位置而被确定，并且对象的运动（包括联结）可以根据对连续的图像对的分析而 被确定。可以被用于基于对象的边缘的位置确定对象的位置、形状和运动的技术的示例在 2012年3月7日提交的共同未决美国专利申请No. 13/414,485中被描述，该美国专利申请 的全部公开通过引用被合并于此。看到本公开的本领域技术人员将意识到基于关于对象的 边缘的位置的信息确定对象的位置、形状和运动的其它技术也可以被使用。
[0064] 根据上述' 485申请，对象的运动和/或位置利用少量的信息被重构。例如，从特 定制高点看到的对象的形状或轮廓的剪影可以被用于限定在各个平面中从所述制高点到 对象的切线，这里被称为"切片"。利用少至两个不同的制高点，从制高点到对象的四条（或 更多条）切线可以在给定的切片中被得到。根据这四条（或更多条）切线，可以确定切片 中的对象的位置并且例如利用一个或多个椭圆形或其它简单的闭合曲线来近似得到对象 在切片中的横截面。作为另一示例，在特定切片中的对象的表面上的点的位置可以被直接 确定（例如利用飞时测距照相机），并且切片中的对象的横截面的位置和形状可以通过将 椭圆或其它简单的闭合曲线适配到所述那些点而被近似得到。针对不同切片所确定的位置 和横截面可以被相关以构建对象的3D模型，包括其位置和形状。一系列图像可以利用相同 的技术分析以对对象的运动建模。具有多个单独联结构件的复杂对象（例如人手）的运动 可以利用这些技术被建模。
[0065] 更具体而言，xy平面内的椭圆可以用五个参数来表征：中心的X和y坐标（xc，y c)、 长半轴、短半轴和旋转角度（例如长半轴相对于短半轴的角度）。仅仅利用四个切线，椭圆 是不能被充分表征的。但是，尽管如此也可以用于估计椭圆的高效率过程涉及做出关于所 述参数中的一个的初始工作设定（或"猜测"）并且当附加信息在分析期间被收集时重新做 出设定。这个附加信息可以包括例如基于照相机和/或对象的属性的物理约束条件。在一 些情况下，对象的四条以上的切线可以用于一些或全部切片，例如因为有两个以上的制高 点可用。椭圆形横截面仍然可以被确定，并且在一些实例中，由于不需要设定参数值，该过 程被稍微简化。在一些实例中，附加的切线可能带来额外的复杂度。在一些情况下，对象 的少于四条的切线可以用于一些或全部切片，例如因为对象的边缘在一个照相机的视场的 范围以外或者因为边缘未被检测到。具有三个切线的切片可以被分析。例如，利用来自适 配到相邻切片（例如具有至少四条切线的切片）的椭圆的两个参数，针对椭圆和三条切线 的方程系统被充分的确定使得其可以被解出。作为另一个选择，圆形可以被适配到三条切 线；在平面中定义圆形只需要三个参数（中心坐标和半径），所以三条切线足以适配圆形。 具有少于三条切线的切片可以被丢掉或者与相邻切片相组合。
[0066] 为了从几何上确定对象是否对应于感兴趣的对象，一种方法是搜索限定对象的椭 圆的连续体积并且丢掉几何上与对象基于椭圆的限定不一致的对象片段一例如太圆柱形 或太直或太细或太小或太远的片段一并且丢掉这些片段。如果仍然有足够数目的椭圆来表 征对象并且与感兴趣的对象一致，则对象因此而被识别，并且可以从帧到帧地被跟踪。
[0067] 在一些实施例中，多个切片中的每个切片被单独分析以确定对象在该切片中的椭 圆形横截面的尺寸和位置。这提供了初始的3D模型（具体而言是椭圆形横截面的层叠）， 该模型可以通过相关不同切片上的横截面而被改进。例如，预期对象的表面将具有连续性， 并且不连续的椭圆可以相应地被扣除。进一步的改进可以例如基于与运动和变形的连续性 相关的预期而将3D模型与其自身在时间上相关而被获得。重新参考图1和图2,在一些实 施例中，光源108, 110可以工作在脉动模式下而不是持续地开启。这可能是有用的，例如在 光源108, 110有能力在脉冲操作下而非稳态操作下产生更亮的光的情况下。图5图示了其 中光源108, 110按规律的时间间隔被脉冲激活的时间表，如502处所示。照相机102, 104 的快门可以被打开以在与光脉冲一致的时间处捕获图像，如504处所示。因而，感兴趣的对 象可以在图像被捕获时的时间期间被明亮地照亮。在一些实施例中，对象的轮廓从对象的 一个或多个图像中被提取，所述图像揭示从不同的制高点所看到的关于对象的信息。虽然 轮廓可以利用多种不同的技术得到，但是在一些实施例中，轮廓是通过利用照相机来捕获 对象的图像并且分析图像以检测对象边缘而被得到的。
[0068] 在一些实施例中，光源108, 110的脉冲激活可以被用于进一步增强感兴趣的对象 与背景之间的对比度。具体而言，如果场景包含自身发光或者具有高反射性的对象，则在场 景中的相关和不相关（例如背景）对象之间进行区分的能力可能被减弱。这个问题可以通 过将照相机曝光时间设置为非常短的时段（例如100微秒或者更短）并且以非常高的功率 (即5到20瓦或者在一些情况下达到更高的水平，例如40瓦）脉冲激活照明来解决。在 这个时间段中，最常见的环境照明源（例如荧光灯）与这种很亮的短时段照明相比非常暗； 就是说，按微秒来说，非脉动光源比曝光时间为毫秒或者更长时看起来更暗。在效果上，该 方法提高了感兴趣的对象相对于其它对象（甚至是在相同的常见谱带内发光的那些对象） 的对比度。因此，在这样的情况下通过亮度进行区分允许不相关的对象被忽略以用于图像 重构和处理的目的。平均功率消耗也被降低；在针对100微秒20瓦的情况下，平均功率消 耗在10毫瓦以下。一般来说，光源108, 110被操作为在整个照相机曝光时段期间为开启状 态，即脉冲宽度等于曝光时间并且与曝光时间协调。
[0069] 也可以通过将光源108, 110开启状态下所得到的图像与光源108, 110关闭状态下 所得到的图像相对比来协调光源108, 110的脉冲激活。图6图示了其中光源108, 110按如 602处所示的规律的时间间隔被脉冲激活而照相机102, 104的快门在604处所示的时间处 被打开以捕获图像的时间表。在这种情况下，光源108, 110对于每隔一个图像而言是"开启 的"。如果感兴趣的对象与背景区域相比非常明显地靠近于光源108, 110,则光强度上的差 异对于对象像素而言要比对于背景像素而言更大。因此，比较连续图像中的像素可以帮助 区分对象和背景像素。
[0070] 图7是根据本发明实施例的用于利用连续图像识别对象边缘的过程700的流程 图。在框702处，光源被关闭，并且在框704处，第一图像（A)被捕获。然后，在框706处， 光源被开启，并且在框708处，第二图像（B)被捕获。在框710处，"差异"图像B-A例如通 过从图像B中的相应像素的亮度值中减去图像A中的每个像素的亮度值而被计算。由于图 像B是在有光的情况下被捕获的，所以预期B-A对于大多数像素来说将是正值。
[0071] 差异图像被用于通过逐个像素地应用阈值或其它量值来在背景和前景之间进行 区分。在框712处，阈值被应用于差异图像（B-A)以识别对象像素，（B-A)在阈值以上为与 对象像素相关联，而（B-A)在阈值以下则是与背景像素相关联。然后，对象边缘可以通过识 别对象像素与背景像素相邻接的地方而被限定，如上所述。对象边缘可以被用于诸如位置 和/或运动检测的目的，如上所述。
[0072] 在替代实施例中，对象边缘利用三个图像帧而非一对图像帧来识别。例如，在一个 实现方式中，第一图像（图像1)在光源关闭的状态下得到；第二图像（图像2)在光源开启 的状态下得到；并且第三图像（图像3)在光源再次关闭的状态下得到。然后两个差异图 像，
[0073] 图像4 = abs (图像2 -图像1)和
[0074] 图像5 = abs (图像2 -图像3)
[0075] 通过将像素亮度值相减而被定义。最终的图像（图像6)基于两个图像（图像4 和图像5)被定义。具体而言，图像6中的每个像素的值是图像4和图像5中的两个相应的 像素值中的较小值。换言之，图像6=就逐个像素而言的min(图像4,图像5)。图像6代 表具有提高的准确性的差异图像并且其大部分像素将为正值。同样，阈值或其它量值可以 就逐个像素被使用以区分前景和背景像素。
[0076] 如这里所描述的基于对比度的对象检测可以被应用在其中感兴趣的对象被预期 为与背景对象相比非常明显地靠近（例如距离减半）光源的任何情形中。一个这样的应用 涉及将运动检测用作用户输入来与计算机系统交互。例如，用户可以指向屏幕或者做出其 它手势，这些手势可以作为输入被计算机系统解释。
[0077] 根据本发明实施例的包括运动检测器作为用户输入设备的计算机系统800在图8 中被示出。计算机系统800包括台式机箱802,该台式机箱可以容纳计算机系统的各种成 分，例如处理器、存储器、固定或可移除磁盘驱动、视频驱动器、音频驱动器、网络接口成分 等等。显示器804被连接到台式机箱802并且被放置在用户可以看到的地方。键盘806被 放置在用户的手容易到达的范围内。运动检测器单元808被放在键盘806附近（例如如图 所示的键盘后面或者键盘的一侧），面向其中用户很自然地做出显示器804处所指示的手 势的区域（例如在键盘上方和监视器前面的空间中的区域）。照相机810, 812 (可以与上述 照相机102, 104类似或相同）被布置为总体上向上指，并且光源814, 816 (可以与上述光源 108, 110类似或相同）被布置在照相机810, 812的任一侧以照亮运动检测器单元808上面 的区域。在典型的实现方式中，照相机810, 812和光源814, 816基本在同一平面上。这个 配置防止可能例如与边缘检测相干扰的阴影的出现（光源如果被放置在照相机之间而非 侧翼则可能出现这种情况）。未被示出的滤色器可以被放置在运动检测器单元808的顶部 上面（或者刚好在照相机810, 812的光圈上）以滤出在光源814, 816的峰值频率附近的频 带以外的所有光。
[0078] 在所图示的配置中，当用户移动照相机810, 812的视场中的手或其它对象（例如 铅笔）时，背景将可能由天花板和/或各种安装在天花板上的装置构成。人的手可以在运动 检测器808上方10-20cm处，而天花板可以是那个距离的五到十倍。因此，来自光源814, 816 的光照在人的手上将比在天花板上的强度大得多，并且这里所描述的技术可以被用于可靠 地区分照相机810, 812所捕获的图像中的对象像素与背景像素。如果红外光被使用，则用 户将不会被光分散注意或打扰。
[0079] 计算机系统800可以利用图1中所示的体系结构。例如，运动检测器单元808的 照相机810, 812可以将图像数据提供给台式机箱802,并且图像分析和后续的解释可以利 用台式机箱802内所容纳的处理器及其它成分来执行。或者，运动检测器单元808可以 包括处理器或其它成分以执行图像分析和解释的一些或全部步骤。例如，运动检测器单元 808可以包括实现上述过程中的一个或多个过程以在对象像素与背景像素之间进行区分的 (可编程的或固定功能的）处理器。在这种情况下，运动检测器单元808可以将被捕获图像 的缩减表示（例如所有背景像素都被清零的表示）发送给台式机箱802以进一步分析和解 释。不需要在运动检测器单元808内部的处理器与台式机箱802内部的处理器之间特别区 分计算任务。
[0080] 并不总是需要通过绝对亮度水平在对象像素与背景像素之间进行区分；例如，在 具备关于对象形状的了解的情况下，亮度衰减的模式可以被利用以在即使不明确检测到对 象边缘的情况下检测图像中的对象。在圆形对象（例如手和手指）上，例如，Ι/r 2的关系产 生在对象的中心附近的高斯或者近似高斯亮度分布；对由LED照亮并且相对于照相机垂直 放置的圆柱成像得到具有对应于圆柱轴的明亮中心线且亮度向每一侧衰减（在圆柱周围） 的图像。手指近似为圆柱形的，并且通过识别这些高斯峰值，可以即使在背景很近并且由于 背景的相对亮度（由于接近或者背景可能主动发出红外光这一事实）而使得边缘不可看到 的情况下也可以定位手指。术语"高斯"在这里被宽泛地用于表示具有负的二次导数的曲 线。通常这样的曲线将是钟形状的并且对称的，但是也不一定；例如，在具有更高的对象镜 面的情况下或者如果对象处于极端的角度，则该曲线可能沿特定方向歪斜。因此，如这里所 使用的，术语"高斯"并不局限于明显符合高斯函数的曲线。
[0081] 图9图示了根据本发明实施例的包括运动检测器的平板计算机900。平板计算 机900具有外壳，该外壳的正表面包括由边框904包围的显不屏902。一个或多个控制按 钮906可以被包括在边框904内。在外壳内，例如显示屏902后面，平板计算机900可以具 有各种传统的计算机成分（处理器、存储器、网络接口等）。运动检测器910可以利用被安 装在边框904内并且面向正表面以捕获位于平板计算机900前面的用户的运动的照相机 912, 914 (例如与图1的照相机102, 104相似或相同）和光源916, 918 (例如与图1的光源 108, 110相似或相同）来实现。
[0082] 当用户移动照相机912, 914的视场中的手或其它对象时，运动按上述方式被检 测。在这种情况下，背景可能是在与平板计算机900大概25-30cm的距离处的用户自己的 身体。用户可能将手或其它对象保持在与显示屏902较短距离处，例如5-lOcm。只要用户 的手比用户的身体非常明显地靠近（例如一半的距离）光源916, 918,这里所描述的基于光 照的对比度增强技术就可以被用于区分对象像素与背景像素。图像分析以及之后解释为输 入手势可以在平板计算机内被进行（例如利用主处理器来执行操作系统或其它软件以分 析从照相机912, 914得到的数据）。用户因而可以利用3D空间中的手势与平板计算机900 交互。
[0083] 如图10中所示的护目镜系统1000也可以包括根据本发明实施例的运动检测器。 护目镜系统1000可以例如结合虚拟现实和/或加强现实的环境而被使用。护目镜系统1000 包括与传统眼镜类似的用户可佩戴的护目镜1002。护目镜1002包括目镜1004, 1006,所述 目镜可以包括小显示屏以向用户的左眼和右眼提供图像，例如虚拟现实环境的图像。这些 图像可以由与护目镜1002通信的基础单元1008 (例如计算机系统）提供或者经由有线或 无线信道被提供。照相机1010, 1012(例如与图1的照相机102, 104类似或相同）可以被 安装在护目镜1002的框架部分中以使得它们不会模糊用户的视线。光源1014, 1016可以 被安装在护目镜1002的框架部分中照相机1010, 1012的任一侧。照相机1010, 1012所收 集的图像可以被传送至基础单元1008以进行分析并且解释为指示用户与虚拟或加强环境 交互的手势。（在一些实施例中，通过目镜1004, 1006呈现的虚拟或加强环境可以包括对用 户的手的表示，并且该表示可以基于照相机1010, 1012所收集的图像。）
[0084] 当用户利用照相机1008, 1010的视场中的手或其它对象做出手势时，运动按上 述方式被检测。在这种情况下，背景可能是用户所在房间的墙壁，并且用户将最可能坐在或 站在与墙壁的某个距离处。只要用户的手比用户的身体非常多地靠近（例如一半的距离） 光源1012, 1014,本文所描述的基于光照的对比度增强技术就可以便于实现区分对象像素 与背景像素。图像分析以及之后解释为输入手势可以在基础单元1008内被进行。
[0085] 应理解图8-10中所示的运动检测器实现方式是图示性的并且改变和修改都是可 能的。例如，运动检测器或者其成分可以与诸如键盘或跟踪板之类的其它用户输入设备一 起被组装在单一外壳内。作为另一示例，运动检测器可以被合并到笔记本计算机中，例如利 用被构建到与笔记本键盘相同表面中（例如在键盘的一侧或者其前面或者其后面）的朝上 的照相机和光源或者利用被构建在围绕笔记本计算机的显示屏的边框内的朝前的照相机 和光源。作为另一示例，可佩戴的运动检测器可以被实现为例如不包括活动显示器或光学 成分的头带或头戴件。
[0086] 如图11中所示，运动信息可以被用作用户输入以控制根据本发明实施例的计算 机系统或其它系统。过程1100可以例如在诸如图8-10中所示的那些计算机系统之类的计 算机系统中被实现。在框1102处，图像利用运动检测器的光源和照相机而被捕获。如上所 述，捕获图像可以包括利用光源来照亮照相机的视场以使得更靠近光源（和照相机）的对 象比距离更远的对象更亮地被照亮。
[0087] 在框1104处，被捕获的图像被分析以基于亮度的变化检测对象的边缘。例如，如 上所述，这个分析可以包括将每个像素的亮度与阈值相比较，检测在相邻像素上从低水平 到高水平的亮度的过渡，并且/或者对比在有和没有光源的光照的情况下所捕获的连续图 像。在框1106处，基于边缘的算法被用于确定对象的位置和/或运动。这个算法可以例如 是在以上所引用的'485申请中所描述的基于切线的算法中的任一种；其它算法也可以被使 用。
[0088] 在框1108处，手势基于对象的位置和/或运动被识别。例如，手势库可以基于用 户的手指的位置和/或运动而被定义。"敲击"可以基于向显示屏伸出的手指的快速运动而 被定义。"跟踪"可以被定义为伸出的手指在与显示屏大致平行的平面中的运动。向内捏可 以被定义为两个伸出的手指更靠近地移向一起并且向外捏可以被定义为两个伸出的手指 移动分开。扫动手势可以基于整个手沿特定方向（例如向上、向下、向左、向右）的移动而 被定义并且不同的扫动手势可以基于伸出的手指的数目（例如一个、两个、全部）而被进一 步定义。其它手势也可以被定义。通过将所检测到的运动与库相比较，与所检测的位置和 /或运动相关联的特定手势可以被确定。
[0089] 在框1110处，手势被解释为计算机系统可以处理的用户输入。特定的处理通常取 决于当前在计算机系统上执行的应用程序以及那些程序怎样被配置以对特定输入做出响 应的。例如，浏览器程序中的敲击可以被解释为选择手指正在指向的链接。字处理程序中 的敲击可以被解释为将光标放在手指正在指向的位置处或者选择屏幕上可看到的菜单项 或其它图形控制元件。特定的手势和解释可以按需要在操作系统和/或应用级被确定，并 且不需要对任何手势做特定的解释。
[0090] 整个身体的运动可以被捕获和用于类似的目的。在这样的实施例中，分析和重构 有利地基本实时（在与人反应时间可相比的时间内）地发生，使得用户体验一种与设备的 自然交互。在其它应用中，运动捕获可以被用于并非实时进行的数字呈现，例如用于计算机 动画电影等；在这样的情况下，分析可以花费所需要的时间长度。
[0091] 这里所描述的实施例通过利用光强度随距离的降低提供了在被捕获图像中的对 象与背景之间的高效率区分。通过利用距离对象比背景要近得多（例如相差两倍或更多 倍）的一个或多个光源明亮地照亮对象，对象与背景之间的对比度可以被提高。在一些实 例中，滤色器可以被用于去除来自所想要的源以外的源的光。利用红外光可以减少可能出 现在图像被捕获的环境中的来自可见光源的"噪声"或亮点并且还可以减少对用户（假定 该用户不能看到红外光）的干扰。
[0092] 上述实施例提供了两个光源，一个被放置在用于捕获感兴趣的对象的图像的照相 机的任一侧。这个布置可能在位置和运动分析依赖对从每个照相机看到的对象的边缘的了 解的情况下特别有用，因为光源将照亮那些边缘。但是其它布置也可以被使用。例如，图12 图示了一种具有单个照相机1202和被置于照相机1202的任一侧的两个光源1204, 1206的 系统1200。这个布置可以被用于捕获对象1208的图像和对象1208相对于平面背景区域 1210所投射的阴影。在该实施例中，对象像素和背景像素可以容易地被区分。此外，在假定 背景1210距离对象1208不太远的情况下，在有阴影的背景区域中的像素与没有阴影的背 景区域中的像素之间将存在足够的对比度以允许在这两者之间进行区分。利用对象及其阴 影的图像的位置和运动检测算法在以上所引用的'485申请中被描述并且系统1200可以向 这些算法提供输入信息，包括对象及其阴影的边缘的位置。
[0093] 单个照相机的实现方式1200可受益于包括被置于照相机1202的镜头前面的全 息衍射光栅1215。该光栅1215产生作为对象1208的重影和/或切线出现的条纹图案。 具体而言当可分开时（即当重叠不太过分时），这些图案提供便于实现对象与背景区分的 高对比度。参见例如 DIFFKA_N Gkating HANDBQQK(Newport Corporation, Jan. 2005;在 http:// gratings, newport. com/library/handbook/handbook. asp 中可得到），该文档的全部公开 通过引用被合并于此。
[0094] 图13图示了具有两个照相机1302, 1304和被置于照相机之间的一个光源1306的 另一系统1300。系统1300可以捕获相对于背景1310的对象1308的图像。系统1300 -般 来说与图1的系统100相比用于边缘照明比较不可靠；然而不是所有用于确定位置和运动 的算法都依赖于对对象边缘的准确了解。因此，系统1300可以在要求较低的准确性的情况 下例如结合基于边缘的算法来使用。系统1300也可以结合不基于边缘的算法来使用。 [0095] 虽然已针对特定的实施例描述了本发明，但是本领域技术人员将意识到各种修 改都是可能的。照相机和光源的数目和布置可以被改变。照相机的性能，包括帧速率、空间 分辨率和强度分辨率也可以按需要改变。光源可以工作在连续或脉冲模式下。这里所描述 的系统提供了具有对象与背景之间的增强对比度的图像以便于实现两者之间的区分，并且 这个信息可以被用于各种用途，其中位置和/或运动检测只是很多可能性中的一个。
[0096] 用于区分对象与背景的阈值截止和其它具体标准可以针对特定照相机和特定环 境被适配。如上所示，对比度被预期为随着比值rB/r<)的增加而增加。在一些实施例中，系 统可以在特定的环境下被校准，例如通过调节光源亮度、阈值标准等等。使用可以用快速算 法实现的简单标准可以节省给定系统中的处理能力以用于其它用途。
[0097] 任意类型的对象都可以是利用这些技术进行运动捕获的主体，并且实现方式的各 个方面可以针对特定对象而被优化。例如，照相机和/或光源的类型和位置可以基于其运 动要被捕获的对象的尺寸和/或其中运动要被捕获的空间而被优化。根据本发明实施例的 分析技术可以被实现为用任何合适的计算机语言编写并且在可编程处理器上执行的算法。 或者，这些算法中的一些或全部可以在固定功能的逻辑电路中被实现，并且这些电路可以 利用传统的或者其它工具来设计和制造。
[0098] 包括本发明的各种特征的计算机程序可以被编码在各种计算机可读存储介质上； 合适的介质包括磁盘或磁带、诸如紧致磁盘（CD)或DVD (数字通用盘）之类的光存储介质、 闪存以及能够以计算机可读的形式保存数据的任何其它非瞬态介质。被编码有程序代码 的计算机可读存储介质可以与兼容设备一起被封装或者与其它设备分开提供。此外，程序 代码可以被编码并且经由符合各种协议的有线光网络和/或无线网络（包括互联网）被传 送，从而允许例如经由互联网下载进行分配。
[0099] 因而，虽然已针对特定实施例描述了本发明，但是应理解本发明意在覆盖所附权 利要求的范围内的所有修改和等同物。
[0100] 被主张的是。
【权利要求】
1. 一种用于识别数字表示的图像场景中的感兴趣对象的图像捕获及分析系统，所述系 统包括： 定向为朝向视场的至少一个照相机； 被置于与所述照相机在所述视场的相同侧上并且定向为照亮所述视场的至少一个光 源；以及 图像分析器，被耦合到所述照相机和所述至少一个光源并且被配置为： 操作所述至少一个照相机以捕获一系列图像，这些图像包括在所述至少一个光源正在 照亮所述视场时捕获的第一图像； 识别出与所述对象相对应而不是与背景相对应的像素；以及 基于所述被识别的像素，构建包括所述对象的位置和形状的所述对象的3D模型，以从 几何上确定所述模型是否与所述感兴趣的对象相对应。
2. 根据权利要求1所述的系统，其中所述图像分析器在（i)与位于所述视场的近端区 内的对象相对应的前景图像成分与（ii)与位于所述视场的远端区内的对象相对应的背景 图像成分之间进行区分，所述近端区从所述至少一个照相机延伸并且具有相对于所述至少 一个照相机的深度，该深度为与所述前景图像成分相对应的所述对象与所述至少一个照相 机之间的预期最大距离的至少两倍，所述远端区相对于所述至少一个照相机被置于所述近 端区以外。
3. 根据权利要求2所述的系统，其中所述近端区具有所述预期最大距离的至少四倍的 深度。
4. 根据权利要求1所述的系统，其中所述至少一个光源是漫射发射器。
5. 根据权利要求4所述的系统，其中所述至少一个光源是红外发光二极管并且所述至 少一个照相机是红外敏感照相机。
6. 根据权利要求1所述的系统，其中存在位于所述至少一个照相机的侧翼并且与所述 照相机基本共面的至少两个光源。
7. 根据权利要求1所述的系统，其中所述至少一个照相机和所述至少一个光源定向为 垂直向上。
8. 根据权利要求1所述的系统，其中所述至少一个照相机被操作为提供不超过100微 秒的曝光时间，并且所述至少一个光源在曝光期间以至少5瓦的功率水平被激活。
9. 根据权利要求1所述的系统，还包括被置于所述至少一个照相机的镜头与所述视场 之间的全息衍射光栅。
10. 根据权利要求1所述的系统，其中所述图像分析器操作所述至少一个照相机以在 所述至少一个光源没有照亮所述视场时捕获第二和第三图像并且基于所述第一与第二图 像之间的差异和所述第一与第三图像之间的差异识别出与所述对象相对应的像素，其中所 述第二图像在所述第一图像之前被捕获而所述第三图像在所述第二图像之后被捕获。
11. 一种用于捕获和分析图像的方法，所述方法包括以下步骤： 激活至少一个光源以照亮包含感兴趣的对象的视场； 在所述至少一个光源被激活时利用照相机捕获所述视场的一系列数字图像； 识别出与所述对象相对应而非与背景相对应的像素；并且 基于所述被识别出的像素，构建包括所述对象的位置和形状的所述对象的3D模型，以 从几何上确定所述模型是否与所述感兴趣的对象相对应。
12. 根据权利要求11所述的方法，其中所述至少一个光源被放置以使得感兴趣的对象 被置于所述视场的近端区，所述近端区从照相机延伸到所述感兴趣的对象与所述照相机之 间的预期最大距离的至少两倍的距离处。
13. 根据权利要求12所述的方法，其中所述近端区具有所述预期最大距离的至少四倍 的深度。
14. 根据权利要求11所述的方法，其中所述至少一个光源是漫射发射器。
15. 根据权利要求11所述的方法，其中所述至少一个光源是红外发光二极管并且所述 照相机是红外敏感照相机。
16. 根据权利要求11所述的方法，其中两个光源被激活，所述光源位于所述照相机的 侧翼并且与所述照相机基本共面。
17. 根据权利要求11所述的方法，其中所述照相机和所述至少一个光源定向为垂直向 上。
18. 根据权利要求11所述的方法，还包括捕获所述至少一个光源未被激活时的第一 图像、所述至少一个光源被激活时的第二图像以及所述至少一个光源未被激活时的第三图 像，其中与所述对象相对应的像素基于所述第二与第一图像之间的差异以及所述第二与第 三图像之间的差异被识别。
19. 一种将圆形对象放置在数字图像内的方法，所述方法包括以下步骤： 激活至少一个光源以照亮包含感兴趣的对象的视场； 操作照相机以捕获一系列图像，这些图像包括在所述至少一个光源照亮所述视场时所 捕获的第一图像；以及 分析所述图像以检测其中指示所述视场中的圆形对象的高斯亮度衰减模式。
20. 根据权利要求19所述的方法，其中所述圆形对象在不识别其边缘的情况下被检 测。
21. 根据权利要求19所述的方法，还包括通过多个所述被捕获的图像来跟踪被检测的 圆形对象的运动。
22. -种用于将圆形对象放置在视场内的图像捕获及分析系统，所述系统包括： 定向为朝向所述视场的至少一个照相机； 被置于与所述照相机在所述视场的相同侧上并且定向为照亮所述视场的至少一个光 源；以及 图像分析器，被耦合到所述照相机和所述光源并且被配置为： 操作所述至少一个照相机以捕获一系列图像，这些图像包括在所述至少一个光源在照 亮所述视场时捕获的第一图像；以及 分析所述图像以检测其中指示所述视场中的圆形对象的高斯亮度衰减模式。
23. 根据权利要求22所述的系统，其中所述圆形对象在不识别其边缘的情况下被检 测。
24. 根据权利要求22所述的系统，还包括通过多个所述被捕获的图像来跟踪被检测的 圆形对象的运动。
【文档编号】G06K9/00GK104145276SQ201380012276
【公开日】2014年11月12日 申请日期:2013年1月16日 优先权日:2012年1月17日
【发明者】D·霍尔兹, 杨骅 申请人:厉动公司