用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统与流程

用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统
1.本技术是申请日为2018年2月24日、名称为“用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统”的发明专利申请no.201810156902.2的分案申请。


背景技术：

2.计算机视觉越来越依赖于深度数据。视频相机和深度传感相机因而可配对以获得环境的三维彩色或灰度影像。深度传感可能需要主动性照射，例如通过一个或多个红外照射器实现。


技术实现要素：

3.通常，在一个方面，本发明涉及一种用于捕获视频帧的方法。该方法包括：使用深度传感相机和红外照射器获得环境的深度数据帧，其中，所述环境通过由所述红外照射器发射的照射图样照射；获得红外照射器参数设定，用于由所述红外照射器发射的所述照射图样；基于期望帧曝光，获得期望帧曝光时间；基于所述红外照射器参数设定和所述期望帧曝光时间，确定实际帧曝光时间；在确定所述实际帧曝光时间之后，使用所述实际帧曝光时间使用所述红外照射器通过所述照射图样获得所述环境的帧。
4.通常，在一个方面，本发明涉及一种用于捕获视频帧的系统。该系统包括：深度传感相机；红外照射器，其被配置以发射一照射图样以照射环境，从而能够通过所述深度传感相机捕获深度数据帧；成像控制引擎，其被配置为：获得所述红外照射器的红外照射器参数设定；基于期望帧曝光，获得期望帧曝光时间；基于所述红外照射器参数设定和所述期望帧曝光时间，确定实际帧曝光时间；视频相机，其被配置为使用所述实际帧曝光时间使用所述红外照射器通过所述照射图样获得帧。
5.通常，在一个方面，本发明涉及一种非暂时性计算机可读介质(crm)，包括指令，能够使系统捕获视频帧以：使用深度传感相机和红外照射器获得环境的深度数据帧，其中，所述环境通过由红外照射器发射的照射图样照射；基于期望帧曝光，获得期望帧曝光时间；基于所述红外照射器参数设定和所述期望帧曝光时间，确定实际帧曝光时间；在确定所述实际帧曝光时间之后，使用所述实际帧曝光时间使用所述红外照射器通过所述照射图样获得帧。
附图说明
6.图1显示出根据本发明的一个或多个实施例的相机系统。
7.图2显示出根据本发明的一个或多个实施例的示例性的帧捕获时序。
8.图3和图4显示出根据本发明的一个或多个实施例的描述帧捕获方法的流程。
9.图5显示出根据本发明的一个或多个实施例的示例性的相机系统应用。
10.图6显示出根据本发明的一个或多个实施例的计算机系统。
具体实施方式
11.本发明的具体实施例现在将参照附图描述。在以下对本发明实施例的详细描述中，提出多个具体细节以提供对本发明的更透彻理解。不过，应认识到，对于本领域普通技术人员而言，本发明可在没有这些具体细节的情况下实行。在其他情况下，不描述公知特征以避免使描述变得不必要地繁杂。
12.在以下对图1－6的描述中，在本发明的各个实施例中，关于附图所描述的任何部件可等同于关于任何其他图所描述的一个或多个相同/相似名称的部件。为了简要描述，这些部件将不会关于每个图重复描述。这样，每个图的部件的每个和每一个实施例通过引用并入而且假定可选地存在于具有一个或多个相同/相似名称的部件的每个其他图内。此外，根据本发明的各个实施例，图中部件的任何描述应被解读为可选的实施例，其可针对关于任何其他图中对应的相同/相似名称的部件所描述的实施例而另外地、组合地或替代性地实施。
13.通常，本发明的实施例涉及：包括视频相机和深度传感相机的系统、以及使用深度传感相机的光源照射由视频相机捕获的帧的方法。更特别地，本发明的一个或多个实施例能够通过视频相机在需要额外照射的光照条件下捕获帧，而不需要专用的视频相机光源。本发明的实施例作为替代能够使用由深度传感相机的照射器发射的光。由照射器提供的光可使用深度传感相机测量原理所需的时间性图样发射。例如，所发射的光可为脉冲式的。在本发明的一个或多个实施例中，发射光的时间性图样能够使视频相机避免所捕获帧中的伪影。
14.图1显示出根据本发明的一个或多个实施例的相机系统100。相机系统可用于捕获环境120中的数据。环境120可以是在相机系统100的视域内的三维空间。环境120可为任意类型的环境，例如室内或室外环境。环境120可包括一个或多个对象122。对象可以是可通过相机系统100成像的任何事物。
15.在本发明的一个或多个实施例中，相机系统100包括视频相机102和深度传感相机106。根据本发明实施例的深度传感相机装备有红外(ir)照射器110。进一步地，成像控制引擎114与视频相机102和深度传感相机106相接。这些部件中的每个随后描述。
16.相机系统100可为便携式单元，其可定位而使得视频相机102和深度传感相机的视域覆盖环境120中的关注区域。相机系统100可例如安置在搁架上、三脚架上、或在墙壁或天花板上安装的支架上。在不背离本发明的情况下，可使用相机系统100的其他位置。相机系统100的单一壳体可容纳视频相机102、深度传感相机106、ir照射器110、和成像控制引擎114，或者，这些部件的一个或多个可分别容纳其中。
17.相机系统100的视频相机102可为任意类型的相机，其能够捕获环境120中的二维影像帧。视频相机102可包括影像传感器104，例如三原色(rgb)或印刷四色(cmyg)的彩色或灰度电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)传感器，具有例如320x240像素的空间分辨率。本领域技术人员应认识到，本发明不限于前述的影像传感器技术、时间性和/或空间性分辨率。在本发明的一个或多个实施例中，视频相机的快门速度和/或帧率能够外部控制。这样，所捕获帧的曝光可通过规定曝光时间(或快门速度)(例如通过视频相机接口116实现)而控制。较长的曝光时间(较慢的快门速度)可用于捕获较暗场景，而较短的曝光时间(较快的快门速度)可用于捕获较亮场景。进一步地，在本发明的一个实施例中，帧捕获
可从外部触发，例如通过由视频相机接口116提供的脉冲信号触发。外部同步信号可因而用于控制被捕获的帧的时序，即，帧率。不同的帧率可根据外部同步信号的频率而获得。视频相机可进一步能够确定适合的快门速度，而不需要外部输入。进一步地，视频相机也可支持自由运行模式，这能够使相机以内部规定的帧率捕获帧，因而不需要外部同步信号。
18.在本发明的一个实施例中，视频相机102对红外(ir)频谱中的波长敏感。视频相机可因而用于暗环境中，暗环境使用ir照射器不可见地照射。虽然图1中未示出，不过，视频相机102可包括ir截止滤波器。ir截止滤波器可在常规日光操作条件下阻挡红外光。ir截止滤波器可因而在日光操作条件下改善色彩表现。当探测到用于日光操作的光不足时，ir截止滤波器可停用以允许所发射(例如由ir照射器发射)的红外光通过。灰度影像可因而通过相机在暗环境中获得。更特别地，ir照射器110(在下文中进一步描述)可发射红外光132。红外光可被环境120中的对象122反射。被反射的红外光134然后可以被视频相机的影像传感器104接收。影像帧可因而基于被反射的红外光134通过视频相机102产生。与此不同的是，在日光操作条件中，ir截止滤波器阻挡被反射的红外光，使得通过视频相机产生的影像帧完全基于可见频谱光。
19.虽然图1中未示出，不过视频相机可包括除影像传感器以外的部件。例如，视频相机可包括：光学元件，其将进入光引导到影像传感器104；和电子电路，其处理从影像传感器104获得的信号并将其提供到视频相机接口116。所述的处理可涉及模拟和数字处理、压缩、格式转换、缓冲，等等。
20.在本发明的一个实施例中，相机系统100进一步包括：深度传感相机106，其能够报告所监测的环境120的深度值。例如，深度传感相机106可提供深度测量值用于一组320x240像素(四分之一视频图形阵列(qvga)分辨率)，时间性分辨率为每秒30帧(fps)。深度传感相机106可基于根据扫描仪的或无扫描仪的深度测量技术，例如光探测和测距(lidar)，使用飞行时间(time
‑
of
‑
flight)测量值确定到深度传感相机106的视域中的对象的距离。不过，在不背离本发明的情况下，深度传感相机的深度传感器108可基于任意深度传感技术。深度传感相机的视域和取向可被选择以覆盖所监测环境120的与由视频相机所捕获的所监测环境部分类似(或大致类似)的部分。
21.虽然图1中未示出，不过深度传感相机可包括除了深度传感器108以外的部件。例如，深度传感相机可包括：光学元件，其将进入光引导到深度传感器108；和电子电路，其处理从深度传感器108获得的信号并将其提供到深度传感相机接口118。所述处理可涉及模拟和数字处理、压缩、格式转换、缓冲，等等。深度传感相机可进一步包括：针对ir照射器110的接口，以控制由ir照射器发射的照射图样。
22.在本发明的一个实施例中，相机系统102进一步包括：红外(ir)照射器110。ir照射器可在例如850nm(接近不可见)或940nm(不可见)的波长下操作，并可功能性地联接到深度传感相机106。红外照射器的主要目的可以是：提供用于深度传感相机106的功能所必要的照射图样。相应地，照射图样性质可特定于深度传感相机的操作原理，并可包括发射光132的时间性和/或空间性调制。发射光的特性在图2中进一步描述。根据相机系统100的配置和使用，一个或多个ir照射器110可用于照射环境120。
23.在本发明的一个或多个实施例中，视频相机102被配置为使其得益于通过发射光132对环境120的照射，从而捕获反射光134，例如，被环境120中的对象120反射的发射光
132。相应地，视频相机102可在暗环境中操作，而不需要专用光源。在本发明的一个或多个实施例中，视频相机102被参数设定以特别考虑到由ir照射器110所发射光的调制，以避免在视频相机所提供影像中的伪影。能够使相机系统100考虑到由ir照射器110所发射光的调制的方法在图3和图4中描述。
24.在本发明的一个或多个实施例中，相机系统102包括成像控制引擎114。成像控制引擎可控制视频相机102和/或深度传感相机106的操作，例如，通过参数设定视频相机和/或深度传感相机实现。特别地，根据本发明的一个或多个实施例的成像控制引擎可在由深度传感相机106的ir照射器110提供的照射与由视频相机102捕获的帧之间协调相互作用，从而能够由视频相机102捕获无伪影的帧，而同时依靠ir照射器110作为主光源。成像控制引擎114可包括：视频相机接口116和深度传感相机接口118，以能够参数设定相机。可进一步这些接口分别从视频相机102和深度传感相机106接收影像和深度数据。成像控制引擎114可在类似于图6中所示的示例性计算装置的计算装置(图1中未示出)上执行。移动型、桌上型、伺服型、嵌入型、或其他类型的硬件的任意组合可用于实施所述计算装置。例如，计算装置可为片上系统(soc)，即，将计算装置的所有部件集成于单一芯片中的集成电路(ic)。soc可包括一个或多个处理器芯、相关联的存储器(例如随机存储器(ram)、高速缓冲存储器、闪速存储器，等等)、通过网络接口连接的网络接口(例如局域网(lan)、广域网(wan)(例如互联网)、移动网、或任何其他类型的网络)，并相连到存储装置、输入和输出装置，等等。计算装置可进一步包括一个或多个存储装置(例如硬盘、光学驱动器(如光盘(cd)驱动器或数字视盘(dvd)驱动器)、闪存棒，等等)、和多种其他元件和功能结构。在本发明的一个或多个实施例中，计算装置包括操作系统(例如linux)，操作系统可包括功能结构以执行下文中进一步描述的方法。本领域技术人员应认识到：本发明不限于计算装置的前述配置。在本发明的一个或多个实施例中，计算装置可与视频相机102和/或深度传感相机106集成。可替代地，计算装置可分立于视频相机102和/或深度传感相机106，并可使用有线和/或无线的连接与视频相机102和/或深度传感相机106相连。
25.相机系统100的部件，即，视频相机102、深度传感相机106、成像控制引擎114、和可与相机系统100相连的其他部件，可使用有线和/或无线的通讯协议的任意组合经由局域网和/或广域网(即，通过互联网)通讯。这些通讯的执行方式可基于本发明的实施方式而变化。
26.本领域技术人员应认识到：相机系统不限于上述配置。例如，在不背离本发明的情况下，可以采用任意类型的深度传感相机技术和任意类型的视频记录技术。这些技术可能具有偏离于上述配置的细节。例如，成像可在任意波长或波段执行，类似地，在不背离本发明的情况下，由照射器所发射的光的波长可偏离于以上描述。
27.图2显示出根据本发明的一个或多个实施例的示例性帧捕获时序。更特别地，图2显示出由深度传感相机的照射器发射的光。光基于照射图样234发射。照射图样可特定于深度传感相机106所依靠的深度传感技术。图2中的示例性的照射图样234包括八个矩形照射光脉冲的脉冲序列(总称236)。这些脉冲中的每个的特征是：照射脉冲开启时间238、照射脉冲关闭时间240、和照射脉冲周期242，其中照射脉冲周期是照射脉冲开启时间和照射脉冲关闭时间之和。假定例如光发射1ms(照射脉冲开启时间)，随后暂停1.6ms(照射脉冲关闭时间)，于是照射脉冲周期242为2.6ms。在示例中，照射图样持续时间因而为20.8ms。可能存在
有在照射图样之后的时段(未示出)(也被称为“暂停”)，暂停可在照射图样234重复之前发生。在本发明的一个或多个实施例中，暂停可为10ms。不过，本发明不限于包括暂停的实施例和/或包括10ms暂停的实施例。
28.图2进一步显示出帧捕获时间窗250，在此过程中完成帧捕获(时间性地对准照射图样)。在本发明的一个或多个实施例中，按逐个像素行获取视频或影像帧。像素行依序读取，相应地，像素行1
‑
n(254.1
‑
254.n)可能无法立刻获取，而是具有轻微的时间性偏移，如图2中所示。虽然每个像素行可能经历相同的实际帧曝光时间252，不过像素行曝光时间窗256的对准(在此过程中，像素行曝光于由照射器发射的光)根据像素行而不同。
29.在本发明的一个或多个实施例中，实际帧曝光时间252是照射脉冲周期的倍数。在示例性的帧捕获时间窗250中(如图2中所示)，实际帧曝光时间252是10.4ms，对应于四个照射脉冲周期238。在图2所示的示例中，实际帧曝光时间可为照射脉冲周期的任意倍数，范围从2.6ms(一个照射脉冲周期)到18.2ms(七个照射脉冲周期)。不过，重要的是应注意：由于方波状照射图样，因而相机传感器对于光的曝光随时间是不一致的。在图2所示的示例中，光仅在1ms的照射脉冲开启时间过程中被接收。相应地，如果实际帧曝光时间持续四个照射脉冲周期，则来自照射器的光被接收4ms，其中假定不存在额外背景光。如果存在额外背景光(例如在原本的暗环境中的月光)，则除在照射脉冲开启时间过程中发射的光以外，这种光也被接收。
30.在本发明的一个或多个实施例中，实际帧曝光时间242确保对来自照射器的光的曝光对于每个像素行244而言是相同的。本发明的实施例确保对于所有像素行实现一致的曝光，如随后所述。
31.考虑图2中所示的示例性场景。用于第一像素行254.1的像素行曝光时间窗256.1的开始与第一照射脉冲周期的开始对准。进一步地，用于第一像素行254.1的像素行曝光时间窗256.1的结束与第四照射脉冲周期的结束对准。相应地，第一像素行的像素的读取基于与光脉冲1
‑
4相关联的光。因此，总的开启时间(照射器启用)为：4x 1ms＝4ms。虽然用于第二像素行244.2的实际帧曝光时间252与第一像素行的实际帧曝光时间相同，不过第二像素行通过轻微的时间性偏移而读取，如图2中所示。相应地，用于第二像素行254.2的像素行曝光时间窗256.2的开始相对于第一照射脉冲周期的开始略微延迟。相应地，在第一照射脉冲过程中提供的光并未被全部捕获。不过，第二像素行254.2的像素行曝光时间窗256.2与第五照射脉冲略微重叠相同持续时间。相应地，因错过第一照射脉冲起始而未接收到的光通过在第五照射脉冲过程中接收的光而得以补偿。相应地，对于第二像素行的总照射脉冲开启时间(照射器启用)也等于4ms。根据本发明的一个或多个实施例，所述过程对于影像传感器的所有像素行而言是类似的，因而所有像素行经历相同的照射器合计开启时间。因此，在通过影像传感器获得的影像帧中，不会(或者大致不会)因不同像素行关于照射器光的不均匀曝光而发生亮度改变。
32.本领域技术人员应认识到：虽然图2显示出实际帧曝光时间242持续四个照射脉冲周期，不过实际帧曝光时间242可持续任意数量的照射脉冲周期，其范围从单个照射脉冲周期到m
‑
1个照射脉冲周期，其中m是照射图样中的脉冲周期的数量。实际帧曝光时间242可以不持续m个照射脉冲周期，这是因为，没有照射脉冲m+1存在，则在实际帧曝光时间过程中，对于除第一像素行之外的任何像素行而言，像素行曝光时间窗在各像素行之间的变换将导
致总的开启时间经历减少。相应地，一个要求可能是：最后的像素行的像素行曝光时间窗结束于最后的照射脉冲的结束之处或之前。用于基于这些限制而确定正确实际帧曝光时间的方法在图3和4中描述。
33.图3和图4显示出根据本发明的一个或多个实施例的流程。虽然在流程中的各个步骤依序呈现和描述，不过本领域普通技术人员应认识到：这些步骤中的一些或所有步骤可按照不同顺序执行，可组合或省略，而且所述步骤中的一些或所有步骤可并行地执行。在本发明的一个或多个实施例中，在不背离本发明的情况下，图3和图4中所示的步骤可与图3和图4中所示的任意其他步骤并行地执行。
34.图3显示出根据本发明的一个或多个实施例的一种方法，用于在暗光条件下使用由深度相机照射器所提供的照射来捕获帧。所述方法还包括以下步骤：能够在常规的光条件下捕获帧，即，当充足的光可用时能够使相机以日光操作模式操作。图3中的步骤可通过影像控制引擎和与影像控制引擎经由视频相机接口相连的视频相机而执行。虽然图3的方法如此执行，不过深度传感相机可分立地和独立地获取深度影像帧。虽然深度影像帧的获取可能无法通过图3中所述方法控制，不过图3的方法可通过同步信号取得深度影像获取时序，进一步地，深度传感相机的参数设定、特别是建立照射图样的时序的参数，可通过图3中所述方法取得。
35.转向图3，在步骤300中，获得与深度传感相机相关联的ir照射器的参数设定。所获得的变量至少包括：照射脉冲开启时间、照射脉冲周期、每个照射图样的照射脉冲数量。
36.在步骤302中，关于光照条件是否要求相机系统依靠由红外照射器提供的光进行确定。在本发明的一个或多个实施例中，周边光传感器可用于量化当前光照条件以进行步骤302中的确定。如果确定环境足够亮而使得ir照射不必要，则所述方法可行进到步骤304。
37.在步骤304中，ir截止滤波器启用。这样，避免ir光(包括由ir照射器发射的光)到达视频相机的影像传感器。在步骤306中，视频相机配置为使用其内置时序获得帧。换言之，视频相机被配置为自由运行，因而不需外部触发来捕获帧。视频相机可使用内置算法确定适合的曝光时间。
38.返回步骤302，如果确定周边光不足以捕获帧而使得有必要进行ir照射，则所述方法可行进到步骤308。
39.在步骤308中，ir截止滤波器停用，以允许ir光到达视频相机的影像传感器。
40.在步骤310中，获得期望曝光时间。期望曝光时间可通过各种方式获得。特别地，由于曝光时间的选择影响到所采取的影像亮度，即，曝光，因而期望曝光时间可基于期望影像曝光而设定。期望影像曝光可对于整个影像进行选择，以获得平均期望影像曝光。可替代地，影像曝光可对于特定的影像区域(例如对于影像中标识的对象)进行选择，如下文中在用例中进一步描述。在本发明的一个或多个实施例中，期望曝光时间递增地确定。先前捕获的帧或多个先前捕获的帧可基于探测到的曝光进行曝光分析，例如通过将各个像素亮度值平均而进行评估，期望曝光时间可向上或向下调节。所获得的期望曝光时间是对应于测量到的时间间隔(例如以毫秒为单位)的量。
41.在步骤312中，确定实际帧曝光时间，其将由相机在捕获帧时使用。在本发明的一个或多个实施例中，实际帧曝光时间被设定为近似于步骤310中获得的期望帧曝光时间，如图4中进一步所述。
42.在步骤314中，视频相机被配置为使用步骤312中获得的实际帧曝光时间；在步骤316中，视频相机被配置为使帧捕获与指示照射图样第一照射脉冲开始的同步信号同步，基于所述照射图样，由深度传感相机的ir照射器发射光。
43.在步骤318中，关于是否已收到同步信号进行确定。如果未收到同步信号，则所述方法留在步骤318中。如果已收到同步信号，则所述方法可行进到步骤320。步骤318因而基于同步信号的接收而监控帧获取。重复执行，步骤318中探测到的同步信号因而掌控视频相机对环境成像的帧率。
44.在步骤320中，视频相机影像传感器被读取以获得帧。在本发明的一个或多个实施例中，按逐个像素行执行读取。相应地，虽然第一像素行曝光时间窗的开始可与第一照射脉冲的起始对准，不过随后而来的像素行曝光时间窗可能具有增大的延迟。在本发明的一个或多个实施例中，像素行之间的延迟是固定的特定于影像传感器的特性，且可修改。不过，重要的是，根据本发明的实施例，最后的像素行的读取的结束不晚于最后的照射图样照射脉冲结束时。
45.在步骤322中，帧曝光进一步被调节以近似于期望帧曝光时间。如前所述，在步骤312中，实际帧曝光时间具有受限于脉冲周期的间隔尺寸。根据本发明的实施例，实际曝光时间因而受限于脉冲周期的倍数。相应地，根据脉冲周期，所选择的实际帧曝光时间可仅为期望帧曝光时间的粗糙近似。进一步地，如果实际帧曝光时间的计算基于假定仅光源是脉冲ir照射器，则除了由照射器提供的光以外，背景光(例如月光)可能导致帧过度曝光。为了获得与期望帧曝光时间的更好的近似或匹配，在步骤322中，帧因而被进一步处理。所述处理可涉及：施加加法和/或乘法(multiplicative)增益(或基于任何其他数学函数的增益)，以向上或向下调节影像中的像素的亮度至期望帧曝光时间规定的水平。在本发明的一个或多个实施例中，曝光调节可进一步通过调节拟用于随后捕获下一帧的实际帧曝光时间而进行。例如，如图4中所述，如果发现影像帧过度曝光，则实际帧曝光时间可缩短。
46.在步骤324中，帧被存档和/或传送到另一方。进一步的，可执行额外处理，例如格式转换、压缩、缓冲，等等。在执行步骤324之后，所述方法可返回到步骤302以获得下一帧，或者可替代地，如果没有额外的帧需要捕获，则所述方法可终止执行。
47.图4显示出根据本发明的实施例基于期望帧曝光时间获得实际帧曝光时间的方法。
48.在步骤400中，对于在步骤310中获得的期望帧曝光时间，确定照射脉冲开启时间的最近的倍数。照射脉冲开启时间的最近的倍数可通过对期望帧曝光时间取整或者可替代地通过对照射脉冲开启时间的最近的倍数向上或向下取整而确定。这种操作所依据的假定是：拟在期望帧曝光时间过程中接收的光在ir照射器的开启时间间隔过程中被接收。假定对于图2中所述场景(其中开启时间为1ms且关闭时间为1.6ms)而言，期望帧曝光时间例如为4.3ms。步骤400的执行因而使得照射脉冲开启时间的最近的倍数为4x 1ms＝4ms。
49.在步骤402中，对于照射脉冲开启时间的最近的倍数获得实际帧曝光时间。由于实际帧曝光时间基于照射脉冲周期(其包括照射脉冲开启时间和照射脉冲关闭时间)，因而实际帧曝光时间通过找到与照射脉冲开启时间的倍数对应的照射脉冲周期的倍数而确定。在以上示例中，实际帧曝光时间因而为4x(1ms+1.6ms)＝10.4ms。
50.在本发明的一个或多个实施例中，最大的实际帧曝光时间受限于m
‑
1照射脉冲周
期，如先前参照图2所述。进一步地，最大的实际帧曝光时间还受限于以下要求：对于所有的像素行，读取的完成必须先于第m个照射脉冲开启时间间隔的结束。换言之，与第n个像素行(即，影像传感器被读取的最后的像素行)相关联的实际像素行曝光时间窗的结束必须不晚于照射图样的最后的照射脉冲。如果(基于步骤400中选择的照射脉冲开启时间的最近的倍数)此条件被打破，则必须选择较小的照射脉冲开启时间。由于结果的实际帧曝光时间可短于期望值，因而影像亮度在步骤322中必须增大。
51.本领域技术人员应认识到，图3和图4的方法可修改而使得：单一帧的捕获可持续多个连续的照射图样。例如，如果在步骤402中确定的实际帧曝光时间显著长于照射图样，则帧捕获可延伸过两个随后的照射图样，这是捕获适合量的光所必要的。不过，结果的视频相机的总帧率可减小。特别地，例如，如果单一帧的捕获持续第一照射图样并延伸到第二照射图样中，而非限制于单一的照射图样，则可实现的帧率减小为一半。
52.以下描述本发明的一个或多个实施例的用例。以下所述用例场景意在提供用于使用深度传感相机发射光在暗光条件下捕获视频影像的方法和系统的应用示例。用例场景基于图5中所示的样本监控系统设置500，其仅用于例示目的，并非用于限制本发明的范围。图3和图4中所示方法不限于图5的设置，而是在宽范围的应用中通用。
53.图5显示出根据本发明的实施例的监控系统500。监控系统包括相机系统502，相机系统502装备有深度传感相机504和视频相机508，以探测所监控环境505中的活动。所监控环境505包括背景对象552，例如墙壁552a、家具552b，等等。所监控环境505可进一步包括前景对象，例如人554a和宠物554b。在本发明的一个或多个实施例中，深度传感相机504被配置为：基于三维工作空间中的运动探测前景对象。探测到的前景对象然后基于一个或多个分类准则(例如对象的尺寸和形状)被分类。监控系统因而可将人554a区别于猫554b。
54.关于监控系统和在所监控环境中进行对象探测的额外细节在美国专利申请no.14/813,907(2015年7月30日提交)中提供，所述专利申请的全部公开内容由此通过引用明确并入本文。
55.深度传感相机504包括：红外照射器506，其基于图2中所述照射图样而发射光。进一步地，视频相机508在空间上对准深度传感相机504，使得基于深度数据由深度传感相机探测到的对象可在视频相机的视频影像中被识别。
56.初始，假定所监控环境暴露于充足的日光，使得视频相机使用其内部配置捕获所监控环境的彩色影像。虽然深度传感相机与视频相机同时操作，由此使红外照射器发射光，不过这种光不影响视频相机的操作，这是因为ir截止滤波器启用，因而仅可见光(而非ir光)被视频相机捕获。
57.下一步，假定图5描述夜晚场景，此时周边光不足以作为单独光源用于由视频相机捕获帧。这样，ir截止滤波器停用，依靠由深度传感相机的ir照射器发射的ir光作为主光源，如图2、3、4中所述。初始，假定没有前景对象在所监控环境中被深度传感相机探测到，即，所监控环境中不存在人或猫。相应地，期望帧曝光时间基于所监控环境的平均期望曝光被选择。这种曝光选择影响到被捕获帧的亮度范围，使得整个所监控环境(包括背景对象)清晰可见。
58.假定对应的期望帧曝光时间为4.4ms。假定照射脉冲开启时间1ms，照射脉冲关闭时间1.6ms，照射脉冲开启时间的最近的倍数因而为4ms，结果实际帧曝光时间为10.4ms。当
从深度传感相机接收到同步信号(触发脉冲)时读取影像传感器。不必进行曝光调节，帧因而原样存档。帧是无伪影的，这是因为，所有像素行在10.4ms的时间间隔(均包括相同的4ms的ir照射器开启时间)过程中同样地曝光。
59.下一步，假定人进入所监控环境。人被深度传感相机探测到并被成功分类为人。期望帧曝光时间更新以在被捕获的帧中正确对人曝光，而同时忽视周围环境。在此示例中，当人首先在帧中出现时执行期望曝光时间调节。由于人与环境相比而言ir反射强，因而选择较短的期望帧曝光时间。继续使用先前设置的4ms期望帧曝光时间将导致人过度曝光，其中，与人所处影像区域相关联的像素值饱和。假定期望帧曝光时间被确定为2.1ms。照射脉冲开启时间的最近的倍数因而为2ms，结果实际帧曝光时间为5.2ms。以更新的实际帧曝光时间捕获帧。在结果的帧中，人正确曝光，而周围环境显得比先前使用10.4ms实际帧曝光时间所记录时更暗。帧仍是无伪影的，这是因为，所有像素行在5.2ms的时间间隔(均包括相同的2ms的ir照射器开启时间)过程中同样地曝光。
60.本发明的实施例能够使用深度传感相机照射器发射光而在暗光条件下捕获视频影像。本发明的实施例因而能够实现深度传感/视频记录相机系统的经济的设计，仅需要单一光源。消除视频相机的专用光源不仅减少成本而且能够实现相机系统的新型紧凑机械设计，而且消除了视频相机光源与深度传感相机相互干扰的可能性。
61.所述技术的实施例可在计算机系统上实施。可使用移动型、桌上型、伺服型、嵌入型、或其他类型的硬件的任意组合。例如，如图6中所示，计算系统600可包括：一个或多个计算机处理器602；相关联的存储器604(例如，随机存储器(ram)、高速缓冲存储器、闪速存储器等等)；一个或多个存储装置606(例如硬盘、光学驱动器(如光盘(cd)驱动器或数字视盘(dvd)驱动器)、闪存棒，等等)；和多种其他元件和功能结构。计算机处理器602可为用于处理指令的集成电路。例如，计算机处理器可为处理器的一个或多个芯或微芯。计算系统600还可包括一个或多个输入装置610，例如触摸屏、键盘、鼠标、麦克风、触摸板、电子笔、或者任何其他类型的输入装置。进一步地，计算系统600可包括一个或多个输出装置608，例如屏幕(例如液晶显示器(lcd)、等离子体显示器、触摸屏、阴极射线管(crt)监视器、投影仪、或其他显示装置)、打印机、外部存储器、或任何其他输出装置。一个或多个输出装置可与输入装置相同或不同。计算系统600可通过网络接口连接结构(未示出)连接到网络612(例如，局域网(lan)、广域网(wan)(例如互联网)、移动网、或任何其他类型的网络)。输入和输出装置可本地地或远程地(例如通过网络612)连接到计算机处理器602、存储器604、和存储装置606。存在许多不同类型的计算系统，上述输入和输出装置可采取其他形式。
62.采用计算机可读程序代码形式以执行所述技术的实施例的软件指令可全部地或部分地、临时地或永久地存储在非暂时性计算机可读介质上，例如为cd、dvd、存储装置、磁盘、磁带、闪速存储器、物理存储器、或任何其他计算机可读存储介质。特别地，软件指令可对应于计算机可读程序代码，计算机可读程序代码当由处理器执行时被配置为执行所述技术的实施例。
63.进一步地，前述计算系统600的一个或多个元件可位于远程地点，并通过网络612连接到其他元件。进一步地，所述技术的实施例可在具有多个节点的分布式系统上实施，其中所述技术的每个部分可位于分布式系统内的不同节点上。在所述技术的一个实施例中，节点对应于独立计算装置。可替代地，节点可对应于具有相关联物理存储器的计算机处理
器。节点可替代地可对应于具有共享存储器和/或资源的计算机处理器或计算机处理器的微芯。
64.虽然本发明已经关于有限数量的实施例进行描述，不过受益于本公开内容的本领域技术人员将认识到，在不背离如在此公开的本发明的范围的情况下，可以设想到其他实施例。相应地，本发明的范围应仅由所附权利要求书限定。