用于图像分析的系统和方法

用于图像分析的系统和方法
【专利摘要】一种图像分析方法包括：获得图像序列（37；51），每个图像由像素数据表示；对所述图像序列（37；51）当中的至少一个图像执行基于视觉的分析，以便获得用于对在所述图像中所表示的对象状态进行分类的数据；确定在所述图像序列（37；51）当中的至少一些图像中所表示的生物的生理参数的至少一个值；以及利用通过所述基于视觉的分析获得的数据以及所述生理参数的至少一个值对所述对象的状态进行分类。所述生理参数的所述至少一个值是通过对图像数据进行分析而确定的，所述图像数据来自从中取得对之执行基于视觉的分析的所述至少一个图像的相同图像序列（37；51）。一种允许实现远程光体积描记分析的方法包括：从至少一台摄影机（3）获得图像序列（37；51），每个图像由像素数据表示，所述像素数据表示至少一个有限波长范围内的反射周围光；以及对于至少一个测量区（41），提供至少表示所述测量区（41）内的至少一定数目的图像点处的像素值组合的时变值的变化的信号，以用于确定生理参数的至少一个值。跟踪在所述图像序列（37；51）中所表示的所选对象的至少一部分，并且控制照明所选对象的至少一部分的可定向光源（4）。
【专利说明】用于图像分析的系统和方法

【技术领域】
[0001] 本发明涉及一种图像分析方法、一种用于图像分析的系统以及一种计算机程序。 本发明还涉及一种用于允许实现远程光体积描记分析的方法和系统。

【背景技术】
[0002] US 2009/0027493 A1公开了一种实时自动化监视进入公共空间并采取行动的人 以便防止攻击者达成其目标的方法。所述方法包括策略性地将高分辨率视频摄影机放置在 对于视觉伪装的地方。各台摄影机将通过陆地线路或无线地连接到监控所记录的影片的中 央位置。例行监控的大部分将是自动的并且由计算机控制。计算机监控将包括分析人们的 行为、面部表情、反常移动等等。可疑噪音、话语或音量也会对计算机程序提出告警以便警 告受训人员集中于该处的事件。在可能的情况下，可以监控并且在子屏幕上显示对于例如 心搏速率或瞳孔放大之类的更加复杂的因素的分析。
[0003] 所述已知方法的一个问题在于，其没有公开如何获得心搏速率或瞳孔放大，并且 没有公开如何将表示此类因素的数据与被用于分析可疑行为的视频片段同步。


【发明内容】

[0004] 希望提供一种方法、系统和计算机程序，其可以被高效地实施来获得对于在图像 序列中所表示的对象活动的相对可靠的分类。
[0005] 所述目的是通过根据本发明的方法实现的，所述方法包括： -获得数字图像序列； -对所述图像序列当中的至少一个图像执行基于视觉的分析，以便获得用于对在所述 图像中所表示的对象状态进行分类的数据； -确定在所述图像序列当中的至少一些图像中所表示的生物的生理参数的至少一个 值，其中所述生理参数的所述至少一个值是通过对图像数据进行分析而确定的，所述图像 数据来自从中取得对之执行基于视觉的分析的所述至少一个图像的相同图像序列；以及 -利用通过所述基于视觉的分析获得的数据以及所述生理参数的至少一个值对所述 对象的状态进行分类。
[0006] 在这里，术语"活动"用来指代一项或更多项动作的集合，其可以包括例如人类的 生物的表情和行为。因此，所述归类可以为动作指派类型，例如"跑步"，为表情指派类型，例 如"微笑"，或者为行为指派类型，例如"焦躁"或"可疑"。基于视觉的分析涉及空间和空间 时间分析的至少其中之一。
[0007] 通过对图像序列当中的至少其中一个图像执行基于视觉的分析以便获得用于对 在所述图像中所表示的对象的至少一项活动进行分类的数据以及确定在所述图像序列当 中的至少一些图像中所表示的生物的生理参数的至少一个值，使用了两种相对独立的方法 来获得用于对人类活动进行自动化分类的数据。每一种所述方法解决当仅应用其中一种时 所可能导致的含糊。举例来说，高心率伴随着例如跑步、游泳之类的活动。跑步和慢跑涉及 到可能无法很容易地利用基于视觉的分析来区分的类似姿态。由于所述生理参数的至少一 个值是通过分析图像数据确定的，所述图像数据来自从中取得对之执行基于视觉的分析的 所述至少一个图像的相同图像序列，因此所述方法相对高效。不需要除了用以获得所述图 像序列的至少一个摄影机之外的单独传感器。此外，也不需要用于把传感器信号与图像同 步的装置，这是因为使用了相同的图像序列。一项附加的效果是以不显眼的方式确定了所 述生理参数。所述测量是无接触的，就像基于视觉的分析一样，从而所述方法不会影响对象 的活动。另一项效果是可以通过相对很少的附加努力来扩展所述方法以便对多于一个人的 活动进行分类(前提是他们都表示于所述图像序列中）。
[0008] 在一个实施例中，对对象的状态进行分类包括对正由所述对象从事的动作进行分 类。
[0009] 这是所述方法的一种有用的实现方式，因为不同的动作常常由类似的姿态表征， 因此单独的对于人类活动的基于视觉的图像分析将常常导致错误的分类结果。换句话说， 基于视觉的分析系统常常无法在不同类型的动作(例如跑步与慢跑）之间进行区分。
[0010] 在一个实施例中，对基于生理参数的值的数据和通过执行基于视觉的分析获得的 数据应用单独的分类器。
[0011] 为基于生理参数的值的数据以及为通过执行基于视觉的分析获得的数据提供单 独的分类器的一项效果在于，有可能仅仅使用所述两类分析的其中之一而不使用另一类。 这在计算方面将更加高效，因为所述两种方法的其中之一在许多情况下将产生明确的结 果。只有在不是这种情况时才将使用另一个分类器，此外还有一个分类器利用所述全部两 个分类器的成果来产生最终结果。
[0012] 在一个替换实施例中，对基于生理参数的值的数据与通过执行基于视觉的分析获 得的数据的组合应用单个分类器。
[0013] 这样做的效果在于，可以在分类过程中使用生理参数的值与通过执行基于视觉的 分析获得的数据之间的相关性。可以在组合数据集（即生理参数的值和通过执行基于视觉 的分析获得的数据二者）上对所述单个分类器进行训练。
[0014] 在一个实施例中，利用远程光体积描记分析获得在图像序列当中的至少一些图像 中所表示的生物的生理参数的至少一个值。
[0015] 特别在可见频率范围内实施光体积描记分析的情况下，可以使用普通摄影机(例 如包括C⑶或CMOS传感器阵列的摄影机）来获得图像序列。这样做也是有用的，因为基于 视觉的图像分析通常依赖于检测边缘，所述边缘例如在热图像中可能并不存在。此外，不需 要特殊定向的光源来实施基本形式的远程光体积描记分析。
[0016] 一个实施例包括利用被设置成在可见光谱的有限子范围内发光的光源照明生物 的至少一部分。
[0017] 已经发现，利用图像传感器远程地检测心率的最佳波长范围处在500nm左右(可 见光谱的绿色部分)。因此，在实施远程心率测量时，提供该范围内的用于从对象反射的附 加的光将使得信号最大化。被用来获得图像序列的摄影机的一个通道可以被调谐到一定波 长范围，所述波长范围对应于可定向光源被设置成在其中发光的波长范围。只有该通道内 的像素数据可以被用来获得信号，所述信号至少表示处在测量区内的至少一定数目的相关 联图像点处的像素值组合的时变值中的变化。或者可以在来自多个通道的像素数据的加权 和中对该通道内的像素数据进行过加权。另一方面，可以对包括来自多个通道的像素数据 的加权组合的像素数据实施基于视觉的图像分析，其中调谐到对应于所述可定向光源的波 长范围的所述波长范围的通道被略微欠加权，从而减少附加照明的效果。
[0018] 在一种变型中，远程光体积描记分析包括： -选择包括多个图像点的至少一个测量区，每一个图像点在图像序列当中的每一个图 像中具有至少一个相关联的像素值；以及 -获得至少表示测量区内的至少一定数目的相关联的图像点处的像素值组合的时变 值的变化的信号。
[0019] 这种变型的效果在于，所获得的信号相对没有噪声并且具有表示皮肤反射率变化 的相对较强的信号分量。该信号分量可用来确定例如在图像序列中所表示的对象的心率和 /或呼吸率。
[0020] -个实施例包括对图像序列执行基于视觉的图像分析以便跟踪在所述图像序列 中所表示的所选对象的至少一部分，以及控制照明所选对象的至少一部分的可定向光源。
[0021] 对图像序列执行基于视觉的图像分析以便跟踪在所述图像序列中所表示的所选 对象的至少一部分以及控制照明所选对象的至少一部分的可定向光源允许避免阴影，这是 因为可以把光源指向包括测量区的生物的部分。此外，如果存在图像序列中表示的几个生 物，则选择性地照明其中一个生物的至少一部分有助于提供用来确定仅仅其中一个生物的 生理参数的值的信号。
[0022] 所述方法的一个实施例包括：通过分析表示图像序列当中的至少一个图像的至少 其中一些像素数据来选择所选对象的部分。
[0023] 所述分析例如可以是以下各项分析的至少其中之一：用以确定生理参数的值的分 析，用以检测行为类型的分析，以及用以检测所暴露身体部分的表示的存在的分析。这种变 型允许完全自动化的系统确定用于附加照明的适当目标，其中在所述目标上利用例如远程 光体积描记和基于视觉的分析来实施活动分类。举例来说，系统可以检测出在图像序列中 表示了具有异常心率的某人或者表现出特定种类的行为的某人，并且随后跟踪这个人以便 确定他或她的活动。
[0024] 根据另一方面，根据本发明的用于图像分析的系统包括： -用于获得分别由像素数据表示的图像的序列的接口； -第一图像分析系统，其用于对所述图像序列当中的至少一个图像执行基于视觉的分 析，以便获得用于对所述图像中所表示的对象的至少一个动作进行分类的数据； -用于确定在所述图像序列当中的至少一些图像中所表示的生物的生理参数的至少 一个值的系统，用于确定生理参数的至少一个值的所述系统包括通过分析图像数据来确定 生理参数的至少一个值的第二图像分析系统，所述图像数据来自从中取得对之执行基于视 觉的分析的所述至少一个图像的相同图像序列，其中所述用于进行图像分析的系统被配置 成利用由第一图像分析系统提供的数据以及所述生理参数的至少一个值来对对象的活动 进行分类。
[0025] 在一个实施例中，所述系统被设置成实施根据本发明的方法。
[0026] 根据本发明的另一方面，提供了一种包括指令集的计算机程序，当被合并到机器 可读介质中时，所述指令集能够使得具有信息处理能力的系统执行根据本发明的方法。
[0027] 利用光源跟踪人以避免阴影 Verkruysse等人的"Remote photoplethysmographic imaging using ambient light (利用周围光进行远程光体积描记成像)"16 (26)，2008年12月， ρρ. 21434-21445)公开了一种方法，其中利用普通的周围光作为光源以及影片模式下的简 单的消费级别数字摄影机在人脸上远程地测量光体积描记信号。在15或30帧每秒以及 640x480或320x240的像素分辨率下记录的彩色影片被所述摄影机保存为AVI格式，并且 被传送到个人计算机。利用软件对于每一个影片帧读取对应于红色、绿色和蓝色通道的像 素值，从而提供PV (X，y，t)集合，其中X和y分别是水平和垂直位置，并且t是对应于帧率 的时间。利用图形用户接口，在静止图像中选择感兴趣区段（R0I )，并且未处理信号PVraw(t) 被计算为R0I内的所有像素值的平均值。执行快速傅里叶变换以便确定功率和相位谱。
[0028] 所述已知方法的一个问题在于，周围照明可能导致被用于光体积描记分析的区段 内的阴影，从而使得结果较不可靠或者需要附加的图像处理。
[0029] 权利要求13和15中的方法和系统提供了用于光体积描记分析的信号，所述信号 具有相对较强并且清楚的分量，从中可以确定在图像中所表示的个体的例如脉搏率或呼吸 率之类的生理参数。
[0030] 根据本发明的另一方面，所述方法包括： -从至少一台摄影机获得图像序列，每个图像由像素数据表示，所述像素数据表示至 少一个有限波长范围内的反射周围光； -对于至少一个测量区，提供至少表示所述测量区内的至少一定数目的图像点处的像 素值组合的时变值的变化的信号，以用于确定生理参数的至少一个值；以及 -跟踪在所述图像序列中所表示的所选对象的至少一部分，并且控制照明所选对象的 至少一部分的可定向光源。
[0031] 基于视觉的分析涉及空间分析和空间时间分析的至少其中之一。
[0032] 通过以下措施，所述方法允许使用诸如基于CCD或CMOS的摄影机之类的摄影机来 确定生物的皮肤反射率的变化：从至少一台摄影机获得图像序列，每个图像由像素数据表 示，所述像素数据表示至少一个有限波长范围内的反射周围光；以及对于至少一个测量区 提供至少表示所述测量区内的至少一定数目的图像点处的像素值组合的时变值的变化的 信号，以用于确定生理参数的至少一个值。因此，没有必要提供调制照明信号，也没有必要 从来自传感器的信号中仅仅分离出反射的调制照明信号。跟踪在图像序列中所表示的所选 对象的至少一部分以及控制照明所选对象的至少一部分的可定向光源允许避免阴影，这是 因为可以把光源指向包括感兴趣区段的生物的部分。此外，如果存在图像序列中表示的几 个生物，则选择性地照明其中一个生物的至少一部分有助于提供用来确定仅仅其中一个生 物的生理参数的值的信号。此外，所述光源可以被配置成在特别适合于光体积描记的光谱 范围内发光，从而还提供更强的信号。
[0033] 已经知道利用调制光束跟踪人，并且捕获反射的调制光束，以便确定生理参数。在 这种情况下，从所捕获的信号中去除所有未调制光。因此，除了所述光束之外不使用周围 光。该光束的中断将导致所述方法的暂时失效。此外，通常使用专用的灵敏传感器来捕获 反射光束。本发明的方法使用摄影机和像素值组合来获得足够强的信号，以用于确定表征 (周期性）生理现象的参数的值。
[0034] 在一个实施例中，所述可定向光源被设置成在光谱的可见光部分的有限子范围内 发光。
[0035] 对于特定频率，皮肤反射率随着血液灌注改变而发生更加强烈的改变。有色光源 的使用允许优化所述方法，以便获得其中随着皮肤反射率变化的各个分量更加强烈的强度 信号。
[0036] 在一种变型中，在多个通道中从摄影机接收图像数据，其中一个通道被调谐到所 述有限子范围。
[0037] 因此，提供至少表示测量区内的至少一定数目的图像点处的像素值组合的时变值 的变化的信号以用于确定生理参数的至少一个值的所述步骤可以包括以下各项的其中之 一 ：（i )仅仅使用来自所调谐通道的像素值，或者（ii )将所述总和形成为来自不同通道的 像素值的加权组合，其中对来自所调谐通道的像素值进行过加权。这样允许获得具有表示 变化的皮肤反射率值的强分量的强度信号。
[0038] -个实施例包括分析图像序列当中的至少一个图像，以便选择所选对象的至少一 部分。
[0039] 所述分析可以是用以确定在图像序列中所表示的所有对象的生理参数值的分析， 以便基于特定标准选择至少一个但是少于全部对象。所述分析还可以是基于视觉的分析， 以便识别出具有特定姿态、形状或运动模式的身体或身体部分。这些类型的分析可以是自 动化的，因此该实施例适合于例如用于医疗或安全目的的自动监视系统。
[0040] 在一个实施例中，跟踪所选对象的至少一部分包括：对图像执行基于视觉的分析， 以便在图像序列中跟随表示所选对象的所述至少一部分的区段的位置。
[0041] 一种效果在于可以使用单个移动测量区，从而只需要获得一个至少表示像素值组 合的时变值的变化的强度信号。没有必要把一个测量区栅格覆盖在图像上以便确保只确定 所选对象的生理参数的值。
[0042] 在一个实施例中，可定向光源相对于摄影机的位置固定，并且控制可定向光源包 括控制用于改变摄影机的观看方向的设备。
[0043] 该实施例的效果在于，改变观看方向改变了光源发射的光的方向。因此，大部分光 也在摄影机的方向上被反射回去。这意味着几乎没有阴影，并且获得表示皮肤反射率变化 的相对较强的信号。通过相对于摄影机的支座移动摄影机外罩来控制摄影机的观看方向， 其中可定向光源相对于所述外罩的位置固定。
[0044] 根据另一方面，根据本发明的用于允许实现远程光体积描记分析的系统包括： -用于从至少一台摄影机获得图像序列的至少一个摄影机接口，每个图像由像素数据 表示，所述像素数据表示至少一个有限波长范围内的反射周围光； -用于处理像素数据的系统，其被配置成对于至少一个测量区提供至少表示所述测量 区内的至少一定数目的图像点处的像素值组合的时变值的变化的信号，以用于确定生理参 数的至少一个值； -用于跟踪在所述图像序列中所表示的所选对象的至少一部分的系统；以及 -用于控制照明所选对象的至少一部分的可定向光源的系统。
[0045] 在一个实施例中，所述系统被配置成执行根据本发明的方法。
[0046] 根据本发明的另一方面，提供了一种包括指令集的计算机程序，当被合并到机器 可读介质中时，所述指令集能够使得具有信息处理能力的系统执行根据本发明的方法。

【专利附图】

【附图说明】
[0047] 下面将参照附图更加详细地解释本发明，其中： 图1是用于对在图像序列中所表示的个体的动作状态进行分类的系统的示意性方框 图； 图2是给出由图1的系统所实施的方法的总览的流程图； 图3是详解图2的方法中的分类步骤的流程图； 图4是详解图2的方法中的分类步骤的一种替换实现方式的流程图； 图5是示出了在所述用以获得生理参数的值的系统的一个实施例中所实施的各个步 骤的流程图；以及 图6是示出了用于获得生理参数的值的一个替换步骤序列的流程图。

【具体实施方式】
[0048] 通过举例的方式，用于对生物的状态进行分类的系统1被显示为包括计算机2、摄 影机3和可定向光源4。
[0049] 计算机2可以是任何类型的计算设备，例如个人计算机，其不同之处在于配备有 摄影机接口 5和到光源4的接口 6。因此，计算机2包括数据处理单元7和工作存储器8以 及非易失性数据存储设备9。在接口 10上向输出设备11提供输出，以便提供可听和可视输 出的至少其中之一。通过到用户输入设备13的接口 12获得用户输入，所述用户输入设备 比如键盘、触摸屏或者指示器设备。摄影机接口 5使得计算机2能够获得表示由摄影机3 捕获的图像序列的数字数据，以及向摄影机3发送控制信号。光源接口 6允许计算机2控 制光源4。图像由像素数据表示。
[0050] 在一个实施例中（没有详细示出），可定向光源4是包括用于一盏或更多盏灯的外 罩、连接到外罩的支座以及用于相对于支座移动外罩的一个或更多个致动器的设备。所述 支座可以是用于将光源4固定就位的底座或托架。来自计算机2的控制信号控制各个致动 器。在另一个实施例中，所述外罩不移动，而是反射和/或折射光学元件被提供以用于把光 源4中生成的光束导向所期望的位置。
[0051] 在一个实施例中，光源4相对于摄影机3被固定就位，摄影机3可以相对于支座 (例如底座或托架）移动。在这样的实施例中，光源4被设置成将光束引导在摄影机3也被 导向的点。
[0052] 在一个实施例中，光源4被配置成在电磁谱的可见范围内发光，更具体来说，发射 其能量的主要部分(例如70%、80%或者甚至90%)处在仅仅该范围的子范围内的光。在一个 实施例中，所述子范围包括由人类观察者感知为绿色的频率，即对应于450nm和570nm之间 的波长的频率。在一个具体实施例中，光源4的光谱在480nm和520nm之间的范围内具有 最大值。一种效果在于，系统1能够更加准确地确定存在于由摄影机3捕获的场景内的生 物的心率。
[0053] 摄影机3可以是被配置成在电磁谱的至少可见范围内捕获图像的任何类型的数 字摄影机。在一个实施例中，所述摄影机被设置成在多个通道(例如三个通道)中提供图像， 并且其中一个通道被调谐到可见光谱的有限子范围，其对应于光源4被设置成在其中发光 的子范围。为此，摄影机3配备有用于该通道的适当光学滤波器。正如本领域技术人员所 知，通道是用于形成彩色图像的单色图像。除了所调谐通道之外，例如可以有红色和蓝色通 道。
[0054] 在所有其他方面，摄影机3可以是例如基于CCD或CMOS技术的传统数字视频摄影 机。
[0055] 如图2中所示，系统1 (更具体来说是计算机2)被设置成选择在由摄影机3捕获 的场景中所表示的一个或更多生物对象(步骤14)。所述选择可以是隐含的，其中计算机选 择在所述场景中表示的身体部分(例如脸部或者具有暴露皮肤以及可选地满足一条或更多 条标准的任何身体部分)。在一个实施例中，操作人员通过经由输入设备13提供适当的用 户输入来实施所述选择。可以在输出设备11上显示图像序列当中的一个或更多图像，以便 在该过程中引导操作员。在另一个实施例中，计算机2分析图像序列当中的至少一个图像， 以便选择个体或个体的部分。举例来说，计算机2可以实施图像分段，随后使用一种或更多 种分类算法对于每一个片段确定其是否表示生物的皮肤表面的片段。这样就产生了候选片 段集合。在一种变型中，对另外的标准进行评估以便选择被确定为对应于生物的皮肤表面 的候选片段当中的一个或更多个。在另一种变型中，选择最均匀的候选片段。在另一种变 型中，随机选择其中一个被检测为表示生物对象的部分的候选片段。应当提到的是，可以使 用其他类型的基于视觉的分析来选择候选片段。
[0056] 在另一个实施例中，使用运动检测来确定对应于移动对象的区段。这样同样会产 生一个或更多用于跟踪的候选区段，可以随机地或者利用另外的标准选择其中的一个或更 多个区段。
[0057] 或者，计算机2可以被配置成确定表征生物的生理参数的一个或更多值的序列， 以及使用所述值来选择将要跟踪的生物。举例来说，可以选择具有处在特定范围内的心率 或呼吸率值的生物来进行跟踪。这些方法的组合是可能的。举例来说，可以在屏幕上高亮 显示基于生理参数的一个或更多值所选择的生物，以便允许操作人员确认对于所述生物的 选择。
[0058] -旦选择了生物或者生物的部分，就在由摄影机3捕获的图像中所表示的所选对 象移动时控制照明该对象的至少一部分的可定向光源4 (步骤15)。与此同时，对由摄影机 3捕获并且被传递到计算机2的图像进行分析，以便同时利用基于视觉的分析以及对于表 征所述对象的生理参数的至少一个值的确定来对所述对象的状态进行分类(步骤16)。
[0059] 如前所述，控制可定向光源的步骤15在一个实施例中包括移动附着有光源4的摄 影机3,从而使得来自光源4的光束一般保持固定在所选对象的至少一部分上。在该实施例 中，利用基于视觉的分析来跟踪对象的所选部分，并且控制摄影机3以确保所述部分大致 保持在由摄影机3捕获的每一个图像中的相同位置处。
[0060] 在另一个实施例中，光源4和摄影机3被放置在不同位置处，并且使用校准模式来 导出对摄影机3和光源4的环境进行建模的等式，并且允许计算机2把一个模型中的各个 位置映射到另一个模型中的各个位置。计算机2通过基于视觉的图像分析来跟踪对象的所 选部分，并且把所述对象的移动转换成用于引导来自光源4的光束的指令。
[0061] 在另一个实施例中，利用视频信号的被调谐到可见光谱的有限子范围的通道，所 述有限子范围对应于光源4被设置成在其中发光的子范围。在该实施例中，实施某种形式 的闭环控制，其中在图像中跟踪光束点的位置，至少是在形成所调谐通道中的图像分量的 各帧中跟踪。还识别出所跟踪对象的所选部分，并且控制光源4从而使得光束点覆盖所述 所选部分。
[0062] 可以利用许多已知技术当中的任一种来实施用以跟踪图像的所选部分的基于视 觉的图像分析，例如在De Haan, G.等人的"True motion estimation with 3D_recursive search block-matching (利用3D递归搜索块匹配的真实运动估计)"（7--1 〇/? Circ. and Syst. from Video Techn. ^ Vol. 3,1993 年 10 月，pp. 368-388)中所描述的技 术。
[0063] 在一个实施例中，根据图3来实施分析图像并且对活动状态进行分类的步骤16。 在该实施例中，计算机2对由摄影机3捕获的图像序列当中的至少一个图像执行基于视觉 的分析，以便获得用于对在所述一个或更多图像中所表示的生物的状态进行分类的数据。 所述计算机还利用来自相同来源（即摄影机3)的图像确定所述生物的生理参数的至少一 个值。计算机2实施分类算法，所述分类算法同时将基于通过应用所述基于视觉的分析所 获得数据的数据以及基于所述生理参数的值的数据作为输入，并且输出表明状态类型的数 据，更具体来说是由对象所采取的动作的类型。
[0064] 如图3中所示，随着从摄影机3接收到新图像(步骤17)而连续实施所述方法。从 最近接收到的图像形成的子序列被用于分析。还可以在每次接收到特定数目的图像时而不 是对于每一个新图像实施所述方法。
[0065] 在所示实施例中，使用如在Niebles, J. C.等人的"Unsupervised learning of human action categories using spatial-temporal words (利用空间-时间字对于人类 动作类别的无监督学习）"（//^.7；仏學1//幻'〇/7,22(3)，2008年9月，？?.299-318)中 所描述的一种空间时间分析(步骤18)。在该方法中，通过提取空间-时间兴趣点而将图像 序列表示为空间-时间字聚集。在图3的实施例中，将这种字的各个集合组合到第一特征 矢量19中（步骤20)。
[0066] 利用来自在并行步骤18中对其中的图像进行分析的相同图像序列的图像(不需 要有图像身份：只需要有图像来源的身份以及同步，这是因为所述图像是来自相同的时间 区间)，利用下面将要详细讨论的图5和图6的其中一种方法提取强度信号(步骤21)。所述 强度信号至少表示测量区内的至少一定数目的图像点处的像素值组合的时变值的变化，所 述测量区位于所跟踪区段内，并且至少在图2的方法中被照明。
[0067] 人类皮肤可以被建模成具有至少两层的对象，其中一层是表皮(薄表面层)，并且 另一层是真皮(表皮下的较厚一层)。射入光线的近似5%在表皮中被反射，这对于所有波长 和皮肤颜色都是这种情况。剩余的光以一种被称作身体反射率的现象(在二色反射模型中 做了描述)在所述两个皮肤层内被散射及吸收。表皮的行为类似于一个光学滤波器，其主要 吸收光。在真皮中，光既被散射也被吸收。所述吸收取决于血液成分，因此所述吸收对于血 流变化较为敏感。真皮的光学属性对于所有人类种族一般都是相同的。真皮包含稠密的血 管网络，是成人的全部血管网络的大约10%。这些血管根据身体中的血流而收缩。因此，所 述血管会改变真皮结构，这影响了各个皮肤层的反射率。因此，可以从皮肤反射率变化确定 心率。
[0068] 所述强度信号被用来建立第二特征矢量22 (步骤23)。该特征矢量22例如可以 包括表示所述强度信号的值序列，或者对应于强度信号的主导频率以及对于所述主导频率 的数改变的估计的至少其中之一的一个或更多值。在一个实施例中，所述值对应于接连的 时间点。在一个实施例中，把强度信号的频谱的不同子范围内的几个主导频率输入到特征 矢量22中。因此，表征两个或更多个周期性生理现象的值被用作确定生物(人类)状态的基 础。
[0069] 随后(步骤24)，把第一特征矢量19和第二特征矢量22串联形成用作分类算法的 输入的联合特征矢量25。随后应用该算法(步骤26)以便确定所跟踪对象的状态，特别是由 该对象所执行的动作。
[0070] 在一个实施例中，所述分类算法由支持矢量机实施。在另一个实施例中，AdaBoost 被用作分类算法。可以使用任何其他类型的机器学习算法。首先利用训练视频和分类人员 来训练所述算法，在这里并没有详细说明其处理。图3中所示的处理所使用的分类器还可 以使用生理信号与空间时间系数之间的相关性来确定用户所处的状态。
[0071] 对于图4中所示的替换方法则不一定是这种情况。但是图4的方法可能更快， 并且在计算方面更加高效。在该方法中，同样形成图像序列（步骤27)，并且利用如在 Niebles, J. C.等人的 "Unsupervised learning of human action categories using spatial-temporal words (利用空间-时间字对于人类动作类别的无监督学习 J (3),2008年9月，pp. 299-318)中所描述的方法获得空间时间系数(步 骤28)。随后，同样建立第一特征矢量29 (步骤30)。
[0072] 接下来，对第一特征矢量29应用单独的第一分类器(步骤31)。该分类器也基于 至少一种机器学习算法。在某些情况下其可能会产生含糊的结果。举例来说，仅仅通过使 用基于视觉的分析相对难以确定在图像序列中所表示的人正在跑步还是慢跑。在任一种情 况下，各个单独图像中的人的姿态都将是类似的。如果第一分类步骤31产生至少一个预定 分类当中的一个以作为结果，表明关于所述特定分类的不确定性，则实施另外的步骤32-34 以确定所述预定分类的子类。因此，如果第一分类步骤31产生"正在跑步或慢跑"的结果， 则将实施另外的步骤32-34以便确定所述两个分类当中的哪一个是正确的。在这些另外的 步骤32-34当中的第一步骤32中，利用在图5和图6中概述的其中一种方法提取出强度信 号。随后，基于表示所述强度信号的数据确定生理参数的至少一个值(步骤33)。随后，例如 利用规则集合确定准确的状态(步骤34)。在一个替换实施例中，对基于所述强度信号的特 征矢量应用机器学习算法，并且把所述算法的结果与第一分类步骤31的结果相组合，从而 得到最终结果。
[0073] 现在参照图5,将更加详细地解释提取强度信号的步骤21、32的第一实现方式。所 示实施例包括初始化阶段，其可以在系统1启动时被实施。在该初始化阶段中，确定用于摄 影机3的适当设定(步骤35)。为此，在捕获数字图像序列的同时，计算机2使得摄影机3的 帧率、曝光时间、像素时钟(其决定采集像素值的速率）以及各个摄影机通道的增益的至少 其中一项发生变化。确定所述序列当中的每一个图像的至少一部分的（空间）平均亮度，并 且对于所述设定的每一个新值确定所述平均亮度的周期性波动的量值。选择背景波动至少 表现出局部最小值的那些设定以供后续使用。取代确定所述图像的至少一部分的空间平均 亮度，可以确定单独像素的亮度波动。选择摄影机3的设定的效果在于，在对之应用所述方 法的剩余部分的图像序列中，在最大可能程度上没有周期性的背景照明波动。
[0074] 在下一步骤36中，从摄影机3获得图像序列37。所述图像序列37表示在接连时 间点处捕获的场景，所述时间点可以具有规则或不规则间隔。
[0075] 在下一步骤38中，对图像37进行处理以便去除非周期性背景信号。为此，形成对 应于图像37的部分或全部的时变平均亮度的校正信号。在所示实施例中，随后将图像37 的像素数据与所述校正信号去相关。用于抵消非线性互相关的算法本身是已知的。在这一 阶段38可以发生另外的图像处理以便例如补偿摄影机运动。
[0076] 假定已经执行了图2的第一步骤14,从而已经识别出所跟踪的区段39。获得该区 段的位置(步骤40)。
[0077] 随后，对于每一个所选择并跟踪的区段39,选择区段39内的测量区41 (步骤42)。 在序列37的每一个图像中识别出测量区41。因此，对于构成测量区41的所有图像点，确定 每一个图像当中的哪一个像素对应于该测量区的特定图像点。
[0078] 接下来(步骤43)，生成表示对应于测量区41的各个图像点的像素的时变平均亮 度的信号44。对于序列37的每一个图像，形成被确定为包括在测量区41内的各个像素的 平均亮度。由于序列37的每一个图像表示时间点，因此获得时变(离散时间)信号。在一个 替换实施例中，丢弃特定图像点，从而取得测量区41内少于所有图像点处的像素值总和。 在一个实施例中，使用各个像素值的加权和，其中至少一个通道的权重不同于其他通道。这 样允许对于被调谐到光源4被配置成在其中发光的可见光谱的子范围的通道进行过加权 (overweight)。在另一个实施例中，只使用来自该通道的值。
[0079] 随后将信号44居中在其均值上(步骤45)，以便产生表示对应于测量区41的各个 图像点的像素的时变平均亮度的另一个信号46,从而更好地观察其变化。在一种变型中，该 步骤45还包括与替换地包括在步骤38中的校正信号的去相关。在一种不同的变型中，该 步骤45包括过滤操作，例如对应于信号微分的过滤操作。用于提取具有较小幅度的时间变 化的其他替换方案也是可能的。
[0080] 最后（步骤47)，使用基本信号处理技术从所述另一个信号46中提取出表示心率 或呼吸率的信息。可以通过确定通常分别与呼吸率和心率相关联的范围内的主导频率来提 取二者当中的任一项或全部两项。
[0081] 图6示出了提取强度信号以用于确定生理参数的至少一个值的步骤21、32的一种 替换实现方式。
[0082] 初始步骤48-50类似于图5的方法的相应步骤35、36、38。从而获得(步骤49)图 像序列51并对其进行校正(步骤50)。
[0083] 但是在下一步骤52中，将一个栅格覆在每个图像51上，所述栅格将每个图像划分 成多个测量区或潜在测量区。每个测量区包括多个图像点，即多个像素位置。
[0084] 随后(步骤53)选择至少一个但是通常是所有的测量区，并且对于每个测量区确立 对应的信号54a-n，所述信号对应于图像51中的与该测量区的各个图像点相对应的像素的 时变空间平均亮度值。
[0085] 随后将每个第一信号54a_n居中在其均值上(步骤55)，以便产生表不对应于相关 联的测量区的各个图像点的像素的时变平均亮度的另外的信号56a-n，从而更好地观察其 变化。在一种变型中，该步骤55还包括与替换地被包括在对图像51应用校正的早前步骤 50中的校正信号的去相关。在一种不同的变型中，该步骤55包括过滤操作，例如对应于信 号微分的过滤操作。用于提取具有较小幅度的时间变化的其他替换方案是可能的。
[0086] 随后确定信号56a_n的频谱在特定范围内具有局部最大值的频率(步骤57)。同样 地，该步骤57还可以涉及确定两个对应范围内的主导频率，从而例如确定心率和呼吸率二 者的值。
[0087] 在该实施例中，有可能检测到是否在图像序列51中存在多于一个人，这例如是通 过比较对于每个测量区确定的主导频率或者通过检测不同强度信号54a-n之间的相位差 而实现的。由于将利用可定向光源4跟踪一个生物，因此最强的强度信号54a-n将是在步 骤23 (图3)或步骤33中所使用的信号，步骤23是建立特征矢量的步骤，步骤33是在图4 的方法中确定所述生理参数的至少一个值的步骤。
[0088] 确定在图像序列51中所表示的所有对象的生理参数的值的可能性使得图6的方 法适于实施图2的方法中的第一步骤14,这是因为有可能使用所述生理参数的值作为用于 选择将要确定其状态的人的标准。因此，在一个实施例中，图6的方法被用在图2的第一步 骤14中，并且图5的方法被用在随后的分析步骤16中。
[0089] 因此，前面给出的方法允许完全自动化地确定在图像序列37、51中所表示的人的 状态。这可以是确定人的行为(其中由序列37、51覆盖较长的时间跨度)或动作。由于其不 显眼的性质，所述方法适用于安全目的的监视系统。其还可用作医疗目的的监测系统，以便 例如检测某人是否正遭受中风等等。
[0090] 应当提到的是，前面提到的实施例说明了而不是限制了本发明，并且在不背离所 附权利要求书的范围的情况下，本领域技术人员将能够设计许多替换实施例。在权利要求 书中，置于括号之间的任何附图标记不应当被解释为限制该权利要求。"包括"一词不排除 在权利要求中所列出的之外的其他元件或步骤的存在。元件之前的"一个"或"某一"不排 除多个这种元件的存在。在互不相同的从属权利要求中引述某些措施这一事实并不意味着 不能使用这些措施的组合来获益。
[0091] 在一个实施例中，省略了利用光源4 (实际上是整个光源4)来跟踪在图像序列中 所表示的所选对象的至少一部分的步骤15。相反，计算机2分析图像序列以便对其中所表 示的生物的状态进行归类。该分析可以实时进行或者可以对所记录的图像序列实施。
【权利要求】
1. 允许实现远程光体积描记分析的方法，包括： -从至少一台摄影机（3)获得图像序列（37 ;51)，每个图像由像素数据表示，所述像素 数据表示至少一个有限波长范围内的反射周围光； -对于至少一个测量区（41)，提供至少表示所述测量区（41)内的至少一定数目的图 像点处的像素值组合的时变值的变化的信号，以用于确定生理参数的至少一个值；以及 -跟踪在所述图像序列（37 ;51)中所表示的所选对象的至少一部分，并且控制照明所 选对象的至少一部分的可定向光源（4)。
2. 根据权利要求1的方法，其中所述可定向光源（4)相对于摄影机（3)的位置固定，并 且其中控制可定向光源（4)包括控制用于改变摄影机（3)的观看方向的设备。
3. 用于允许实现远程光体积描记分析的系统，包括： -用于从至少一台摄影机（3)获得图像序列（37 ;51)的至少一个摄影机接口（5)，每个 图像由像素数据表示，所述像素数据表示至少一个有限波长范围内的反射周围光；以及 -用于处理像素数据的系统，其被配置成对于至少一个测量区（41)提供至少表示所述 测量区（41)内的至少一定数目的图像点处的像素值组合的时变值的变化的信号，以用于确 定生理参数的至少一个值； -用于跟踪在所述图像序列（37 ;51)中所表示的所选对象的至少一部分的系统；以及 -用于控制照明所选对象的至少一部分的可定向光源（4)的系统。
【文档编号】G06K9/00GK104123536SQ201410310699
【公开日】2014年10月29日 申请日期:2010年8月9日 优先权日:2009年8月20日
【发明者】V.让娜, I.O.基伦科, G.塞尼尼, L.邵 申请人:皇家飞利浦电子股份有限公司