行为识别系统的制作方法

专利名称：行为识别系统的制作方法
技术领域：
本发明一般地涉及视频分析，并且更具体而言，涉及基于流视频数据 来分析和学习行为。
背景技术：
一些当前可用的视频监视系统具有简单的识别能力。然而，许多这样 的监视系统需要(在系统被开发之前)事先知道系统必须能够搜寻出的动 作和/或目标。必须开发出针对特定"异常"行为的下层应用代码来使得这 些监视系统可操作并且充分起作用。换而言之，除非系统下层代码包括对 某些行为的描述，否则，该系统将不能够识别这样的行为。此外，对于不 同的行为，需要开发出不同的软件产品。这使得具有识别能力的监视系统 是劳动密集型的并且昂贵得无人问津。例如，监视机场入口以发现暗中的 犯罪活动和识别出在水池中没有移动的游泳者是两种不同情况，并且因此 需要开发出将它们各自的"异常行为"预先编码的两种不同软件产品。可以将监视系统设计成记忆正常的场景，并且只要认为正常的场景发 生改变就产生报警。然而，这些类型的监视系统必须被预先编程以知道多 少改变是异常。此外，这样的系统不能精确地表征实际发生的是什么。相 反，这些系统确定先前认为"正常"的某些事情已经改变。因此，以这 种方式开发的产品被配置成仅能检测有限范围的预定类型的行为。发明内容本发明实施例提供了用于基于所获得的视频帧的流来分析和学习行为 的方法和系统。基于对视频帧的分析来确定该流中所描述的对象。每个对 象可以具有相应的搜索模型，搜索模型被用来逐帧地跟踪对象的运动。确 定对象的分类并且生成对象的语义表示。语义表示被用来确定对象的行为并且学习由所获得的视频流描述的环境中所发生的行为。这样，系统通过 分析环境中对象的移动、活动或不存在来迅速并且实时地学习正常和异常 的行为，并且基于已经习得的来识别和预测异常和可疑的行为。本发明一个具体实施例包括一种用于对记录场景内的事件的视频帧的 流进行处理的方法。该方法一般可以包括接收该流的第一帧。第一帧包括 用于该帧中所包括的多个像素的数据。该方法还可以包括识别第一帧中的 一组或多组像素。每组像素描述场景内的一个对象。该方法还包括生成存 储与每个所识别的对象相关联的一个或多个特征的搜索模型，使用经过训 练的分类器对所述对象中的每一个对象进行分类，使用搜索模型在第二帧 中跟踪第一帧中所识别出的对象中的每一个对象，并且将第一帧、第二帧 和对象分类提供给机器学习引擎。该方法还包括由机器学习引擎生成对在 多个帧的场景中由对象涉及的行为的一个或多个语义表示。机器学习引擎 一般可以被配置为学习在多个帧的场景中所观察到的行为模式，并且识别 分类后的对象所涉及的行为模式的发生。


为了获得并且详细理解本发明的上述特征、优点和目标，对以上简要 描述的本发明的更具体的描述可以参考附图中所示的实施例。然而，应当注意，附图仅示出本发明的典型实施例，并且因此不应被 认为是对本发明范围的限制，因为，本发明允许其它等效的实施例。图1是根据本发明一个实施例的行为识别系统的高级框图。图2是根据本发明一个实施例的、用于基于视频帧的流分析和学习行 为的方法的流程图。图3示出根据本发明一个实施例的计算机视觉引擎的背景-前景 (background-foreground)模块。图4示出根据本发明一个实施例的、用于在计算机视觉引擎中跟踪感 兴趣的对象的模块。图5示出根据本发明一个实施例的计算机视觉引擎的估计器/识别器模块。图6示出根据本发明一个实施例的计算机视觉引擎的上下文处理器(context processor )组件。图7示出根据本发明一个实施例的机器学习引擎的语义分析 (semantic analysis)模块。图8示出根据本发明一个实施例的机器学习引擎的感知(perception)模块。图9A至图9C示出根据本发明一个实施例的、行为识别系统检测出异 常行为并且发布警告的视频帧序列。
具体实施方式
诸如这里所述的本发明实施例之类的机器学习行为识别系统基于随时 间获得的信息来学习行为。在本发明的上下文中，来自视频流(单个视频 帧的序列)的信息被分析。本公开描述了一种行为识别系统，该系统通过 分析随时间的运动和/或活动(或者该项可能不存在)来学习识别和区分 场景内的正常和异常行为。正常/异常行为不是预先定义的或硬件编码 的。相反，这里所述的行为识别系统迅速习得对于任何环境什么是"正常 的"，并且基于通过监视该位置(即，通过逐帧地分析所记录的视频的内 容)所习得的知识来识别异常的和可疑的行为。以下，参考本发明实施例。然而，应当理解，本发明不限于任何特定 描述的实施例。相反地，以下特征和实施例的任何组合不论是否与不同的 实施例相关都被实现来实现和实行本发明。此外，在各种实施例中，本发 明提供了众多超过现有技术的优点。然而，尽管本发明实施例可以实现超 过其它可能的解决方案和/或超过现有技术的优点，然而，具体的优点是 否是通过给定实施例来实现的并不是对本发明的限制。因此，以下方面、 特征、实施例和优点仅仅是示例性的，并且不被认为是权利要求的元素或 限制，除非被清楚地记载在(一项或多项)权利要求中。类似地，对"本 发明"的提及不应被理解为对这里公开的任何发明主题的概括，并且不应 被认为是权利要求的元素或限制，除非被清楚地记载在(一项或多项)权 利要求中。本发明的一个实施例被实现为由计算机系统使用的程序产品。该程序 产品的(一个或多个)程序定义实施例(包括这里所述的方法)的功能， 并且可以被包含在各种计算机可读存储介质上。示例性的计算机可读存储 介质包括但不限于(i)永久存储信息的不可写存储介质(例如，计算机内的只读存储设备，例如CD-ROM驱动器可读的CD-ROM盘)；(ii)存储可更改信息的可写存储介质(例如，磁盘驱动器内的软盘或硬 盘驱动器)。这样的计算机可读存储介质在执行指示本发明的功能的计算 机可读指令时是本发明的实施例。其它介质包括通信介质，信息通过所述 通信介质(例如，通过计算机或电话网络)传送到计算机，所述通信介质 包括无线通信网络。后一实施例特定地包括将信息发送到因特网或其它网 络，以及发送来自因特网或其它网络的信息。这样的通信介质在执行指示 本发明的功能的计算机可读指令时是本发明的实施例。广义而言，计算机 可读存储介质和通信介质在这里可以被称为计算机可读介质。一般而言，被执行来实现本发明实施例的例程可以是特定应用、组 件、模块、对象或指令序列的一部分。本发明的计算机程序通常由大量指 令组成，所述指令被本地计算机翻译成机器可读格式并且因而是可执行的 指令。并且，程序由变量和数据结构组成，变量和数据结构要么本地驻留 在程序中，要么可以在存储器或存储设备中找到。此外，在本发明的特定 实施例中，这里所述的各种程序可以基于它们被实现在其中的应用来标 识。然而，应当明白，以下任何特定程序的命名仅仅是为了方便而被使 用，并且因此本发明不应被限制于仅用在由这样的命名所标识和/或暗示 的任何特定应用中。本发明实施例提供用于分析、学习和识别行为的行为识别系统和方 法。图l是根据本发明一个实施例的行为识别系统100的高级框图。如所 示出的，行为识别系统100包括视频输入105、网络110、计算机系统 115以及输入和输出设备145 (例如，监视器、键盘、鼠标、打印机 等)。网络U0从视频输入105接收视频数据(例如，(一个或多个)视频 流、视频图像等)。视频输入105可以是视频相机(摄像机)、VCR、DVR、 DVD、计算机等。例如，视频输入105可以是目标为某一区域 (例如，地铁站)并且连续地记录该区域和在该区域中发生的事件的固定 视频相机。 一般，该相机可以看见的区域称为"场景"。视频输入105可 以被配置为以规定帧率(例如，24帧每秒)记录该场景以作为单个视频 帧的序列，其中，每一帧包括固定数目的像素(例如，320X240)。每一 帧的每一个像素规定色彩值(例如，RGB值)。此外，可以使用公知的 样的格式来格式化该视频流，所述格式例如是MPEG 2、 MJPEG、 MPEG 4、 H.263、 H.264等。如以下将更详细描述的，该行为识别系统分析该原 始信息来识别流中的活动对象、对这样的元素进行分类、获取有关这样的 元素的动作和交互(interaction)的各种元数据，并且将该信息提供给机 器学习引擎。机器学习引擎又被配置为随时间进行评估、学习和记忆。此 外，基于该"学习"，机器学习引擎可以将某些行为识别为是异常的。网络110可以被用来将由视频输入105记录的视频数据发送给计算机 系统115。在一个实施例中，网络110将所接收到的视频帧的流发送给计 算机系统115。作为示例，计算机系统115包括CPU 120、存储装置125 (例如，盘 驱动器、光盘驱动器、软盘驱动器等)和存储器130，存储器130包括计 算机视觉引擎135和机器学习引擎140。计算机视觉引擎135可以提供被 配置为对由视频输入105提供的视频帧的序列进行分析的软件应用。例 如，在一个实施例中，计算机视觉引擎135可以被配置为分析视频帧以 识别感兴趣的目标，跟踪那些感兴趣的目标，推断关于感兴趣的目标的特 性，用不同类别(category)对他们进行分类，并且给所观察到的数据加 标签。在一个实施例中，计算机视觉引擎135生成经过分类的感兴趣的对 象的属性(例如，纹理、色彩等)的列表，并且将该列表提供给机器学习 引擎140。此外，计算机视觉引擎可以向机器学习引擎140提供关于场景 内的每个被跟踪的对象的各种信息(例如，运动学数据、深度数据、色彩 数据、外观数据等)。机器学习引擎140接收视频帧和由计算机视觉引擎135生成的结果。 机器学习引擎140分析所接收到的数据，建立对视频帧中所描述的事件的语义描述，确定模式，并且从这些观察到的行为进行学习来识别正常/异常事件。以下更详细地描述计算机视觉引擎135和机器学习引擎140以及 它们的组件。可以向输入和输出设备145提供对异常/正常的行为/事件是 否已经被确定和/或这样的行为/事件是什么进行描述的数据，以发布警 告，例如，GUI界面屏幕上呈现的警告消息。一般而言，计算机视觉引擎135和机器学习引擎140两者都实时处理 所接收到的视频数据。然而，用于由计算机视觉引擎135和机器学习引擎 140处理信息的时间刻度(time scales)可以不同。例如，在一个实施例 中，计算机视觉引擎135逐帧地处理所接收到的视频数据，而机器学习引 擎每N帧地处理所接收到的数据。换而言之，尽管计算机视觉引擎135实 时地分析每一帧来获取关于在给定帧中发生了什么的一组信息，然而，机 器学习引擎140不受该视频输入的实时帧率的约束。然而，注意，图1仅示出行为识别系统100的一种可能的配置。例 如，尽管视频输入105被示出经由网络IIO连接到计算机系统115，但 是，并不总是存在或者需要网络110 (例如，视频输入105可以直接连接 到计算机系统115)。此外，在一个实施例中，计算机视觉引擎135可以 被实现为视频输入设备的一部分(例如，作为被直接地布置在视频相机内 的固件组件)。在这样的情况中，可以向机器学习引擎140提供视频相机 的输出以用于分析。图2示出根据本发明一个实施例的、用于从视频帧的流分析和学习行 为的方法200。如图所示，方法200在步骤205开始。在步骤210，从视 频输入源接收到一组视频帧。在步骤215，可以处理视频帧来最小化视频 噪声、不规则的或不平常的场景照明(illumination)、有关色彩的问题 等。B口，视频帧的内容可以被增强，以在由行为识别系统的组件(例如， 上述计算机视觉引擎135和机器学习引擎140)进行处理之前改善图像的 可视性。在步骤220，分析每个连续的视频帧来识别和/或更新前景或背景图像 以用于方法200随后的阶段期间的使用。 一般，背景图像包括被视频输入 捕获的场景的固定(stationary)元素(例如，描述地铁站的站台的像素)，而前景图像包括由视频输入捕获的不固定(volatile)元素(例如， 描述在站台周围移动的人的像素)。换而言之，背景图像提供前景元素可 以进入、相互交互和离开的舞台。背景图像可以包括用于背景图像中的每 个像素的色彩值。在一个实施例中，背景图像可以通过对许多帧上的给定 像素的色彩值进行采样来获得。并且，在接收到新的帧时，可以基于每个 连续帧中所包括的附加信息来更新背景图像的元素。通常，可以针对视频 帧的序列中的每一帧来确定哪些像素是背景或前景的一部分，并且可以通 过将背景图像与给定帧中的像素色彩值进行比较来识别前景元素。在识别 出前景像素时，就可以对该帧应用遮罩(mask)，从而有效地从图像中剪 切作为背景部分的像素，而在图像中只剩下前景像素的一个或多个斑点 (blob)。例如，也可以对帧应用遮罩以使得每个前景像素被呈现为白色 并且每个背景像素被呈现为黑色。所产生的黑白图像(被表示为二维阵 列)可以提供给行为识别系统的随后的元件。在一个实施例中，可以向计 算机系统115提供用于给定场景的背景图像的初始模型。在步骤225，可以通过将前景图像分割成感兴趣的目标来分析与给定 帧相关联的前景图像，以识别一组斑点(即， 一组相关像素)。换而言 之，系统可以被配置为隔离前景图像中的不同斑点，其中每个斑点都很可 能表示帧中的不同前景对象(例如，汽车、人、手提箱等)。对于每个前 景斑点，在一开始识别出前景斑点时，初始化搜索模型。该搜索模型被用 来捕获方案内斑点的位置，识别作为斑点的一部分包括哪些像素，并且逐 帧地存储关于所观察到的斑点的行为的各种元数据。此外，搜索模型可以 被跟踪模块用来逐帧地预测、査找和跟踪对应的对象的运动。在接收到连 续的帧时，当前景斑点持续通过连续的视频帧被呈现时，搜索模型被更 新。在按照需要等接收到允许对搜索模型进行提炼的新的信息时，可以利 用每个附加的视频帧来周期性地执行这样的更新。可以用各种方式实现搜索模型。例如，在一个实施例中，搜索模型可 以是外观模型，外观模型被配置为捕获关于给定前景对象的许多特征，包 括哪些像素被认为是那个前景对象的一部分。然后，给定对象的外观模型 可以逐帧地基于表示该对象的像素而被更新。在另一实施例中，搜索模型可以是包围对象的最小定界矩形。尽管被更快地计算出来，但是最小定界 矩形包括实际上是背景的一部分的像素作为斑点的一部分。然而，对于某 些类型的分析，该方法可以是有效的。以下更详细地描述这些搜索模型。在步骤230，搜索模型被用来在前景对象在场景周围移动时逐帧地跟踪它们的运动。即，当在第一帧中识别出对象并且针对该对象生成外观模型 (和/或定界箱)时，搜索模型就被用来基于外观模型(和/或定界箱)在 随后的帧中识别和跟踪该对象，直到前景对象离开场景为止。搜索模型可 以被用来在该对象例如改变位置或姿势之后，识别视频帧内的该对象。因 此，在对象在场景中移动时，确定关于相同对象的不同类型的信息(例 如，对象的运动学特征、方位、运动方向等)。在步骤235，行为识别系统尝试将前景斑点分类为离散数目的分类中 的一种。例如，在一个实施例中，行为识别系统可以被配置为将每个前景 对象分类成"人"、"车辆"、"其它"或"未知"中的一种。当然，可 以使用更多的分类，并且此外，还可以定制分类以适合个别情况的需要。 例如，接收行李传送带的视频图像的行为识别系统可以将传送带上的对象 分类为不同类型/尺寸的行李。在将前景对象进行分类后，可以进行关于 这样的对象的进一步估计，例如，估计对象的姿势(例如，方位、姿态 等)、位置(例如，在由视频图像描述的场景内的位置，相对于其他感兴 趣的对象的位置，等)和运动(例如，轨迹、速度、方向等)。该信息可 以由机器学习引擎140用来基于过去的对类似对象(例如，被分类成 "人"的其它对象)的观察将某些行为表征为正常的或异常的。在步骤240，合成并且分析前面的步骤的结果(例如，跟踪结果、背 景/前景图像数据、分类结果等)来创建由视频帧描述的场景的图。在一 个实施例中，场景被分割成空间上分离的区域，每个片段由一组像素定 义。区域根据z-深度(即，哪个片段离视频捕获设备更近以及哪个片段离 视频捕获设备更远)被排序并且被可选地标记(例如，是自然的、人造 的，等等)。在步骤245，创建对象的运动的语义表示。换而言之，创建 所跟踪的对象的移动和/或动作的符号表示(例如，"汽车停车"、"汽 车停止"、"人弯腰"、"人消失"，等等)。在步骤250，针对可识别的模式来分析语义表示。在步骤255，分析所产生的语义表示、场景的注释图和分类结果。行 为识别系统分析这样的结果来学习行为的模式，基于观察进行归纳，并且通过进行模拟来学习。这也使得行为识别系统可以确定和/或习得哪种 行为是正常的并且哪种行为是异常的。即，机器学习引擎可以被配置为识 别可识别模式、评估给定对象的新行为、加强或修改关于给定对象习得的 行为模式，等等。在步骤260，针对所识别的行为可选地分析前面的步骤的结果。此 外，行为识别系统可以被配置为响应于识别出给定事件的发生而执行规定 的动作。例如，基于前面的步骤的结果，当被分类为"人"的前景对象进 行不平常行为时，行为识别系统可以发布警告。此外，某些行为是否是"不平常的"可以是基于学习引擎已经"习得"对于给定场景内的人什么是"正常的"行为。在一个实施例中，只要确定了异常行为，就发布警 告(例如，指示某人将没有留意到的包留在了地铁站的警告)。在另一实 施例中，发布警告以指示异常事件正在场景中发生(例如，指示停车的汽车的警告)。该方法在步骤275结束。应当注意，没有必要以指定的顺序执行所有上述步骤。此外，并非所 有上述步骤都有必要供所述方法来执行。例如基于特定用户的需要、所观 察到的环境的特定质量等来判定应使用哪些步骤、应以什么样的顺序执行步骤以及是否应比其他步骤更经常地重复某些步骤，等等。图3至图6示出根据本发明一个实施例的、图1中所示的计算机视觉 引擎135的不同组件。具体而言，图3示出背景-前景模块300的组件。 背景-前景模块300使用每个视频帧中的特征来识别哪些像素属于背景 图像以及哪些属于前景图像。在一个实施例中，分析视频帧来将每个像素 分类成该场景(或该帧)的背景图像的显示部分或该帧的前景图像的显示 部分。通常，认为不随时间改变色彩的像素是背景图像的部分。通过随时间 对像素的色彩值进行采样，某些帧中的前景对象的存在可能被洗出(wash out)。此外，由于背景图像可以被自动更新，所以背景图像可以补偿光照或阴影中的变化。类似地，假定相对于背景图像而改变色彩的像素显示 了前景对象。换而言之，基于连续的视频帧中的像素色彩值之间的差异来 确定场景中前景对象的运动。 一般而言，可以将背景图像想象为已经剪切 掉前景对象的视频帧的像素。可以将前景图像想象为遮蔽背景的像素。可 替换地，只有一个前景图像可以被使用。可以将这样的前景图像想象为具 有前景像素的碎片的透明的视频帧。应当注意，尽管两个连续的帧用于跟 踪给定的前景对象可以是足够的，但是，当确定给定场景的背景图像时， 比较多个连续的帧可提供更精确的结果。应当注意，原来(在一帧中)被确定为背景像素的像素可能(在另一 帧中)变成前景像素，并且反之亦然。例如，如果背景中的像素的色彩值 开始改变，则将其重新分类为前景像素是恰当的(例如，在停车场停泊很 长一段时间的汽车开始移动)。类似地，变化的像素可以变成静态的，因 此，有必要将这样的像素重新限定为背景像素(例如，垃圾箱可能已经被 带到地铁站以用于永久的使用)。然而，为了避免不必要的像素重新分 类，并且改善对于背景和前景图像中所包括的是什么内容的解释，在一个实施例中，行为识别系统可以将像素分类成短期背景(STBG)、短期前 景(STFG)、长期背景(LTBG)和长期前景(LTFG)的一部分。STBG 和STFG被存储在存储器中一段较短的时间(例如，几秒或更少)，而 LTBG和LTFG被存储在存储器中一段较长的时间(例如，几分钟)。首 先将像素确定为STBG/STFG，并且之后仅将限定像素解释为 LTBG/LTFG，从而允许对哪些像素是背景/前景图像的一部分进行更精确 的判定。当然，可以根据具体场景中所发生的事件来调整时间段。图3示出根据本发明一个实施例的、可以用来生成视频帧的背景和前 景图像的背景-前景模块300的组件。 一开始，由背景训练模块305接收 视频帧。可以使用初始的帧序列来训练背景-前景模块300。该训练使得背 景-前景模块300能够建立所获得的视频帧中所描述的场景的背景图像。 该训练过程可以在系统的初始化阶段期间发生；S卩，在场景的背景图像已 被确定之前。暗场景补偿模块310可以处理像素值来补偿场景的部分中的低或暗的照明情况。此外，暗场景补偿模块310可以被配置为将经过处理的视频帧提供给STFG/STBG模块315和LTFG/LTBG模块320。 STFG/STBG模块 315可以被配置为识别给定帧内的STFG和STBG像素，并且将该信息分 别提供给陈旧FG模块325和照明补偿模块335。 LTFG/LTBG模块320可 以被配置为识别LTFG和LTBG像素，并且与STFG/STBG模块315类 似，将该信息分别提供给陈旧FG模块325和照明补偿模块335。陈旧FG 模块325识别陈旧的前景像素并且将结果提供给更新BG模块330。当 BG/FG判定是快过时的并且需要被重新评价时，像素可能变成"陈旧 的"。在接收到信息时，照明补偿模块335可以动态调整对照明变化(例 如，由云遮蔽了太阳或对人造光源的调节引起的场景的变亮/变暗)的处 理，并且暗场景补偿模块310将在极为黑暗的区域和/或低亮度情况的范 围中提供特殊处理。更新BG模块330更新背景图像模型并且将结果传送 给照明补偿模块335，照明补偿模块335在处理所有接收到的结果之后， 又将处理后的结果提供给LTFG/LTBG模块。因此，背景-前景模块300总地确定一组背景和前景图像和/或背景和 前景模型以用于由行为识别系统的其它组件使用。背景和前景模型对作为 场景背景的一部分(即，舞台的一部分)的像素和显示前景对象(即，在 舞台上执行某些动作的元素)的像素进行区分。应当注意，尽管在以上对 背景-前景模块300的描述中，仅参考了一个背景图像，但是，可替换 地，背景-前景模块300可以采用多个背景图像(例如，图像帧的场景可 以划分到几个背景区中以用于更精确的背景识别)。在一个实施例中，背景模型/图像可以包括附加的信息，例如像素色 彩。此外，前景模型/图像通常包括附加的像素特征，例如色彩。然而， 可以省略对这样的信息的保持或收集(例如，以在知道色彩不能明显改善 对感兴趣的对象的区分的情况中保留环境中的资源，例如传送具有最相同 或相似的色彩的对象的传送线)。图4示出根据本发明一个实施例的、被配置为识别场景的前景图像中 所显示的对象的前景对象模块400。 一般而言，前景对象模块400可以被 配置为接收由背景-前景模块300产生的、给定帧的前景图像，建立/更新用于前景图像的搜索模型，并且尝试在对象在场景周围移动时逐帧地对所 显示的前景图像中的对象的运动进行跟踪。如图4中所示，前景对象模块400包括斑点检测模块405、建立/更新 模块410、跟踪模块420和l-M个搜索模型(搜索模型1 (415。、搜索 模型2 (4152) —直到搜索模型M (415M))。在一个实施例中，斑点检 测模块405可以被配置为分析前景图像以检测多组相关像素(称为前景斑 点)，其中每组像素很可能表示场景内的不同对象。此外，每个检测到的 前景斑点被分配跟踪标识号。前景斑点由建立/更新模块410用来建立/更 新搜索模型415r415M，其中已经存在的搜索模型已经针对先前的视频帧 中所识别的斑点被建立或更新。在一个实施例中，为了更新搜索模型 415r415M，建立/更新模块410还使用由跟踪模块420产生的结果。如果 当前检测出的斑点没有相应的搜索模型，则建立(创建)这样的搜索模 型。在任何给定时刻，前景对象模块400可以包括多个搜索模型，每一个 表示不同的前景斑点。搜索模型的数目可以取决于前景图像内有多少前 景斑点被斑点检测模块405识别出来。在一个实施例中，搜索模型可以被 配置有关于前景斑点会在随后的视频帧中做什么的预测能力。例如，与给 定前景斑点相关联的搜索模型可以包括基于当前位置和运动学数据的、该 斑点的预期的将来位置(和形状)。此外，每个搜索模型还可以包括关于 给定前景斑点获得的各种信息(例如，纹理、色彩、模式、场景内的z-深 度位置、尺寸、移动速率、运动学等)。此外，可以使用根据本发明原理的不同类型的搜索模型。如上所述， 搜索模型可以由跟踪模块420用来逐帧地预测、查找和跟踪对应的对象的 运动。外观模型包括用来显示对象的像素(例如，在帧显示前景图像中的 人的情况中，外观模型可以包括勾勒出人的轮廓的绝大多数像素和轮廓内 的像素)。在另一实施例中，搜索模型被实现为基于特征的模型，基于特 征的模型表示诸如包围对象的最小定界矩形之类的矩形内的像素(例如， 在对象是人的情况中，基于特征的模型可以包括包围人的定界矩形)。可 替换地，基于特征的模型可以包括用于给定对象的多个定界矩形，例如，包围该对象的不同区域、具有最低限度的可能尺寸的矩形(例如，在帧显 示人的情况中，用于这样的对象的基于模型的特征可以包括几个具有最小 尺寸的矩形，其中，这些矩形包围人的不同区域，例如，手臂、腿、头和 躯干)。使用哪些搜索模型例如可以取决于被观察的环境、行为识别系统的用 户的偏好，等等。例如，尽管外观模型很可能提供更准确的跟踪，但是基 于特征的模型可以在例如所跟踪的感兴趣的对象的形状简单(例如，行李 传送带)的情况中保留资源。如上所述，跟踪模块420使用搜索模型415来在对象在场景周围移动 时，逐帧地跟踪视频序列中所描述的对应的对象的运动。跟踪模块420获 得所检测到的当前视频帧的前景斑点，并且搜寻提供与前景斑点最接近的 匹配的先前的视频帧的搜索模型。在一个实施例中，对于每个当前检测到 的前景斑点，跟踪模块420搜寻这样的搜索模型该搜索模型和前景斑点 之间的相对三维向量距离全局最小。这样，跟踪模块420可以逐帧地跟踪 由搜索模型415之一表示的每个对象的位置。在一个实施例中，跟踪模块 420使用基于先前的视频帧获得的运动学信息来估计当前视频帧内的搜索 模型的位置。图5示出根据本发明一个实施例的、计算机视觉引擎的估计器/识别 器模块500。 一般而言，估计器/识别器模块500接收前景斑点和相应的搜 索模型，并且尝试将视频帧中由前景斑点表示的对象分类成已知类别(种 类)的成员。在一个实施例中，如果感兴趣的对象已经被识别出来，则之 后估计器/识别器模块500估计感兴趣的对象的姿势、位置和运动。估计 器/识别器模块500通常被用表示给定种类的示例的大量积极的和负面的 示例进行训练。此外，可以使用在线训练来在逐帧进行分析的同时动态地 更新分类器。如图所示，估计器/识别器模块500包括分类器505、种类1 (510》 直到种类N (510N)和识别器515。分类器505尝试将前景对象分类为种 类(种类1 (510。直到种类N (510N))之一的成员。如果成功，则代 表分类后的对象的静态数据(例如，尺寸、色彩等)和运动学数据(例如，速度、速率、方向等)也可以由识别器515在一段时间内(例如，X-数目的帧)确定。对于每个被识别的对象，估计器/识别器模块500输出 原始上下文事件和已知对象观察，原始上下文事件包含感兴趣的对象的上 述静态和运动学特征，而已知对象观察包含所识别的对象的种类的一般 (average)成员的静态和运动学特征。在一个实施例中，该系统采用四种分类符人、车辆、其它和未知。 在感兴趣的对象的分类被确定之前，这样的对象被视为种类"未知"的成 员。每种分类包括关于该分类的一般成员的姿势、静态和运动学数据。在 一个实施例中，随着更多感兴趣的对象被分类和识别，并且它们的姿势、 静态和运动学数据被确定和收集，这样的数据被连续更新。应注意，通 常，估计器/识别器模块500逐帧地、实时地处理信息。图6示出根据本发明一个实施例的、计算机视觉引擎135的上下文处 理器600。 一般而言，上下文处理器600合成从计算机视觉引擎135的其 它组件(例如，背景-前景模块300、前景对象模块400和估计器/识别器 模块500)接收到的结果，来创建视频帧中所捕获的场景的注释图。在一 个实施例中，场景被分割成空间上分离的区域，这些区域根据场景的z-深 度被排序并且被可选地标记为自然形成的元素或人造的元素。如图所示，上下文处理器600可以包括用于将场景分裂成小的范围 (区域)的区域分割器605，用于定义区域之间的关系(例如，定义为相 对于彼此离视频捕获设备更近/更远)的区域定序器610，以及用于输出注 释图的场景制图器615。在一个实施例中，上下文处理器600使用关于所 跟踪的感兴趣的对象的运动(例如，轨迹)和位置的信息来生成注释图。图7和图8示出图1中所示的机器学习引擎140的不同组件。具体而 言，根据本发明一个实施例，图7示出语义分析模块700的组件，而图8 示出感知模块800的组件。 一般而言，语义分析模块700创建所跟踪的对 象的运动和动作的语义表示(即，符号表示)。语义表示基于特定的所跟 踪的对象的运动(并且最终，基于逐帧的像素色彩值中的变化)来提供对 相信场景中要发生什么进行描述的形式化的方法。形式语言文法(例如， 名词和动词)被用来描述场景中的事件(例如，"汽车停车"、"人出现"等等)。随后，针对可识别的模式分析语义表示，并且结果被提供给图8中示出的感知模块800。在一个实施例中，语义分析模块700还建立场景的符 号图，该符号图包括在场景中发生的事件的不同方面，例如，对场景中的 对象的轨迹的符号表示。在一个实施例中，符号图还可以包括频率分布 (例如，关于某种分类或类型的对象有多频繁地在场景中出现或者出现在 哪的数据)。如图7中所示，语义分析模块700包括感觉存储器710、潜在语义 分析模块(LSA) 715、原始事件检测模块725、相位空间划分模块730、 递增潜在语义分析模块(iLSA) 735和形式语言模块740。感觉存储器 710获取为语义分析模块700提供的信息并且存储该信息以用于随后由原 始事件检测模块725和相位空间划分模块730使用。在一个实施例中，感 觉存储器710识别出哪些信息应该被提供给原始事件检测模块725和相位 空间划分模块730以用于进一步的分析。原始事件检测模块725可以被配置为识别感觉存储器710中的原始事 件的发生(例如，汽车停止、反向、消失、出现；人弯腰、降低；交换， 等)。原始事件通常反映所跟踪的对象的运动学特征中的变化。因此，在 对象被分类成"汽车"时，原始事件检测模块725可以评估关于该汽车的 数据以在不同的行为事件发生时识别它们。在一个实施例中，原始事件是 预先定义的(例如，在使用自学习行为识别系统的情况中针对特定环境定 义的)。在另一实施例中，只有某些原始事件被预先定义(例如，停车、 转弯、倒地)，而其它原始事件是随时间习得的(例如，某些种类的对象 可以在场景的特定场所中发现)。相位空间划分模块730确定关于场景中具有对象的速率的地理位置的 信息。因此，原始事件检测模块725和相位空间划分模块730使得语义分 析模块700可以以两种不同的方式分析数据。基于原始事件检测模块725 和相位空间划分模块730的结果，LSA 715和iLSA 735建立/更新场景的 模型，其中，模型包括感兴趣的对象。LSA 715 —般是语义分析模块700的训练模块。LSA收集一段时间的数据直到LSA 715生成充分的统计学权重的结果为止。换而言之，LSA 715学习场景的基本布局，同时iLSA 735递增地更新这样的布局。应当注 意，iLSA735足以灵活地处理场景中所发生的行为模式中的变化。形式语 言模块740使用由iLSA 735生成的数据来创建语义表示(对场景中正在 发生什么的符号表示)，并且向感知模块800提供该语义表示以学习所创 建的语义表示是指什么。图8示出根据本发明一个实施例的、机器学习引擎的感知模块。感知 模块800可以被配置为处理至少计算机视觉引擎135和机器学习引擎140 中的某些组件(例如，估计器/识别器模块500、上下文处理器600、语义 分析模块700，等等)所生成的结果。 一般而言，感知模块800学习模 式，基于观察进行归纳，并且通过进行模拟来学习。如图8中所示，感知模块800可以包括感知关联存储器805、调度器 810、工作空间815、情景(episodic)存储器820和长期存储器825。工 作空间815提供反映什么信息当前正由机器学习引擎140评估的存储区 域。即，工作空间815存储数据的什么元素当前受到机器学习引擎140的 "关注"。如以下所述，工作空间815中的数据可以包括(每一个描述一 个事件的)感知对象(percept)和脚本代码(codelet)的集合(感知关联 存储器805收集被提供给感知模块800的数据并且将这样的数据存储作为 感知对象)。每个感知对象可以提供描述视频中所发生的事情(例如，原 始事件)的数据。感知关联存储器805向工作空间815提供感知对象和/ 或脚本代码。脚本代码提供描述和/或寻找不同方案之间的关系的一条可执行代 码。换而言之，脚本代码总结用于确定特定行为/事件(例如，停车事 件)的规则，其中行为/事件涉及一个或多个感知对象。每个脚本代码可 以被配置为采用一组输入感知对象并且以特定方式处理它们。例如，脚本 代码可以采用一组输入感知对象并且评估它们来判定特定事件是否已经发 生(例如，汽车停车)。以汽车停车为例，该方案可以利用关于哪种汽 车、汽车的颜色、汽车停在哪等的信息来更新情景存储器820。此外，关 于该检测到的原始事件的信息可以用来更新长期存储器825中对原始事件的定义。此外，感知模块800还可以采用识别异常的人或事的脚本代码。 这样的脚本代码访问感知对象，并且如果某些感知对象不与先前累积的统 计数据统计相关，则异常事件可以被识别出来。在一个实施例中，脚本代码是被完全预先写入的。在另一实施例中， 至少某些脚本代码不是被完全预先写入的，而是相反，随时间生成的。例 如，描述用于某(一个或多个)感知对象的异常行为的脚本代码可以是基 于所累积的对对应的所观察到的事件进行描述的数据而自生成的或自修改 的。调度器810判定在任何时间哪些脚本代码需要被激活。例如，调度器 810可以寻求识别脚本代码与置于工作空间815中的感知对象之间的匹 配。当可获得给定脚本代码所需要的一组恰当的输入(例如， 一组感知对 象)时，该脚本代码可以被置于工作空间815中并且被调用。当多个脚本 代码可用于激活时，对什么时候激活哪些脚本代码的判定可以是随机的。 然而，在一个实施例中，所配置的某些脚本代码具有高于其它脚本代码的 优先级(例如，定义某一异常行为的脚本代码)。在每个给定时刻，可以 由工作空间815中的调度器810来激活大量脚本代码。感知模块800还使用情景存储器820和长期存储器825来捕获关于原 始事件的短期和长期数据。情景存储器820是用于存储新近的方案的短期 存储器。例如，在情景存储器820找到最近被改变了的感知对象。感知对 象从工作空间815被置于情景存储器820中。同时，工作空间815可以使 用情景存储器820中所存储的感知对象来将它们与各个脚本代码相匹配。通常，至少一些感知对象被从情景存储器820转移到长期存储器 825。然而，并不是被置于情景存储器820中的每一条数据都转移到长期 存储器825。某些数据从情景存储器820衰减了 (decay)，从未到达长期 存储器825 (例如，描述还未被判定为异常的一次性事件的数据)。同时，事件的各个方面可以被用来增强长期存储器825中的信息(例 如，汽车如何停在停车空间中的哪个位置多长时间)。因此，长期存储器 825可以被用来建立和累积给定场景内的一般的行为模式。在一个实施例 中，情景存储器820中所存储的行为模式和已经获得足够的统计学权重的行为模式被转移到长期存储器825作为一般的行为模式。然而，并非被置 于长期存储器825中的所有数据都停留在那儿。某些数据最终衰减了 (例 如，特定细节)。例如，如果在一段时间中，已经有几辆不同颜色的汽车 停在了相同的地方，则能够在该特定地方停车的汽车的一般模式可以被习 得并且被置于长期存储器825中。然而，关于之前停泊的汽车的细节(例 如，它们的颜色)在某段时间之后将从长期存储器825衰减。在一个实施例中，工作空间815使用长期存储器825中所发现的一般 的行为模式来确定场景中发生的事件。在已经识别出事件时，生成指示要 识别的事件已经被识别的信息。这样的信息随后被用于生成警告。尽管在 一个实施例中，仅发布关于所识别的异常行为的警告(例如，袭击)，但 是，在另一实施例中，也发布描述所识别的正常行为的警告(例如，汽车 停车)。图9A至图9C示出根据本发明一个实施例的、在行为识别系统检测 出异常行为并且发布警告的情况中在地铁站900处发生的情景。如图所 示，固定的视频相机915捕获地铁站900处发生的事件并且将描述该事件 的视频图像提供给行为识别系统。如图9A至图9C中所示，视频相机915 捕获这样的视频图像携带包910的男人905在到达垃圾桶920时(图 9A)，将包910放在垃圾桶920旁边的地上(图9B)，并且将包910留 下(图9C)。基于从观察人进到地铁站900中所学习到的内容，将由被 分类为人的对象携带的"其它"对象(即，包)留下的行动可以被识别为 异常，并且相应地，行为识别系统可以发布警告来指示这样的事件的发 生。根据上述原理，行为识别系统将显示固定的垃圾桶920的像素视为背 景图像的一部分，而不将垃圾桶920特别识别为垃圾桶。相反，行为识别 系统将男人905和包910两者都视为(一个或多个)前景图像。 一开始 (图9A)，自学习行为识别系统可以将男人905和包910考虑为一个前 景斑点。然而，在男人905将包910放下时(图9B-图9C)，男人和包 910变成分离的前景斑点的部分。尽管在一个实施例中，在男人905捡起 包910时，它们各自的前景斑点会合并成新的前景斑点，但是在另一实施例中，男人905和包910继续被视为两个不同的前景斑点。在又一实施例 中，男人905和包910从开始(图9A)就被认为是分离的前景斑点。对于男人905和包910两者，行为识别系统建立并且更新搜索模型来 逐帧地跟踪这些对象。此外，行为识别系统将男人905分类成"人"并且 将包910分类为"其它"(可替换地，分类为"包")，收集关于它们的 信息，并且基于先前习得的地铁站中人和包的行为来预测它们的动作。由 于将包留下不与正常的习得行为相关联，所以行为识别系统将这样的行为 识别为异常，这时因为该系统先前已经习得将包留下指示异常行为。尽管以上描述了本发明的实施例，但是可以设想到本发明的其它实施 例，而不偏离本发明的基本范围，并且本发明的范围由权利要求确定。
权利要求
1.一种方法，用于对记录场景内的事件的视频帧的流进行处理，所述方法包括接收所述流的第一帧，其中，所述第一帧包括用于该帧中所包括的多个像素的数据；在所述第一帧中识别出一组或多组像素，其中，每组像素描述所述场景内的一个对象；生成存储与每个所识别出的对象相关联的一个或多个特征的搜索模型；使用经过训练的分类器来对所述对象中的每一个对象进行分类；使用所述搜索模型在第二帧中跟踪所述第一帧中所识别出的所述对象中的每一个对象；将所述第一帧、所述第二帧和对象分类提供给机器学习引擎；以及由所述机器学习引擎生成对在多个帧的所述场景中由所述对象涉及的行为的一个或多个语义表示，其中，所述机器学习引擎被配置为学习在所述多个帧的所述场景中观察到的行为模式，并且识别由分类后的对象涉及的行为模式的发生。
2. 根据权利要求1所述的方法，还包括发布至少一种警告，所述至 少一种警告指示由所跟踪的对象中的一个对象进行的所识别出的行为模式 中的一种行为模式的发生。
3. 根据权利要求1所述的方法，其中，每个搜索模型被生成为外观模 型和基于特征的模型中的一种。
4. 根据权利要求1所述的方法，其中，使用所述搜索模型在所述第二 帧中跟踪所述第一帧中所识别出的对象中的每一个对象的步骤包括在所述第二帧中定位所识别出的对象；以及 针对每个所识别出的对象更新相应的搜索模型。
5. 根据权利要求1所述的方法，其中，所述经过训练的分类器被配置 为将每个对象分类成人、汽车或其它中的一种。
6. 根据权利要求5所述的方法，其中，所述经过训练的分类器还被配 置为基于多个连续帧中描述所述对象的一组像素的变化来估计分类后的对 象中的至少一个对象的姿势、位置和运动中的至少一种。
7. 根据权利要求1所述的方法，其中，在所述第一帧中识别出一组或多组像素的步骤包括识别表示所述第一帧中的前景区域的至少一组像素和表示所述第一帧中的背景区域的至少一组像素；将前景区域分割成多个前景斑点，其中，每个前景斑点表示所述第一 帧中所描述的一个对象；以及基于所述第一帧中所识别出的背景区域来更新所述场景的背景图像。
8. 根据权利要求7所述的方法，还包括使用生成搜索模型的步骤的 结果来更新由所述视频流描述的场景的注释图，其中所述搜索模型存储与 每个所识别出的对象相关联的一个或多个特征；使用经过训练的分类器来 对所述对象中的每一个对象进行分类；并且使用所述搜索模型在所述第二 帧中跟踪所述第一帧中所识别出的所述对象中的每一个对象。
9. 根据权利要求8所述的方法，其中，所述注释图描述了所述场景的 三维几何图形，所述三维几何图形包括所述所识别出的对象的估计出的三 维位置和所述场景的背景图像中所描述的多个对象的估计出的三维位置。
10. 根据权利要求8所述的方法，其中，建立语义表示的步骤还包括 使用潜在语义分析来分析所建立的针对可识别的行为模式的语义表示。
11. 一种计算机可读存储介质，所述介质包括当在处理器上被执行时 被配置为执行以下操作的程序，所述操作包括-接收所述流的第一帧，其中，所述第一帧包括用于该帧中所包括的多 个像素的数据；在所述第一帧中识别出一组或多组像素，其中，每组像素描述所述场 景内的一个对象；生成存储与每个所识别出的对象相关联的一个或多个特征的搜索模型；使用经过训练的分类器来对所述对象中的每一个对象进行分类；使用所述搜索模型在第二帧中跟踪所述第一帧中所识别出的所述对象 中的每一个对象；将所述第一帧、所述第二帧和对象分类提供给机器学习引擎；以及由所述机器学习引擎生成对在多个帧的所述场景中由所述对象涉及的 行为的一个或多个语义表示，其中，所述机器学习引擎被配置为学习在所 述多个帧的所述场景中观察到的行为模式，并且识别由分类后的对象涉及 的行为模式的发生。
12. 根据权利要求11所述的计算机可读存储介质，其中，所述操作还包括发布至少一种警告，所述至少一种警告指示由所跟踪的对象中的一个对象进行的所识别出的行为模式中的一种行为模式的发生。
13. 根据权利要求11所述的计算机可读存储介质，其中，每个搜索模 型被生成为外观模型和基于特征的模型中的一种。
14. 根据权利要求11所述的计算机可读存储介质，其中，使用所述搜 索模型在所述第二帧中跟踪所述第一帧中所识别出的对象中的每一个对象的步骤包括在所述第二帧中定位所识别出的对象；以及 针对每个所识别出的对象更新相应的搜索模型。
15. 根据权利要求11所述的计算机可读存储介质，其中，所述经过训 练的分类器被配置为将每个对象分类成人、汽车或其它中的一种。
16. 根据权利要求15所述的计算机可读存储介质，其中，所述经过训 练的分类器还被配置为基于多个连续帧中描述所述对象的一组像素的变化 来估计分类后的对象中的至少一个对象的姿势、位置和运动中的至少一 种。
17. 根据权利要求11所述的计算机可读存储介质，其中，在所述第一 帧中识别出 一组或多组像素的步骤包括识别表示所述第一帧中的前景区域的至少一组像素和表示所述第一帧 中的背景区域的至少一组像素；将前景区域分割成多个前景斑点，其中，每个前景斑点表示所述第一 帧中所描述的一个对象；以及基于所述第一帧中所识别出的背景区域来更新所述场景的背景图像。
18. 根据权利要求17所述的计算机可读存储介质，其中，所述操作还包括使用生成搜索模型的步骤的结果来更新由所述视频流描述的场景的 注释图，其中所述搜索模型存储与每个所识别出的对象相关联的一个或多 个特征；使用经过训练的分类器来对所述对象中的每一个对象进行分类； 并且使用所述搜索模型在所述第二帧中跟踪所述第一帧中所识别出的所述 对象中的每一个对象。
19. 根据权利要求18所述的计算机可读存储介质，其中，所述注释图 描述了所述场景的三维几何图形，所述三维几何图形包括所述所识别出的 对象的估计出的三维位置和所述场景的背景图像中所描述的多个对象的估 计出的三维位置。
20. 根据权利要求18所述的计算机可读存储介质，其中，建立语义表 示的步骤还包括使用潜在语义分析来分析所建立的针对可识别的行为模式 的语义表示。
21. —种系统，包括 视频输入源； 处理器；以及存储器，所述存储器存储计算机视觉引擎，其中，所述计算机视觉引擎被配置为从所述视频输入源接收所述流的第一帧，其中，所述第一帧 包括用于该帧中所包括的多个像素的数据，在所述第一帧中识别出一组或多组像素，其中，每组像素描 述所述场景内的一个对象，生成存储与每个所识别出的对象相关联的一个或多个特征的 搜索模型，使用经过训练的分类器来对所述对象中的每一个对象进行分类，使用所述搜索模型在第二帧中跟踪所述第一帧中所识别出的 所述对象中的每一个对象，将所述第一帧、所述第二帧和对象分类提供给机器学习引擎；以及所述机器学习引擎，所述机器学习弓I擎被配置为生成对在多个帧 的所述场景中由所述对象涉及的行为的一个或多个语义表示，并且还 被配置为学习在所述多个帧的所述场景中观察到的行为模式，并且识 别由分类后的对象涉及的行为模式的发生。
22. 根据权利要求21所述的系统，其中，所述机器学习引擎还被配置 为发布至少一种警告，所述至少一种警告指示由所跟踪的对象中的一个对 象进行的所识别出的行为模式中的一种行为模式的发生。
23. 根据权利要求21所述的系统，其中，每个搜索模型被生成为外观 模型和基于特征的模型中的一种。
24. 根据权利要求21所述的系统，其中，使用所述搜索模型在所述第 二帧中跟踪所述第一帧中所识别出的对象中的每一个对象的步骤包括在所述第二帧中定位所识别出的对象；以及 针对每个所识别出的对象更新相应的搜索模型。
25. 根据权利要求21所述的系统，其中，所述经过训练的分类器被配 置为将每个对象分类成人、汽车或其它中的一种。
26. 根据权利要求25所述的系统，其中，所述经过训练的分类器还被 配置为基于多个连续帧中描述所述对象的一组像素的变化来估计分类后的 对象中的至少一个对象的姿势、位置和运动中的至少一种。
27. 根据权利要求21所述的系统，其中，所述计算机视觉引擎被配置 为通过执行以下步骤来识别所述第一帧中的一组或多组像素识别表示所述第一帧中的前景区域的至少一组像素和表示所述第一帧 中的背景区域的至少一组像素；将前景区域分割成多个前景斑点，其中，每个前景斑点表示所述第一 帧中所描述的一个对象；以及基于所述第一帧中所识别出的背景区域来更新所述场景的背景图像。
28. 根据权利要求27所述的系统，其中，所述计算机视觉引擎还被配 置为使用所生成的存储与每个所识别的对象相关联的一个或多个特征的索模型来更新由所述视频流描述的所述场景的注释图。
29. 根据权利要求28所述的系统，其中，所述注释图描述了所述场景 的三维几何图形，所述三维几何图形包括所述识别出的对象的估计出的三 维位置和所述场景的背景图像中所描述的多个对象的估计出的三维位置。
30. 根据权利要求28所述的系统，其中，建立语义表示的步骤还包括 使用潜在语义分析来分析所建立的针对可识别的行为模式的语义表示。
全文摘要
本发明实施例提供了用于基于所获得的视频流来分析和学习行为的方法和系统。基于对视频帧的分析来确定该流中所描述的对象。每个对象可以具有用来逐帧地跟踪对象的运动的相应的搜索模型。确定对象的分类并且生成对象的语义表示。语义表示被用来确定对象的行为并且学习由所获得的视频流描述的环境中所发生的行为。这样，系统通过分析环境中对象的移动、活动或不存在来迅速并且实时地学习正常和异常的行为，并且基于已经习得的来识别和预测异常和可疑的行为。
文档编号G08B23/00GK101622652SQ200880004633
公开日2010年1月6日 申请日期2008年2月8日 优先权日2007年2月8日
发明者丹尼斯·吉恩·尤尔彻, 凯什·艾迪纳斯·赛特沃, 博比·欧内斯特·比莱斯, 大卫·塞缪尔·弗里德兰德, 大卫·马文·索朗姆, 刚 徐, 明-俊·萧, 韬 杨, 林·威廉·瑞森阁, 瑞杰克恩·酷玛·哥特马卡尔, 约翰·埃里克·伊顿, 韦斯利·肯尼斯·寇伯 申请人:行为识别系统公司