警告监督用户受监视用户的行为的方法和系统的制作方法

专利名称：警告监督用户受监视用户的行为的方法和系统的制作方法
技术领域：
本发明一般地涉及改进的行为识别。具体地说，本发明涉及从一个或 多个图像捕获设备捕获的三维图像流来检测他人的行为并告知用户他人的 有害行为。
背景技术：
在交通扣留(traffic stop)、询问、安检、商店安全和其他日常执 法行动期间，执法人员受限于当时其自身对于身体语言和行为的理解。虽 然执法人员使用摄^4iL记录活动以便以后在分析特定事件中使用很常见， 但是执法人员在当时可能会误解身体语言和行为。在一个实例中，执法人 员可能在同 一 时间评估不同的问题并可能遗漏指示某人携带隐蔽武器的行 为。除了执法人员，其他类型的工作和角色也要求一个或多个人员监视和 监督其他人或动物交互的环境，其中这些监督人员也受限于当时他们自身对于受监视的人或动物的身体语言及其他行为的理解。因此，鉴于上述内容，需要一种方法、系统和程序来监视其中可能发 生有害行为的环境，同时识别所述环境中人或动物的行为，判定哪些行为 代表有害行为，并将潜在的有害行为通知诸如执法人员之类的监督用户， 同时监督用户仍监视所述环境。发明内容因此，本发明提供了从三维捕获的图像进行改进的行为标识。具体地 说，本发明提供了从由一个或多个图像捕获设备捕获的三维图像流来检测他人的行为并通知监督用户他人的有害行为。在一个实施例中， 一种计算机实现的方法、系统和程序产品包括行 为处理系统，用于在监督用户监视的特定环境中捕获受监视用户的三维运 动，其中使用至少一个指向所述受监视用户的图像捕获设备来确定所述三 维运动。所述4亍为处理系统^f吏用所捕获的运动来标识三维对象属性流。所 述行为处理系统通过将所述标识的三维对象属性流与多个有害行为定义相 比较来标识由所述三维对象属性流表示的所述受监^L用户的特定定义的有 害行为。响应于从所述多个有害行为定义中标识所述特定定义的有害行为， 所述行为处理系统触发警告系统，以便通过仅可由所述监督用户检测的输 出接口将所述受监视用户的特定定义的有害行为通知所述监督用户。在捕获所述受监视用户的三维运动期间，所述行为处理系统使用立体 图像i殳备来捕获所述三维运动以标识和跟踪特定三维运动。此外，在另一 个实施例中，所述行为处理系统使用至少一个立体图像设备和至少一个启 用传感器的设备来捕获所述受监视用户的所述三维运动以检测三维环境中 的净皮检测对象的至少一个其他特征。在标识表示所述三维对象属性流的特定定义的有害行为时，所述行为 处理系统计算所捕获的三维运动表示特定有害行为定义中定义的特定行为 的百分比概率以及计算所捕获的三维运动有害的百分比概率。此外，在标 识表示所述三维对象属性流的特定定义的有害行为时，所述行为处理系统 标识所述三维对象属性流中与所述多个有害行为定义中的至少一个定义匹 配的所述受监视用户的至少一个身体运动，所述身体运动包括诸如所述受 监视用户的面部表情、目艮部运动、肌肉收缩和皮肤表面特征变化之类的细 粒度运动。进而，在标识特定定义的有害行为时，所述行为处理系统从所 述三维对象属性标识以下项中的一项所述受监^f见用户的可疑活动、所述 受监视用户的受伤状况、受监4见人员携带的隐藏武器、所述受监视人员的 攻击性姿态、所述受监^L人员的愤怒的面部表情，以及所述受监视人员的 焦虑状况。在一个实施例中，所述行为处理系统触发捕获所述特定环境内的所述受监碎见用户的所述三维运动，以响应检测到所述监督用户在所述特定环境 中进行执法活动，所述特定环境包括执法环境，所述监督用户在其中进行 交通扣留、安检和询问中的至少一项。在另一个实施例中，所述行为处理 系统触发捕获所述特定环境内的所述受监视用户的所述三维运动，以响应 检测到所述监督用户在所述特定环境中进行心理评估，包括心理专家监视 所述受监视用户的心理状况。在将所述受监视用户的特定定义的有害行为通知所述特定环境的监督 用户时，所述^f亍为处理系统将所述特定定义的有害^f亍为发送到用于控制到 所述监督用户的警告信号输出的警告系统。所述警告系统将所述特定定义 的有害行为转换成输出信号以便输出到输出设备的输出控制器，所述输出 设备用于控制将所述受监视用户不可检测的警告信号输出到监督用户。在一个实施例中，行为处理系统监视所述特定环境中的监督用户的行 为。判定所述监督用户的行为是否有害或所述行为是否在所述特定环境的 可接受行为的参数之外，并且如果第一监督用户的行为指示在可接受行为 的参数之外的行为，或根据其他警告参数要求通知管理监督用户，则警告 管理所述第一监督用户的管理监督用户。


在所附权利要求中说明了被认为是本发明特性的新颖特征。当结合附 图阅读时，通过参考以下对示例性实施例的详细说明，可以最佳地理解发明本身以及优选使用方式，进一步的目的和优点，这些附图是 图l是示出行为处理方法、系统和程序中的信息流的方块图； 图2是示出了其中3D对象检测器捕获和生成表示捕获的行为活动的3D对象属性的环境实例的示例性方块图；图3是示出了用于生成3D对象属性以便使行为解释器能够从3D对象属性来解释受监视用户的行为以及这些行为是否潜在有害的3D对fj险测器系统的一个实施例的方块图；图4是示出行为解释器系统的一个实施例的方块图；图5是示出其中可以实现本发明的计算系统的一个实施例的方块图； 图6是示出其中可以实现启用行为的警告方法、系统和程序的分布式网络环境的一个实例的方块图；图7是示出与启用行为的警告系统通信的行为解释器系统的实施方式的一个实例的方块图；图8是示出对^测接口和导航输出接口的一个实例的方块图；图9是示出了从警告系统接收触觉反馈的可检测触觉反馈设备的一个实例的示意图；图10是示出了其中由警告系统检测受监视用户的潜在有害行为并将 其告知监督用户的环境的一个实例的示意图；图11是示出了行为处理系统通过百分比概率来预测对象类型和路径 的过程和程序的高^JE辑流程图；图12是示出了通过在图4象流和其他读出数据中跟踪对象并生成代表 行为的被跟踪对象的3D对象属性进行行为检测的过程和程序的高级逻辑 流程图；图13是示出了从被跟踪3D对象属性进行行为预测的过程和程序的高 级逻辑流程图；以及图14是示出了用于在启用行为的导航系统中应用预测的行为记录的 过程和程序的高级逻辑流程图。
具体实施方式
现在参考图1，图l是示出了行为处理方法、系统和程序中的信息流 的方块图。将理解的是，图l提供了用于在由监督用户监视的环境中捕获 图像流并处理这些图像流以预测所述环境中受监视用户的行为及预测所述 行为是否为有害行为的信息流的一个实施例，但是，可以实现其他信息流 以处理捕获的数据并预测行为类型及所述行为是否有害。重要的是指出，如全文中所使用的，"行为" 一词可以包括通常标记 为行为或身体语言的用户行动，例如手势和面部表情，也可以包括任何可检测的身体运动、可检测的体势、可检测的眼部运动、皮肤表面特征变化， 例如，颜色、温度、语调及出汗程度、肌肉收缩变化和其他类型的非言语 交流。如全文中所使用的，"有害行为" 一词可以包括任何行为，但是在 文中指被预测为潜在地是可疑的、不合常规的、有损害的、危险的或以其 他方式有害的行为。此外，重要的是指出，如全文中所使用的，"监督用户"或"监督人 员" 一词可以指监视或监督特定环境的任何人或系统。监督用户可以物理 地位于特定环境中或可以从外部位置监视特定环境。在特定环境中受监视 的 一个或多个受监视用户的行为可以在监督用户的视线之内或之外。监督 用户或监督人员的实例可以包括但不限于执法人员、安全人员、心理学家、 店员和教师。另外，可以监视监督用户的行为并将其报告给监督用户的经 理，这时监督用户则被看作受监视的用户。如全文中所使用的，"受监视 用户" 一词可以包括在受监视环境中的任何人或动物。在所述实例中，行为处理系统100包括三维(3D)对象检测器104。 3D对旨测器104代表用于捕获有关运动和静止对象的图像和其他数据， 流化捕获的数据，跟踪捕获运动中的特定对象，流化特定对象的属性，以 及将流化的属性组合成捕获的对象的3D特征的三维表示(如3D对象属性 110所示)的多个系统。3D对象属性110可以包括但不限于例如位置、颜 色、大小和方向，代表受监视用户的运动、监督用户的运动、环境中的对 象，以及标识环境属性的背景。在所述实例中，3D对旨测器104捕获焦点区域中的图像，表示为可 检测行为运动102。此外，3D对象检测器104可以在焦点区域中检测其他 类型的数据。具体地说，3D对象检测器104通过多种类型的图像和数据检 测来检测可检测行为运动102,所述图像和数据检测包括但不限于捕获视 频图像，检测身体部位运动，检测皮肤紋理，检测目艮部运动，检测皮肤表 面特征以及捕获热成像。为了支持多种类型的图像和数据检测，3D对^r 测器104可以包括多种类型的图像捕获i殳备，其中包括一个或多个布置为 进行立体视频图像捕获的摄影机，以及用于捕获一个或多个对象的至少一度一阶梯度效应的影响。其中，采用共中心图形设计对获取的图形进行排列时，图2提供的示意图中，RA1、 RA2 以及RB1、 RB2之间的蚀刻间距(即图中的缝隙)是等间距的。利用图形的位置关系抵消一维 方向的一阶梯度的影响时，只要满足在该一维方向上，图形处于共中心排列且同一个目标器 件对应的图形对称于该中心即可实现抵消的目的。参见图3，本实施例还提供了另一采用一 维共中心图形设计的示意图，蚀刻间距为非等间距状态，由于RA1和RA2关于中心0对称， 可以抵消X轴方向的一阶梯度效应的影响；RB1和RB2也关于中心0对称，同样可以抵消X 轴方向的一阶梯度效应的影响。104:根据排列后的图形的布局，通过叠加图形的方式，从而最终获取到相应阻值的电阻。本领域技术人员获知，在进行PCB的设计时，操作的对象为从存放器件的器件库中的各 种目标器件(如电阻，电容，电感等)，而这些器件都是由多层图形组合在一起构成的图形组 合从而实现某类器件的功能以及其对应的设计值的，而这种组合一般是不能改变的。当进行图形叠加获取目标器件的设计值时，不限制在进行图形叠加时采用的图形类型， 但要保证的是每层的图形是在获取的一维共中心图形的位置基础上进行的叠加，且对于每层 而言，该层的图形要保证类型一致。参见图4，提供了一种叠加示意图，图中，电阻RX和RY 的匹配比值为l: 2， RX设计值为2欧，RY的设计值为4欧，第一层采用图形M表示，第二 层采用图形N表示。通过两层图形的叠加，最终获取到相应阻值的电阻。综上，本发明实施例详细论述了当在PCB中埋入的目标器件为电阻时，通过采用一维共 中心图形设计的方法，降低了系统失配，提高了电阻图形的匹配精度，从而提高了加工获取 到的电阻的匹酉己精度。进一步地，为了降低PCB加工制作过程中周围环境的非理想因素如不对称性等，对PCB 中的目标器件的匹配精度的影响，可以在进行PCB的图形设计时，加入du誦y (虚构)图形。 dummy图形用于减小周围非理想因素对目标图形的影响，相应于du腿y图形的器件称为dummy 器件，用于减少PCB加工制作过程中周围非理想因素对目标器件的影响，为目标器件建构一 个相对理想的制造环境。针对图形之间的间距对系统失配的影响，只有在图形的间距尺寸小到一定程度后才会出 现。以蚀刻过程为例，由于不同宽度的间距带来的不同蚀刻速度，而导致出现匹配误差，此 时，只要能够保证图形间距相等，就能提供相同的蚀刻速度，从而可以解决由于间距造成的 系统失配。例如，图2中，由于RA1的左侧空间以及RA2右侧的蚀刻空间较大，而RA1和RB1之间的行为输出108将输出到其的该类启用行为的应用指定的行为定义。例如， 在当前实施例中，可以将预测的行为输出108输出到警告系统，以便警告 系统将其转换为警告信号，以使行为解释器106尝试从检测的对&动来 预测行为类型，如果发送到特定警告系统，该行为类型更类似已确定为更 可能代表有害行为的行为类型。在一个实例中，执法人员可以监视许多不同类型的环境。与在询问期 间监视环境(其中受监视用户没有隐藏的武器)的执法官员相比，在车辆 停止期间监视环境的执法官员可以从警告与潜在的隐蔽武器关联的有害行 为中获益更多。在另一个实例中，监视安检的执法人员可以获益于在受监 视用户实际到达安检之前得到可疑行为的警告，所述可疑行为例如，大量 出汗、焦虑迹象、潜在指示隐蔽武器的不合常规的服饰或不合常规的臃肿 着装，或在安检可以指示为了通过安检的隐蔽的有害意图的其他行为。进而，在处理行为运动102和生成预测的行为输出108时，3D对^r 测器104和行为解释器106试图识别表示受监视用户行为的对象并根据做 出行为的整体交互来预测行为类型。因此，3D对IM^测器104和行为解释 器106不仅试图确定行为，而且试图确定包括在行为中的将影响行为含义 的重要性级别，将影响行为含义的受监视用户做出行为的背景，将影响行 为含义的受监视用户做出行为的环境，影响每个行为含义的共同做出的行 为的组合，以及影响行为含义的其他可检测的因素。因此，行为数据库112 包括与可以影响行为含义的不同类型的人、环境和其他因素对应的行为定 义。此外，行为数据库112包括根据相应的面部表情或其他相应的行为调 整的行为定义。进而，可以训练行为数据库112以更准确地识别代表特定 监督用户所最经常交互的特定人员、动物、场所或事物的对象，以及更准 确地识别代表对特定监督人员来说是有害行为的行为运动的对象，并由此 提供更详细的行为定义。此外，在处理行为运动102时，多个单独的图像捕获设备和其他传感 器的系统可以分别从不同角度捕获有关单独或重合焦点区域的图像和数 据。单独的图像捕获设备和其他传感器的系统可以通过无线或有线连接可101，获取需要进行匹配设计的电阻的比值关系，如RA:RB4:1。例如，在PCB中埋入的目标器件为电阻RA和电阻RB，需要的电阻的比值关系为1: 1， 即要求RA二RB，针对该比值关系，RA、 RB的设计值均为10欧。本领域的技术人员公知，经常是由相同类型的电子元器件发生匹配关系提供相应的功能 的，且通常是由2个相同类型的电子元器件产生匹配设计关系；PCB的具体设计时，也会出 现需要2个以上的相同类型的电子元器件产生匹配设计关系。本实施例以常见的需要2个相 同类型的电子元器件产生匹配设计关系为例进行说明。102，根据电阻的比值关系，通过串联拆分的方式，获取RA和RB的图形。其中，首先，由于RA和RB阻值的比值关系为1:1，由于电阻的自身的特点(当两个阻 值相同的电阻X串联在一起，将获取到一个阻值为2倍X的阻值)，将电阻RA拆分为阻值相 同的串联电阻RA1和RA2，同理，将电阻RB拆分为阻值相同的串联电阻RB1和RB2;然后，选择确定进行图形设计的参考图形(具体的参考图形的类型可以根据具体设计者 的需求进行确定)，本实施例以矩形X作为参考图形，，从而利用多个矩形X就可以分别表示 出来目标器件拆分后得到的RA1、 RA2以及RB1、 RB2。103:采用一维共中心图形设计，对获取的图形进行排列。其中，本领域技术人员，可以获知由于电阻自身的特点(通常图形比较狭长)，在进行设 计时，通常只在一个纬度上对电阻图形进行展开采用共中心图形设计，在另一讳度上这些展 开图形的中心只要对齐就即可，可以将这种设计方法简称为一维共中心图形设计。参见图2，为采用一维共中心图形设计的示意图，RA1、 RA2相应图形的位置在X方向上 以0为对称中心,.处于共中心状态；抵消了 PCB在加工工程中X轴方向存在的一阶梯度效应 对RA的影响，同理，RB1、 RB2相应图形的位置在X方向上以0为对称中心，处于共中心状 态，抵消了PCB在加工工程中X轴方向存在的一阶梯度效应对RB的影响，在Y方向上由于 RA1、 RA2、 RB1、 RB2图形中心处于同一水平值，不存在梯度问题。由于RA1、 RA2和RB1、 RB2 的对称中心重合在一起，所以提高了RA和RB的匹配精度。例如，以蚀刻溶液的由于浓度不 均造成的一阶梯度为例，假设浓度沿着X轴的方向呈现递减的趋势，由于蚀刻自身特点，就 会造成X方向上蚀刻出来的器件的差异，如浓度高对应着蚀刻获取的器件阻值可能比期望值 大，浓度低对应着蚀刻获取的器件阻值比期望值小。当采用图2提供的示意图进行PCB加工 时，RA的电阻值是通过RA1和RA2是串联取和的关系实现的，由于RA1和RA2的位置，比期 望值小的RA1，和比期望值大的RA2加和在一起就可以获取到RA的期望电阻值，抵消了 X轴 方向的浓度一阶梯度效应的影响；同理，由于RB1和RB2的位置因素，抵消了X轴方向的浓他头部设备上，以使3D焦点区域220随着用户运动而改变。在另一个实例 中，图像捕获设备202和图像捕获设备204可以固定在运动的机器(例如 车辆)上，以使3D焦点区域220随着车辆运动而改变。尽管未示出，但是在另一个实施例中，只有单个摄<|^ (如图像捕获 设备202)可以被实现为立体图像设备。将所述单个摄#^放置在轨道或 其他可调轴上并且控制器沿着轨道调节单个摄^^的位置，其中所述单个 摄^^L然后沿着轨il^不同放置点捕获聚焦区域内的视频图像流，并且3D 行为检测器104将所述图像流组合成可检测对象的属性的3D对象属性流。 在一个实例中，通过比较在相机位置变化时帧之间的亮度和阴影变化，可 以生成3D对象属性流。备选地，可以使用与检测深度的传感器相连的单 个固定相机来实现立体图像设备。此外，备选地，可以处理图像并检测固 定位置深度的单个相机可以用作立体图像设备。例如，所述单个相机可以 通过检测光源的运动并比较捕获的图像帧之间的亮度和阴影变化来处理图 像和检测深度。具体地说，单相机系统可以首先映射被监视用户脸部的模 型，聚焦于眼睛、嘴巴和鼻子，然后检测图像帧之间的亮度和阴影变化以 检测脸部的深度特征。在其他实例中，传感器可以处理捕获的视频图^^流 以从图像流的其他特征中提取深度。为了举例，3D聚焦区域220包括由图像捕获设备202捕获的第 一捕获 平面206和由图《象捕获设备204捕获的第二捕获平面208。第一捕获平面 206检测标号214示出的平面内的运动，并且第二捕获平面208检测标号 216示出的平面内的运动。因此，例如，图像捕获设备202检测3D聚焦区 域220内对象的侧向和上下运动，而图像捕获设备204检测对象的前后运 动。重要的是指出，当以细粒度跟踪对象的运动时，即使受监视用户的身 体运动的细小变化(例如，眉毛抬高，下巴朝前，或轻微的姿态)都,皮跟 踪，然后可以被解释为指示监督用户应注意的有害行为。在所述实例中，在3D焦点区域220中，手210表示运动的对象，而箱 子212表示静止的对象。在所述实例中，手210是3D焦点区域220中人手 的部分。受监视用户可以通过移动手210做出任何数量的运动，某些运动代表有害行为。当人在3D焦点区域220中移动手210时，图像捕获设备202和图像捕 获i殳备204中的每个设备都在捕获平面206和捕获平面208中捕获手210 的运动的视频流。从所述视频流，3D对,测器104将手210检测为3D 聚焦区域220内的移动对象，并生成在一段时间内的手210的3D属性流 (代表3D对象属性110)。此外，人可以相对于盒子212或另一对象移动手210。例如，人可以 指向盒子212或做出其他类型的指向盒子212的行为。当A^ 3D聚焦区 域220内移动手210时，由图像捕获设备202和图像捕获设备204捕获的 视频流包括手210和盒子212的运动。从所述视频流，3D对,测器104 将手210检测为3D聚焦区域220内的运动对象，将盒子212检测为静止 对象，并生成一段时间内指示盒子212的3D属性以及手210相对于盒子 212的3D属性的3D对象属性流。重要的是指出，通过使用多个相机捕获3D聚焦区域220内的不同运 动平面，捕获的运动点多于使用通常的固定单个相机捕获的运动点。通过 从多个角度捕获更多的运动点，3D对象检测器104可以更准确地检测和定 义3D聚焦区域220内包括行为的静止对象和运动对象的3D表示。此外， 3D对象检测器104定义运动对象的3D表示越准确，行为解释器106从3D 模型预测行为就越准确。例如，行为可以包括用户做出直接朝向或远离摄 ^4U202和摄^^204之一的动作，在二维帧中无法捕获该动作；3D对象 检测器104检测行为的3D表示并将其定义为运动对象，而行为解释器106 根据运动的3D模型来预测朝向或远离摄^4M故出运动的行为。例如，受监视用户可以将手210的位置改变为紧握的拳头。拳头的松 紧度和拳头中大拇指的位置可以影响紧握拳头的行为是否应4皮解释为有害 行为。通过以细粒度捕获、映射和JM宗紧握的拳头的3D图像，可以检测拳 头的松紧度以及拳头中大拇指的位置，以使行为解释器106可以更准确地行为。例如，如果没有直接从3D图像捕获大拇指的位置，则仍检测其他手指的3D位置，行为解释器106从手指的3D位置判定手指是围绕在大拇指 周围还是大拇指从外部握住手指。此外，重要的是指出，虽然图2示出了做出手势的手210和静止的盒 子212，但是在备选实施例中，3D聚焦区域220可以包括多个单独的被监 视用户和监督用户，以便图像捕获设备202和图像捕获设备204捕获多个 人的行为图像，并且3D对象检测器104将每个人的每个行为检测为单独 对象。具体地说，3D对,测器104可以从捕获的视频图像(来自图像捕 获设备202和图像捕获设备204)检测具有较多动作的行为(例如通过手 做出的行为)以及具有较少动作的行为(例如面部表情)，以便准确地生 成一个人与其他人的非语言交流和交互的3D对象属性。在所述实例中，除了捕获聚焦区域220内的图4象之外，在可检测运动 环境200中，其他传感器也可以检测有关环境的信息，但是在聚焦区域220 之外。例如，传感器240可以检测传感器区域242内的信息。传感器区域 242可以与聚焦区域220重叠、合并或分离，也可以纳入聚焦区域220内。 3D对象检测器104将读出的信息与捕获的图像相结合，以更准确地生成 3D对象属性110并将有关环境的其他信息提供给警告系统。在一个实例中，传感器240可以才艮据捕获的图4象流来执行面部识别或 其他身份识别。在一个实例中，传感器240可以访问祐监视用户和监督用 户的面部映射数据库并标识与数据库中的特定面部映射匹配的特定用户面 部映射。在另一个实例中，传感器240可以分析捕获的图像流以查找可以 标识祐i视用户的文字。例如，传感器240可以检测捕获的^JH:视用户或 监督用户所佩戴徽章图像流的徽章号。通过传感器240检测用户标识，对 fj险测器104可以更准确地生成3D对象属性，并且运动解释器106可以 更准确地才艮据定义数据库112中为标识的用户指定的定义来预测用户行为 的类型。此外，在另一个实例中，传感器240可以通过检测M置在传感器区 域242内的对象上的RFID芯片广播的信息来补充用户识别，其中对象的 RFID广播对象类型、对象位置，以及与对象关联的任何警告状况。通过将有关特定对象位置的读出信息与从其标识图像的捕获的图#4目结合，对旨测器104可以更准确地生成3D对象属性110，并且行为解释器106可 以更准确地预测3D对象的类型以及在3D对象属性110中检测的潜在有害 行为。此外，通过传感器240访问位置信息，行为解释器106可以包括具 有行为记录的位置标识数据，所述行为记录使得启用行为的警告系统能够 将行为映射到特定受监视环境中的特定受监视用户。在另一个实例中，传感器240可以跟踪传感器区域242中受跟踪对象 的相对位置。虽然未示出，但是传感器区域242可以踏J宗传感器区域242 中从第一焦点区域220到第二焦点区域的运动对象，包括受监视用户或监 督用户。通过跨多个焦点区域跟踪运动，传感器240提供了受监视用户或 监督用户的位置的其他跟踪信息，以便可以在生成3D对象属性110时共享 在不同焦点区域中收集的数据。此外，传感器区域242可以代表特定安全 区域，其中如果在传感器区域242中检测到动作，传感器240触发焦点区 域242的调节以捕获引起运动的实体。此外，传感器240可以检测传感器 区域242的变化的GPS位置，以便能够在以下操作时访问和使用与特定GPS 位置关联的地图或其他信息生成3D对象属性110，判定行为是否潜在有 害，以及警告GPS映射区域中的监督人员在映射区域中检测到潜在的有害 行为。在再一个实例中，传感器240可以检测有关深度、表面积、颜色温度 或对象的其他特征的其他信息，以更准确地预测对象是否代表特定行为以 及对象是否潜在有害。具体地说，通过检测有关深度、表面积或对象的其 他特征的其他信息，将传感器240收集的数据与图像捕获设备202及图像 捕获设备204捕获的图#4目结合，以在检测的3D对象中生成其他详细信息 和粒度。现在参考图3，图3是示出了用于生成3D对象属性以便使行为解释器 能够从3D对象属性来解释受监视用户的行为以及这些行为是否潜在有害 的3D对象检测器系统的一个实施例的方块图。重要的是指出，3D对旨 测器104内所示的多个组件可以纳入单个系统或通过网络、其他通信介质或其他传输介质跨多个系统分布。此外，重要的是指出，所示图形中的其他或备选组件可以在3D对象检测器104中实现以捕获图像和数据并生成 3D对象位置110流。初始地，多个图像捕获设备(如图像捕获设备202、图像捕获设备204 和传感器240)表示用于获取数据的立体图像捕获设备，所述数据代表3D 聚焦区域和传感器区域(如3D聚焦区域220和传感器区域242 )内的可检 测运动102。如上所述，图像捕获设备202和图像捕获设备204可以表示 用于捕获视频图像的摄^^。此外，图像捕获设备202和图像捕获设备204 可以表示相机或其他静止图像捕获设备。此外，图像捕获设备202和图像 捕获设备204可以表示其他类型的能够捕获代表可检测行为运动102的数 据的设备。图像捕获设备202和图像捕获设备204可以使用相同类型的图 像捕获系统或不同类型的图像捕获系统来实现。此外，每个图像捕获设备 202和图〗象捕获i殳备204捕获的捕获区域和平面的范围、大小和位置可以 不同。传感器240可以表示一个或多个不同类型的传感器，包括但不限于 RFID读取器、人体热成像传感器、皮肤紋理传感器、激光传感设备、声 音导航和测距(SONAR)设备，或者合成激光或声纳系统。此外，传感器 240可以包括检测特定类型的身体部位、特定类型的身体运动，或指示与 基于非皮肤紋理不同的皮肤故理的传感器。传感器240可以收集有关对象 的独立数据或可以处理图像捕获设备2 02和图像捕获设备2 04捕获的图像。具体地说，传感器240检测与特定传感器区域中的对象有关的信息， 所述信息增强了 3D对,测器104创建3D对象属性110的能力。例如， 通过经由SOMR设备实现传感器240，传感器240收集有关对象深度以及 从SONAR设备到对象的距离的其他信息，其中由视频处理器316、视频处 理器308或几何处理器320中的一个或多个处理器^f吏用所述深度测量来生 成3D对象位置110。如果将传感器240附加到运动的对象，则可以实现合 成SOMR设备。图像捕获设备202、图像捕获设备204和传感器240都将捕获的图像和数据传输到一个和多个允许初始接收并緩沖捕获的图像和数据的计算系统。在所述实例中，图像捕获设备202将捕获的图像传输到图像捕iy良务 器308,图像捕获设备204将捕获的图像传输到图像捕刻良务器310 ，并且 传感器240将捕获的数据传输到传感器服务器312。图像捕获服务器308、 图像捕iy良务器310和传感器服务器312可以在一个或多个服务器系统内 实现。图像捕获服务器308、图像捕iy艮务器310和传感器服务器312都使 来自图像捕获设备202、图像捕获设备204和传感器设备240的緩沖图像 和数据流入一个或多个处理器。在所述实例中，图像捕刻良务器308使图 像流入视频处理器316,图像捕iy良务器310使图像流入视频处理器318， 并且传感器服务器312使读出数据流入传感器处理器319。重要的是指出， 视频处理器316、视频处理器318和传感器处理器319可以在一个或多个计算机系统中的一个或多个处理器内实现。在一个实例中，图像捕获服务器308和图像捕翻良务器310分别使图 像流入视频处理器316和视频处理器318，其中以帧为单位使图像成流。 每个帧可以包括但不限于图像捕获设备的相机标识符(ID)、帧编号、时 间戳以及像素数。视频处理器316、视频处理器318和传感器处理器319被编程为检测 和跟踪图像帧内的对象。具体地说，由于视频处理器316、视频处理器318 和传感器处理器319接收复杂数据流并处理数据以标识三维对象(包括代 表被监视用户和监督用户的对象)和三维对象的特征，所以视频处理器 316、视频处理器318和传感器处理器319可以实现单元宽带引對Cell BE) 架构(单元宽带引擎是Sony Computer Entertainment, Inc.的注册商标)。 Cell BE架构指一种处理器架构，其包括基础处理器元件(如基于Power 架构的控制处理器(PPE))，所述基础处理器元件连接到多个也称为协 处理元件(SPE)的额外处理器元件，并实现一组DMA命令以进行处理 器元件之间的高效通信。具体地说，SPE旨在比其他元件更有效地处理特 定类型的处理任务。例如，SPE可以被设计为更有效地处理视频流以标识和映射帧流中的运动对象的各点。此外，视频处理器316、视频处理器318 和传感器处理器319可以实现其他类型的处理器架构，所述架构允许高效 地处理视频图像，以便三维地标识视频图像(可以从其预测皿视用户的 行为并预测行为有害的可能性)中的运动和静止对象。在所述实例中，视频处理器316、视频处理器318和传感器处理器319 都创建包括位置、颜色、大小、形状和方位的被检测对象属性并使所述属 性流入几何处理器320。在一个实例中，流入几何处理器320的每个#_处 理帧可以包括，但不限于，相机ID、帧编号、时间戳以及乂轴坐标"_ 位置)、Y轴坐标(yji置)和Z轴坐标(zji置)中的两个或更多个的 组合。重要的是指出，x一位置、y一位置和z—位置都可以包括多组点和标识 对象的所有属性的其他数据。如果检测和跟踪单个帧内的多个对象，则可 以将每个对象的X轴坐标和Y轴坐标包括在单个成流对象属性记录或多个 单独的成流对象属性记录中。此外，成流属性帧(如来自SONAR检测位 置的传感器处理器319的帧)可以包括例如列为z一位置的Z轴位置坐标。几何处理器320从视频处理器316和视频处理器318接收2D成流对 象属性并从传感器处理器319接收其他对象数据。几何处理器320使成流 2D对象属性和其他数据相匹配并且从成流2D对象属性和其他数据来构建 3D对象属性。具体地说，几何处理器320构建包括对象深度的3D对象属 性110。在一个实例中，由几何处理器320构建的每个3D对象属性记录可 以包括时间戳、对象或用户运动标签、X轴坐标(x—位置)、Y轴坐标(乙 位置)和Z轴坐标(zji置)，以及从传感器收集的其他信息。例如，从 传感器收集的其他信息可以包括从RFID或GPS检测的位置坐标接收的位 置标识符。在视频处理器316、视频处理器318、传感器处理器319以及几何处理 器320中的任一处理器处，属性记录可以包括至少一个允许持续跟踪对象 的标识符。例如，所述标识符可以包括对象本身的唯一标识符和一个类别 或类型的对象(包括标识为用户运动的对象)的标识符。具体地说，通过视频处理器316、视频处理器318和传感器处理器319标识并分类对象属性，每个处理器都可以访问行为数据库112，以访问先 前处理的输入和^f亍为映射，以更准确地标识和分类2D对象属性，以l更检 测成流2D对象属性并使其与对象匹配。此外，几何处理器320可以才艮据 成流2D对象属性、根据从行为数据库112访问的先前匹配和构建的3D对 象属性来更准确地构建3D对象属性。进而，对象数据库122可以存储成 流2D对象属性和3D对象属性以供将来参考。此外，通过一见频处理器316、视频处理器318和传感器处理器319标 识和分类对象属性，以及通过几何处理器构建3D对象属性110，每个处理 器都可以标识包^^tt视用户行为的被检测对象。例如，视频处理器316、 视频处理器318、传感器处理器319和几何处理器320可以访问行为数据 库112,行为数据库112包括在映射面部表情和其他身体运动，执行面部 和其他身体运动识别，以及执行其他处理以标识代表行为的对象中使用的规范。此外，视频处理器316、视频处理器318、传感器处理器319和几何 处理器320可以访问行为数据库112，行为数据库112包括在标识特定环 境(其中根据检测的对象和背景来定位用户)中使用的用于不同类型环境 的规范。进而，在构建3D对象属性110时，视频处理器316、视频处理器 318、传感器处理器319和几何处理器320可以标识环境中的多个净皮检测对 象，并且因此标识单个祐监-现用户的多个行为或多个用户之间的一种或多 种交互。通过监视和标识在对象所处的环境中检测的对象之间的交互，可 以对其中做出行为的上下文中的行为执行更准确的预测。现在参考图4，图4是示出行为解释器系统的一个实施例的方块图。 重要的是指出，行为解释器106中所示的多个组件可以结合到单个系统中 或通过网络跨多个系统分布。在所述实例中，3D属性记录402包括"时间 戳，，、"x—位置"、"yji置，，和"z—位置"数据元素。将理解，3D属性 记录402可以包括由图3的几何处理器320确定的其他或备选数据元素。 例如，3D属性记录402可以包括标识传感器区域中(不仅在焦点区域中) 的用户的特定或相对位置的其他信息、颜色，或由图^象捕获设备和传感器 收集并在3D对f^测器104内处理的其他数据。行为解释器106包括行为解释器控制器404，其中行为解释器控制器 404可以包括一个或多个编程为执行行为解释的处理器。例如，行为解释 器控制器404可以包括具有CellBE架构的处理器，其編程为有效地处理 3D对象属性数据流，从所述3D对象属性数据流预测皿视用户的行为， 以及预测行为是否潜在有害。此外，行为解释器控制器404可以包括其上 运行软件的处理器，其中所述软件引导对3D对象属性流的处理、从所述 3D对象属性数据流预测被监视用户的行为，并预测行为是否潜在有害。在处理3D对象属性流，预测行为和预测潜在有害的行为时，行为解释 器控制器404将3D对象属性映射到一个或多个行为动作(具有成流3D对 象属性代表映射的行为动作的百分比概率，并且具有预测的行为代表有害 行为的百分比概率)。具体地说，行为解释器控制器404访问一个或多个 行为的一个或多个行为定义，并判定3D对象属性是否匹配一个或多个行为 的一个或多个特征，如一个或多个行为定义中所定义的那样。行为定义可 以包括一个或多个类型的行为的映射3D模型。此外，行为定义可以定义标 识行为特征的参数，所述特征包括但不限于检测的身体部位、运动类型、 表面特征、形状、运动速度、频率、运动范围、运动深度、温度以及颜色。此外，规定了行为定义以使行为解释器控制器404能够判定行为的特 征是否指示行为潜在有害。例如， 一旦行为解释器控制器404从一个或多 个行为定义判定对象流表示"形成拳头"的行为，行为解释器控制器404 就将拳头的其他特征(例如，拳头的松紧度)与行为定义中针对松紧度所 定义的特征进行比较。例如，行为定义可以规定由手指到手掌的弯曲量确定的松紧度范围。在行为定义中，拳头越紧，则行为越可能有害。在另一 个实例中，行为定义也可以规定拳头松紧度及拳头相对于受监视用户身体 的位置共同确定了行为是否潜在有害。在另一个实例中， 一旦行为解释器控制器404从一个或多个行为定义 判定对象流表示"从手中丟掉物体，，的行为，行为解释器控制器404就确 定丟掉对象的其他特征以及丟掉对象的位置，并将对象的特征和位置与行 为定义中针对潜在有害的丢掉对象定义的其他因素进行比较。在垃圾箱里丢掉的纸张可能不指示潜在有害的行为，但是，在座位下丢掉的袋子可能 指示潜在有害的行为。在再一个实例中， 一旦行为解释器控制器404从一个或多个行为定义 判定对象流表示"衣服下携带的物体"的行为，行为解释器控制器404就的携带物体所定义的其他因素进行比较。重要的是指出，在解释3D对象属性流时，行为解释器控制器404对 一个或多个行为处理系统针对特定聚焦区域标识的一个或多个3D对象属 性流中的所有被跟踪对象执行聚合分析。在一个实例中，行为解释器控制 器404聚合特定聚焦区域和特定传感器区域的3D对象属性流。在另一个 实例中，行为解释器控制器404可以从与聚焦区域和传感器区域重叠的区 域接收多个3D对象属性流，分析3D对象属性流的相似处、位置指示器以 及方位指示器，并将3D对象属性流构建成区域的3D聚合表示。在一个实施例中，行为解释器控制器404可以将被跟踪对象的集合直 接映射到单个行为定义。在另一个实施例中，行为解释器控制器404将多 个聚合的被JE艮踪对象映射到多个行为定义。例如，用户可以同时通过面部 行为和手部行为来交流，其中在通过面部行为和手部行为的4皮跟踪运动来 预测实际的交流行为时，行为解释器控制器404分析面部行为的3D对象属 性和手部行为的3D对象属性的相关性，并访问行为定义以预测每个行为并 预测行为组合是否表示潜在有害的行为。此外，行为解释器控制器404可 以聚合环境中表示多个受监视用户的行为的被JP^宗对象。行为解释器控制 器404然后预测多个受监视用户的行为组合是否表示潜在有害的行为。在所述实例中，行为解释器控制器404访问行为数据库112中的行为 定义，行为数据库112包括总体行为定义412、环境特定的行为定义414、 应用特定的^f亍为定义416，以及用户特定的行为定义418。将理解的是，行 为数据库112可以包括其他或备选类型的行为定义。此外，重要的是指出， ，络从多个数据库和数据存储系统来访问总体行为定义412包括针对普通行为的行为定义以及用于判定总体行 为是否有害的因素。例如，总体行为定义412可以包括针对普通行为的行 为定义，所述行为例如人们指点、人们挥手、人们点头同意或摇头否定， 或一般不与有害行为关联的其他类型的普通行为(但是取决于上下文，可 能表示有害行为)。例如，在识别人摇头否定时，还检测诸如人摇头的速 度以AA的眉毛是否抬高之类的其他因素，所述因素影响人的摇头是否为 潜在有害行为的检测级别。在另一个实例中，总体行为定义412可以包括 通常表示有害行为的行为，例如，人咬紧牙齿或人的下巴朝前。环境特定的行为定义414包括行为定义和用于判定特定于检测行为的 上下文的行为是否有害的因素。上下文的实例可以包括但不限于受监视用 户的当前位置、 一天中的时间、姿态背后的文化含义以及上下文中的其他 行为、上下文中所说的语言，以及其他影响其中可以解释行为的上下文的 因素。受监视用户的当前位置可以包括用户所在的国家或地区并可以包括 实际的物理环境，例如，交通扣留、密闭房间或安检。行为解释器控制器 404可以通过以下方式iM全测当前上下文访问受监^L用户或监督用户的 位置的GPS指示器；对受监视用户的讲话执行语言分析以检测语言变化和 方言；检测图像数据中指示特定类型场所的对象；或从其他监视上下文(其 中监视受监视用户)的系统接收其他数据。应用特定的行为定义416包括特定于启用行为的应用(将预测的行为 输出108发送到其)的行为定义。例如，在当前实施例中，可以将预测的 行为输出108输出到启用行为的应用，所述应用是包括在导航系统中的警 告系统，所述导航系统将音频导航和警告输出提供给警官佩带的耳机，其 中选定的行为定义关注将与基于导航的警告系统相关的行为类型。在另一 个实例中，可以将预测的行为输出108输出到启用行为的应用中，所述应 用是包括在监督系统中的警告系统，所述监督系统提供从监视录像带中凸 出显示潜在有害的行为，其中选定行为定义关注基于监督的警告系统所警 告的行为。用户特定的^亍为定义418包括特定于受监视用户或监督用户的行为定义。在一个实例中，行为解释器控制器404从用户提供可扫描标识来访问 受监视用户的标识符，例如，在安检或交通扣留时，对标识的扫描将受监 视用户的标识符提供给行为解释器控制器404。在另一个实例中，行为解 释器控制器4 04通过将3D对M测器104检测的用户属性与用户属性数据 库进行比较来访问受监视用户的标识符。例如，行为解释器控制器404可 以执行面部或语音识别(如果尚未由3D对fj险测器104执行的话)。将理 解的是，行为解释器控制器404可以对受监视用户或监督用户执行其他类 型的身儉沐问和發伍。此外，行为数据库112可以包括行为定义和其他特定于特定环境的监 督用户或监督用户组的因素。具体地说，行为定义和其他因素可以指n 督用户的行为何时有害。例如，如果监督用户的行为在特定环境中的可接 受行为或力度的参数之外或响应于受监视用户的特定有害行为，则监督用 户的行为可以,皮认为是有害的。此外，例如，如果监督用户的行为指示监 督用户在某种方式上有损害(包括指示缺乏经验的行为)，则监督用户的 行为可以械j人为是有害的。行为数据库112也可以包括行为定义和根据特定环境中受监视用户或 监督用户的经验水平指定的其他因素。例如，监督用户在监视特定场所的 经验水平可以影响监督用户的行为是否被认为是潜在有害。在另一个实例 中，受监视用户的经验水平或进入特定场所的频率可以影响受监视用户的 行为(或不同于常规的行为)是否被认为是潜在有害。进而，在可用的行为定义中，行为定义可以与3D聚焦区域中的特定运 动区域或特定运动深度关联。具体地说，可以将其中检测运动的三维聚焦 区域分为三维部分，其中可以在不同的行为定义选择下解释在每个部分中 做出的运动。例如，聚焦区域的一个三维部分可以被认为是"活动区域"， 其中将在该区域中检测到的运动和与该特定活动区域(例如，在安全点的 特定距离内的区域)关联的行为定义选择进行比较。此外，行为数据库112可以包括(在单独的定义数据库中或集成到定 义数据库中)针对全体动物、特定类型的动物、在特定环境中的动物和特定动物所规定的行为定义。此外，针对动物的行为定义可以根据向其报告 潜在有害行为的监督用户或根据动物与之交互的监督用户而变化。可以根据受监视用户或监督用户的用户反馈来添加或调整包括在行为数据库112中的行为定义。例如，行为数据库112可以以类似于训练语音 识别系统的方式，通过监督用户响应指示预测是否正确的潜在有害行为的 警告指示来学习其他行为定义和调整已学习的行为定义的参数，以便在不 同上下文中、特定于应用，以及特定于特定受监视用户和监督用户来更准 确地映射和预测一般行为。当行为解释器控制器404接收到指示受监视用户的路径的数据时，一 旦行为解释器控制器404标识了行为，行为解释器控制器404就可以预测 受监视用户的行为是否与受保护方或地区关联。例如， 一旦行为解释器控 制器404检测到受监视用户在警戒建筑入口外的人行道上朝特定方向行 走，且受监视用户咬紧牙关并快步行走(这潜在指示用户很愤怒)，则行 为解释器控制器404可以预测受监视用户的路径是否会转向某一监督警卫 所监视的区域，并生成由警告系统用于向所述监督警卫提供警告信号的行 为记录。行为解释器控制器404可以以一个或多个行为记录(如行为记录420) 的形式输出预测的有害行为输出108。行为记录420指示"行为类型"、"行为概率％"以及"有害行为概率％"。此外，行为记录420包括被检 测行为的起始X、 Y和Z轴属性以及结束X、 Y和Z轴属性，指示行为的 位置、运动方向和运动速度，列为"起始—x—位置"、"结束一x一位置，，、"起始j—位置"、"结束—y—位置"、"起始—z—位置"、"结束一x—位置"。 虽然未示出，但是行为记录420还可以指示受监^f见用户运动的X、 Y和Z 轴起始和结束属性，其指示受监视用户或监督用户的场所、运动方向和运 动速度。进而，从传感器获取的其他信息(例如RFID数据、GPS坐标、皮 肤表面特征以及其他读出数据)可以与特定行为记录关联或包括在单独的 对象记录中。在传送行为记录420时，行为解释器控制器404可以过滤特定类型的行为记录。例如，行为解释器控制器404可以不传送其中行为被预测为有 害行为的概率小于特定百分比的记录。重要的是指出，在备选实施例中，行为解释器控制器404可以仅预测 行为类型以及检测的图像表示所预测行为的百分比概率，然后将所有检测 的行为的记录传送给启用行为的应用。启用行为的应用则预测哪些行为可 能是有害的并控制如何通知监督人员潜在有害的行为。现在参考图5，图5是示出其中可以实现本发明的计算系统的一个实 施例的方块图。本发明的控制器和系统可以在各种系统中执行，包括各种 与网络(如网络502)可通信MM目连的计算系统(如计算机系统500)。计算机系统500包括用于在计算机系统500内传送信息的总线522或 其他通信设备，以及连接到总线522以处理信息的至少一个处理设备(如 处理器512)。总线522优选地包括通过桥和适配器连接并在计算机系统 500内由多个总线控制器来控制的低等待时间和高等待时间^4圣。当实现 为服务器时，计算机系统500可以包括多个旨在提高网络月良务能力的处理 器。在多个处理器共享总线522时，可以实现用于管理总线访问和锁定的 其他控制器(未示出)。处理器512可以是诸如IBM的PowerPC 处理器之类的通用处理器， 所述处理器在正常操作期间，在操作系统560、应用软件570、中间件(未 示出)和其他代码的控制下处理数据，可以从诸如随才;i^取存储器(RAM) 514之类的动态存储设备、诸如只读存储器(ROM) 516之类的静态存储 设备、诸如大容量存储设备518之类的数据存储设备，或其他数据存储介 质来访问所述其他代码。在一个实例中，处理器512可以进一步实现CellBE 架构以更有效地处理3D中的复杂数据流。将理解，处理器512可以实现 其他类型的处理器架构。此外，重要的是指出，处理器512可以代表本地 或通过网络而连接并被启用以有效地分軟处理任务的多个处理器芯片。在一个实施例中，由处理器512执行的操作可以控制图11-14的流程 图的操作和本文说明的其他操作中示出的从环境的捕获图像和数据进行 3D行为检测(同时监督人员监视该环境)、从检测的行为进行有害行为预测，以及向监^^人员输出预测的有害行为的指示器。由处理器512执行的 操作可以由操作系统560、应用软件570、中间件或其他代码来请求，或者行，或者由编程的计算机组件和定制硬件组件的任意组合来执行。本发明可以被提供为在计算机或机器可读介质上包括的计算机程序产 品，所述介质上存储有计算机可读程序的可执行指令，当在计算机系统500 上执行时，所述指令将导致计算机系统500执行根据本发明的过程。此处 使用的术语"计算机可读介质"或"机器可读介质"包括参与将指令提供 给处理器512或计算机系统500的其他组件以便执行的任何介质。此类介 质可以釆取多种形式，包括但不限于诸如非易失性^^质和易失性介质之类 的存储型介质，以及传输介质。例如，非易失性介质的常见形式包括软盘、 硬盘、磁带或其他任何磁介质、光盘ROM (CD-ROM)或任何其他光介 质、穿孔卡片或任何其他带有孔图案的物理介质、可编程ROM(PROM)、 可擦写PROM (EPROM)、电EPROM (EEPROM)、闪存、任何其他 存储芯片或模块，或者计算机系统500可以从其进行读取并适合存储指令 的任何其他介质。在本实施例中，非易失性介质的实例是示为计算机系统 500的内部组件的大容量存储设备518，但是将理解，大容量存储设备518 也可以由外部设备提供。易失性介质包括诸如RAM 514之类的动态存储 器。传输介质包括同轴电缆、铜线或光纤，包括包含总线522的线。传输 介质也可以采取声波或光波的形式，例如在射频或红外线数据通信时生成 的那些声波或光波。此外，本发明可以作为计算机程序产品被下载或分发，其中计算机可 读程序指令可以被从诸如服务器540之类的远程计算机传输到发出请求的 计算机系统500，具体方式是载波或其他传播介质中包含的数据信号经过 网络502传输到网^路534 (例如调制解调器或网络连接)，然后传输 到与总线522连接的通信接口 532。在一个实例中，在处理器512包括多 个处理器元件的情况下，则分布在所述处理器元件之间的处理任务(无论 是本地还是通过网络)可以表示计算机程序产品，其中所述处理任务包括用于执行过程的程序指令或用于访问Java( Java是Sun Microsystems， Inc. 的注册商标)对象的程序指令或用于执行过程的其他可执行程序。通信接 口 532提供了连接到网络链路534的双向数据通信，例如，所述网络链路 534可以连接到局域网(LAN)、广域网(WAN)，或直接连接到因特网 服务提供商(ISP)。具体地说，网络链路534可以提供到诸如网络502 之类的一个或多个网络的有线和/或无线网络通信。进而，尽管未示出，通 信接口 532可以包括诸如设备驱动程序之类的软件和诸如适配器之类的硬 件，以及其他实现通信的控制器。例如，当实现为服务器时，计算机系统 500可以包括多个可通过连接到输入/输出控制器的多个外围组件互连 (PCI)总线桥访问的通信接口。以这种方式，计算机系统500允许通过 多个单独的端口连接到多个客户端并且每个端口还支持到多个客户端的多 个连接。网g路534和网络502都使用承载数字数据流的电信号、电磁信号 或光信号。通过各种网络的信号和网络链路534上的信号以及通过通信接 口 532 (其向/从计算机系统500传送数字数据)的信号可以是传输信息的 载波的形式。此外，计算机系统500可以包括多个协助输入和输出的外围组件。这 些外围组件连接到多个控制器、适配器，以及诸如连接到多级总线522之 一的输yV/输出(1/0)接口 526之类的扩展槽。例如，输入设备524可以 包括麦克风、视频捕获设备、人体扫描系统、键盘、鼠标，或其他通过控 制输入的1/0接口 526在总线522上启用通信功能的输入外围设备。此夕卜， 通过控制输出的I/O接口 526在总线522上启用通信功能的输出设备520 包括一个或多个图形显示设备、音频扬声器以及可检测触觉输出接口，但 是也可以包括其他输出接口。在本发明的备选实施例中，可以添加其他或 备选的输入和输出外围组件。本领域的技术人员将理解，图5中示出的硬件可以有所变化。此外， 本领域的技术人员将理解，所示实例并非旨在暗示有关本发明的架构限制。现在参考图6,图6是示出其中可以实现启用行为的警告方法、系统和程序的分布式网络环境的一个实例的方块图。重要的是指出，分布式网络环境600是其中可以实现启用行为的警告方法、系统和程序的一种网络 环境类型的示例，但是，可以在其他网络环境中实现启用行为的警告方法、 系统和程序。此外，重要的是指出，分布式网络环境600内的系统分布是 系统分布的示例；但是，可以实现网络环境内的其他系统分布。此外，重 要的是指出，在所述实例中，所示系统是可以在实现行为处理系统和启用 行为的警告系统时访问或请求访问的系统和服务类型的代表。可以理解， 网络环境中的其他类型的系统和服务以及其他系统和服务组可以实现行为 处理系统和启用行为的警告系统。如图所示，分布式网络环境600内的多个系统可以通过网络502可通 信地连接，网络502是用于在各种可通信地连接的设备和计算机之间提供 通信链路的^^质。网络502可以包括永久连接(例如有线电缆或光缆)以 及例如通过电话连接和无线传输连接建立的暂时连接。网络502可以表示 基于分组交换M于电话的网络、局域网及广域网、公用网络及专用网络。 可以理解，图6表示用于支持行为处理系统和启用行为的警告系统的分布 式通信网络的一个实例；但是，可以实现其他网络配置和网络组件。图6中所示的网络环境可以实现多种类型的网络架构。在一个实例中， 所述网络环境可以使用客户端/服务器架构来实现，其中请求数据或过程的 计算系统称为客户端，而处理数据请求和过程的计算系统称为服务器。可 以理解，在客户端/服务器架构内，客户端系统可以作为客户端和服务器两 者执行，而服务器系统可以作为客户端和服务器两者执行。此外，可以理 解，可以实现其他类型的网络架构和网络架构的组合。在所述实例中，分布式网络环境600包括具有图像捕获系统604的客 户端系统602以及具有图像捕获系统608的客户端系统606。在一个实例 中，图像捕获系统604和608包括实现一个或多个图像捕获设备(例如图 像捕获设备202和204)的立体图4象设备，并可以包括一个或多个传感器 (例如传感器204)。图像捕获系统604和608捕获图像和其他数据，并 将图像和其他数据通过网络502以流的方式发送到其他系统以进行处理。此外，图4象捕获系统604和608可以包括参考图3描述的用于跟踪对象属 性的视频处理器(例如视频处理器316和视频处理器318)以及参考图3 描述的用于生成3D对象属性流的几何处理器(例如几何处理器320)。在一个实例中，每个客户端系统602和客户端系统606可以使捕获的 图像帧流到一个或多个行为检测服务。在一个实例中，行为处理服务提供 方服务器620提供一种服务，所述服务包括用于处理成流图像和其他数据 的对象检测器服务(例如3D对g测器104)以及用于预测行为类型，预 测捕获的图像表示预测行为类型的概率，预测行为有害的概率，以及控制 将预测的行为记录输出到一个或多个可通过网络502访问的其他系统的行 为解释器服务(例如行为解释器106)。对于行为处理服务提供方服务器620,不同实体可以实现行为处理服 务，并且不同实体可以访问行为处理服务。在一个实例中，登录客户端系 统602或客户端系统606之一的用户可以订阅4亍为处理月良务。在另一个实 例中，图像捕获系统或请求行为处理的特定应用可以自动使捕获的图像和 数据流到行为处理服务。在再一个实例中，企业或其他实体可以在通信网 络中实现行为处理服务。在另 一个实例中，每个客户端系统602和客户端系统606可以使捕获 的帧流到3D对f^r测器服务器624。 3D对f^r测器服务器624从图像捕 获系统(例如图像捕获系统604或图像捕获系统608)接收捕获的图像和 其他数据，并处理图像和其他数据以生成检测的行为的3D对象属性，以 便输出到行为解释器系统(如行为解释服务器622或行为处理服务提供方 服务器620)。在其他或备选实施例中，对象检测器服务可以在一个或多 个其他系统内使用在这些系统内执行的一个或多个服务来实现。具体地说， 在其他或备选实施例中，对象检测器服务可以在该处捕获图像和其他数据 的客户端系统内实现。具体到行为解释器服务器622和3D对象检测器服务器624，这些服务 器中的每个服务器可以跨一个或多个系统分布。具体地说，行为解释器服 务器622和3D对fj^r测器服务器624中的每个服务器跨具有3D图像处理能力的系统分布，包括具有编程为执行高效的3D数据处理的CellBE架构 的处理器。在一个实例中，实体(例如，企业或服务提供商)可以实现用 于对g测和行为解释的单独服务器系统，其中实现多个行为解释器服务 器，每个行为解释器服务器处理不同类型的3D对象属性。行为处理服务提供方服务器620、行为解释器服务器622和3D对fjj^r 测器服务器624可以本地存储原始图像、3D行为属性和行为定义的行为数 据库(例如行为数据库112)。此外，行为处理服务提供方服务器620、行 为解释器服务器622和3D对象检测器服务器624可以访问促进行为数据库 112的行为数据库服务服务器626。如前所述，行为数据库112可以包括但 不限于原始图像和数据、3D行为属性、行为定义和对象预测。此外，行为数据库服务服务器626包括行为学习控制器630。行为学 习控制器630提示用户(不论是受监视用户还AJ^督用户)提供特定类型 行为的样例并提示用户指示预测的行为类型是否匹配实际的行为以及预测 的有害行为是否真正有害。此外，行为学习控制器630收集其他信息，这 些信息可使行为学习控制器630能够在行为数据库112中学习和维护行为 信息，当行为对象检测器服务和行为解释器服务访问这些信息时，可提高有害性的准确度。进而，行为处理服务提供方服务器620、行为解释器服务器622、 3D 对象检测器服务器624或行为数据库服务服务器626可以访问用户(包括 受监视用户或监督用户)的其他上下文信息，M户端简档服务服务器640 指定被认为有害的行为类型和可以由用户检测的警告类型。此外，客户端 简档服务服务器640可以从监视的信息(例如，用户的当前位置、用户所 处的当前物理环境、针对用户的当前安排的事件)来监视和提供有关用户 位置的其他信息。在一个实例中，客户端简档服务服务器640通过例如用 户的个人便携电话装置来监浮见用户的电子日历和用户的当前GPS位置。行为处理服务提供方服务器620和行为解释器服务器622使预测的行 为记录(例如，行为记录420 )通过网络502流到启用行为的应用。在所述实例实施例中，客户端系统606包括警告系统610,其是启用行为的应 用，4吏客户端系统606能够才艮据行为记录和其他数据判定警告信号并将其 输出到监督用户。客户端系统606处的警告系统610可以^1户端系统606 接收由图像捕获系统608捕获的预测行为记录，或可以根据由图像捕获系 统608或其他图像捕获设备或图像捕获系统所检测的图像和数据来接收预 测的行为记录。此外，在实例实施例中，客户端服务提供方服务器612包括警告系统 614，其是使客户端服务提供方服务器612能够根据行为记录和其他数据判 定和输出警告信号的启用行为的服务。客户端服务提供方服务器612表示 向一个或多个订阅客户端系统提供警告服务的服务器。警告系统614可以 从一个或多个系统接收特定环境的行为记录以及判定警告信号并将其输出 到 一个或多个客户端系统。现在参考图7，图7是示出了与启用行为的警告系统进行通信的行为 解释器系统的实施方式的一个实例的方块图。警告系统700从行为处理系 统100接收预测的行为记录，其使警告系统700能够根据针对监督人员正 在监视的实际环境捕获的实时3D图像和其他数据来提供警告输出。根据一 个优点，警告系统700可以控制到输出设备的警告信号，所述输出设备控 制警告信号的输出，以便只有监督用户检测到警告信号，而受监视用户不 能检测到警告信号。具体地说，警告系统700的警告控制器708可以将警告指令基于行为 记录(例如，行为记录702 )。此外，警告控制器708可以根据其他数据 结合行为记录702中包括的数据来增强或生成警告指令。例如，警告控制 器708可以通过访问结构图、图片、视频流、RFID信息和其他有关受监视 环境的数据来访问有关受监视环境的静态或动态信息。此外，警告控制器 708可以通过其他成像设备来访问有关环境中受监视用户的信息。然后， 警告控制器708可以生成受监视环境内的位置处的预测行为记录的映射。具体地说，在所述实例中，行为系统720接收行为记录702,而警告 控制器708将行为记录702转换为促进环境建模和生成到监督用户的警告指令的输入。在示出的实施例中，在转换行为记录702时，警告控制器708 访问行为转换数据库710以便根据警告指令将要输出到的设备类型，将行 为类型、行为类型的百分比概率，以及行为是有害行为的百分比概率转换 为警告指令。在其他实施例中，行为记录可以转换为其他可由警告控制器 708使用的数据类型以实现警告系统。用户偏好数据库706可以指定与警 告指令将输出到的设备类型有关的偏好以及其他在过滤有害行为转换数据 库710中使用的过滤偏好。此外，可以将有害行为转换数据库710与特定 监督用户关联，或根据其他准则从警告系统710可用的多个有害行为转换 数据库选择中来选捧有害行为转换数据库710。在所述实例中，有害行为转换数据库710包括多个类别中针对每个表 项指定的数据。具体地说，在所述实例中，每个表项包括姿态类型和最小 有害行为百分比以及指令，所述指令用于生成到红外控制器、触觉反馈设 备、音频反馈设备和图像覆盖控制器中的每一个的警告信号(如果适用)。 此外，虽然未示出，但是每个表项可以包括正确预测行为类型的最小阈值 概率百分比以及用于生成针对其他或备选类型的警告系统输出设备的警告 信号的指令。具体地说，在所述实例中，包括在行为记录702中的受监视行为指示 受监视用户以不合常规的步态行走，且在概率上90%地确定受监视行为是 左侧不合常规的步态，在概率上70%地确定所述不合常规的步态表示有害 行为。此外，行为记录702将总体受监视环境指示为"建筑B"。重要的 是指出，包括在预测行为记录702中的数据实例是示例而不是限制可包括 在行为记录(由行为处理系统100输出和由警告系统700接收)中的数据 类型和数据详细信息。例如，行为记录还可以指示受监视用户正在行走的 速度、受监视用户行走的方向以及将标识受监视用户的信息(例如，村衫 颜色或头发颜色)，如果受监视环境包括多个受监浮见用户的话。在所述实例中，警告控制器708可以控制到一个或多个示出的^L备的 警告指令。对于所述实例，警告控制器708将行为记录702与有害行为转 换数据库720的表项722相比较，并可以根据从将行为记录702和其他收集的数据与表项722进行比较而生成的指令来控制到红外控制器730、图 寸l^盖控制器740、触觉反馈控制器750和音频反馈控制器760中的一个 或多个的警告信号。将理解的是，警告控制器708可以将警告信号输出到 其他或备选类型的输出设备以及多个相同类型的输出设备。在根据行为记录702控制警告指令时，在一个实例中，警告控制器708 可以确定需要发送信号以开启"建筑B"环境中的红外控制器730。警告控 制器708确定红外控制器730控制用于监视"建筑B"的红外设备。警告 控制器生成警告信号并将所述警告信号发送到红外控制器730(如标号732 所示)以开启红外系统。除了引导红外控制器730开启红外系统，警告控 制器708还可以提供其他指令以使红外控制器730能够关注受监视用户。在另一个实例中，在根据行为记录702控制警告指令时，警告控制器 708可以确定需要为"建筑B"中捕获的图像向图像覆盖控制器740发送信 号。在所述实例中，图像覆盖控制器740控制在捕获的图像流上覆盖图层。 图层可以包括但不限于文本图像、图形图像和视频图像。在一个实例中， 透明的有色覆盖可以放置为"建筑B"中捕获的视频图像上的图层，以指 示受监视用户的一部分触发了潜在有害行为的指示器。例如，警告控制器 708发送标号742处所示的警告信号，所述信号引导图像覆盖控制器740 关注左侧不合常规的步态上的图层。此外，警告控制器708可以发送行为 记录702 (具有检测行为的坐标的指示符)，以使图像覆盖控制器740可 以将指示不合常规步态的图层映射到先前捕获或当前捕获的图像流之一。在再一个实例中，在根据行为记录702控制警告指令时，警告控制器 708可以确定需要向触觉反馈控制器750发送信号。触觉反馈控制器750 控制到 一个或多个触觉反馈设备的输出。触觉反馈特征可以包括但不限于 脉冲强度、强度、模式、持续时间和位置。此外，监督用户可以检测来自 一个或多个触觉及Jti殳备的触觉^J晴，其中警告控制器708可以为多个触 觉反馈设备生成相同或不同的信号。在所述实例中，警告控制器708发送 标号752处示出的警告信号，该信号引导触觉及^馈控制器750使用70%的 力施加脉冲于左侧触觉反馈设备。此外，在另一个实例中，在根据行为记录702控制警告指令时，警告 控制器708可以确定需要向音频反馈控制器760发送信号。音频反馈控制 器760控制到一个或多个音频反馈设备的输出。警告控制器708可以控制 不同类型的音频反馈，包括但不限于产生警告信号音调模式的声音和转换 为语音反馈的文本。在所述实例中，警告控制器708发送标号762处示出 的警告信号，该信号引导音频反馈控制器760输出"不合常规的步态，左 侧"的音频信号。除了表项722，有害行为转换数据库710的表项720和724进一步示 出了可以包括在有害行为转换数据库710中的表项的类型。例如，表项720 指定对于指示为"避开目光"且最小有害度为75%的姿态，不应触发红外 控制器，但^J见定指令将警告信号发送到触觉反馈控制器以便以该百分比 强度施加脉冲于两个触环一次、发送到音频反馈控制器以提供"避开目光" 的音频反馈，或发送到图像覆盖控制器以便以有害性百分比透明度将眼部 区域凸显为红色。在另一个实例中，表项724指定对于指示为"大量出汗，， 且最小有害度为80%的姿态，如果在用户偏好数据库706中指定，则应触 发红外控制器，并且规定指令将警告信号发送到触觉反馈控制器以快速地 施加脉冲于两个触环两次，发送到音频反馈控制器以提供"大量出汗"的 音频反馈，或发送到图像覆盖控制器以便以有害性百分比透明度将出汗区 域凸显为绿色。在所述实例中，警告控制器708控制通过红外控制器730开启监视设 备的警告信号，控制通过图像覆盖控制器740调整受监视影像的警告信号， 以及控制通过触觉反馈控制器750和音频反馈控制器760通知单个监督用 户的警告信号。因此，有利地，警告控制器708控制将警告信号输出到设 备(其中受监视用户不能检测到警告信号的输出)。在受监视用户能够查 看图像覆盖控制器74 0控制的图像的环境中，用户偏好数据库7 06可以阻 止输出到图4象覆盖控制器740。现在参考图8,图8是示出对g测接口和导航输出接口的一个实例 的方块图。在所述实例中，图8包括头部设备800，它是一种可佩戴的装置。在一个实例中，监督用户佩戴头部设备800,其示为一副眼镜。在其 他或备选实施例中，头部设备800可以表示其他类型的可佩戴装置。此夕卜， 虽然参考监督用户佩戴头部设备800来说明头部设备800，但是，在备选 实施例中，受监视用户可以佩戴头部设备800。在所述实例中，图像捕获设备202和图像捕获i殳备204都固定到头部 设备800。每个图像捕获设备202和图像捕获设备204都捕获视频图像流 和其他类型的读出数据。每个图像捕获设备202和图像捕获i殳备204可以 将图像和数据传输到计算机系统912，计算机系统912通过有线连接或通 过固定到头部设备800的无线发射器810的传输来实现行为处理系统100。在一个实例中，计算机系统812是佩戴头部设备800的监督用户携带 或佩带的本地移动计算系统(如计算机系统500 )。例如，作为本地移动 计算系统的计算机系统812可以例如在附带腰带的计算系统、无线电话设 备或膝上型计算系统中实现。在另一个实例中，计算机系统812保持在固 定位置或由一个监督用户佩戴，但是在与计算机系统812关联的接收器的 广播接收范围内从无线发射器810或其他无线发射器接收无线传输。行为处理系统100可以在计算机系统812中运行或可以与提供行为处 理服务的其他计算系统连接，以处理捕获的图像和数据并从捕获的图像和 数据返回预测的姿态，如图6中所示。具体地说，计算机系统812可以包 括计算机系统812通过其经由网络502与其他计算系统连接的有线或无线在一个实例中，将图像捕获设备202和图像捕获设备204置于头部i殳 备800上以捕获从用户正前方到监督用户之前一粉巨离(例如，监督用户 前几码)的聚焦区域。通过包括用户正前方区域的聚焦区域，图像捕获"i殳 备202和图像捕获设备204可以捕获佩戴头部设备800的监督用户所做的 行为的图像。此外，通过包括监督用户前方延伸区域的聚焦区域，图像捕 获设备202和图像捕获设备204可以在监督用户的路径中捕获受监视用户 的4亍为图4象。此外，可以将图像捕获设备202和图像捕获设备204置于头 部设备800上以才艮据监督用户所处的环境来捕Hl&督用户两侧、上方和后方的区域。4亍为处理系统100处理图^象捕获i殳备202和图像捕获i殳备204 捕获的图像和数据，并且基于学习最有助于监督用户的行为识别类型，将 预测的障碍记录传送给警告系统700以输出到监督用户。在警告系统700控制到监督用户的输出时，在所述实例中，警告系统 700可以将音频反馈发送到头部设备800，其中头部设备800包括固定到头 部设备800并放置为耳部设备以在用户的耳中输出音频的音频输出设备 806和音频输出设备808。如警告系统700所控制的，每个音频输出设备 806和音频输出i殳备808可以通过有线连接或无线发射器810从计算机系 统812接收音频传输以便输出。在一个实例中，图像捕获设备202和图像捕获i殳备204捕获接近监督 用户的受监一见用户的图像，而行为处理系统IOO接收捕获的图像并预测受 监视用户的行为以及所述行为是否是潜在有害的行为。行为处理系统100 将行为类型以及行为是否在预测行为记录中被预测为有害行为传送给警告 系统700。如先前参考图7所述，警告系统700将预测的行为记录转换为 音频输出并控制将转换的音频输出到音频输出设备806和音频输出i殳备 808。有利地，通过控制将警告信号输出到监督用户所佩带的音频输出设备 806和音频输出设备808，只有监督用户而非受监视用户接收到音频输出警 告信号。重要的是指出，虽然在所述实例中，图像捕获设备202、图像捕获设 备204、音频输出设备806和音频输出设备808固定到同一头部设备800， 但是在备选实施例中，图像捕获设备可以固定到独立于音频输出设备的单 独头部i殳备。此外，重要的是指出，虽然在所述实例中，计算机系统812 同时包括行为处理系统100和警告系统700，但是在备选实施例中，不同 的计算系统可以实现每个行为处理系统100和警告系统700。此外，重要的是指出，多个监督用户和受监视用户可以都佩戴单独的 头部设备，其中每个头部设备上的图像捕获设备所捕获的图像通过无线或 有线网络连接被传输到同一计算机系统(如计算机系统812)。通过从多 个人收集协同的图像和数据，行为处理系统IOO可以更准确地检测表示行为的对象并更准确地预测行为的类型以及行为是否潜在有害。进而，重要 的是指出，多个本地移动计算机系统(每个系统都从固定到头部设备的图 像捕获设备和传感器收集图像和数据)可以通过无线或有线网络连接彼此 通信并共享收集的图像、数据、检测的对象、预测的行为以及预测的行为是否潜在有害。监督用户可以同意在安全网络中共享收集的图像和预测的 行为记录。在单个系统处收集或在多个系统间共享协同的图像和数据的情况下， 可以将其他信息添加到所述图像和数据或从其中提取其他信息，以协助相 对于其他捕获的图像和数据的集合来放置不同的捕获的图像和数据的集 合。例如，为协同而传输的图像和数据可以包括位置指示器和方向指示器， 以使每个图像和数据集合可以对准并指向其他的图像和数据集合。现在参考图9，图9是示出了从警告系统接收触觉反馈的可检测触觉 反馈设备的一个实例的示意图。如图所示，人可以佩带腕带904和908， 其中每个腕带都包括用于控制可检测触觉输出的控制器以及可以被控制以 产生可检测输出的硬件。可检测触觉输出的实例可以包括可检测的压力脉 冲、腕带表面可检测的变化以及其他可以被佩带腕带9(M和908的用户感 知的调整。此外，可检测触觉输出可以在频率、强度、持续时间和其他可 被佩带腕带904及908的监督用户感知的特征方面进行调整。在所述实例中，腕带904包括无线发射器902，而腕带908包括无线 发射器906。每个无线发射器902和无线发射器906都通过无线网络将传 输发送到触觉反馈控制器750。触觉反馈控制器750从警告系统700接收 触觉信号并将信号传输到每个无线发射器902和906以控制来自腕带904 和腕带908的触觉输出。有利地，通过控制将警告信号输出到监督用户佩 戴的腕带904和腕带908，只有监督用户而非受监视用户检测到触觉输出 警告信号。具体地说，警告系统700将触觉警告信号传输到每个无线发射器902 和906以控制每个腕带周围的脉冲模式、位置、力度、持续时间、频率和 输出计时。在标号910处示出的实例中，警告系统700发送用于控制带912的触觉信号，其中每个触觉信号包括x和y坐标以及力度。脉冲的模式和 位置可以在宽度上不同(从位置y到位置x)以M方向上不同(例如， 沿腕带顺时针方向旋转)。此外，每个无线发射器902和906可以包括传感器以监视与重力相比 每个腕带904和908的相对位置。参考标号910处示出的实例，当佩戴腕 带912的用户旋转胳膊时，相对于重力而言，用于控制触觉输出的位置y 将总是向上，而位置-y将总是向下，以便根据用户胳膊的当前位置围绕示 出的轴重新布置触觉信号。在一个实例中，如实例表项720、 722和724所示，警告系统700将预 测的行为和预测行为潜在有害的百分比概率转换为到监督用户的唯一指示 行为类型和行为潜在有害的百分比概率的触觉输出。但是，在另一个实例 中，警告系统700可以将预测的行为和预测行为潜在有害的百分比概率转 换为将监督用户导向受监视用户的区域(与预测行为以及所述行为有害的 概率关联)的触觉输出。此外，在再一个实例中，警告系统700可以将预 测的行为及百分比概率转换为引导监督用户通过某种方式物理地响应(例 如，举M膊，伸手拿防卫设备或监督用户可以从触觉输出检测到的其他 响应)的触觉输出。重要的是指出，腕带904和908是位于两个固定位置的一种类型的触 觉反馈设备的实例；在备选实施例中，可以实现其他类型的触觉反馈设备， 可以实现一个或多个触觉设备，并且可以在一个或多个位置检测触觉设备。 例如，许多电话设备已包括警告系统700可以通过发送信号来控制的振动 功能，以便控制表示预测行为和预测行为潜在有害的百分比概率的振动。 在另一个实例中，监督用户可以佩戴用作盲文设备或3D "触摸"设备的可 检测触觉手套，手套的指尖具有可调整触觉的接口。重要的是指出，用户可以同时佩戴头部设备800和可检测触觉腕带904 及908。在此实例中，警告系统700将控制到触觉反馈控制器750和无线 发射器810之一或两者的输出。进而，头部设备800可以包括当音频在用 户周围时进行检测的麦克风(未示出)，并且警告系统700可以选择在噪音低于特定水平时输出音频反馈以M噪音高于特定水平时输出可检测触 觉输出。现在参考图10，图10是示出了其中由警告系统检测受监视用户的潜在有害行为并将其告知监督用户的环境的一个实例的示意图。在所述实例中，环境1010包括监督用户1012(例如，执法官员)以及受监视用户1014。 在所述实例中，监督用户1012走出车辆1006。车辆1006包括用于在环境 1010中捕获表示行为运动的图像的图像捕获系统1004，例如，图像捕获设 备202、图像捕获设备204和传感器240中的一个或多个。图像捕获系统 1004将捕获的数据传送给计算机系统812的姿态处理系统100，其中计算 机系统812可以位于车辆1006中或表示可通过网络502访问的一个或多个 计算机系统。行为处理系统100处理图像捕获系统1004所捕获的图像。在所述实例 中，行为处理系统100从车辆1006接收具有警官执4亍的巡逻类型的指示和 警官身份的图像。根据警官执行交通扣留和警官身份"警官A",行为处 理系统100访问交通扣留行为定义1020和警官A行为定义1022来更准确 地预测交通扣留期间的常见行为，以及更准确地预测与交通扣留相关及与 定义1020与1022中定义的"警官A"相关的行为。行为处理系统100生成预测的行为记录以由警告系统700用于确定警 告指令，以便通过输出控制器1008输出到监督用户。在确定警告指令以输 出到监督用户1012时，警告系统700可以访问"警官A"的用户偏好、针 对交通扣留设置的偏好以及用于"警官A"或全体警官的有害行为转换数 据库。根据警告系统700生成的警告指令，警告系统700控制到输出控制器 1008的输出信号，输出控制器1008用于控制到可由车辆1006外部的监督 用户1012访问的输出设备和从车辆1006控制的输出设备的输出。例如， 监督用户1012可以佩带耳才几(输出控制器10 08控制将音频信号输出到其), 或者监督用户1012可以佩带可检测触觉设备(输出控制器1008控制将触 觉信号输出到其)。在另一个实例中，车辆1006可以配备有红外i殳备(输出控制器1008向其输出信号)，以控制是否开启红外设备以及红外设备的 捕获区域的布置。将理解的是，输出控制器1008可以控制到车辆1006中 其他类型的输出设备或可由监督用户1012访问的输出设备的输出信号。此 外，输出控制器1008可以控制到可由输出控制器1008特定距离内的多个监督用户或所有监督用户访问的输出设备的输出信号。进而，警告系统 1008可以控制到其他车辆或其他位置的警告系统1008与之通信的其他输 出控制器的信号。重要的是指出，任何类型的移动单元(例如，车辆1006 )都可以实现 行为处理系统和用于向监督用户提供警告信号的警告系统。此外，虽然车 辆1006是移动单元，但是在其他实例中，单元(例如，在安检或公共交通 入口处的单元)可以实现行为处理系统和用于向监督用户提供警告信号的 警告系统。此外，重要的是指出，虽然图io中的实例示出了监督用户在交通扣留期间与人进行交互，但是在另一个实例中，移动单元(例如，车辆1006 ) 可以实现为监视与动物或其他移动实体交互的监督用户。现在参考图11，图11是示出了行为处理系统通过百分比概率来预测对象类型和路径的过程和程序的高级逻辑流程图。在所述实例中，所述过 程始于块IIOO，然后前进到块1102。块1102示出了在聚焦区域通过立体图像设备捕获多个图像流以及通过传感器捕获传感器数据。接下来，块 1104示出了在图像和传感器数据中跟踪对象。然后，块1106示出了为跟 踪的对象生成3D对象属性流。此后，块1108示出了聚合每个祐JE艮踪对象 的3D对象属性。具体地说，聚合的3D对象属性表示与至少一个净雄视用 户(代表至少一个被监视用户的行为)一起跟踪的一个或多个对象。此夕卜， 聚合的3D对象属性可以表示与一个或多个监督用户(代表一个或多个监 督用户的行为)一起多艮踪的一个或多个对象。接下来，块1110示出了通过 百分比概率，根据与聚合的3D对象属性流匹配的一个或多个行为定义中 的累积3D对象属性流，预测至少一种类型的行为。此外，接下来，块1112 示出了通过百分比概率从行为定义来预测行为是否潜在有害。具体地说，在预测行为是否潜在有害时，行为的潜在有害程度可以根据执行行为的环 境类型、特定环境中的人数、监督用户与受监视用户的接近度以及其他可以在行为定义中定义的因素而改变。此后，块1114示出将每个预测的行为 类型以及在行为记录中行为是否潜在有害传输到启用行为的应用(例如， 警告系统)，并且过程结束。现在参考图12，图12是示出了通过在图像流和其他读出数据中^U宗 对象并生成代表行为的被跟踪对象的3D对象属性进行行为检测的过程和 程序的高级逻辑流程图。如图所示，所述过程始于块1200,然后前进到块 1202。块1202示出了对象检测器系统通过一个或多个图像捕获设备接收多 个图像流以及通过一个或多个传感器接收读出数据。接下来，块1204示出 了对象检测器系统将元数据附加到图像帧和读出数据，然后过程转到块 1206。在一个实例中，元数据包括但不限于诸如相才几标识符、帧号、时间 戳和像素数之类的数据。块1206示出了对,测器系统处理每个图像流和读出数据以检测和 跟踪对象，其中对象可以包括物理对象和指示行为的用户运动。接下来， 块1208示出了从每个图像流生成具有元数据的,皮跟踪对象属性流。然后， 块1210示出了組合^皮跟踪对象属性以生成具有元数据的3D对象属性。接 下来，块1212示出了将3D跟踪对象属性传输到行为解释器系统，然后过 程结束。现在参考图13，图13是示出了从被跟踪3D对象属性进行行为预测的 过程和程序的高MJE辑流程图。在所述实例中，过程始于块1300，然后前 进到块1302。块1302示出了判定行为解释器系统是否接收到3D对象属性。 当行为解释器系统接收到3D对象属性时，过程转到块1304。块1304示出 了访问一系列适用的行为定义，然后过程转到块1306。块1306示出了行为解释器系统将跟踪对象的3D对象属性与适用的行 为定义相比较。接下来，块1308示出了行为解释器系统检测与一组或多组 3D对象属性最匹配的至少一个行为定义。此后，块1310示出了计算3D 对象属性与行为定义匹配的百分比概率。接下来，块1312示出了根据行为定义中设置的有害程度特征来预测所预测行为是否潜在有害。然后，块1314示出了生成具有任何预测的行为的至少一个预测行为记录、预测行为 正确的百分比概率、预测行为潜在有害的百分比概率以及其他读出数据。 接下来，块1316示出了将具有元数据的预测行为记录传输到特定的启用行 为的应用，然后过程结束。现在参考图14,图14是示出了用于在启用行为的导航系统中应用预测的行为记录的过程和程序的高级逻辑流程图。如图所示，过程始于块 1400，然后前进到块1402。块1402示出了判定启用行为的警告系统是否 接收到预测的行为记录。当警告系统接收到预测的行为记录时，过程转到 块1404。块1404示出了收集与特定环境关联的其他数据，包括但不限于 其他监督用户的位置、环境中的其他预测行为记录，以及可由警告系统访 问的其他数据。然后，块1406示出了将预测的行为和其他收集的数据映射 到监督环境中的一个或多个位置。接下来，块1408示出了将预测的行为记 录和其他收集的数据转换为一个或多个警告信号以输出到监督用户，包括 指示环境中有害行为的位置的警告信号。然后，块1410示出了控制将信号 输出到选定输出接口控制器，然后过程结束。虽然参考优选实施例详细示出和描述了本发明，但是本领域的技术人 员将理解，可以在其中做出各种形式和详细的更改而不偏离本发明的精神 和范围。
权利要求
1.一种用于警告监督用户表示有害行为的受监视用户的行为的计算机实现的方法，所述方法包括在所述监督用户监视的特定环境中捕获受监视用户的三维运动，其中使用至少一个指向所述受监视用户的图像捕获设备来确定所述三维运动；使用所捕获的运动来标识三维对象属性流；通过将所述标识的三维对象属性流与多个有害行为定义相比较来标识由所述三维对象属性流表示的所述受监视用户的特定定义的有害行为；响应于从所述多个有害行为定义中标识所述受监视用户的特定定义的有害行为，通过仅可由所述监督用户检测的接口将所述受监视用户的特定定义的有害行为通知所述特定环境的所述监督用户。
7. 如权利要求l中所述的方法，还包括响应于检测到所述监督用户在所述特定环境中进行心理评估，包括心 理专家监视所述受监视用户的心理状况，而捕获所述特定环境内的所述受 监^f见用户的所述三维运动。
8. 如权利要求1中所述的方法，其中通过将所述标识的三维对象属性 流与多个有害行为定义相比较来标识表示所述三维对象属性流的特定定义 的有害行为进一步包括从所述三维对象属性标识以下项中的一项所述 受监视用户的可疑活动、所述受监视用户的受伤状况、受监视人员携带的 隐藏武器、所述受监^LA员的攻击性姿态、所述受监^LA员的愤怒的面部 表情，以及所述受监4fiLA员的焦虑状况。
9. 如权利要求l中所述的方法，其中将所述受监视用户的特定定义的 有害行为通知所述特定环境的监督用户还包括将所述特定定义的有害行为发送到用于控制到所述监督用户的警告信 号输出的警告系统；以及在所述警告系统处将所述特定定义的有害行为转换成输出信号以^更输 出到输出设备的输出控制器，所述输出设备用于控制将所述受监视用户不 可检测的警告信号输出到监督用户。
10. —种用于警告监督用户表示有害行为的受监视用户的行为的系 统，所述系统包括行为处理系统，所述行为处理系统可通信地连接到网络，所述系统还 包括用于在所述监督用户监视的特定环境中捕获受监视用户的三维运 动的装置，其中使用至少 一个指向所述受监视用户的图像捕获设备来 确定所述三维运动；用于使用所捕获的运动来标识三维对象属性流的装置；用于通过将所述标识的三维对象属性流与多个有害行为定义相比较来标识由所述三维对象属性流表示的所述受监;f见用户的特定定义的 有害行为的装置；警告系统，所述警告系统通过所述网络可通信地连接到所述行为处理 系统并用于传输至少一个警告信号，以便通过仅可由所述监督用户检测的 接口将所述受监视用户的特定定义的有害行为通知所述特定环境的所述监 督用户。
11. 如权利要求10中所述的系统，其中所述用于捕获所述受监视用户 的三维运动的装置进一 步包括用于使用立体图像设备来捕获所述三维运动 以标识和跟踪所述受监视用户的特定三维运动的装置。
12. 如权利要求IO中所述的系统，其中所述用于标识表示所述三维对 象属性流的特定定义的有害行为的装置进一步包括用于计算所捕获的三维运动表示特定有害行为定义中定义的特定行为的百分比概率以及计算所捕 获的三维运动有害的百分比概率的装置。
13. 如权利要求IO中所述的系统，其中标识表示所述三维对象属性流 的特定定义的有害行为进一步包括标识所述三维对象属性流中与所述多个 有害行为定义中的至少一个定义匹配的所述受监^L用户的至少一个身g 动，所述身体运动包括所述受监视用户的面部表情、目艮部运动、肌肉收缩 和皮肤表面特征变化中的至少 一个的细粒度运动。
14. 如权利要求IO中所述的系统，所述行为处理系统还包括用于响应 于检测到所述监督用户在所述特定环境中进行执法活动，捕获所述特定环 境内的所述受监视用户的所述三维运动的装置，所述特定环境包括执法环 境，所述监督用户在其中进行交通扣留、安检和询问中的至少一项。
15. 如权利要求IO中所述的系统，所述行为处理系统还包括用于响应 于检测到所述监督用户在所述特定环境中进行心理评估，包括心理专家监 -现所述受监浮见用户的心理状况，而捕获所述特定环境内的所述受监^L用户 的所述三维运动的装置。
16. 如权利要求IO中所述的系统，其中所述用于通过将所述标识的三维对象属性流与多个有害行为定义相比较来标识表示所述三维对象属性流的特定定义的有害行为的装置进一步包括用于从所述三维对象属性标识 以下项中的一项的装置所述受监视用户的可疑活动、所述受监视用户的 受伤状况、受监浮见人员携带的隐藏武器、所述受监视人员的攻击性姿态、 所述受监^LA员的愤怒的面部表情，以及所述受监^LA员的焦虑状况。 17.如权利要求IO中所述的系统，其中所述警告系统还包括 用于将所述特定定义的有害行为转换成输出信号以<更输出到输出i殳备 的输出控制器的装置，所述输出设备用于控制将所述受监视用户不可检测 的警告信号输出到监督用户。
全文摘要
本发明涉及一种用于警告监督用户受监视用户的行为的方法和系统，所述系统包括行为处理系统，用于在监督用户监视的特定环境中捕获受监视用户的三维运动，其中使用至少一个指向所述受监视用户的图像捕获设备来确定所述三维运动。所述行为处理系统使用所捕获的运动来标识三维对象属性流。所述行为处理系统通过将所述标识的三维对象属性流与多个有害行为定义相比较来标识由所述三维对象属性流表示的所述受监视用户的特定定义的有害行为。响应于从所述多个有害行为定义中标识所述特定定义的有害行为，所述行为处理系统触发警告系统，以便通过仅可由所述监督用户检测的输出接口将所述受监视用户的特定定义的有害行为通知所述监督用户。
文档编号G06K9/00GK101221621SQ20081000342
公开日2008年7月16日 申请日期2008年1月11日 优先权日2007年1月12日
发明者A·J·赛萨, J·C·阿尔伯特森, K·C·阿诺德, M·A·保利尼, S·D·高曼 申请人:国际商业机器公司