基于姿态的工业监控的制作方法

本案是分案申请。该分案的母案是申请日为2014年10月8日、申请号为201410525812.8、发明名称为“基于姿态的工业监控”的发明专利申请案。

优先权声明

该申请要求于2014年1月13日提交的美国临时申请序列号61/926,742的优先权以及于2013年10月1日提交的美国临时申请序列号61/885,303的优先权，通过引用将其全部内容结合于本文中。

本公开涉及自动监控。本公开还涉及通过识别机器姿态(gesture)来进行监控。

背景技术：

机器视觉系统允许与各种环境进行计算机控制的视觉交互。例如，可以使用机器视觉系统自动驾驶机动车辆。机器视觉系统可使用成像和其他视觉化技术，例如，声纳、雷达、超声波扫描、红外线成像和/或其他视觉化技术。在工业设置中，视频监控被用于监视操作并且提供安全和保障。操作人员可使用几个查看屏幕以监控在远程位置的操作。操作员能够从查看屏幕检测错误操作、安全漏洞和/或安全问题。通过查看屏幕进行远程监控可减少例如在现场或在工业活动时对亲自监控的需要。

技术实现要素：

根据本发明的一个方面，提供了一种监控系统，包括：成像器，被配置为捕获制造装置的当前运动的视频；以及逻辑(logic)，在与所述成像器进行数据通信时，所述逻辑被配置为：基于所述视频在多维空间中生成所述制造装置的当前运动的第一映射；访问存储的模型姿态(modelgesture)的第二映射；并且将所述第一映射与所述第二映射进行比较以确定所述制造装置的当前运动是否偏离所述模型姿态；以及当所述制造装置的当前运动偏离所述模型姿态时，生成表示所述偏离的消息；以及将所述消息发送给与所述制造装置相关联的监控处理。

其中，所述消息被配置为表示所述制造装置的非相容的操作；以及所述监控处理被配置为响应于所述消息在查看屏幕上生成警报。

根据本发明的另一个方面，提供了一种监控系统，包括：成像器，被配置为创建移动对象的当前运动的图像；逻辑，在与所述成像器进行数据通信时，所述逻辑被配置为：基于所述图像生成所述移动对象的当前运动的第一映射；访问存储的模型姿态的第二映射；以及将所述第一映射与所述第二映射进行比较以确定所述移动对象的操作状况(operationalcondition)。

其中，所述成像器被配置为创建包括所述图像的一系列图像。

其中，所述第一映射包括基于所述一系列图像的第一视频映射。

其中，所述模型姿态包括一组确定的运动；并且所述第二映射包括所述一组确定的运动的第二视频映射。

其中，所述一组确定的运动与所述移动对象的相容的操作状态相关联。

其中，所述逻辑进一步被配置为在所述比较表示当前运动不同于所述一组确定的运动时生成警报。

其中，所述逻辑被配置为基于源的属性来处理所述图像。

其中，所述源包括光源；并且所述属性包括嵌入所述光源的输出中的码。

其中，所述成像器包括：光学传感器，被配置为捕获所述图像；以及聚焦设备，被配置为在所述光学传感器上产生所述图像。

其中，所述第一映射和所述第二映射包括在多维空间中的映射。

其中，所述逻辑被配置为基于确定的操作状况生成警报。

其中，所述移动对象包括设备操作员；以及所述警报被配置为响应于潜在的注意力下降(attentionlapse)来唤醒所述设备操作员。

其中，所述警报被配置为表示所述移动对象突破了安全区域。

根据本发明的另一个方面，提供了一种监控方法，包括：捕获移动对象的当前运动的视频；基于所述视频生成所述移动对象的当前运动的第一映射；访问存储的模型姿态的第二映射；以及将所述第一映射与所述第二映射进行比较以确定所述移动对象的操作状态(operationalstatus)。

所述监控方法进一步包括：基于所述移动对象的类型和为由所述移动对象执行而调度的任务来选择存储的所述第二映射。

其中，确定所述操作状态包括确定所述移动对象是否以非相容的方式执行所述任务。

其中，所述移动对象与所述模型姿态的偏离表示非相容性行为(non-compliantperformance)。

其中，基于照亮所述移动对象的光源的属性来生成所述第一映射。

附图说明

图1示出了实施自动操作监控的环境的示例；

图2示出了示例姿态逻辑；

图3示出了示例姿态识别情景；

图4示出了一个示例结构化的光成像过程。

具体实施方式

在工业环境中的监控操作会是有挑战性的。在某些情况下，可使用员工来监控视频传送和/或直接查看设备和/或其他员工，以确定工业环境内的系统的操作状态。在某些情况下，监控处理可包括查看反复检测缺陷的更长时间的重复处理。在某些情况下，员工可能中断注意力并且会错过感兴趣的事件。例如，在装配线上负责监控生产装置的员工会睡着。在某些情况下，睡着的人不能报告在窗口内的装置上发生故障以避免更严重的问题(例如，线路中断等)。另外地或可替换地，员工不能识别感兴趣的事件。例如，人员可查看装置的异常操作但是不能将该操作确定为异常。在另一个示例中，监控人员可能无法识别操作装置(例如，车辆和/或重型机械等)的人员不注意其任务的情况。在某些情况下，可有利地实施用于工业操作监控的自动技术，从而由员工增强和/或代替监控。

图1示出了实施自动操作监控的环境100的示例。环境100可为任何工业环境，例如，生产装配线、工业材料加工厂或工厂库存区。特别地，在图1中所示的环境100是包括生产线110的工业环境。然而，环境100不限于工业设置，并且可能具有下面论述的安全功能配置可能有用的任何环境，例如，在车辆、医院、主题公园或监狱内。例如，在医院未进行监控操作会对患者和/或员工造成伤害。

环境100可包括多个装置。在图1中的示例工业环境100包括制造装置111-117、控制装置121和122、无线接入点(ap)131和132以及标记为传感器141-151的多个传感器。另外的或可替换的装置可存在于工业环境100中，包括作为示例的网络装置(例如，集线器、开关、路由器或桥接器)、数据服务器、致动器、发电机、马达、机械装置、监控装置(例如，摄影机或其他成像器)、光源、计算机、管理或控制系统、环境管理装置、分析系统、通信装置以及诸如移动电话、平板电脑等的任何移动装置。

制造装置111-117沿着生产线110被定位。制造装置111-117可被实施为任何机械装置、机器人、致动器、工具或沿着生产线110参与组装(或拆卸)过程的其他电子设备。制造装置111-117通信链接至控制装置，制造装置111-117通过其接收监控、指导或控制制造装置111-117的控制信号。在图1中，控制装置121通信链接至制造装置111-113，并且控制装置122通信链接至制造装置114-117。在某些变化中，控制装置112是可编程逻辑控制器(plc)。

传感器141-151可在工业环境100中监控各种位置。在图1中，传感器141-151沿着生产线110被定位在预定的监控位置处并且邻近制造装置111-117。传感器141-151可捕获用于监控环境100的环境数据，例如，视觉数据、音频数据、温度数据、位置或运动数据或表示工业环境100的特征的任何其他环境数据。传感器141-151可将捕获的数据传送给在工业环境100中的任何装置、分析系统或监控系统。如下所述，监控系统可整合姿态识别以有助于对操作状态的变化的自动响应和/或其他监控启动响应。

工业环境100在位于工业环境100内和/或外面的任何装置之间支持多个通信链路。多个通信链路可在通信装置之间提供超静定性(redundancy)或失效备援(failover)功能。作为在图1中所示的一个这种示例，控制装置121通过有线通信路径(例如，通过有线电缆)和无线通信路径(例如，通过无线接入点131)连接至制造装置111。在这方面，制造装置111-117可通过多种技术进行通信，包括任意数量的有线技术和/或无线技术。为了支持通信链路，控制装置121和制造装置111-117可包括执行通信协议和安全特性的逻辑。例如，该装置可包括主终端单元(mtu)、可编程逻辑控制器(plc)和/或可编程阵列控制器(pac)。例如，在一些实施中，安全特性(例如，端对端加密)可在位于控制器装置上的mtu与位于制造装置上的plc之间的通信链路上提供保护。通信链路可有助于传送图像，例如，视频、照片、声像图等，用于在控制装置或其他数据处理器上进行处理。

在工业环境100中的装置可包括通信接口，该通信接口支持与在工业环境100内或外面的其他装置具有多个通信链路。通信接口可被配置为根据一个或多个通信模式(例如，根据各种通信技术、标准、协议或者通过各种网络或拓扑)进行通信。通信接口可支持根据特定的服务质量(qos)技术、编码格式、来通过各种物理(phy)接口等进行的通信。例如，通信接口可根据以下网络技术、拓扑、介质、协议或标准中的任一个进行通信：包括工业以太网的以太网、任何开放的或专用的工业通信协议、电缆(例如，docsis)、dsl、同轴电缆多媒体联盟(moca)、电力线(例如，家庭插电联盟av)、以太网无源光网络(epon)、吉比特无源光网络(gpon)、任意数量的蜂窝标准(例如，2g、3g、通用移动电信系统(umts)、gsm(r)协会、长期演进技术(lte)(tm)或更多)、wifi(包括802.11a/b/g/n/ac)、wimax、蓝牙、wigig(例如，802.11ad)以及任何其他有线或无线技术或协议。作为一个示例，控制装置121包括通信接口160。

控制装置121可包括用于处理图像的姿态逻辑161，以有助于下面论述姿态识别技术。例如，姿态逻辑161可包括处理器164(例如，图形处理单元(gpu)、通用处理器和/或其他处理装置)和存储器166，以分析用于姿态识别所记录的图像。在一些实施中，成像器190(例如，3d照相机等)可包括光学传感器192(例如，3d传感器等)，该成像器可捕获一个或多个移动对象(例如，制造装置111-117)的图像。成像器可(例如，通过网络或在成像与处理相结合的装置内)将图像传输给姿态逻辑161。姿态逻辑161可运行运动处理163(例如，姿态识别中间件等)。运动处理163可在图像内识别运动并且与所确定的姿态进行比较。运动处理软件可确定在图像内识别的运动是否与一个或多个所确定的姿态相对应。

图2示出了示例姿态逻辑161。姿态逻辑161可接收显示移动对象的运动的一个或多个捕获的图像(202)。例如，图像可包括显示对象的当前运动的直播视频。在一些实施中，图像可以是包含关于在3d空间内移动对象的位置的数据的3d图像。移动对象实际上可包括任何运动中的物体或一组物体，例如，人或动物、机器、正在操纵的静物等。

姿态逻辑161可在空间内生成移动对象的运动的映射(204)。例如，姿态逻辑161可基于3d图像中的位置数据将移动对象的运动映射为3d。为了有助于移动对象的运动的映射，姿态逻辑161可将运动处理163应用于捕获的图像。在各种实施中，运动处理163可应用背景建模和消减(backgroundmodelingandsubtraction)以移除图像中的背景信息。在一些实施中，运动处理163可应用特征提取以确定对在捕获的图像内的一个或多个移动对象的限制(bound)。在某些情况下，运动处理163可将像素处理应用于准备好的所捕获的图像来用于分析。在一些实施中，运动处理163可将跟踪和识别例行程序应用于识别所捕获的图像中的运动，其被应用于正在被分析的一个或多个移动对象的运动。例如，背景建模和消减可包括以下处理，例如，从彩色图像(例如，yuv:422)提取亮度、计算移动平均值和方差(例如，指数加权或均一化加权等)、统计背景消减、混合高斯背景消减、形态运算(例如，腐蚀、膨胀等)、连通元件标记和/或其他背景建模和消减。在一些实施中，特征提取可包括哈里斯(harris)角落分数计算、霍夫线路变换、直方图计算(例如，用于整数标量、多维向量等)、勒让德力矩计算(legendremomentcalculation)、凯尼边缘检测(cannyedgedetection)(例如，通过平滑、梯度计算、非极大值抑制、磁滞等)和/或其他特征提取处理。在各种实施中，像素处理可包括颜色转换(例如，yuv:422转换成yuv平面、rgb、lab、his等)、积分图像处理、图像金字塔计算(例如，2×2模块平均化、梯度、高斯或其他图像金字塔计算)、非极大值抑制(例如，3×3、5×5、7×7等)、一阶递归无限脉冲响应过滤、立体图像的基于绝对差总和的差异和/或其他像素处理。在一些实施中，跟踪和识别可包括lucas-kanade特征跟踪(例如，7×7等)、卡尔曼滤波、nelder-mead单纯形优化、bhattacharya距离计算和/或其他跟踪和识别工序。

姿态逻辑161可访问可以与所确定的姿态相对应的一个或多个存储的映射(206)。例如，该映射可包括移动对象可行进以完成姿态的一系列位置的指示。另外地或可替换地，映射可包含相关的部件。例如，为了完成规定的姿态，可将确定的距离从其开始位置移动到左边。该姿态可包括移动对象的确定部分的运动。例如，该姿态可包括使用其右手抓住杠杆并且将该杠杆拉下的人。姿态映射可反映移动对象的结构。例如，映射可包括与具有能够以确定的方式弯曲的关节的骨骼框架相对应的运动。姿态可包括针对多个对象的运动。例如，姿态可与协作动作(coordinatedaction)相对应，例如，在多个制造装置之间的产品的传递。姿态可表示针对所确定的运动的时间帧或速度。

姿态逻辑161可将所生成的映射与所确定的姿态的一个或多个映射进行比较(208)。例如，姿态逻辑161可确定移动对象的运动是否与在姿态(该姿态在所确定的阈值内匹配)中限定的运动匹配。在一些实施中，姿态逻辑161可在移动对象的运动的映射上进行转换。例如，在某些情况下，如果针对初始映射没有发现匹配，则姿态逻辑161可翻转和/或平移移动物体映射。在某些情况下，姿态逻辑161可将移动对象的映射应用于结构(例如，骨架结构)，以有助于与应用于这种结构的姿态映射进行比较。另外地或可替换地，该比较可包括确定移动对象的运动是否包括到绝对位置的行进(或其他运动)，同时不应用转换。例如，这可用于确保装置停留在所确定的安全区域内和/或在制造过程期间从正确的位置中拾取材料。在某些情况下，姿态逻辑161可将移动对象的映射运动与多个姿态映射进行比较。

基于该比较，姿态逻辑161可生成表示是否找到与针对移动对象的运动相匹配的姿态的消息(210)。姿态逻辑161可将消息转发给监控处理(212)。在某些实施中，监控处理可在姿态逻辑161上运行。另外地或可替换地，监控处理可位于姿态逻辑161的外部。例如，姿态逻辑161可将消息转发给警报系统。在某些情况下，例如，如果与不可取的姿态不匹配和/或与不可取的姿态匹配，警报系统可生成警报或响应于表示感兴趣事件的消息来激活警报。

图3示出了示例姿态识别情景310、320、330、340。在示例情景310、320、330、340中，成像器190记录制造装置302的图像。成像器经由网络链路304将捕获的图像发送给包括姿态逻辑161的控制装置121。姿态逻辑161处理用于示例情景310、320、330以及340的图像以识别运动。在情景310、320、330中，在捕获的图像中识别的运动与第一运动序列(例如，水平摆动等)相对应。在情景340中，在捕获的图像中识别的运动与不同于第一运动序列的第二运动序列(例如，垂直摆动等)相对应。姿态逻辑161可访问所确定的姿态306，用于在存储器166上进行识别比较。在示例情景310、320、330、340中，所确定的姿态与第一运动序列相对应。姿态逻辑161可通过生成表示与识别的姿态匹配的消息来对在情景310、320、330中的识别的运动做出响应。对于情景340，姿态逻辑161可通过生成表示所识别的运动与确定的姿态不匹配的消息来对所识别的运动(例如，所有或一部分第二运动序列)做出响应。示例情景310、320、330、340基于姿态识别提供用于说明自动监控的上下文(context)。可使用其他对象、运动的类型以及姿态(例如，复杂的运动序列、多对象序列等)。

表示匹配或不匹配的消息可应用在不同的监控处理中。例如，这些消息可用于确定装置的操作状态(例如，正常操作、异常操作等)，监控人员(例如，注意工作职责、情绪、性能等)，响应于感兴趣的事件(例如，未识别的姿态等)来生成警报，优化装配流水线，响应于感兴趣事件来自动改变监控活动和/或其他监控处理活动。

在某些情况下，自动改变监控活动可包括提高所捕获的安全视频的质量和/或数量。例如，视频监控系统可在第一模式(例如，低清晰度视频、低帧速率、无音频和/或灰度等)下记录视频。响应于表示感兴趣事件的消息，视频监控系统可切换成第二模式(例如，高清晰度视频、高帧速率、音频和/或彩色等)。在某些情况下，在感兴趣事件之前捕获的监视视频可取地在第二模式下进行查看。在某些实施中，可在第二模式下捕获视频，然后，在延迟(例如，分钟、小时、天、周等)之后，该视频压缩成第一模式。在某些情况下，表示感兴趣的事件的一个或多个消息可促使系统超过该延迟(例如，永久地、在审查之前、在授权人员删除之前等)而存储包围事件的监控视频的周期。另外地或可替换地，自动改变的监控活动可包括为现场或离线人员自动传输和/或突出监控视频(例如，用于现场查看而非稍后复查等)。

在某些实施中，在由监控处理接收的消息表示完成或即将完成任务时，优化的装配流水线和/或其他工作流程可包括使队列自动前进。例如，所确定的姿态可与用于执行任务所进行的运动或者在任务的确定点中的任务相对应。监控处理可被配置为使将一个新部件移动到用于支持任务的下一个迭代或重复的位置中(例如，向前移动装配线等)。另外地或可替换地，可响应于姿态来中断流动。例如，员工可举起手以使装配线停止。在某些情况下，例如，准备食物，由于戴防护手套的员工可避免为了停止线路而按压按钮或与其他表面进行接触而造成污染，所以这种系统可有利。

在各种实施中，警报可包括诸如用于唤醒已丧失注意力的人的警报、通知技术人员可发生设备故障的警报、已经违反安全区域的警报和/或其他警报的警报。

在某些实施中，在本文中论述的基于姿态的监控处理可应用于非工业监控中。例如，在医学应用中，姿态可用于跟踪物理治疗患者的进程，监控睡眠模式(例如，脸部张力、快速眼动(rem)、睡眠持续时间等)，用于进行研究，监控治疗应用(例如，滴落速率、传感器位移、设备配置等)、患者状态(例如，疼痛、关节炎、中风的表示(例如，通过不对称的脸部运动)等)和/或其他医学监控/诊断。

在某些实施中，可获得3d图像以支持姿态识别处理。3d成像器的示例可包括基于飞行时间的系统(例如，雷达、声纳、回声位置、激光雷达等)、多传感器和/或多照明源系统、扫描系统(例如，磁共振成象(mri)、计算机体层扫描(ct扫描))、结构化照明系统、编码灯系统和/或其他3d成像系统。

在各种实施中，飞行时间成像系统通过以确定的角度或方向发出信号来进行操作，并且测量用于接收反射回信号源(例如，接近源(或与该源相距确定的距离)的传感器)的时间。可由发送的信号的速度(例如，光速、声速等)分割接收反射的时间。可通过扫描各种角度和/或方向生成包围飞行时间成像器的反射表面的3d图像。在某些情况下，飞行时间成像器与挑战相关联，例如，混淆现象(距离模糊)、运动模糊(例如，对于比扫描更快的运动和/或源信号间距)、分辨率、干扰(例如，来自相似的源头)和/或环境信号。飞行时间系统可提供在度量(例如，操作范围、视场、图像捕获(尺寸、分辨率、颜色)、帧速率、潜伏期、功耗、系统尺寸以及操作环境)方面可与其他3d成像系统竞争的性能。飞行时间系统还在诸如全身跟踪、多体部件跟踪以及多体跟踪的应用中提供有竞争力的性能。然而，会对飞行时间系统的成本提出挑战。

在某些实施中，结构化光系统将2d的光图像投影为成像的3d环境内，以允许将在成像的3d环境内的物体的位置编码至投影仪的协调系统内。结构化光系统可使用三角测量来确定由结构化光源照明的物体的3d位置和特征。图4示出了示例结构化光成像处理400。提供包括条纹406的条纹图案404的结构化光投影仪402照亮成形物体410。通过在成形物体410上投影使条纹406变形。变形的条纹432由照相机上的像素阵列430捕获。位于像素阵列434上的变形的条纹432的位置可被用来利用三角测量法来映射成形物体的特征和位置。基于包括在结构化光源与像素阵列434之间的已知距离的三角测量基线450来进行三角测量。结构化光系统可提供在诸如操作范围、视场、图像捕获(尺寸、分辨率、颜色)、帧速率、潜伏期、功耗、系统尺寸以及操作环境的度量方面可与其他3d成像系统竞争的性能。在诸如全身跟踪的应用中，结构化光系统还提供有竞争性的性能。然而，会在结构化光系统中的对多个主体部分跟踪以及多主体跟踪提出挑战。

在各种实施中，编码的光系统可与结构化光系统相似的原理进行操作。2d光图案可投影至成像的3d环境中，以允许将在成像的3d环境中的物体的位置编码至投影仪的协作系统中。编码的光系统可使用三角测量来确定由编码的光源来照明的物体的3d位置和特征。编码的光系统可进一步时间多路复用多个2d的图案，用于进行投影。额外的2d图案可允许具有更大的空间分辨率。例如，成形物体的位置和特征可针对多个2d的图案，并且可应用统计处理以移除计算误差。在某些情况下，照明对象的运动在时间多路复用的时间标度上会是模糊的。编码的光系统可提供在诸如操作范围、视场、图像捕获(尺寸、分辨率、颜色)、帧速率、潜伏期、功耗、系统尺寸以及操作环境的度量方面可与其他3d成像系统竞争的性能。在诸如全身跟踪、多体部件跟踪以及多体跟踪的应用中，编码的光系统还提供有竞争性的性能。

在各种实施中，基于源的照明器(例如，用在飞行时间、结构化光、编码光系统等中)可包含已知的属性(例如，频率等)。可忽略具有不同属性的光源的光。这可有助于移除背景。例如，可在光源中实施选通(strobing)(或其他光编码)以增加用于与外部光源进行区别的属性。编码的光源可投射出已知的时分多路复用图案。在各种实施中，可移除未发现反映时分多路复用属性的捕获的图像数据以避免噪音对源的干扰。

在一些实施中，可在工业环境中捕获音频。音频姿态(例如，确定的音频模式识别)分析可被应用于捕获的音频。例如，执行确定的任务的制造装置可生成可识别的音频模式。捕获的音频可与已知的模式进行比较以确定操作状态。在各种实施中，音频姿态分析可与图像姿态分析相配对。在各种实施中，麦克风传感器可被分布在示例工业环境100内从而有助于音频姿态分析。

另外地或可替换地，可控制工业环境100以尽可能减少具有与照明源相似的性能的干扰源。例如，使用这种灯来照明，在没有员工时，可在全自动制造中尽可能减少或消除工厂灯和其他辐射源。另外地或可替换地，在工业环境100内，照明源(例如，码光源、结构化光源、飞行时间光源等)可在人们或其他设备未使用的频带内进行操作。例如，照明源可在人们看不见的近红外或远红外频带内进行操作并且不能用于通用照明。

通过硬件、软件或硬件和软件的多种不同的组合，可用多种不同的方法来实施上述方法、装置以及逻辑。例如，所有或部分系统在控制器、微处理器或专用集成电路(asic)中可包括电路，或者可通过离散逻辑或元件或其他类型的模拟或数字电路的组合实现、在单个集成电路上组合或分布在多个集成电路之间。所有或部分上述逻辑可用作由处理器、控制器或其他处理装置执行的指令，并且可存储在有形的或永久的机器可读的或计算机可读的媒质内，例如，闪速存储器、随机存取存储器(ram)或只读存储器(rom)、电可擦可编程只读存储器(eprom)，或者可存储在其他机器可读的媒质内，例如，光盘只读存储器(cdrom)或磁盘或光盘。因此，计算机程序产品等产品可包括存储媒质和存储在该媒质上的计算机可读指令，在端点、计算机系统或其他装置内执行时，促使该装置根据以上任何一种描述进行操作。

该系统的处理能力可分布在多个系统元件之间，例如在多个处理器和存储器之间，可选地包括多个分布的处理系统。参数、数据库以及其他数据结构可单独地存储和管理，可包含在单个存储器或数据库内，可用多种不同的方式在逻辑上和物理上进行组织，并且可用多种方式实施，包括数据结构，例如，链接表、哈希表、或隐式存储机构。程序可为单个程序的一部分(例如，子程序)、单独的程序，通过若干个存储器和处理器进行分布，或者可用多种不同的方式实现，例如，在文库内，例如，共享库(例如，动态链接库(dll))。例如，dll可存储执行上述任何系统处理的代码。虽然已经描述了各种实施，但是对于本领域的技术人员而言，在本公开的范围内显然能够具有更多的实施方式和实施。