使用多视图融合的概率性人追踪的制作方法
【技术领域】
[0001 ] 本发明大体涉及用于追踪人的视觉监视系统。
【背景技术】
[0002]在许多组装环境下使用工厂自动化。为了实现更灵活的制造过程，需要能允许机器人和人自然地且有效地协作，以执行不必重复的任务的系统。人-机器人相互作用需要新的机器认知水平，其超越了其中所有部件在已知位置开始的通常的记录/回放式的控制。以这种方式，机器人控制系统必须理解人的位置和行为，且随后必须基于人的动作调整机器人的行为。
【发明内容】
[0003]一种人监视系统，包括多个摄像头和视觉处理器。多个摄像头绕工作空间区域布置，其中每一个摄像头配置为捕获视频馈送，该视频馈送包括多个图像帧，且多个图像帧在相应摄像头之间是时间同步的。
[0004]视觉处理器配置为从多个基于视觉的成像装置接收多个图像帧且从使用在输入图像上执行的模式匹配而从多个图像帧中的至少一个检测人的存在。用于模式匹配的输入图像是图像帧的滑动窗部分，其与校正坐标系对准，从而工作空间区域中的垂直轴线与输入图像的垂直轴线对准。
[0005]如果检测到人靠近自动可动设备，则系统可以提供警告和/或改变自动可动设备的行为。在一种构造中，系统/系统处理器可以配置为构造位于工作空间中的物体/人的概率图示。
[0006]在工作空间中构造物体位置的概率图示的方法可包括获得工作空间的多个2D图像，每一个相应2D图像从布置在工作空间中不同位置处的摄像头获取。在多个2D图像中的至少两个内识别前景部分，且每一个前景部分被投影到多个平行间隔开的平面中的每一个。在多个平面中的每一个内识别一区域，多个投影前景部分重叠在该区域中。这些识别区域被组合以形成物体的3D边界包络。
[0007]在一种构造中，如果边界包络重叠预定体积空间，则系统可以执行控制动作。控制动作可以例如包括修改邻近机器人的行为，调整自动机械的性能，或通过声音或光照发出警报。
[0008]另外，系统可以确定用于每一个识别的前景部分的主本体轴线。主本体轴线是相应前景部分的平均中线且与图像的消失点对准。一旦被确定，则系统可以将每一个被检测的主本体轴线映射到地面平面，所述地面平面与工作空间的地面重合。在各种映射的主本体轴线的位置处观察，系统可以确定地面平面中代表物体的位置的位置点。如果线不相交为单个位置，则位置点可以被选择为使得每一个映射的主本体轴线中的最小二乘函数最小化。
[0009]在一种构造中，处理器可以使用边界包络以验证确定的位置点。例如，如果位置点在边界包络中，则系统可以记录该位置点的坐标。
[0010]系统可以进一步配置为组合运动轨迹，所述运动轨迹代表一段时间段上位置点的位置。在该运动轨迹中，系统可以进一步识别位置点在工作空间中运动的一部分时间段，和识别位置点在工作空间中静止的一部分时间段。在位置点静止的该一部分时间段期间，系统可以配置为确定物体执行的动作。
[0011]在另一构造中，系统可以将地面平面与多个平面融合以形成平面概率图。另外，系统可以确定边界包络的主轴线，所述主轴线代表人/物体的垂直轴线。边界包络的主轴线被选择为与地面平面相交且限定第二位置点。一旦确定，则第二位置点可以与经由映射的本体轴线确定的位置点融合，以形成细化的位置点。
[0012]为了形成细化的对象原型，边界包络可以进一步与工作空间的立体像素图示或立体深度图示融合。系统例如可以监视细化的物体原型的一部分的速度和加速度中的至少一个，且可以基于速度和加速度中的所述至少一个改变自动装置的行为。
[0013]根据本发明的一方面，提供一种构造在工作空间中的物体位置的概率图示的方法，该方法包括:
[0014]获得工作空间的多个2D图像，每一个相应2D图像从布置在工作空间中不同位置处的摄像头获取；
[0015]识别多个2D图像中至少两个中的前景部分；
[0016]将前景部分从每一个相应视图投影到多个平行间隔开的平面中的每一个；
[0017]识别多个平面中的每一个中的区域，多个投影的前景部分在该区域中重叠
[0018]将来自多个平面中的每一个的识别区域组合，以形成物体的3D边界包络；和
[0019]其中边界包络为工作空间中物体位置的3D概率图示。
[0020]优选地，所述方法进一步包括如果边界包络与预定体积空间重叠，则执行控制动作。
[0021]优选地，所述方法进一步包括确定用于每一个识别的前景部分的主本体轴线，该主本体轴线是相应前景部分的平均中线且与图像的消失点对准；
[0022]将每一个被检测的主本体轴线映射到地面平面，所述地面平面与工作空间的地面重合；
[0023]确定地面平面中的位置点，其中位置点使得每一个映射的主本体轴线中的最小二乘函数最小化；和
[0024]其中位置点代表工作空间中物体的点位置。
[0025]优选地，所述方法进一步包括如果位置点在边界包络中则记录位置点的坐标。
[0026]优选地，所述方法进一步包括组合运动轨迹，其中运动轨迹代表相对于一段时间的位置点的位置；和
[0027]识别位置点在工作空间中运动的一部分时间段，和识别位置点在工作空间中静止的一部分时间段。
[0028]优选地，所述方法进一步包括在位置点在工作空间中静止的该部分时间段期间，确定物体执行的动作。
[0029]优选地，所述方法进一步包括将地面平面与多个平面融合，以形成平面概率图。
[0030]优选地,所述方法进一步包括:
[0031]确定边界包络的主轴线，其中边界包络的主轴线与地面平面相交，以限定第二位置点；和
[0032]将地面平面中经确定的位置点与第二位置点融合，以形成进一步完善的位置点。
[0033]优选地，所述方法进一步包括将边界包络与工作空间的立体像素图示融合，以形成进一步完善的对象原型。
[0034]优选地，所述方法进一步包括确定进一步完善的对象原型的一部分的速度和加速度中的至少一个。
[0035]优选地，所述方法进一步包括基于速度和加速度中的至少一个改变自动装置的行为。
[0036]优选地，其中多个平行间隔开的平面包括至少三个平面；并且
[0037]其中至少三个平面中的一个包括地平面。
[0038]根据本发明的另一方面，提供一种系统，包括:
[0039]多个摄像头，布置在工作空间内的不同位置处，并且每一个配置为从不同的视角观察工作空间，其中，多个摄像头中的每一个相应的摄像头配置为捕获工作空间的2D图像；
[0040]处理器，与多个摄像头中的每一个通讯，并且配置为从多个摄像头中的每一个接收捕获的2D图像，处理器进一步配置为:
[0041]识别在多个2D图像的至少两个内的前景部分；
[0042]将前景部分从每一个相应的视图投影到多个平行间隔开的平面中的每一个；
[0043]识别多个平面中的每一个内的多个投影的前景部分重叠的区域；
[0044]组合来自多个平面中的每一个的识别区域，以形成物体的3D边界包络；和
[0045]其中边界包络为工作空间内的物体的位置的3D概率图示。
[0046]优选地，其中处理器进一步配置为:
[0047]确定用于每一个识别的前景部分的主本体轴线，该主本体轴线为相应的前景部分的平均中心线，并且与图像消失点对准；
[0048]将每一个检测的主本体轴线映射到与工作空间的地面重合的地平面；
[0049]确定地平面内的位置点，其中，该位置点最小化每一个映射的主本体轴线中的最小二乘函数；和
[0050]其中该位置点图示工作空间内的物体的点位置。
[0051]优选地，其中处理器进一步配置为如果位置点在边界包络内，则记录该位置点的坐标。
[0052]优选地，其中处理器进一步配置为:
[0053]组合运动轨迹，其中运动轨迹图示一段时间上的位置点的位置；和
[0054]识别位置点在工作区域中运动的一部分时间段，和位置点在工作区域中静止的一部分时间段。
[0055]优选地，其中处理器进一步配置为在由物体在位置点在工作空间内静止的一部分时间段期间，确定由物体执行的动作。
[0056]优选地，其中处理器进一步配置为将地平面与多个平面融合以形成平面概率图。
[0057]优选地，其中处理器进一步配置为:
[0058]确定边界包络的主轴线，其中，边界包络的主轴线与地平面相交，以限定第二位置点；和
[0059]将地平面内确定的位置点与第二位置点融合，以形成进一步完善的位置点。
[0060]当结合附图进行时，本发明的特征和优点以及其他的特征和优点可通过下面对实施本发明的较佳模式做出的详尽描述容易地理解。
【附图说明】
[0061]图1是人监视系统的示意性框图。
[0062]图2是关于工作空间区域定位的多个成像装置的示意图。
[0063]图3是活动监视过程的示意性框图。
[0064]图4是使用关于工作空间区域定位的多个成像装置检测人的运动的示意性处理流程图。
[0065]图5A是图像帧的示意性图示，其包括模型匹配算法的滑动窗输入，所述滑动窗输入横过图像坐标空间中的图像帧。
[0066]图5B是图像帧的示意性图示，其包括模型匹配算法的滑动窗输入，所述滑动窗输入横过校正坐标空间中的图像帧。
[0067]图5C是图5B的图像帧的示意性图示，其中滑动窗输入从具体感兴趣区域选择。
[0068]图6是显示了将被检测的人的多个图示融合到共同坐标系中的方式的示意图，所述被检测的人的多个图示每一个来自不同摄像头。
[0069]图7是使用人监视系统执行活动序列监视的方法的高度示意性流程图。
[0070]图8是使用人监视系统的执行活动序列监视的方法的示意性详细流程图。
[0071]图9是在多个工作空间区域上使用的人监视系统的示意图。
[0072]图10是使用多个传感器视图的三维定位的示意图。
【具体实施方式】
[0073]参见附图，其中在各种附图中相同的附图标记用于表示相同的部件，图1示意性地示出了人监视系统10的方框图，其用于监视组装、制造或类似过程的工作空间区域。人监视系统10包括多个基于视觉的成像装置12，用于捕获指定工作空间区域的视觉图像。多个基于视觉的成像装置12 (如图2示出的)定位在自动可动设备周围的各种位置和高度处。优选地，广角透镜或类似的宽视野装置用于可视地覆盖更多工作空间区域。每一个基于视觉的成像装置基本上彼此偏开，以用于从相应的观察点捕获工作空间区域的图像，所述观察点基本上与其他的相应成像装置的不同。这允许从工作空间区域周围的不同观察点捕获各种视频流图像，以用于将人与周围设备区分开。由于工作空间区域中物体和设备的视觉阻碍(即遮蔽)，在工作空间区域中存在遮蔽时，多个观察点提高了在一个或多个图像中捕获人的可能性。
[0074]如图2所示，第一基于视觉的成像装置14和第二基于视觉的成像装置16基本上在高架位置彼此间隔开，从而每一个捕获高角度视图。成像装置14和16提供高角度规范视图(canonical view)或参考视图。优选地，成像装置14和