具有动态完整性评分的基于视觉的多摄像头工厂监测的制作方法
【技术领域】
[0001]本发明总体涉及用于追踪人的视觉监视系统。
【背景技术】
[0002]在许多组装环境下使用工厂自动化。为了实现更灵活的制造过程，需要能允许机器人和人自然地且有效地协作，以执行不必重复的任务的系统。人-机器人互动需要新的机器认知水平，其超越了其中所有部件在已知位置开始的通常的记录/回放式的控制。以这种方式，机器人控制系统必须理解人的位置和行为，且随后必须基于人的动作调整机器人的行为。
【发明内容】
[0003]一种人监视系统，包括多个摄像头和视觉处理器。多个摄像头绕工作空间区域布置，其中每一个摄像头配置为捕获视频馈送，该视频馈送包括多个图像帧，且多个图像帧在相应摄像头之间是时间同步的。
[0004]视觉处理器配置为从多个基于视觉的成像装置接收多个图像帧且从使用在输入图像上执行的模式匹配而从多个图像帧中的至少一个检测人的存在。用于模式匹配的输入图像是图像帧的滑动窗部分，其与校正坐标系对准，从而工作空间区域中的垂直轴线与输入图像的垂直轴线对准。
[0005]如果检测到人靠近自动可动设备，则系统可以提供警告和/或改变自动可动设备的行为。在一种构造中，系统/系统处理器可以配置为构造位于工作空间中的物体/人的概率图示。
[0006]在工作空间中构造物体位置的概率图示的方法可包括获得工作空间的多个2D图像，每一个相应2D图像从布置在工作空间中不同位置处的摄像头获取。系统可以确定用于每一个摄像头的完整性评分，所述评分与图像的视觉清楚性相关。更具体地，完整性评分与绝对像素差、全局或局部直方图差、和相应2D图像与来自同一摄像头的在先2D图像之间的绝对边缘差中的至少一个有关。
[0007]在多个2D图像的至少两个内识别前景部分。系统可以确定用于每一个识别前景部分的主本体轴线。主本体轴线是相应前景部分的平均中线且与图像的消失点对准。一旦被确定，则系统可以将每一个被检测的主本体轴线映射到地面平面，所述地面平面与工作空间的地面重合。在各种映射的主本体轴线的位置处观察，系统可以确定地面平面中的代表物体的位置的位置点。如果线不以单个位置相交，则该位置点可以被选择以使得每一个映射主本体轴线中的加权最小二乘函数最小化。加权可以根据用于一视图的完整性评分进行，每一个相应主本体轴线从所述视图映射。
[0008]在又一种构造中，每一个前景部分被投影到多个平行间隔开的平面的每一个。多个平面中的每一个内识别一区域，多个投影前景部分在该区域中重叠。这些识别区域被组合以形成物体的3D边界包络。
[0009]系统可以执行控制动作，如果边界包络重叠预定体积空间。控制动作可以例如包括修改邻近机器人的行为，调整自动机械的性能，或通过声音或光照发出警报。
[0010]在一种构造中，处理器可以使用边界包络以验证确定的位置点。例如，如果位置点在边界包络中，则系统可以记录该位置点的坐标。
[0011]系统可以进一步配置为组合运动轨迹，所述运动轨迹代表一段时间段上位置点的位置。在该运动轨迹中，系统可以进一步识别位置点在工作空间中运动的一部分时间段，和识别位置点在工作空间中静止的一部分时间段。在位置点静止的该一部分时间段期间，系统可以配置为确定物体执行的动作。
[0012]在另一构造中，系统可以将地面平面与多个平面融合以形成平面概率图。另外，系统可以确定边界包络的主轴线，所述主轴线代表人/物体的垂直轴线。边界包络的主轴线被选择为与地面平面相交且限定第二位置点。一旦确定，则第二位置点可以与经由映射的本体轴线确定的位置点融合，以形成细化的位置点。
[0013]为了形成细化的对象原型，边界包络可以进一步与工作空间的立体像素图示或立体深度图示融合。系统例如可以监视细化的物体原型的一部分的速度和加速度中的至少一个，且可以基于速度和加速度中的所述至少一个改变自动装置的行为。
[0014]根据本发明的一方面，提供一种识别工作空间中物体位置的方法，该方法包括:
[0015]获得工作空间的多个2D图像，每一个相应2D图像从布置在工作空间中不同位置处的摄像头获取；
[0016]确定用于每一个相应2D图像的完整性评分，完整性评分与绝对像素差、全局或局部直方图差、和相应2D图像与来自同一摄像头的在先2D图像之间的绝对边缘差中的至少一个有关；
[0017]识别多个2D图像中至少三个内的前景部分；
[0018]确定用于每一个识别的前景部分的主本体轴线，主本体轴线是相应前景部分的平均中线且与相应图像的消失点对准；
[0019]将确定的主本体轴线从每一个相应2D图像映射到共同的地面平面，所述共同的地面平面与工作空间的地面重合；
[0020]确定地面平面中的位置点，其中该位置点使得每一个映射的主本体轴线中的最小二乘函数最小化，且其中根据用于每一个相应2D图像的完整性评分对最小二乘函数加权；和
[0021]其中该位置点代表工作空间中物体的点位置。
[0022]优选地,所述方法进一步包括:
[0023]将前景部分从每一个相应的2D图像投影到多个平行间隔开的平面中的每一个；
[0024]识别多个平面中每一个内的多个投影的前景部分在其中重叠的区域；
[0025]将来自多个平面中的每一个的识别区域组合，以形成物体的3D边界包络；和
[0026]其中边界包络为工作空间中物体位置的3D概率图示。
[0027]优选地，所述方法进一步包括如果边界包络与预定体积空间重叠，则执行控制动作。
[0028]优选地，所述方法进一步包括如果位置点在边界包络中，则记录该位置点的坐标。
[0029]优选地，所述方法进一步包括组合运动轨迹，其中运动轨迹代表在一段时间上的位置点的位置；和
[0030]识别位置点在工作空间中运动的一部分时间段，和识别位置点在工作空间中静止的一部分时间段。
[0031]优选地，所述方法进一步包括确定位置点在工作空间中静止的该一部分时间段期间物体执行的动作。
[0032]优选地,所述方法进一步包括:
[0033]确定边界包络的主轴线，其中边界包络的主轴线与地面平面相交，以限定第二位置点；和
[0034]将地面平面中经确定的位置点与第二位置点融合，以形成进一步完善的位置点。
[0035]优选地，所述方法进一步包括将边界包络与工作空间的立体像素图示融合，以形成进一步完善的物体原型。
[0036]优选地，所述方法进一步包括确定进一步完善的物体原型的一部分的速度和加速度中的至少一个。
[0037]优选地，所述方法进一步包括基于速度和加速度中的至少一个对自动装置的行为发出警告。
[0038]优选地，其中多个平行间隔开的平面包括至少三个平面；并且
[0039]其中至少三个平面中的一个包括地面平面。
[0040]根据本发明的另一方面，提供一种系统，包括:
[0041]多个摄像头，布置在工作空间内的不同位置处，并且每一个配置用于将工作空间从不同的视角2D成像，其中多个摄像头中的每一个相应的摄像头配置为捕获工作空间的2D图像；
[0042]处理器，与多个摄像头中的每一个通讯，且配置用于从多个摄像头中的每一个接收捕获的2D图像，该处理器进一步配置用于:
[0043]识别多个2D图像中的至少两个内的前景部分；
[0044]确定每一个相应的2D图像的完整性评分，该完整性评分与绝对像素差、全局或局部直方图差、和相应2D图像与来自同一摄像头的在先2D图像之间的绝对边缘差中的至少一个有关；
[0045]确定用于每一个识别的前景部分的主本体轴线，该主本体轴线是相应前景部分的平均中线且与相应图像的消失点对准；
[0046]将每一个检测到的主本体轴线映射到地面平面,所述地面平面与工作空间的地面重合；
[0047]确定地面平面中的位置点，其中该位置点使得每一个映射的主本体轴线中的最小二乘函数最小化，且其中根据用于每一个相应2D图像的完整性评分对最小二乘函数加权；和
[0048]其中该位置点代表工作空间中物体的点位置。
[0049]优选地，其中处理器进一步配置为将来自每一个相应2D图像的前景部分投影到多个平行间隔开的平面中的每一个；
[0050]识别多个平面中的每一个内的多个投影的前景部分在其中重叠的区域；
[0051]将来自多个平面中的每一个的识别的区域组合，以形成物体的3D边界包络；和
[0052]其中边界包络为工作区内的物体位置的3D概率图示。
[0053]优选地，其中处理器进一步配置为如果位置点在边界包络内，则记录该位置点的坐标。
[0054]优选地，其中处理器进一步配置为:
[0055]组合运动轨迹，其中该运动轨迹代表在一段时间上的位置点的位置；和
[0056]识别位置点在工作空间中运动的一部分时间段，以及位置点在工作空间中静止的一部分时间段。
[0057]优选地，其中处理器进一步配置为确定位置点在工作空间中静止的一部分时间段期间物体执行的动作。
[0058]优选地，其中处理器进一步配置为将地面平面与多个平面融合，以形成平面概率图。
[0059]优选地，其中处理器进一步配置为:
[0060]确定边界包络的主轴线，其中边界包络的主轴线与地面平面相交，以限定第二位置点；和
[0061]将所确定的地面平面中的位置点与第二位置点融合，以形成进一步完善的第二位置点。
[0062]当结合附图进行时，本发明的特征和优点以及其他的特征和优点可通过下面对实施本发明的较佳模式做出的详尽描述容易地理解。
【附图说明】
[0063]图1是人监视系统的示意性框图。
[0064]图2是关于工作空间区域定位的多个成像装置的示意图。
[0065]图3是活动监视过程的示意性框图。
[0066]图4是使用关于工作空间区域定位的多个成像装置检测人的运动的示意性处理流程图。
[0067]图5A是图像帧的示意性图示，其包括模型匹配算法的滑动窗输入，所述滑动窗输入横过图像坐标空间中的图像帧。
[0068]图5B是图像帧的示意性图示，其包括模型匹配算法的滑动窗输入，所述滑动窗输入横过校正坐标空间中的图像帧。
[0069]图5C是图5B的图像帧的示意性图示，其中滑动窗输入从具体感兴趣区域选择。
[0070]图6是显示了将被检测的人的多个图示融合到共同坐标系中的方式的示意图，所述被检测的人的多个图示每一个来自不同摄像头。
[0071]图7是使用人监视系统执行活动序列监视的方法的高度示意性流程图。
[0072]图8是使用人监视系统的执行活动序列监视的方法的示意性详细流程图。
[0073]图9是在多个工作空间区域上使用的人监视系统的示意图。
[0074]图10是使用多个传感器视图的三维定位的示意图。
【具体实施方式】
[0075]参见附图，其中在各种附图中相同的附图标记用于表示相同的部件，图1示意性地示出了人监视系统10的方框图，其用于监视组装、制造或类似过程的工作空间区域。人监视系统10包括多个基于视觉的成像装置12，用于捕获指定工作空间区域的视觉图像。多个基于视觉的成像装置12(如图2示出的)定位在自动可动设备周围的各种位置和高度处。优选地，广角透镜或类似的宽视野装置用于可视地覆盖更多工作空间区域。每一个基于视觉的成像