失真物体去失真的模式的校准参数。由广角透造成的镜图像失真需要通过应用摄像头校准来使得图像去失真。这是需要的，因为图像的任何大的失真会使得图像装置的视图和外观模块之间的单应映射功能不准确。成像校准是一次性处理过程；然而，在成像装置设置改变时需要重新校准。图像校准还被动态完整性监视子系统周期性地检查，以检测成像装置从其校准视野略微运动的情况。
[0103]在图框44和45中，背景模拟和前景检测被分别启动。背景训练用于将背景图像从前景图像区别开。结果被存储在背景数据库中，用于被每一个子处理程序使用，以区分背景和前景。所有失真的图像经背景滤波以在数字化的图像中获得前景像素。为了在捕获的图像中区别背景，应使用空的工作空间观察区域的图像来训练背景参数，从而在存在运动物体时背景像素可易于区别出来。背景数据应随时间更新。在捕获的图像中检测和追踪人时，从成像数据过滤背景像素，以检测前景像素。检测到的前景像素通过使用噪声过滤和区块尺寸过滤的连接部分分析(connected component analysis)转换为区块(blob)。
[0104]在图框46中，区块分析被启动。在相应工作空间区域中，不仅可检测运动的人，而且可以检测其他运动的物体，例如机器人臂、拖车或箱体。因此，区块分析涉及检测所有前景像素且确定哪些前景图像(例如区块)是人而哪些是非人运动物体。
[0105]区块可以限定为连接像素的区域(例如接触像素)。区块分析涉及捕获的图像中像素的相应区域的识别和分析。图像将按照值来区分像素。像素随后被识别为前景或背景。具有非零值的像素被认为是前景且具有零值的像素被认为是背景。区块分析通常考虑各种因素，所述因素可以包括但不限于区块位置、区块面积、区块周边(例如边缘)、区块形状、区块直径、长度或宽度和取向。用于图像或数据分段的技术并不限于2D图像，而是还可以利用来自其他类型传感器(其提供IR图像和/或3D体积数据)的输出数据。
[0106]在图框47中，作为区块分析的一部分执行人检测/验证，以从人区块过滤掉非人区块。在一种构造中，这种验证可以使用群集域分类技术(swarming domain classifiertechnique)执行。
[0107]在另一构造中，系统可以使用模式匹配算法，例如支持向量机(SVM)或神经网络，以将前景区块与经训练的人姿态模形进行模式匹配。并非试图作为单个整体处理整个图像，系统可以相反地使用局部的滑动窗62来扫描图像帧60，例如大致在图5A示出的。这可以降低处理的复杂度且提高检测的鲁棒性和具体性。滑动窗62可以随后出于确认目的用作到SVM的输入。
[0108]执行人检测的模块可以使用以不同姿态(即站立、弯腰、屈膝等)定位且面向不同方向的不同人的图像进行训练。在训练模型时，代表性的图像可以设置为使得人大体与图像的垂直轴线对准。但是，如图5A所示，被成像的人64的本体轴线可以根据图像的透视和消失点成角度，其不必是垂直的。如果检测模型的输入是与图像坐标系对准的窗口，则成角度的图示的人会不利地影响检测的准确性。
[0109]为了考虑图像中的人的歪斜本质，滑动窗62可以从校正空间获得而不是从图像坐标空间获得。校正空间可将透视图映射到与地面对准的正交视图。换句话说，校正空间可以将工作空间区域中的垂直线映射在调整图像中垂直地对准。这示意性地显示在图5B中，其中校正窗口 66扫描图像帧60，且可将成角度的人64映射到设置在正交空间70中的垂直对准的图示68。在使用SVM分析时，该垂直对准的图示68可以随后针对更高可信度的检测提供。在一种构造中，校正的滑动窗66可以由相关矩阵促进，所述矩阵例如可在极坐标系和矩形坐标系之间进行映射。
[0110]尽管在一个构造中系统可以使用上述滑动窗搜索策略在整个图像帧上执行穷举搜索，但是该策略可能涉及搜索完全不会有人的图像区域。因此，在另一构造，系统可以仅将搜索空间限制到感兴趣的特定区域72 (ROI)，例如图5C所示的。在一种构造中，R0I72可以代表图像帧60中看得见的地面空间加上边缘容限，以计入站在地面空间的极限边缘处的人。
[0111]在又一种构造中，通过使得期望发现人区块的R0I72的部分周围搜索的优先，甚至可以进一步减小计算需求。在该构造中，系统可以使用线索以基于可用于图像处理器的补充信息来限制搜索或使得搜索优先。该补充信息可以包括在图像帧中的运动检测、来自之前识别的人区块的轨迹信息，和来自多摄像头阵列的其他摄像头的数据融合。例如，在融合的地面帧上确认人的位置之后，追踪算法形成人的轨迹且在随后的帧中保持轨迹历史。如果在一种情况下环境障碍使得人定位失败，则通过将之前追踪的人位置的轨迹推算，系统可以快速恢复人的定位，以将校正搜索集中于R0I72中。如果在几个帧中不能再次识别该区块，则系统可以报告目标人已经消失。
[0112]再次参见图4，一旦在各种视图中检测到人区块，则针对每一个被检测的人区块在图框48中执行本体轴线估计。使用图像中的消失点(从消失点数据库获得)确定用于每一个人区块的主本体轴线。在一种构造中，本体轴线可以通过两个关注点限定。第一点是被识别的人区块的形心点，而第二点(即消失点)是本体底部附近的相应点(即并不一定是区块底部，并且可能在区块的外部)。更具体地，本体轴线是将形心点连接到消失点的虚拟线。在每一个相应摄像头视图中，针对每一个人区块确定相应的垂直本体轴线，如在图6的大致80、82和84处示出的。通常，该线将横切人的图像在从头到脚趾的线上。人检测评分可以用于辅助相应的本体轴线的确定。评分提供已经与人配对并且相应的本体轴线应该被使用的置信度水平。每一个垂直本体轴线将经由单应映射而被用以确定人的定位，且将在后文详细描述。
[0113]再次参见图4，在图框49中执行颜色配置。颜色外观模型被设置，以用于在每一个视图匹配同一人。颜色配置在每一个捕获的图像中辨别和保持相应人的同一性。在一种构造中，颜色配置是具有区块边界框的本体轴线的平均颜色值的向量。
[0114]在图框50和51中，单应映射和多视图整合程序被执行，以分别协调各视图，且将人的位置映射到共同平面。单应(如本文使用的)是数学概念，其中可逆变换将物体从一个坐标系映射到线或平面。
[0115]单应映射模块50可以包括本体轴线子模块和协同子模块中的至少一个。通常，本体轴线子模块可以使用单应，以将检测的/计算的本体轴线映射到从高架角度观察的共同平面。在一种构造中，该平面是地面平面，其与工作空间的地面重合。该映射经由图6中86处的地面平面图示出。一旦被映射到共同地面平面，则各本体轴线可以在地面平面中的单个位置点87处或附近相交。在本体轴线不理想地相交的情况下，系统可以使用最小均方差或最小二乘中位数方法识别位置点87的最佳拟合近似值。该位置点可以代表对工作空间中人的地面平面位置的一种估计。在另一实施例中，位置点87可以通过加权最小二乘法确定，其中每一个线可以使用完整性评分而被单独地加权，所述完整性评分针对用于确定直线的巾贞/视图确定。
[0116]协同子模块可以类似于本体轴线子模块操作，因为其使用单应来将内容从不同图像视图映射到从高架透视角度观察的每一个平面。但是，代替映射单条线(即本体轴线)，协同子模块相反地将整个被检测的前景区块映射到所述平面。更具体地，协同子模块使用单应以将前景区块映射到协同图88。该协同图88是全部都平行的多个平面，且每一个平面相对于工作空间的地面处于不同高度。来自每一个视图的检测区块可以使用单应被映射到每一个相应平面中。例如，在一个构造中，协同图88可以包括地面平面、中间平面和头平面。在其他构造中，可以使用更多或更少的平面。
[0117]在来自每一个相应视图的前景区块到共同平面的映射过程中可以存在多个区块映射重叠的区域。换句话说，在一个视图中的被观察区块的像素被映射到一平面时，原始视图的每一个像素在该平面中具有相应的像素。在多个视图全被投射到该平面时，它们可能会在一区域相交，从而平面中的来自相交区域中的像素可以映射到多个原始视图。一平面中的重合区域反映了在该位置和高度处人存在的高的概率。以与本体轴线子模块相似的方式，完整性评分可以用于对区块从每一个视图到协同图88的投影进行加权。从而，原始图像的透明度可能影响高概率区域的具体边界。
[0118]一旦来自每一个视图的区块被映射到相应平面，则高概率区域可以被分离且沿共同垂直轴线的区域可以被组合在一起。通过将在不同高度处的这些高概率的区域分离，系统可以构造出包封被检测的人形式的边界包络。该边界包络的位置、速度和/或加速度可以随后用于改变邻近自动设备的行为，例如组装机器人，或例如如果人走入或达到被限定的保护区域则提供警告。例如，如果边界包络与指定的有限体积空间重叠或与侵犯该有限体积空间，则系统可以改变有限体积空间中自动装置的性能(例如可以减慢或停止机器人)。另外，系统可以通过监视物体的速度和/或加速度而预期物体的运动，且可以在碰撞或相互作用被预期时改变自动装置的行为。
[0119]除了仅仅识别边界包络之外，该包络整体(和/或每一个平面的整体)可以被向下映射到地面平面，以确定被占据的可能地面区域。在一种构造中，该被占据的地面区域可以用于验证通过本体轴线子模块确定的位置点87。例如，如果其位于高概率被占据地面区域的话(如通过协同子模块确定的)，则位置点87可以被验证。相反地，如果点87位于该区域以外，则系统可以识别误差或拒绝位置点87。
[0120]在另一构造中，主轴线可以穿过边界包络绘出，从而轴线基本上在工作空间中是垂直的(即基本上垂直于地面平面)。主轴线可以在边界包络中的平均位置绘出，且可以在第二位置点与地面平面相交。该第二位置点可以与经由本体轴线子模块确定的位置点87融合。
[0121]在一种构造中，多视图整合51可以将多种不同类型的信息融合在一起，以提高准确检测的概率。例如,如图6所示，地面平面图86中的信息和协同图88中的信息可以融合在一起，以形成合并的概率图92。为了进一步细化概率图92，系统10可以将工作空间的3D立体图或所构造的立体像素图示94另外融合到概率估计中。在该构造中，3D立体图可以使用尺度不变特征变换(SIFT)以首先获得特征和其对应关系。系统可以随后对基于已知摄像头固有参数和特征对应关系的立体图配对执行极线校正。视差(景深)图可以随后使用块匹配方法(例如在OpenCV中提供的)实时地获得。
[0122]类似地,立体像素图示使用从背景减除获得的图像轮廓(image silhouettes)以产生景深图示。系统将3D立体像素投影到(被使用的多个的摄像头的)所有图像平面，且确定投影是否与大多数图像中的轮廓(前景像素)重叠。因为某些图像可能由于机器人或工厂设备而被挡住，因此系统可以使用表决方案，其不直接要求来自所有图像的重叠协议(overlapping agreement)。3D立体图和立体像素提供与物体如何占据3D空间有关的信息，该信息可以用于增强概率图92。
[0123]通过将各种类型的数据融合在一起而开发概率图92可以以几种不同方式实现。最简单的是“简单加权平均整合(simple weighted mean integrat1n) ”方法,其将加权系数应用于每一种数据类型(即本体轴线投影、协同图88、3D立体景深投影和/或立体像素图示)。而且，本体轴线投影可以进一步包括关于每一条本体轴线的高斯分布，其中每一个高斯分布代表区块像素关于相应本体轴线的分布。在被投影到地面平面时，这些分布可重叠，这可以有助于确定位置点87或这可以与协同图结合。
[0124]进行融合的第二方法可以与前景区块投影一起使用3D立体图和/或立体像素图示景深图，以预过滤图像。一旦预过滤，则系统可以在那些经过滤的区域中执行多平面本体轴线分