专利名称：一种多视角运动目标检测、定位与对应方法
技术领域：
本发明涉及视频监控技术领域，特别涉及一种多视角运动目标检测、定位与对应方法。
技术背景近年来，视频监控在城市安全、交通监控、安全生产等领域得到广泛应用。而在视频监 控中，多摄像头监控的技术问题一直困扰着行业向前的发展。多摄像头监控包括两种情况 一种是摄像头视野之间没有交叠区域，即单视角情形；另外一种是摄像头视野之间有交叠区 域，即多视角情形。在多视角情形下的运动目标的检测、定位与对应技术是多摄像头视频监控系统中的关键 技术，是后续进行目标跟踪、行为分析和目标识别等高级处理的基础。当目标孤立的情况下， 检测、定位和对应目标是比较简单的问题，现有的方法已经能够较好的处理。当存在多个运 动目标的情况下，检测、定位和对应目标问题则变得复杂起来。主要存在下面两个方面的问 题 一是，多个目标之间相互影响而产生遮挡，使得准确检测、定位和对应目标变得非常困 难；二是，多个视角多个目标计算复杂度高。在现有的多视角监控系统中，检测、定位和对应问题主要可以归结为两类基于图像空 间的方法和基于融合空间的方法。基于图像空间的方法是先在各视魚图像中检测出目标， 分别处理各个视角的图像，然后对各视角间所检测出来的目标信息进行匹配以定位和对应目 标，这是目前经常使用的方法；基于融合空间的方法是先在各视角图像中检测出目标，然 后将各个视角的图像信息融合起来，形成融合空间，在融合空间中检测目标，并且实现目标 的定位和对应。基于图像空间的方法的局限是遮挡处理能力差。由于先要在图像空间检测目标，检测 结果是后面目标对应和定位的基础，而检测结果受遮挡影响很大，甚至可能错误，很难保证 后面处理的正确性。基于融合空间的方法是近年来刚刚出现的，典型的方法为FPPF(Fleuret F, Lengagne R, and Fua P. Fixed point probability field for complex occlusiop handling. In: //7te/7 a"o/ a7 Co"/ere/ ce Co/吸〃ter Kz'w'o"， 2005.)，先联合各个视角的前景图像 计算目标在空间俯视场的存在可能性，在俯视场中检测出目标，然后再进行各视角目标的对
应和检测。基于融合空间的方法不直接在各视角的二维图像上提取目标，而是在信息融合后 的空间处理，融合的信息考虑了目标间因遮挡而产生的影响，因此这类方法处理遮挡能力更 强，往往获得更好的处理结果，但存在的不足是计算复杂度很高，无法满足实时要求。 综上，现有的方法处理遮挡能力弱，计算复杂度高，很难满足视频监控的要求。发明内容为了增强遮挡处理能力，降低计算复杂度，本发明提供了一种基于三维重建的多视角运 动目标检测、定位与对应方法。所述技术方案如下首先获得各视角的视频，提取各视角的运动目标前景；联合各视角 的前景信息，在空间中快速的进行目标的三维重建；由于各视角仅仅提供前景信息，因此三 维重建的结果中将仅有运动目标，而没有背景信息，在垂直方向地面投影，在目标所在的位 置会形成一个凸起的峰，通过检测峰的位置可以得到目标，同时也对目标进行了定位；由于 各视角的标定信息已知，因此，根据在空间所得到的目标位置向各个视角投影即可在各视角 将目标检测到，同一位置向各视角的投影也表明了其对应关系。具体步骤包括-对多个视角的视频图像进行前景检测，得到二值前景图像；根据所述二值前景图像，建立空间场模型，在所述空间场模型中进行三维重建，得到所 述运动目标的三维重建结果；对所述三维重建结果进行分析，在空间场中检测并定位所述运动目标，得到运动目标的 空间位置；根据所述运动目标的空间位置，向所述多个视角分别投影，确定所述多个视角间所述运 动目标的对应关系。在空间场模型中进行三维重建具体包括将所述空间场模型划分成体积大小相等的体像素，在所述空间场模型中进行三维重建， 所述体像素是正方体或圆球体；在对三维重建结果进行分析，在空间场中检测并定位所述运动目标的具体步骤包括-a. 将所述三维重建结果沿垂直方向投影，并按垂直方向累加得到二维投影图像平面场；b. 对所述二维投影图像平面场进行平滑处理； C.对所述平滑处理后的二维投影图像平面场进行二值化处理； d.对所述二值化处理后的二维投影图像平面场进行伪目标去除处理；e:对所述伪目标去除后的二维投影图像平面场进行连通域分析处理，得到连通域，所述 连通域的数量与所述运动目标的数量相等， 一个连通域确定一个运动目标；f:在所述连通域对应的二维投影图像平面场的区域中寻找最大值，所述最大值所在位置 为所述运动目标的空间位置。本发明提供的技术方案的有益效果是一、处理遮挡能力强，这是由于各种处理是在融合各视角信息实施三维重建后进行的； 二、运算速度快，这是由于快速的三维重建算法和定位与检测属于同一过程，并根据定位结 果利用投影参数直接得到各视角对应关系。本发明的多视角运动目标检测、定位与对应方法 能够满足视频监控的实时要求。
图l是本发明实施例提供的多视角运动目标检测、定位与对应方法的适用条件示意图； 图2是本发明实施例提供的多视角运动目标检测、定位与对应方法的空间场示意图； .图3是本发明实施例提供的多视角运动目标检测、定位与对应方法的简化流程图； 图4是本发明实施例提供的多视角运动目标检测、定位与对应方法的详细流程图； 图5是本发明实施例提供的对三维重建结果进行分析，在空间场中检测并定位运动目标 的流程图。 一具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进 一步地详细描述。如图1所示多个摄像头(至少两个)对一块区域进行监视。所有摄像头的投影参数(包 括焦距、图像坐标系两轴夹角、主点在图像坐标系交点的位置、摄像机坐标系在图像坐标系 的度量值等内参数和摄像机平移和旋转等外参数)已经标定。本发明实施例提出一种基于三维重建的多视角运动目标检测、定位和对应方法，具体步 骤如下步骤101:对包含多个视角的视频图像进行前景检测，得到运动目标的二值前景图像。 这一部分的作用就是获取各个视角的运动前景图像。可以采用多种前景检测方法，本实施采 用的是混合高斯模型。如图2所示以包含运动目标所在底面区域为底部，能够包含运动目标的空间区域建立目标空间场，简称空间场，用符号Q表示，Q的高度要高于场景中的运动目标的高度。步骤102:将步骤101中得到的二值前景图象信息，建立空间场模型，并在空间场模型 中进行三维重建，得到运动目标的三维重建结果。具体过程为，将空间场划分成体积大小相等的体像素，用符号v表示体像素。对每个体 像素而言，如果其包含运动目标(或者包含部分目标)，则体像素存在，反之则体像素不存在， 因此三维重建过程可以转化为判断每个体像素存在与否的过程。空间场中所有体像素的重构 结果即是运动目标在空间的三维重建结果。体像素划分的尺度较现有技术中较大，这样可以 大大提高计算速度。对于每个体像素v，体像素存在的概率表示为，其中，￡v(/)e{0,l}，为一随机变量，&(/) = 1表示空间场中位置/的体像素存在，￡v(/) = 0 表示空间场中位置/的体像素不存在，/ = {/1,/2,...,&}为图像数据的集合，/,为第A个摄像头 所获取的图像，7V为摄像头的数量。假设体像素之间相互独立，按照如下式子计算; (五力')=1|/)其中/0M(M()表示空间场中位置/的体像素在摄像头A中的投影区域中的前景图象的像素数量，"""(v^)表示空间场中位置/的体像素在摄像头A:中的投影区域中的全部像素数量， 包括被划分为前景和背景的全部像素点。体像素由正方体构成，也可以由圆球体构成，通过 圆球体构成的体像素在各视角的投影都是一个圆，计算比较方便。对于计算出来的体像素存在概率，根据阏值《判断体像素是否存在，即 ; (AO')-llI，0)〉《，体像素v存在 e&e体像素v不存在阈值《根据投影参数、体像素大小和目标大小等参数进行调整后确定。这样，根据空间场中的每个体像素存在与否，就得到了空间场中运动目标的三维重建结 果。空间场和基于空间场中的三维重建过程称之为为空间场模型。步骤103:通过空间场中目标的三维重建结果进行分析，在空间场中检测并定位出运动 目标，从而获得运动目标的空间位置。步骤104:根据步骤103得到的运动目标的空间位置，直接向各视角投影，确定各视角 间运动目标的对应关系。由于已知各摄像头的投影参数，同一位置向各视角投影也表明了各
视角目标的对应关系，从而实现视角间的运动目标的对应。在上述步骤103中，利用现有方法直接分析是很耗时的，算法的复杂度很大。本发明提供一种改进的方法来进行运动目标检测和定位。具体方法如下目标在大地平面上，每个目标的底部都是与地面相接触，其主体躯干将垂直方向向上延 伸。将空间场向地面进行投影，并累加投影结果，则存在目标的位置会形成突起的峰。对于 空间场模型投影得到的平面场，平面场中每个位置有目标存在的概率为p(五n(/)-11/)，按照如下方式计算p(^(/)"l/)，<formula>formula see original document page 7</formula>owz(/)表示空间场在底部每个位置的累加值，累加的方式是，垂直方向累加，如果底部 位置/的垂直方向上有A个体像素存在，BUcww(/) = A。 C为归一化因子。 如图5所示，分析检测并得到运动目标空间位置的具体步骤包括步骤301:将步骤102得到的三维重建结果沿垂直方向投影，得到二维投影图像平面场； 步骤302:对平面场进行平滑处理，可以采用各种平滑方法，如高斯平滑、中值平滑、 均值平滑； ■步骤303:根据事先选定的阈值;^，对平面场进行二值化处理，大于;^置1，小于;^则 置0，得到二值化平面场，并保留原来平面场，阚值/^通常都取得较小；步骤304:采用数学形态学算子对二值化平面场进行伪目标去除处理，目的是去除平面 场中包含较少点的区域，这些点通常都是伪目标，采用的形态学算子是5X5的矩形，执行的 操作是先执行腐蚀操作，然后执行膨胀操作；步骤305:对二值化平面场进行连通域分析，采用的是文献(Sonka et al. /mage Pracess/ng' /\na/ys/s, anc(/WacWne V7s/'on. Thomson Publishing Press, 2002， pp559~599.) 的方法，形成多个连通区域，连通域的数量与运动目标的数量相等，每个连通域视为检测到 一个目标，即每个连通域确定一个目标；步骤306:在得到的连通域对应的原来平面场区域内寻找连通域内最大值，将最大值所 在位置认定为当前连通域对应的运动目标位置。本发明实施例由于运动目标检测、定位和对应的处理是在三维重建之后进行的，运动目 标在一个视角中发生遮挡情况，在另一个视角中可能不会遮挡，或者遮挡的部分不相同，各 视角之间的信息具有互补性，将多个视角的信息采用三维重建的方法融合起来，可以大大降 低甚至消除遮挡的影响，这保证了本发明的方法具有较强的遮挡处理能力。
本发明实施例提出的三维重建——空间场模型，仅联合各视角的二值前景信息实施重建， 同时体像素划分的尺度比较大，减少了需要重建的体像素个数，能够快速的进行三维重建。 运动目标的检测与空间定位过程实际上是同一过程，而运动目标对应过程，也由于事先知道 各视角投影参数，通过直接投影即可以得到。此外，这些过程基本不需要多少计算量，也保 证了方法的处理速度快的特点。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之 内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1、 一种多视角运动目标检测、定位与对应方法，其特征在于，具体包括以下步骤 步骤l:对多个视角的视频图像进行前景检测，得到二值前景图像；步骤2:根据所述二值前景图像，建立空间场模型，在所述空间场模型中进行三维重建， 得到运动目标的三维重建结果；步骤3:对所述三维重建结果进行分析，在空间场中检测并定位所述运动目标，得到所 述运动目标的空间位置；步骤4:根据所述运动目标的空间位置，向所述多个视角分别投影，确定所述多个视角 间所述运动目标的对应关系。
2、 根据权利要求l所述的多视角运动目标检测、定位与对应方法，其特征在于，所述步 骤2中在所述空间场模型中进行三维重建包括将所述空间场模型划分成体积大小相等的体像素，在所述空间场模型中进行三维重建。
3、 根据权利要求2所述的多视角运动目标检测、定位与对应方法，其特征在于，所述体 像素是正方体或圆球体。
4、 根据权利要求l所述的多视角运动目标检测、定位与对应方法，其特征在于，所述步 骤3中具体包括a:将所述三维重建结果沿垂直方向投影，并按垂直方向累加得到二维投影图像平面场；b:对所述二维投影图像平面场进行平滑处理；C:对所述平滑处理后的二维投影图像平面场进行二值化处理；d:对所述二值化处理后的二维投影图像平面场进行伪目标去除处理；e:对所述伪目标去除后的二维投影图像平面场进行连通域分析处理，得到连通域，所述 连通域的数量与所述运动目标的数量相等， 一个连通域确定一个运动目标；f:在所述连通域对应的二维投影图像平面场的区域中寻找最大值，所述最大值所在位置 为所述运动目标的空间位置。
全文摘要
本发明公开了一种多视角运动目标检测、定位与对应方法，属于视频监控技术领域。所述方法包括如下步骤对多个视角的视频图像进行前景检测，得到二值前景图像；根据所述二值前景图像，建立空间场模型，在所述空间场模型中进行三维重建，得到运动目标的三维重建结果；对所述三维重建结果进行分析，在空间场中检测并定位运动目标，得到运动目标的空间位置；根据所述运动目标的空间位置，向各视角投影，确定多个视角间运动目标的对应关系。本发明具有处理遮挡能力强、运算速度快等特点，能够满足视频监控的实时要求。
文档编号G01C11/36GK101144716SQ20071017586
公开日2008年3月19日 申请日期2007年10月15日 优先权日2007年10月15日
发明者丁晓青, 吴佑寿, 剑 徐, 王生进 申请人:清华大学