一种基于光流场聚类的运动目标分割方法
【专利摘要】本发明公开了一种基于光流场聚类的运动目标分割方法。本发明的新颖之处在于通过对图像序列光流场的聚类，有效地实现了复杂图像背景情况下的单运动和多运动目标的检测与分割。这种方法利用运动的内极线约束和C-均值聚类算法完成目标区域的分割，获得分割图；在分割图中利用Canny边缘算子获得细化的目标区域，获得边缘图；最后根据光流场中的流速值完成分割图和边缘图的融合，并检测出完整的单运动与多运动目标。这种方法能够在摄像机运动的情况下，实现对运动目标的可靠分割与检测。
【专利说明】一种基于光流场聚类的运动目标分割方法
【技术领域】
[0001] 本发明与计算机图形学和图像理解有关，在摄像机运动的情况下，图像序列的背 景非常复杂，这就为目标的检测与分割带来了挑战，本发明涉及一种解决这种复杂背景条 件下运动目标的分割方法，利用光流场聚类实现对单目标和多目标的可靠检测。
【背景技术】
[0002] 运动目标检测一直是机器视觉、图像理解和计算机图形学领域非常重要的研究内 容。在摄像机运动的条件下，尤其当场景非常复杂时，仅仅依靠单一的检测算法很难检测出 完整的运动目标。对于多个运动目标的情况，运动目标的检测变得更为复杂. 在先方法[1](参见 Thompson W. B, Pong T. C. Detecting moving object. Int. J. Comp. Vision, 1990，4: 39?57)利用运动目标的光流方向与运动内极线约束确定的 背景光流方向的差异来检测运动目标，但是在较为复杂的自然背景中，仅利用内极线约束 很难获得完整的运动目标. 在先方法[2](参见 Sasa G.，Loncaric S. Spatio temporal image segmentation using optical flow and clustering algorithm. First Int,1 workshop on image and signal processing and analysis, Pula, Croatia: 2000, 63?68)提出了一种利用光流 场运动信息完成目标分割的方法，但是仅应用到简单背景和静止摄像机的情况下. 在先方法[3](参见Adiv G. · Determining three Dimensional motion and structure from optical flow generated by several moving objects. IEEE Trans, 1985, PAMI-7 (4) : 384-401)通过利用仿射变换的六个参数完成对多个运动目标的光流场的分割，但 是，这种分割的计算花费是相当大的. 不同于在先方法[1，2,3]，本发明在摄像机运动这种复杂的图像背景的情况下，提出一 种基于光流场分割和Canny边缘检测算子的融合算法来完成运动目标的检测，这种方法包 括光流场分割、Canny边缘提取以及分割图和边缘图融合等三个步骤，最后实现对单运动和 多运动目标的完整检测。
【发明内容】
[0003] 本发明建立一种基于光流场聚类的运动目标分割方法，这种方法可分为三步：第 一步利用运动的内极线约束和C-均值聚类算法完成目标区域的分割，并获得分割图；第二 步在分割图中利用Canny边缘算子获得细化的目标区域边缘图；第三步根据光流场中的流 速值完成分割图和边缘图的融合，并检测出完整的运动目标. 本发明的基本原理如下： 1、一种光流场的运动内极线约束.考虑一个摄像机相对一个固定场景运动，并通过透 视投影将景物成象到图像平面上。如果坐标系固定到摄像机上，那么可以认为场景是相对 于摄像机运动的，景物的运动可以用图像平面的流速来描述，此时速度是物体表面投影到 图像平面的像素坐标、摄像机相对于物体表面的运动和摄像机与物体表面距离的函数，由 公式⑴描述
【权利要求】
1. 一种光流场的运动内极线约束.考虑一个摄像机相对一个固定场景运动，并通过 透视投影将景物成象到图像平面上，如果坐标系固定到摄像机上，那么可以认为场景是相 对于摄像机运动的，景物的运动可以用图像平面的流速来描述，此时速度是物体表面投影 到图像平面的像素坐标、摄像机相对于物体表面的运动和摄像机与物体表面距离的函数， 由公式⑴描述
式中，
是在图像像素坐标
处的流速，Ay已被焦距归一化，
是平移分 量，其中r(x)是：所对应的场景中的点的第三维坐标，
为旋转分量；
和
分别为摄相机的空间三维平移速度和旋转角速度。
2. 如果摄像机相对于场景只有平移运动而没有旋转运动，那么场景将产生一种独特的 光流场形态，即场景投影到象平面上像素点的运动好像是从图像平面的一个固定点沿延伸 直线产生出来，这一点为延伸焦点FOE( Focus Of Expansion).这种由FOE所确定的光流 场的运动形态称为运动的内极线约束，从方程（1)可以得到FOE的位置
(4) 可见延伸焦点的位置取决于平移的方向，而不是速度大小，因此，在场景中相对静止的 图像像素(W)处的光流方向可以根据摄像机运动的方向由运动内极线约束确定，即
(5) 当
Q时，延伸焦点在图像坐标的》远处，此时对应的光流场是平行的，而图像中光 流与f
f很大差异的像素处对应着运动的目标区域，由此，可以检测出运动目标。
3. 当摄像机有旋转运动时，情况变得更为复杂，因为
仅同旋转参数有关，而与图 像的形状属性无关，所以可以通过对《的估计来预测
，在图像平面上的每一像素处， 可以由观察到流速中减去
，从而得到流速的平移成另
由
所建立的流场满 足运动的内极线约束条件，因而可以由该约束确定出运动的目标区域，但是由于光流的计 算误差和对摄像机旋转参数的估计误差，仅利用内极线约束很难完整地确定出运动目标区 域，还需要对利用内极线约束获得的光流场进行动态聚类分割。
4. 基于C-均值聚类算法的矢量场分割，C-均值聚类算法是基于误差平方和准则的动 态聚类算法，本发明定义的误差平方和人聚类准则函数为
(6) (7) 其中\为混合样本集
中的样本，该样本集被聚合成e个分离开的子集， 分别包含~·气个样本，％是第i个子集中样本的均值。
5. 本发明定义的样本为光流场像素的坐标，误差平方和准则为欧氏距离准则，C-均值 聚类算法在初始划分的基础上，使用迭代算法，逐步优化聚类结果，使准则函数4达到极小 值，获得e个类型，然后，比较各个类型里的样本数目，若样本数目过少，则认为是虚警而被 消除掉；若还存在多个类型，认为存在多个运动目标，实验中我们完成了对单个和多个运动 的目标区域的分割，获得很好的分割图。
6. -种利用Canny边缘算子对目标区域进行细化的方法，对于二维图像，Canny算子认 为阶跃型边缘的最优边缘检测器的形状与高斯函数的一阶导数类似，利用二维高斯函数的 圆对称性和可分解性，可以计算高斯函数在任意方向上的方向导数与图像的卷积，设二维 高斯函数如下式
(8) 在某一方向上的一阶导数为
(9) 式中
，是单位方向矢量
是梯度矢量。
7. 本发明将图像/仏/)与Α作卷积，同时改变
的方向，当<
时，可求 解出当A */<X.F)取得最大值时的
(10) 很显然《正交于检测边缘的方向，即在该方向上，A 有最大输出响应
(11) 在实际应用中，公式（8)中的σ影响原始模板截断成有限的尺寸= &在x+l的大小， 其中b为权值，利用分割算法获得光流分割场后，在这些分割区域里包含了所有运动目标. 本发明将在这些分割区域里利用Canny算子提取边缘，一方面可以大大限制背景干扰，另 一方面可以有效地提高运行的速度，这样在分割图的基础上，得到可靠运动目标区域的边 缘图，假定数目为n，边缘像素集用c表示，即
，样本为像素坐标。
8. -种将分割图和边缘图融合的像素级融合算法.假设通过光流场的分割所得到的 运动区域分割图中共有m个像素，所有像素点坐标的集合为
，分割区域里 的各点均有流速，则有m个流速矢邏
，令
(12)
可以构成流速模值的混合样本集
9. 在光流分割图内，利用Canny边缘检测算子可以得到边缘像素奏 ，由于选 择较高的门限，对干扰有很大抑制，同时也损失了部分边缘像素.在边缘像素集
的基础上，执行C-均值聚类算法，可以将其分成^和ω2两类：％为目标边缘类，样本集为
_样本数为
为背景边缘类，样本集为
，样本数为
，显见，n<ra ,并且
(13) 由于样本集A包含的边缘像素不够完整，希望从样本集
中提取部分边缘像 素进行补充，为此，在混合样本集
中，可以确定与
相对应的流速模值的边缘子集
该集合反映了目标边缘像素处流速的大小，因此，可以从中获得边缘流速 的门限，一种可以选择的门限值为
(14) 另一种选择的方法是将K中样本的最小值作为门限，即
(15) 为微调参数.对样本集尸中的样本可以根据分成两类，即
(16)。
10. 样本子集
的每个样本都是边缘像素的流速模值，样本数为
，另 一类为其它背景像素的流速模值，样本数为
根据
不难得到相对应的像素 坐标_
包含的目标边缘同光流场的精度有很大的关系，
即包含大 部分强的目标边缘，也很好地恢复了弱的目标边缘，而
又包含比较强的目标边缘。
11. 这样，根据叉和忑，使有关的像素融合，可以得到完整的目标区域的边缘#，融 合算法主要操作为
(17) 根据公式（17)得到最后的完整目标边缘。
【文档编号】G06T7/20GK104156932SQ201310174529
【公开日】2014年11月19日 申请日期:2013年5月13日 优先权日:2013年5月13日
【发明者】张泽旭, 王纲 申请人:哈尔滨点石仿真科技有限公司