专利名称：基于3d视频的时空域运动分割与运动估计方法
技术领域：
本发明涉及三维视频运动分析领域，具体涉及一种在摄像机运动等复杂情况下的基于3D视频的时空域运动分割与运动估计方法。
背景技术：
三维视频是指利用3D视频获取系统实时获取的二维图像加上深度信息，即灰度图和深度图。基于三维视频的运动分析，尤其是在摄像机系统运动的情况下基于三维视频的运动分析是计算机视觉一个重要并且富有挑战性的研究方向，其应用领域包括3DTV、机器视觉、视频压缩(MPEG-4)、自动导航等。运动分析包含了运动分割和运动估计两大方面， 事实上这是两个紧密相联、相辅相成的课题。一方面，准确的运动分割可以缓解运动估计的不确定性问题，尤其是在运动信息不连续的边缘处；另一方面，运动估计信息又为运动分割提供了重要的依据。对于三维视频而言，运动分割定义为在一段三维视频上，利用三维空间中的真实运动特性来区分和识别不同运动特性的区域或目标。传统的基于运动的运动分割方法有光流法、帧差法、减背景阈值法等。其中，光流法利用成像平面上的二维运动信息来分割不同的运动目标，它的特点是可以在不需要任何先验的前提下提取出运动信息，并且可以处理背景运动的情况，是较为常用的一种方法。基于光流法的运动分割一般有两种思路其一是先计算出流场再进行分割；其二是将光流和分割嵌入统一的能量泛函，根据二维光流估算有摄像机引起的背景运动，同时根据边界上的力牵引分割曲线的演变，并通过时空域中二维运动场的几何特性估计运动边界上的光流速率。但是，由于缺少深度信息产生的严重非线性，二维流场本身并不能真实的反映三维空间的运动变化，使得运动估计成为一个病态问题。
发明内容
本发明要解决的技术问题是提供一种运动分析准确可靠、鲁棒性高、无摄像机运动先验依赖、适合复杂运动、应用范围广的基于3D视频的时空域运动分割与运动估计方法。为解决上述技术问题，本发明采用的技术方案为一种基于3D视频的时空域运动分割与运动估计方法，其实施步骤如下1)通过3D视频获取系统获取包含运动目标和背景区域的3D视频；2)建立基于背景三维运动特性的二维运动场参数模型；3)定义分割曲面，将所述二维运动场参数模型和分割曲面嵌入活动轮廓模型得到基于时空域的目标函数；4)对所述目标函数进行最小化求解得到3D视频获取系统的运动参数、运动目标的运动参数以及目标曲面。作为本发明上述技术方案的进一步改进
所述步骤2、中二维运动场参数模型的约束方程为
权利要求
1.一种基于3D视频的时空域运动分割与运动估计方法，其特征在于其实施步骤如下1)通过3D视频获取系统获取包含运动目标和背景区域的3D视频；2)建立基于背景三维运动特性的二维运动场参数模型；3)定义分割曲面，将所述二维运动场参数模型和分割曲面嵌入活动轮廓模型得到基于时空域的目标函数；4)对所述目标函数进行最小化求解得到3D视频获取系统的运动参数、运动目标的运动参数以及目标曲面。
2.根据权利要求1所述的基于3D视频的时空域运动分割与运动估计方法，其特征在于，所述步骤2)中二维运动场参数模型的约束方程为Iop (T, W, x) = IxXfu(Τ, W)+Iy Xfv (Τ, W)+It = 0，其中I。P(T，W，χ)为3D视频的每一帧图像中像素点χ上的光强变化，Ix为图像灰度的横向差分，Iy为图像灰度的纵向差分，It为图像灰度的时间差分，T为三维运动的平移变量， W为三维运动的旋转变量，fu(T,ff)为像素点χ在χ方向上的光流与平移变量T、旋转变量W 的关系，fv(T，W)为像素点χ在y方向上的光流与平移变量Τ、旋转变量W的关系，且fu(T， W)和fv(T，W)的表达式为f tTW\ = -^yw1 +(1 + χ2)w2 + O1 -xt3)/z“ ‘I-XW2 +>Wj +t3/Zf (TW\ = xwS +x^-q+ZH +O2 -yt,)/zv 'I-XW2 +>Wj +t3/Z其中t1; t2，t3分表代表平移变量T在x，y，ζ轴方向的值，W1, w2, W3分表代表旋转变量 W在X，y，ζ轴方向的值，χ为像素点在图像坐标中的χ轴坐标值，y为像素点在图像坐标中的y轴坐标值，Z为像素点在空间坐标中的ζ轴坐标值。
3.根据权利要求2所述的基于3D视频的时空域运动分割与运动估计方法，其特征在于，所述步骤4)中目标函数的表达式为E(S\T,W))= f gbg(I2op(T,W,x))dx+ f gfg(I2op(T,W,x))dx + A\dxXGQbgΧ&Ω 危S其中s为分割曲面，ι。ρ(T，W，Χ)为步骤幻得到的约束方程，f WOCd^Oi为背景区域的积分项，f『，为前景区域的积分项Jfife为曲面的平滑项，g)3g为XSQfgS背景区域观察函数，^为前景区域观察函数，λ为比例因子；其中背景区域观察函数^g需要满足以下条件gbg(0) =0,gbg(-) =C且知(X)在[0，c )上单调递增。同样的，前景区域观察函数^需满足以下条件$fg(o) =c,gfg(-) =0且知00在[ο，~)上单调递减，其中C为正常数。
4.根据权利要求1或2或3所述的基于3D视频的时空域运动分割与运动估计方法，其特征在于，所述步骤4)中对目标函数进行最小化求解的详细步骤为A)初始化目标曲面和运动参数；B)固定目标曲面，使用最速下降法迭代获取背景的运动参数；C)固定运动参数，使用窄带水平集方法演化获取运动目标的目标曲面；D)得到目标曲面后，分别对每个目标根据步骤幻得到的约束方程估计运动目标的运动参数。
5.根据权利要求4所述的基于3D视频的时空域运动分割与运动估计方法，其特征在于所述步骤B)中迭代获取背景的运动参数时使用的迭代公式为
6.根据权利要求4所述的基于3D视频的时空域运动分割与运动估计方法，其特征在于所述步骤C)中演化获取运动目标的目标曲面时曲面演化的偏微分方程为
全文摘要
本发明公开了一种基于3D视频的时空域运动分割与运动估计方法，其实施步骤如下1)通过3D视频获取系统获取包含运动目标和背景区域的3D视频；2)建立基于背景三维运动特性的二维运动场参数模型；3)定义分割曲面，将所述二维运动场参数模型和分割曲面嵌入活动轮廓模型得到基于时空域的目标函数；4)对所述目标函数进行最小化求解得到3D视频获取系统的运动参数、运动目标的运动参数以及目标曲面。本发明具有运动分析准确可靠、鲁棒性高、无摄像机运动先验依赖、适合复杂运动、应用范围广的优点。
文档编号G06T7/00GK102542578SQ20111043764
公开日2012年7月4日 申请日期2011年12月23日 优先权日2011年12月23日
发明者于慧敏, 王诗言 申请人:浙江大学