一种多视环境下刚性目标三维运动估计方法
【技术领域】
[0001] 本发明属于计算机视觉技术领域，具体涉及一种多视环境下刚性目标三维运动估 计方法。
【背景技术】
[0002] 多视环境中目标三维外形运动估计指的是通过多视环境获取目标多视图像，依据 计算机视觉原理恢复目标的三维外形，然后根据多视环境获取的目标的运动视频，使用计 算机视觉、数字视频处理方法估计目标的三维外形的运动。多视环境中目标三维外形运动 估计方法可获取不同时刻目标三维外形的关联性，因此在虚拟现实、人机交互等方面有着 重要的应用。
[0003] 文南犬 Visual Hull Alignment and Refinement Across T ime: A 3D Reconstruction Algorithm Combining Shape-From-Silhouette with Stereo (The Computer Society Conference on Computer Vision and Pattern Recognition, 2003, 2, 11-375-382)给出了一种多视环境中目标三维外形运动估计方法。 该方法首先，在每一时刻，使用shape-from-silhouette方法从刚性目标的多视图像中 重建目标的三维外形，然后从不同时刻的目标的三维外形上提取CPS (Colored Surface Points，着色表面点）特征，最后依据不同时刻CPS在多视图像中投影的颜色一致性来估计 目标三维外形的运动参数。该方法由于只使用了 CPS特征的颜色信息来进行目标三维外形 的运动估计，因此无法避免的目标运动过程中的光照变化、多视环境中摄像机的色差对运 动估计的影响。此外，该方法由于使用了 CPS特征在时间序列上的对应关系，因此其运动估 计结果会由于CPS特征分布的不同而不同。
【发明内容】
[0004] 本发明的目的是提供一种多视环境下刚性目标三维运动估计方法，解决了光照变 化、摄像机色差对现有方法运动估计结果准确性影响的问题。
[0005] 本发明所采用的技术方案是，一种多视环境下刚性目标三维运动估计方法，具体 按照以下步骤实施：
[0006] 步骤1、构建多视目标图像采集环境，并获得多个目标图像；
[0007] 步骤2、根据步骤1中得到的多个目标图像重建目标三维外形S(t)，并初始化目标 三维外形S (t)的运动参数；
[0008] 步骤3、构建反应目标三维外形多视二维投影与目标图像距离的能量函数E，判断 能量函数E是否收敛，如果不收敛，则转到步骤4 ;如果收敛，则输出目标三维外形S (t)的 运动参数，即为刚性目标三维外形S (t)的运动参数；
[0009] 步骤4、更新目标三维外形S(t)的运动参数，转到步骤3。
[0010] 本发明的特点还在于：
[0011] 步骤1具体过程为：
[0012] 步骤I. I、将nCamNum个摄像机环绕实验场景放置，对摄像机进行标定；
[0013] 步骤 1. 2、采集背景图像（Back1, Back2,…，Backj,…，Back-};
[0014] 步骤1. 3、将刚性目标0置于实验场景内，使刚性目标0做刚性运动，nCamNum个摄 像机同步采集刚性目标0的运动视频，在时刻t和时刻t+1，nCamNum个摄像机同步采集图 像为力 |J为工2,1;，···，Ij,t，···，InCamNum, t}矛口 {ll,t+l，工2,1+1，···，Ij, t+l，···，InCaniNum, t+l}，其中， I , t为时刻t在视点j获取的图像；
[0015] 步骤I. 4、使用背景减法获取刚性目标0侧影轮廓，即目标图像，在时刻t和时刻 t+Ι 获取目标图像为：（Silhouette1, t, ···，Silhouette.j,t，···，SilhouettenCamNum, J 和{Silh οιιθ??Θι,^+ι，···，Silhouette"+I，···，SiIhouettenCamNum, t+i^ 〇
[0016] 步骤I. I中使用张氏标定法对摄像机进行标定。
[0017] 步骤2的具体过程为：
[0018] 根据步骤1中得到的多个目标图像和摄像机标定参数，重建时刻t的目标三维外 形 S(t);
[0019] 初始化时刻t的目标三维外形S (t)的运动参数：
[0020] 旋转矩阵
[0021] 平移向量
[0022] 重建目标三维外形S(t)使用体素着色法或使用基于特征点立体匹配的、三维扫 描的方法。
[0023] 步骤3具体过程为：
[0024] 令S'（t+1) = R1⑴· S (t) +T1⑴，根据摄像机标定参数，将S'（t+Ι)投影到 nCamNum 个视点中，得到投影图像{pro_imglit+1, · · ·，projmgiw, · · ·，pro_imgnCamNum,t+1};在 nCamNum个视点中计算投影图像到目标图像的距离dist :
[0025] 步骤3. 1、对pro_img.jit+1中的每个像素点X，在Silhouette .jit+1中搜索距其最近的 点y :在Silhouettejit+1中距离点X最近的点y与点X的欧式距离记为：
[0026] dist(x, y) = | | χ-y | (1)
[0027] 其中，
[0028] 步骤3. 2、当公式（1)满足时，点X，y为一对对应点，对视点j获取的图像中构建 二维对应点列表[CPljit+1 CP2jit+1]，其中，X e CPljit+1，y e εΡ2ρ+1，〇Ρ1,?+1= pro_img ,t+1，
[0029] 那么在视点j中三维目标二维投影的像素点集与刚性目标0侧影轮廓中的像素点 集的最近距离记为：
[0031] 步骤3. 3、根据步骤3. 1和步骤3. 2,在nCamNum个视点中计算投影到目标图像的 距离dist :
[0033] 步骤3. 4、在多视环境中构建反映目标三维外形多视二维投影与目标图像距离的 能量函数E :
[0034] E = dist (4)
[0035] 步骤3. 5、判断能量函数E是否收敛，如果不收敛，则转到步骤4 ;如果收敛，则得到 的相应的三维运动参数R(t)、T (t)，即为刚性目标三维外形S (t)的运动参数。
[0036] 步骤4的具体步骤为：
[0037] 步骤4. 1、使用刚性目标按顺序沿X轴，Y轴，Z轴的旋转的角度α，β，γ 与沿各个轴平移的平移量tl，t2，t3共六个参数，表示目标0的刚性运动Para = (α，β，γ，tl，t2, t3)，初始化阶段 Para = (0, 0, 0, 0, 0, 0);
[0039] T(t) = (tl, t2, t3) r ；
[0040] 步骤4. 2、对Para，求取Hessian矩阵H和梯度G :
[0045] 其中 X' = R(t) · X+T (t)，X e S (t)，x 表示点 X' 的二维投影；
[0046] 步骤4. 3、更新参数向量Para :
[0047] Para = Para- Δ Para (8)
[0048] Δ P = (Η+ μ I) 1G (9)
[0049] 其中μ是迭代参数，I表示单位矩阵。
[0050] 本发明的有益效果是：本发明一种多视环境下刚性目标三维运动估计方法，由于 使用了目标三维外形整体信息，可以避免遮挡问题；同时本发明一种多视环境下刚性目标 三维运动估计方法，使用二维投影距离，由于不涉及到任何光度特征，因此能够避免光照变 化、摄像机色差对多视环境下三维运动估计的影响。
【具体实施方式】
[0051] 下面通过【具体实施方式】对本发明进行详细说明。
[0052] 本发明一种多视环境下刚性目标三维运动估计方法，具体按照以下步骤实施：
[0053] 步骤1、构建多视目标图像采集环境，并获得多个目标图像，具体过程为：
[0054] 步骤1. 1、将nCamNum个摄像机环绕实验场景放置，使用张氏标定法对摄像机进行 标定；
[0055] 步骤 1. 2、采集背景图像（Back1, Back2, ···，Backj, ···，BacknCamNum};
[0056] 步骤1. 3、将刚性目标0置于实验场景内，使刚性目标0做刚性运动，nCamNum个摄 像机同步采集刚性目标0的运动视频，在时刻t和时刻t+1，nCamNum个摄像机同步采集图 像为力 |J为工2,1;，···，Ij,t，···，InCamNum, t}矛口 {ll,t+l，工2,1+1，···，Ij, t+l，···，InCaniNum, t+l}，其中， I , t为时刻t在视点j获取的图像；
[0057] 步骤I. 4、使用背景减法获取刚性目标0侧影轮廓，即目标图像，在时刻t和时刻 t+Ι 获取目标图像为：（Silhouette1, t, ···，Silhouette.j,t，···，SilhouettenCamNum, J 和{Silh οιιθ??Θι,^+ι，···，Silhouette"+I