一种摄像机跟踪方法及装置的制造方法
【技术领域】
[0001] 本发明涉及计算机视觉领域，尤其涉及一种摄像机跟踪方法及装置。
【背景技术】
[0002] 摄像机跟踪（Camera tracking)是计算机视觉领域中的最基本的问题之一，根据 摄像机拍摄的视频序列，估计拍摄场景中特征点的三维位置及每帧图像对应的相机运动 参数；随着科技的快速进步，摄像机跟踪技术的应用领域十分广泛，如机器人导航、智能定 位、虚实结合、增强现实、三维场景浏览等；为了适应摄像机跟踪在各个领域中的应用，经过 几十年的努力研究，一些摄像机跟踪系统也相继推出，如PTAM (Parallel Tracking and Mapping)、ACTS (Automatic Camera Tracking System)等。
[0003] 在实际应用中，PTAM、ACTS系统针对单目视频序列进行摄像机跟踪，在摄像机跟踪 的过程中需要选取两帧作为初始帧，图1为现有技术中基于单目视频序列的摄像机跟踪示 意图，如图1所示，利用初始帧1图像和初始帧2图像的匹配点（X 1,D X1,2)估计两初始帧图 像对应相机间的相对位置（R12，t 12);通过三角化初始化匹配点Oq+Xu)对应场景点X1的 三维位置；在跟踪后续帧时，利用已知的三维点位置与后续帧图像中二维点的对应关系求 解后续帧的相机运动参数；但是，基于单目视频序列的摄像机跟踪中初始化的相机间的相 对位置（R 12，t12)估计存在误差，这些误差经由场景的不确定性传递至后续帧的估计中，使 得误差在后续帧的跟踪中不断积累，难以消除，跟踪精度较低。
【发明内容】
[0004] 本发明实施例提供一种摄像机跟踪方法及装置，采用双目视频图像进行摄像机跟 踪，提商了跟踪精度。
[0005] 为达到上述目的，本发明采用的技术方案是，
[0006] 第一方面，本发明实施例提供一种摄像机跟踪方法，包括：
[0007] 获取当前帧的图像集；其中，所述图像集包含第一图像和第二图像，所述第一图 像和所述第二图像分别为由双目相机的第一相机和第二相机在同一时刻拍摄的图像；
[0008] 分别提取所述当前帧的图像集中的第一图像和第二图像的特征点；其中，所述第 一图像的特征点的数量和所述第二图像的特征点的数量相等；
[0009] 根据图像上相邻区域场景深度相近的原则，获取所述当前帧的图像集中的第一图 像与第二图像之间的匹配特征点集；
[0010] 根据所述双目相机的属性参数以及预设模型，分别估计每对匹配特征点对应的场 景点在当前帧局部坐标系的三维位置以及下一帧局部坐标系的三维位置；
[0011] 根据所述匹配特征点对应的场景点在当前帧局部坐标系的三维位置以及下一帧 局部坐标系的三维位置，利用质心坐标对于刚性变换的不变性估计所述双目相机在下一帧 的运动参数；
[0012] 采用随机采样一致性算法RANSAC以及LM算法优化所述双目相机在下一帧的运动 参数。
[0013] 在第一方面的第一种可能的实现方式中，结合第一方面，所述根据图像上相邻区 域场景深度相近的原则，获取所述当前帧的图像集中的第一图像与第二图像之间的匹配特 征点集，包括：
[0014] 获取所述第一图像与所述第二图像之间的候选匹配特征点集；
[0015] 对所述候选匹配特征点集中对应的所述第一图像中的特征点作Delaunay三角 化；
[0016] 遍历每个高与底边之比小于第一预设阈值的三角形的每条边，若存在第一条边， 其连接的两个特征点（X 1, X2)的视差之差Id (Xl)-d(x2) I小于第二预设阈值，则为所述第一 条边增加一票；否则减少一票；其中，所述特征点X的视差为：d(X) =Uleft-U1^ight, Uleft为特征 点X在所述第一图像的平面坐标系中的横坐标，Uiight为所述第二图像中与特征点X匹配的 特征点在第二图像的平面坐标系中的横坐标；
[0017] 统计每条边对应的票数，将票数为正的边连接的特征点对应的匹配特征点的集合 作为所述第一图像与所述第二图像之间的匹配特征点集。
[0018] 在第一方面的第二种可能的实现方式中，结合第一方面的第一种可能的实现方 式，所述获取所述第一图像与所述第二图像之间的候选匹配特征点集，包括：
[0019] 遍历所述第一图像中的特征点，根据所述第一图像中的特征点在二维平面坐标系 中的位置 xleft=(uleft，vleft)T，在所述第二图像ue [uleft-a，uleft]，ve [Vleft-b，vleft+b]的区 域内，搜索使Ζ/# -最小的点x^ghtikight，hghtt)1;以及，根据所述第二图像中的特 征点在二维平面坐标系中的位置xHght=(uHght，vHght) T，在所述第一图像u e [u right, Uright+a], 2 V e [V：right_b，VHght+b]的区域内，搜索使 ▲ 2 最小的点 x ' left ;若 X ' Ieft=Xleft，则 将作为一对匹配特征点；其中，所述Xleft为所述第一图像中的特征点Xleft的 描述量，所述X Hght为所述第二图像中的特征点^ight的描述量；&和b为预设常数，
[0020] 将使X' Irft=Xlrft的所有匹配特征点组成的集合作为所述第一图像与所述第二图 像之间的候选匹配特征点集。
[0021] 在第一方面的第三种可能的实现方式中，结合第一方面，所述根据所述双目相机 的属性参数以及预设模型，分别估计每对匹配特征点对应的场景点在当前帧局部坐标系的 三维位置以及下一帧局部坐标系的三维位置，包括：
[0022] 根据所述匹配特征点（xt，lrft，Xyight)与所述匹配特征点对应的场景点在当前帧局 部坐标系的三维位置X t之间的对应关系：
[0026] 获取所述匹配特征点Okleft, Xyight)对应的场景点在当前帧局部坐标系的三维位 置Xt;其中，所述当前帧为t帧，f x、fy、（cx，cy)T、b为所述双目相机的属性参数，仁和仁分 别为沿图像二维平面坐标系的X、y方向以像素为单位的焦距，（C x，Cy)T为所述双目相机中 心在所述第一图像对应的二维平面坐标系中的投影位置，b为所述双目相机的第一相机与 第二相机的中心距离；X t为三维分量，Xt [k]表示Xt的第k维分量；
[0027] 初始化Xt+1 =Xt，根据优化公式：
[0029] 计算所述匹配特征点对应的场景点在下一帧局部坐标系的三维位置；其中， Ipight(X)分别为所述当前帧图像集合中的第一图像和第二图像分别在X处的亮 度值，W为预设常数，用于表示局部窗口尺寸。
[0030] 在第一方面的第四种可能的实现方式中，结合第一方面，所述根据所述匹配特征 点对应的场景点在当前帧局部坐标系的三维位置以及下一帧局部坐标系的三维位置，利用 质心坐标对于刚性变换的不变性估计所述双目相机在下一帧的运动参数，包括 ：
[0031] 将所述匹配特征点对应的场景点在当前帧局部坐标系的三维位置在世界坐标系 内表示：
，计算出Xi的质心坐标O n，ct i2, ct i3, ct i4)T ;其中，Cj (j=l,…，4) 为世界坐标系内任意四个不同面的控制点；
[0032] 用所述质心坐标表示所述匹配特征点对应的场景点在下一帧局部坐标系的三维 位置
为所述控制点在下一帧局部坐标系内坐标；
[0033] 根据匹配特征点与匹配特征点对应的场景点在当前帧局部坐标系的三维位置 之间的对应关系
求解所述控制点在下一帧局部坐标系内坐标 (7 (./ = K ，4 )，获取所述匹配特征点对应的场景点在下一帧局部坐标系的三维位置；
[0034] 根据所述匹配特征点对应的场景点在当前帧世界坐标系内的三维位置与所述匹 配点对应的场景点在下一帧局部坐标系的三维位置之间的对应关系：Xt=RtX+Tt，估计所述 双目相机在下一帧的运动参数（Rt，Tt);其中Rt为一个3x3的旋转矩阵，T t为一个3维向 量。
[0035] 在第一方面的第五种可能的实现方式中，结合第一方面，所述采用随机采样一致 性算法RANSAC以及LM算法优化所述双目相机在下一帧的运动参数，包括：
[0036] 根据匹配特征点在前后两帧局部图像窗口间的相似度，对所述匹配特征点集中包 含的匹配特征点进行排序；
[0037] 按照相似度从大到小的顺序依次采样四对匹配特征点，估计所述双目相机在下一 中贞的运动参数（R t, Tt);
[0038] 用估计的所述双目相机在下一帧的运动参数，分别计算所述匹配特征点集中每对 匹配特征点的投影误差，将投影误差小于第二预设阈值的匹配特征点作为内点；
[0039] 将上述过程重复k次，选择内点数量最多对应的四对匹配特征点，重新计算所述 双目相机在下一帧的运动参数；
[0040] 将重新计算出的运动参数作为初始值，根据优化公式：
计算出所 述双目相机在下一帧的运动参数（Rt，Tt)。
[0042] 第二方面，本发明实施例提供一种摄像机跟踪方法，其特征在于，包括：
[0043] 获取视频序列；其中，所述视频序列包含至少两帧图像集，所述图像集包含第一图 像和第二图像，所述第一图像和所述第二图像分别为由双目相机的第一相机和第二相机在 同一时刻拍摄的图像；
[0044] 分别获取每帧图像集中的第一图像与第二图像之间的匹配特征点集；
[0045] 根据第一方面的第三种可能的实现方式所述的方法分别估计每对匹配特征点对 应的场景点在每帧局部坐标系的三维位置；
[0046] 根据第一方面至第一方面的第五种可能的实现方式中任一种实现方式所述的方 法分别估计所述双目相机在每帧的运动参数；
[0047] 根据每对匹配特征点对应的场景点在每帧局部坐标系的三维位置以及所述双目 相机在每帧的运动参数，优化相机在每帧的运动参数。
[0048] 在第二方面的第一种可能的实现方式中，结合第二方面，所述根据每对匹配特征 点对应的场景点在每帧局部坐标系的三维位置以及所述双目相机在每帧的运动参数，优化 相机在每帧的运动参数，包括：
[0049] 根据优化公式
优化相机在每帧的运动参 数；其中，N为匹配特征点集中包含的匹配特征点对应的场景点的个数，M为帧数，
[0050] 第三方面，本发明实施例提供一种摄像机跟踪装置，包括：
[0051] 第一获取模块：用于获取当前帧的图像集；其中，所述图像集包含第一图像和第 二图像，所述第一图像和所述第二图像分别为由双目相机的第一相机和第二相机在同一时 刻拍摄的图像；
[0052] 提取模块：用于分别提取所述第一获取模块获取的当前帧的图像集中的第一图像 和第二图像的特征点；其中，所述第一图像的特征点的数量和所述第二图像的特征点的数 量相等；
[0053] 第二获取模块：用于根据图像上相邻区域场景深度相近的原则，从所述提取模 块提取的特征点中获取所述当前帧的图像集中的第一图像与第二图像之间的匹配特征点 集；
[0054] 第一估计模块：用于根据所述双目相机的属性参数以及预设模型，分别估计所述 第二获取模块获取的匹配特征点集中每对匹配特征点对应的场景点在当前帧局部坐标系 的三维位置以及下一帧局部坐标系的三维位置；
[0055] 第二估计模块：用于根据所述第一估计模块估计的匹配特征点对应的场景点在当 前帧局部坐标系的三维位置以及下一帧局部坐标系的三维位置，利用质心坐标对于刚性变 换的不变性估计所述双目相机在下一帧的运动参数；
[0056] 优化模块：用于采用随机采样一致性算法RANSAC以及LM算法优化所述第二估计 模块估计的所述相机在下一帧的运动参数。
[0057] 在第三方面的第一种可能的实现方式中，结合第三方面，所述第二获取模块具体 用于：
[0058] 获取所述第一图像与所述第二图像之间的候选匹配特征点集；
[0059] 对所述候选匹配特征点集中对应的所述第一图像中的特征点作Delaunay三角 化；
[0060] 遍历每个高与底边之比小于第一预设阈值的三角形的每条边，若存在第一条边， 其连接的两个特征点（X 1, X2)的视差之差Id (Xl)-d(x2) I小于第二预设阈值，则为所述第一 条边增加一票；否则减少一票；其中，所述特征点X的视差为：d(X) =Uleft-U1^ight, Uleft为特征 点X在所述第一图像的平面坐标系中的横坐标，Uiight为所述第二图像中与特征点X匹配的 特征点在第二图像的平面坐标系中的横坐标；
[0061] 统计每条边对应的票数，将票数为正的边连接的特征点对应的匹配特征点的集合 作为所述第一图像与所述第二图像之间的匹配特征点集。
[0062] 在第三方面的第二种可能的实现方式中，结合第三方面的第一种可能的实现方 式，所述第二获取模块具体用于：
[0063] 遍历所述第一图像中的特征点，根据所述第一图像中的特征点在二维平面坐标 系中的位置 xleft=(uleft，vleft)T，在所述第二图像 U e [uleft-a，uleft]，V e [vleft-b，vleft+b] 的区域内，搜索使
最小的点xHght= (uHght, vHghtt)τ;以及，根据所述第二 图像中的特征点在二维平面坐标系中的位置Xiight= (uiight，\ight)τ，在所述第一图像 2 U e [Uright, uright+a]，V e [vright-b，Vright+b]的区域内，搜索使2最小的点 X' left ; 若f left=xleft，则将（xleft，~ght)作为一对匹配特征点；其中，所述为所述第一图像中 的特征点Xleft的描述量，所述x&ht为所述第二图像中的特征点^ight的描述量；a和b为 预设常数，
[0064] 将使X' Irft=Xlrft的所有匹配特征点组成的集合作为所述第一图像与所述第二图 像之间的候选匹配特征点集。
[0065] 在第三方面的第三种可能的实现方式中，结合第三方面，所述第一估计模块具体 用于：
[0066] 根据所述匹配特征点（xt，lrft，Xyight)与所述匹配特征点对应的场景点在当前帧局 部坐标系的三维位置Xt之间的对应关系：
[0070] 获取所述匹配特征点（Xt;left，Xpight)对应的场景点在当前帧局部坐标系的三维位 置X t;其中，所述当前帧为t帧，fx、fy、（cx，c y)T、b为所述双目相机的属性参数，仁和仁分 别为沿图像二维平面坐标系的X、y方向以像素为单位的焦距，（C x，Cy)T为所述双目相机中 心在所述第一图像对应的二维平面坐标系中的投影位置，b为所述双目相机的第一相机与 第二相机的中心距离；X t为三维分量，Xt [k]表示Xt的第k维分量；
[0071] 初始化Xt+1 =Xt，根据优化公式：
[0073] 计算所述匹配特征点对应的场景点在下一帧局部坐标系的三维位置；其中， Ipight(X)分别为所述当前帧图像集合中的第一图像和第二图像分别在X处的亮 度值，W为预设常数，用于表示局部窗口尺寸。
[0074] 在第三方面的第四种可能的实现方式中，结合第三方面，所述第二估计模块具体 用于：
[0075] 将所述匹配特征点对应的场景点在当前帧局部坐标系的三维位置在世界坐标系 内表示
，计算出义的质心坐标（^1，^2，^ 3，^4)'其中，（^_(」_=1，"％4) 为世界坐标系内任意四个不同面的控制点；
[0076] 用所述质心坐标表示所述匹配特征点对应的场景点在下一帧局部坐标系的三维 位置
为所述控制点在下一帧局部坐标系内坐标；
[0077] 根据匹配特征点与匹配特征点对应的场景点在当前帧局部坐标系的三维位置 之间的对应关系
长解所述控制点在下一帧局部坐标系内坐标 (7 (./ = K ，4 )，获取所述匹配特征点对应的场景点在下一帧局部坐标系的三维位置；
[0078] 根据所述匹配特征点对应的场景点在当前帧世界坐标系内的三维位置与所述匹 配点对应的场景点在下一帧局部坐标系的三