专利名称：一种全景视频中目标物体的自动跟踪方法
技术领域：
本发明涉及全景视频技术和目标跟踪领域，更具体的讲，涉及一种对全景视频中 目标跟踪的方法。
背景技术：
全景图像是由在某一点拍摄的多幅不同方向的实景图像拼接而成的。其具体的生 成过程是将相互重叠图像映射到简单的几何体表面上，如球面、立方体表面或圆柱面，然 后对投影图像进行无缝拼接，就可以得到全景图像。根据所映射的几何体，全景图像可以分 为柱面全景图像、球面全景图像和立方体全景图像。全景视频是由具有一些有时间关联的 全景图像序列组成，从视频中可以获取真实的全景景象，并且可以通过时间来定位视频帧。拍摄静止场景的立方体全景视频的全局运动通常以水平运动为主，覆盖了 360度 场景范围，对于连续多帧的全景图像而言，目标物体会从立方体全景的一个面移动到相邻 面。由于其具有动态背景，不适合使用背景差的方法进行动态物体的检测和跟踪，因此需要 设计一种快速高效的立方体全景视频中的目标跟踪方法。专利号为us 6-924-832B1的美 国发明专利”METHOD，APPARATUS AND COMPUTER PROGRAM PRODUCT FOR TRACKING OBJECT IN A WARPED VIDEO IMAGE”提出了一种在全景视频中跟踪物体的方法，其根据用户观看的 角度由全景视频图像映射成用户视图，并将其作为目标跟踪的输入图像。跟踪过程中建立 目标物体的模型，并根据前后帧建立跟踪目标出现在不同区域的概率，以较大概率的位置 作为目标的新位置。该发明的前提是用户不会出现漏检，其所关注的方向一定包含需要跟 踪的物体，并且没有利用全景视频中目标物体的运动趋势和对应关系，因而对于全景视频 的跟踪效率不高。申请号为200410016455. 9，公开号CN1658670A的中国发明专利“具有多 摄像机的智能跟踪监控系统”，采用了一个全景摄像机和一个或一个以上的跟踪摄像机，在 全景摄像机发现移动目标时，通过跟踪摄像机分别跟踪多个移动目标，获取高清晰图像。该 方法中的相机位置是静止的，获取的视频具有静态背景，所以使用背景差的方法很容易实 现前景物体的跟踪，主要适用于多目标的视频监控，对于具有动态背景的全景视频，利用背 景差检测和跟踪移动目标是不合适的。对于拍摄静止场景的立方体全景视频而言，全景摄像机的全局运动通常以平移为 主，前后帧图像之间相机的旋转量很小，对于连续多帧的全景图像而言，拍摄到的静止场景 会沿着特定的方向进行运动，而且会从立方体的一个面移动到相邻面上。
发明内容
本发明要解决的技术问题是克服现有技术的不足，提供一种全景视频中目标物 体的自动跟踪方法，该方法可以有效的减少跟踪过程中的搜索范围，并保证目标物体跟踪 的快速和稳定性。为了取得上述技术效果，本发明所采用的技术方案是由安装在车辆上的全景摄 像机沿道路所拍摄的全景视频图像作为数据输入，获取目标物体的位置后对其进行自动跟踪，具体包含的步骤如下(1)获取目标物体在全景视频图像中的位置。(2)检查该目标在立方体全景中的运动是否出现穿越面的现象，如果是则进入步 骤(3)，否则进入步骤⑷；(3)利用目标物体运动向量方向的邻接图像对原所在面的图像进行一种扩展；(4)沿对极线方向进行搜索匹配，更新目标物体物的运动向量；(5)根据步骤(4)的结果进行判断，如果没有目标匹配，则结束跟踪；否则转入步 骤(2)。本发明的原理是对于拍摄静止场景的立方体全景视频来说，摄像机的全局运动 通常以水平运动为主，对于连续多帧的全景图像而言，拍摄到的静止场景会沿着特定的方 向进行运动，而且会从立方体的一个面移动到相邻面上，所以可以根据相邻帧间全景图像 中的目标物体运动趋势和对应关系，构造搜索线对目标进行跟踪，获取相应的运动向量。本发明与现有技术相比的优点在于对于拍摄静止场景的立方体全景视频而言， 本发明结合全景摄像机全局运动以水平运动为主，旋转量很少的特点，充分利用了相邻视 频帧间目标物体的运动趋势和对应关系，对目标物体进行自动跟踪，有效的减少跟踪过程 中的搜索范围，降低了搜索时间，并保证目标物体跟踪的快速和稳定性。
图1为立方体全景视频中相邻帧间像素的对应关系，其中a为立方体的侧面，b为 立方体的前面，c为立方体的背面；图2为本发明在全景视频中目标物体的自动跟踪方法流程；图3为本发明中对相关图像扩展示意图；其中a是立方体全景上下面三角形划分 示意图，b是立方体全景上面扩展示意图，c为立方体左面扩展示意图，d为立方体右面扩展 示意图；图4为立方体全景视频中像素运动趋势示意图；图5为使用本发明提出方法进行扩展后的图像，a为扩展立方体上面后生成的图 像，b为立方体全景左面扩展后的图像，c为立方体全景右面扩展后生成的图像。图6为对一辆汽车目标的跟踪效果，a f分别为该视频第15、30、35、40、40和60 帧跟踪结果。具体实施方法对于连续多帧的全景图像而言，拍摄到的静止场景会沿着特定的方向进行运动， 而且会从立方体的一个面移动到相邻面上，所以进行目标物体跟踪时，应考虑目标在立方 体相邻面上的运动，并利用像素的运动趋势进行跟踪，如图1所示。图1(a)表示立方体侧 面的当前帧和前一帧的像素对应关系，当前帧的S1部分像素和前一帧的S2部分像素是相 同的，这两部分像素仅仅是在位置上有水平方向上的相对移动。图1(b)和图1(c)分别表 示了立方体前面和背面的当前帧与前一帧的像素对应关系，当前帧的T1部分像素和前一 帧的T2部分像素是类似的。本发明提出的全景视频中目标物体的自动跟踪方法流程如图 2所示，其步骤如下(1)获取目标物体在全景视频图像中的位置。在全景视频中获取目标物体的位置，可以通过手动选择目标的图像区域进行标定；也可以通过利用输入的全景视频进行自动的 检测和选择；还可以设定一个兴趣区域，当有运动物体进入兴趣区域后触发一个警报，并启 动跟踪过程。目标区域利用包围盒进行表示，目标位置表示为该包围盒的中心点。设检测 目标包围盒为box = ([xmin, xmJ, [ymin，ymax])，其中xmin和xmax分别为包围盒在图像X轴上 的最小和最大坐标值；同样，ymin和y_为该目标在图像Y轴上的最小和最大坐标值。(2)检查该目标是否出现穿越面的现象，如果是则进入步骤(3)，否则进入步骤 (4)。由于全景视频覆盖360度场景，所以目标在视频的相邻帧间可能发生从立方体全景中 的一个面移动至其它面的情况，即穿越面的现象。当物体运动至立方体两个面的交界处时， 目标将由两个面上的相关像素构成；当运动至立方体的顶角处时，目标则会包括三个面的 图像像素。(3)利用目标物体运动向量方向的邻接图像对原所在面的图像进行扩展。根据目 标物体当前所在面进行全景视频图像的扩展，如图3所示。在图3(a)中，将立方体全景的 上面沿对角线划分为四个三角形，包括由ABQ组成的301、ADQ组成的302、BCQ组成的303 和⑶Q组成的304。其中，直线AM和直线AD重合，同理直线BC和直线BN重合，直线DC同 立方体全景中后面的边界重合。立方体下面的三角形划分及对应的几何关系相似。当目标物体运动至立方体全景的上面时，在图3(b)中，利用公式(1)对原所在面 进行扩展，将三角形301的像素扩展至矩形ABFE上。其中的I(x，y)点为扩展后图像的坐 标，设该点与直线AB的距离为d，d等于线段IP的长度，然后计算得到P点坐标为(x，1/2)， 求取直线PQ上距离直线AB距离为d的点I的坐标(x’，y’)。最后将三角形301上(x’， r )的像素点映射至扩展后图像的(X，y)点即可。
2(1-y)x 1 ,, 其中，(x，y)为扩展后图像的坐标，(x' ,y')为目标物体当前面所邻接上面的坐 标，1为立方体全景一个面的边长。当目标物体运动至立方体全景的上面时，在图3(c)中，利用公式(2)对原所在面 进行扩展，过程与立方体全景上面的扩展方法相似，将三角形302的像素扩展至矩形AEM’M 上。 其中，(x，y)为扩展后图像的坐标，(x' ,y')为目标物体当前面所邻接上面的坐 标，1为立方体全景一个面的边长。当目标物体运动至立方体全景的上面时，在图3(d)中，利用公式(3)对原所在面 进行扩展，过程与立方体全景上面的扩展方法相似，将三角形303的像素扩展至矩形BNN’F 上。 其中，(x，y)为扩展后图像的坐标，(x' ,y')为目标物体当前面所邻接上面的坐 标，1为立方体全景一个面的边长。对于立方体全景下面的三角形划分和扩展方法与上述方法类似。(4)沿对极线方向进行搜索匹配，更新目标物体物的运动向量。对于拍摄静止场 景的立方体全景视频，摄像机的全局运动通常以水平运动为主。根据相机外参数，Florian Kangni提出了立方体全景对极线的计算方法，如图4所示。对极线403从位于立方体全景 前面的极点401发出，向四周扩散立方体在上、下、左、右四个面基本上是水平运动，最后汇 集到位于立方体背面的极点402。对极线403的运动方向可以得到全景视频中相邻帧间之 间的像素对应关系，它表示了全景视频中静止场景的运动趋势。根据目标物体的运动趋势， 以立方体全景前面的图像中心为原点建立平面直角坐标系，与其邻接的四个方向分别为立 方体全景的上面、下面、左面和右面图像当-1/21/2时，搜索直线方程为x = ky+p，其中参数k表示初始搜索直线 的斜率，P表示搜索直线的截距，二者通过公式(4)进行计算 p = xffl-kyffl其中，(xffl, yffl)表示待搜索目标的位置坐标，(x。，yc)表示图像中心的坐标，1为为 立方体全景一个面的边长。当ym < -1/2或者ym > 1/2时，搜索直线方程为x = xffl,同样，(xffl,yffl)表示待搜索 目标的位置坐标。根据该运动趋势和对应关系，可以采用Mean-Shift跟踪方法对目标物体进行跟 踪，在起始跟踪帧，通过获取到的目标位置，确定搜索窗W来选择运动目标，计算核函数加 权下的搜索窗W的直方图分布，用同样的方法计算当前图像对应窗W的直方图分布，以两个 分布的相似性最大为原则，使搜索窗W沿密度增加最大的方向，移动到目标的真实位置。下 一帧根据目标的真实位置和对极线方向确定搜索窗口的新位置。步骤如下(4. 1)选定目标，获得初始帧Mean-Shift目标核直方图。(4.2)采集下一帧图像。(4. 3)使用Mean-Shift方法进行跟踪，获得新的目标位置。(4. 4)根据新的目标位置及其所在的对极线位置更新搜索窗口的新位置，转到 (4. 2)。(5)根据步骤(4)的结果进行判断，如果没有目标匹配，则结束跟踪；否则转入步 骤(2)。本发明对全景视频中目标物体的自动跟踪方法进行了实验。实验所采用的数据为 沿北京航空航天大学校园道路拍摄的立方体全景视频，采集设备为Ladybug3，其中视频的 帧数为800帧，各面的分辨率分别为512X512像素。根据步骤(3)所述的方法将图像扩展 后的图像如图5所示，其中图5 (a)为目标物体运动至立方体上面后对原所在面进行的扩
7展，图5(b)为当目标物体运动至左面对其进行扩展后的效果，图5(c)为目标进入右面后对 图像进行扩展的结果。从扩展前后的图像对比来看，扩展后的图像中目标物体在相邻面交 界处能够有效的减小形变，为跟踪时的搜索匹配提供了良好的基础。
图6显示了最终的跟踪效果，输入视频为采用上述方法扩展后的视频数据(只扩 展了立方体全景的上面)，图6 (a)-(f)分别为视频中第15、30、35、40、45和60帧的对同一 辆汽车目标的跟踪结果。实验采用的灰度量化方式为32级量化，在70帧图像中有65帧 图像能够实时跟踪目标，跟踪效率为92. 8%，且平均运算时间为28. 73ms，满足实时性的要 求，且跟踪率较高。
权利要求
一种全景视频中目标物体的自动跟踪方法，其特征在于对连续采集的全景视频进行目标物体的检测，并在后续帧中对检测结果进行自动跟踪，具体包含步骤如下(1)获取目标物体在全景视频图像中的位置；(2)检查该目标在立方体全景中的运动是否出现穿越面的现象，如果是则进入步骤(3)，否则进入步骤(4)；(3)利用目标物体运动向量方向的邻接图像对原所在面的图像进行扩展；(4)沿对极线方向进行搜索匹配，更新目标物体物的运动向量；(5)根据步骤(4)的结果进行判断，如果没有目标匹配，则结束跟踪；否则转入步骤(2)。
2.根据权利要求1所述的全景视频中目标物体的自动跟踪方法，其特征在于所述的 步骤(1)中进一步包括在全景视频中获取目标物体的位置，选取全景视频前面作为正方 向，通过手动选择目标的图像区域进行标定，或者通过利用输入的全景视频进行自动的检 测和选择，或者设定一个兴趣区域，当有运动物体进入兴趣区域后触发一个信号，并启动跟 踪过程；目标区域利用包围盒进行表示，目标位置表示为该包围盒的中心点；设检测目标 的包围盒为box = ([xmin, xmJ, [ymin，ymax])，其中xmin和xmax分别为包围盒在图像X轴上的 最小和最大坐标值；ymin和为该目标在图像Y轴上的最小和最大坐标值。
3.根据权利要求1所述的全景视频中目标物体的自动跟踪方法，其特征在于所述的 步骤(3)中进一步包括当目标物体运动至立方体全景的上面时，以立方体全景的前面中心为原点，建立平面直角坐标系，并利用如下公式对原所在面进行扩展 = ^ / / … 其中，(x，y)为扩展后图像的坐标，(x' ,y')为目标物体当前面所邻接上面的坐标， 1为立方体全景一个面的边长。
4.根据权利要求1所述的全景视频中目标物体的自动跟踪方法，其特征在于所述的 步骤(3)中进一步包括当目标物体运动至立方体全景的左面时，以立方体全景的前面中 心为原点，建立平面直角坐标系，并利用下述公式对原所在面进行扩展 其中，(x，y)为扩展后图像的坐标，(x' ,y')为目标物体当前面所邻接上面的坐标， 1为立方体全景一个面的边长。
5.根据权利要求1所述的全景视频中目标物体的自动跟踪方法，其特征在于所述的 步骤(3)中进一步包括当目标物体运动至立方体全景的右面时，以立方体全景的前面中 心为原点，建立平面直角坐标系，使用下述公式对原所在面进行扩展 其中，(X，y)为扩展后图像的坐标，(x' ,y')为目标物体当前面所邻接上面的坐标，1为立方体全景一个面的边长。
6.根据权利要求1所述的全景视频中目标物体的自动跟踪方法，其特征在于所述的 步骤(4)中进一步包括，根据立方体全景各面图像中检测到的目标物体的运动趋势决定搜 索直线的方程；以立方体全景前面的图像中心为原点建立平面直角坐标系，与其邻接的四 个方向分别为立方体全景的上面、下面、左面和右面图像当-1/2 ^ yffl ^ 1/2时，搜索直线方程为x = ky+p，其中参数k表示初始搜索直线的斜 率，P表示搜索直线的截距，二者通过下述公式进行计算 其中，(Xm，yffl)表示待搜索目标的位置坐标，(x。，yc)表示图像中心的坐标，1为为立方 体全景一个面的边长；当ym < -1/2或者ym > 1/2时，搜索直线方程为x = xffl,同样，(xffl,yffl)表示待搜索目标 的位置坐标。
全文摘要
一种全景视频中目标物体的自动跟踪方法，步骤为(1)获取目标物体在全景视频中的位置；(2)检查该目标在立方体全景中的运动是否出现穿越面的现象，如果是则进入步骤(3)，否则进入步骤(4)；(3)对目标物体原所在面的图像进行一种扩展；(4)沿对极线方向进行搜索匹配，获取目标物体物的运动向量；(5)根据步骤(4)的结果进行判断，如果没有目标匹配，则结束跟踪；否则转入步骤(2)。本发明可用于实现全景视频中目标物体的自动跟踪，能有效减少跟踪过程中的搜索范围，并保证目标物体跟踪的快速和稳定性。
文档编号G06T7/20GK101894380SQ20101023142
公开日2010年11月24日 申请日期2010年7月14日 优先权日2010年7月14日
发明者吴威, 周忠, 张军, 杨抒, 牛犇, 陈珂 申请人:北京航空航天大学;深圳市亮信科技有限公司