一种基于立体视频的人体追踪新方法
【专利摘要】物体探测与追踪是图像和视频处理中非常重要的两个部分。现如今已经被广泛地应用于许多领域，例如视频监控和智能机器人领域。现在，随着立体照相机的快速发展，基于立体视频的目标物体检测和追踪变的越来越重要。立体视频相对于普通的2D视频存在的一个最大优势就是我们可以轻而易举得通过分析和计算由立体视频得到的视差图从而获取物体的深度信息。本发明中，提出了一种新的基于立体视频的人体追踪方法。这种方法利用深度信息和大小信息来追踪横向运动的人体。同时我们也将该种方法进行了拓展，不仅仅利用了通过视差图得到的深度信息并且通过比较视差图得到了运动变化信息和速度信息。
【专利说明】
一种基于立体视频的人体追踪新方法
技术领域
[0001] 物体探测与追踪是图像和视频处理中非常重要的两个部分，属于视频监控和智能 机器人领域。
【背景技术】
[0002] 在计算机视觉和图像处理领域中，目标物体的探测与追踪始终是非常重要且具有 挑战性的课题。立体照相的快速发展又使得基于立体视频的目标探测与追踪变得越来越先 进。许多研究都致力于这一领域的相关问题。
[0003] D. Marr和T. Poggio在他们的研究中详细解释了基础的人眼立体视觉计算理论。 这是现如今立体照相机相关研究开发工作和立体图像处理计算的基本。随着立体照相机的 快速发展，更多的研究都将重点放在了立体视觉这一领域。立体照相机总是有左右两个分 开的针孔照相机因此相机校正就变得非常重要。我们应该在利用相机焦距和基线距离的基 础上事先对立体照相机进行左右两个针孔照相机的校正以便于之后的计算。每年都有大量 的研究是关于照相机的校正。其他的一些研究则是致力于立体视频里的目标物体追踪，尤 其是人类的追踪。T. Darrell，G. Gordon他们甚至将2D视频追踪中基于物体颜色信息的方 法和立体视频追踪相结合人类追踪。
[0004] 大多数的相关研究都是利用立体视频或是立体图像序列去得到视差图从而获得 目标物体的深度信息。这是因为不同物体相对于照相机的深度距离往往是不相同的。在本 发明中，除了利用视差图来得到深度信息外，还通过比较每个视差图之间的差值来获得视 差图的变化信息从而提高目标检测的效果。
[0005] 1立体视觉几何
[0006] 立体照相机与我们在日常生活中所使用的一般照相机不同。立体照相机允许我 们在给定了两个水平和垂直位置值的情况下，根据简单的三角计算得到一个点在空间中的 深度值。一个立体照相机之所以能够决定深度信息是因为组成这个立体相机的两个针孔 相机之间的差别已经确定。正是由于立体相机有两个针孔摄像头，物体在左右两个针孔照 相机中的成相位置将会有所不同。这种在左右图像中成像位置之间的差值就被叫做视差 值。在本发明中的实验中所用到的来获取立体视频的照相机其左右两个照相机的位置是 经过校正处于同一水平线上的。我们只需通过简单的几何计算就可以得到视差值。在图 1.中f是针孔照相机的焦距，b是立体照相机的基线距离.我们可以得到\ = XR+b，其中 b就是基线距离。在该坐标系中点P在Z轴上的距离相对于左右针孔照相机是一样的，因 此就有Z = & = ZR。根据最基本的相似三角形计算可以得到~二/令和心即P点 lr ar 在左右图像中的X轴位置。结合之前提到的\ = xR+b，显然可以得到之前 提到过视差值是指目标点在左右图像中的位置差，在以上相机情况下即X轴的差值因而有 过来则有z=/^。通过这个简单的几何计算从立体图 a
像中就得到了目标点的深度信息Z。
[0007] 2视差图
[0008] 视差图是从3D图像转换而来的2D灰度值图像。它通过计算每个像素点的视差值 来显示图中每个像素点的深度信息。区块匹配法是一种用于计算视差的方法。这种方法通 过比较每个区块中像素的绝对差和值来计算视差值。Hirschmuller，H.在他的论文中提出 了一种新的视差值计算法叫做半全局立体匹配法。这种新方法由于增加了结构约束条件。 结构约束条件使得相似的视差值必须在相邻的区块中，因而相比之前的区块匹配法能过对 视差进行更有效完全的估计。
[0009] 在本研究中使用了半全局立体匹配法来得到视差图。首先将左右针孔照相机得到 的立体视频分别转化为图像序列。之后通过每组图像对计算获得视差值。一般凭我们的肉 眼很难分辨出两幅非常相似图像的不同之处以及对应像素点之间的差值。但是如果将图像 对转化为视差图人眼就很容易观察出其中的深度信息。一幅灰度值图像并且每个像素点的 灰度值就代表了它的深度信息。灰度值越大像素点就越白越亮。物体如果越白越亮就意味 着物体距离照相机越近。
【发明内容】
[0010] 本发明中，提出了一种新的基于立体视频的人体追踪方法。这种方法利用深度信 息和大小信息来追踪横向运动的人体。同时我们也将该种方法进行了拓展，不仅利用了通 过视差图得到的深度信息并且通过比较视差图得到了运动变化信息和速度信息。
【附图说明】
[0011] 图1 :立体视频几何
[0012] 图2 :人体追踪一般方法流程图
[0013] 图3 :人体追踪扩展方法流程图
[0014] 实施方式
[0015] 视频目标由左至右横向穿过画面，几乎是一个线性运动，所以可以使用卡尔曼滤 波器来进行追踪。从视差图可以看出目标距离照相机非常的近，灰度值特征明显，因此可以 首先对视差图设定一个阈值将目标人体从图像中分割出来。在设定了阈值之后的图中依旧 有一些距离照相机距离较近的物体和一些噪声。但是人体具有比其他物体更大的尺寸，所 以接下来利用大小信息来去除噪声和其他一些小的物体。首先利用膨胀来去除噪声和一些 小的物体，之后对剩余的部分进行标记。人体追踪的一般方法的步骤流程图如图2所示。这 种方法能够有效地用于分割单个人体并且是在周围没有大小类似的物体的情况下。如果人 体周围有与之大小相似的物体我便可以使用该方法进行人体追踪。目前大部分基于立体视 频的图像追踪研究都是利用视差图得到深度信息来进行目标分割与追踪的。在我们的扩展 方法中，我们对视差图进行了更进一步的利用。在一些视频中目标人体的周围很可能会有 与其大小相似，甚至比他更大的物体。在这种情况下，基于深度和大小的人体追踪一般方法 就不适用了。因此本发明提出了一种叫做基于深度和大小的人体追踪的扩展方法。在这种 方法中我们利用了目标人体的深度信息，大小信息和速度信息。我们通过视差图之间的差 来得到速度信息。
[0016] 在本文所使用的视频中，只有目标在前景中运动。这就意味着前景中的物体里只 有目标具有速度而噪声和其他小的物体将不具有速度值。因此，即使目标人体旁有与之大 小相似甚至比其更大的物体，我们可以利用速度信息来区分他们。速度就是运动的变化率， 所以我们要得到视差图的变化并追踪这个变化值。因为目标人体是唯一移动的物体，他的 视差图变化值就应比其他物体的要大得多，这就又允许我们利用大小信息来分割和追踪物 体。此方法也适用于不同的人以不同速度运动的情况下。如果速度很大那么对应的视差图 变化值也应很大。反之亦然。我们可以利用标记物体的方法来追踪某一个特定的被标记物 体。但是，如果物体相互之间速度近似，运用此方法的追踪效果将会比较差。
[0017] 为了得到视差图变化值我们需要比较每一个视差图对然后计算两幅图之间差的 绝对值。首先我们比较了相邻两幅视差图之间的差值。一般图像中的灰度值依旧表明了物 体变化部分的深度信息。黑色的部分（灰度值为0)代表了物体的这个像素点并没有发生 位置变化。
[0018] 人体追踪的扩展方法与一般方法的不同之处就在于第3步。扩展方法将一个视差 图与另一个视差图做差从而得到视差图变化值而不是给视差图设置阈值。之后的运算步骤 都是基于大小的物体分割。人体追踪扩展方法的流程图如图2所示。
[0019] 在本发明中提出了一种新的基于立体视频主要利用深度信息，大小信息和速度信 息的人体追踪方法。该方法在追踪单个人体或者具有显著大小或速度特征的物体时是有效 的。
【主权项】
1. 一种基于立体视频的人体追踪方法，该方法利用深度信息和大小信息来追踪运动的 物体。2. 根据权利要求1所述的方法，该方法通过视差图得到深度信息并且通过比较视差图 得到了运动变化信息和速度信息。3. 根据权利要求1所述的追踪方法，该方法首先获得视差图序列和阈值，通过去除噪 声，来找到最大标记物体，通过分割人体图，最后利用卡尔曼滤波器来追踪物体。
【文档编号】G06T7/20GK105898265SQ201410802823
【公开日】2016年8月24日
【申请日】2014年12月18日
【发明人】陆婷
【申请人】陆婷