一种目标跟踪方法及装置的制造方法

一种目标跟踪方法及装置的制造方法
【专利摘要】本申请提供了一种目标跟踪方法及装置，包括：检测监控视频中第二时刻的视频图像中的前景物体；所述监控视频中像素点包括深度信息；将所述前景物体投影至视频图像中地面所在平面，计算第二时刻的目标检测结果；根据第二时刻的目标检测结果以及跟踪队列的当前位置计算距离矩阵；所述跟踪队列的当前位置根据第一时刻或第二时刻的目标检测结果确定；所述第一时刻为所述第二时刻的上一时刻；根据所述距离矩阵确定所述第二时刻的目标检测结果中与所述跟踪队列的当前位置最接近的坐标；将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪队列的当前位置加入所述跟踪队列。采用本申请所提供的方案，跟踪结果准确率高、不受环境和场景变化的影响。
【专利说明】
-种目标跟踪方法及装置
技术领域
[0001] 本申请设及计算机视觉技术领域，尤其设及一种目标跟踪方法及装置。
【背景技术】
[0002] 人体的检测和跟踪技术在智能视频监控中有很好的应用价值，目前人体检测和跟 踪技术均基于图像RGB颜色数据实现，主要包括如下步骤:提取局部特征得到感兴趣区域； 每个感兴趣区域输入分类器，判断感兴趣区域覆盖范围是否是人，如果是人，则W运一帖为 时间起点启动一个对运个感兴趣区域内的人的跟踪器。
[0003] 现有技术不足在于：
[0004] 追踪结果准确率低、受环境和场景影响大。

【发明内容】

[0005] 本申请实施例提出了一种目标跟踪方法及装置，W解决现有技术中追踪结果准确 率低、受环境和场景影响大的技术问题。
[0006] 第一个方面，本申请实施例提供了一种目标跟踪方法，包括如下步骤：
[0007] 检测监控视频中第二时刻的视频图像中的前景物体;所述监控视频中像素点包括 深度信息；
[000引将所述前景物体投影至视频图像中地面所在平面，计算第二时刻的目标检测结 果；
[0009] 根据第二时刻的目标检测结果W及跟踪队列的当前位置计算距离矩阵;所述跟踪 队列的当前位置根据第一时刻或第二时刻的目标检测结果确定;所述第一时刻为所述第二 时刻的上一时刻；
[0010] 根据所述距离矩阵确定所述第二时刻的目标检测结果中与所述跟踪队列的当前 位置最接近的坐标；
[0011] 将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪队列的当前位置加入 所述跟踪队列。
[001^ 第二个方面，本申请实施例提供了一种目标跟踪装置，包括：
[0013] 前景检测模块，用于检测监控视频中第二时刻的视频图像中的前景物体;所述监 控视频中像素点包括深度信息；
[0014] 目标检测模块，用于将所述前景物体投影至视频图像中地面所在平面，计算第二 时刻的目标检测结果；
[0015] 距离计算模块，用于根据第二时刻的目标检测结果W及跟踪队列的当前位置计算 距离矩阵;所述跟踪队列的当前位置根据第一时刻或第二时刻的目标检测结果确定;所述 第一时刻为所述第二时刻的上一时刻；
[0016] 坐标确定模块，用于根据所述距离矩阵确定所述第二时刻的目标检测结果中与所 述跟踪队列的当前位置最接近的坐标；
[0017]跟踪加入模块，用于将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪队 列的当前位置加入所述跟踪队列。
[001引有益效果如下：
[0019] 由于本申请实施例所提供的目标跟踪方法及装置，对带有深度信息的监控视频进 行前景检测，检测到的前景不会因光线等环境变化或者遮挡等而发生变化，从而为后续跟 踪奠定准确的数据基础，避免了现有技术利用RGB颜色数据检测受光线等环境影响W及遮 挡影响导致不准确的问题，本申请实施例将检测到的前景投影至地面所在平面，将目标作 为质点，再检测目标，运样可W确保连续时刻之间检测到的目标运动是小幅度的，不会存在 因为像素点的值受环境影响发生较大变化导致检测到的目标运动较大、进而导致后续跟踪 误差较大的问题，提高了跟踪精度。
【附图说明】
[0020] 下面将参照附图描述本申请的具体实施例，其中：
[0021] 图1示出了本申请实施例中目标跟踪方法实施的流程示意图；
[0022] 图2示出了本申请实施例中目标跟踪过程的示意图；
[0023] 图3示出了本申请实施例中目标跟踪装置的结构示意图一；
[0024] 图4示出了本申请实施例中目标检测模块的结构示意图一；
[0025] 图5示出了本申请实施例中目标检测模块的结构示意图二；
[0026] 图6示出了本申请实施例中目标跟踪装置的结构示意图二；
[0027] 图7示出了本申请实施例中目标跟踪场景的示意图；
[002引图8示出了本申请实施例中目标跟踪曲线的示意图。
【具体实施方式】
[0029] 为了使本申请的技术方案及优点更加清楚明白，W下结合附图对本申请的示例性 实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是 所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可W互 相结合。
[0030] 发明人在发明过程中注意到：
[0031] 现有技术均基于图像RGB颜色数据，主要步骤可W为：
[0032] 1)提取局部特征，例如：尺度不变特征变换（SIFT, Scale-invariant feature hansformKSURF、方向梯度直方图巧0G，Histogram of Oriented Gradient)、FAST、0RB 等，得到感兴趣区域；
[003引 2 )每个感兴趣区域输入分类器，例如：支持向量机（SVM，Suppod Vector Machine)，判断感兴趣区域覆盖范围是否是人；
[0034] 3)如果是人，则W运一帖为时间起点启动一个对运个感兴趣区域内人的跟踪器 tr曰cker〇
[0(X3日]发明人发现，tracker算法基于S个假设：
[0036] 第一，同一物体颜色不变；
[0037] 第二，连续帖之间物体运动是小幅度的；
[0038] 第S，临近点有相似的运动。
[0039] 具体的，例如：KLT化anade-Lucas-Tomasi) JLD(IYacking-Learning-Detection) 等，都是依据运=个假设在相邻帖之间寻找局部特征的匹配，再W运些匹配的局部特征的 位置作为追踪的结果。
[0040] 所有运类方法的缺点，主要有W下两个方面：
[0041 ] -是精度低、受环境和场景影响较大。
[0042] 运是因为追踪算法的=个假设在某些时刻是不能成立的，例如：同一物体颜色受 光线变化影响，在不同帖时可能不同；物体运动速度可能会大到不能认为是小幅度的;物体 旋转发生自遮挡时，临近点的运动也是不相似的。运些情况都会导致追踪算法结果变差、准 确率低。
[0043] 二是无法得到追踪物体的空间位置信息。
[0044] 现有技术是基于RGB颜色数据的，一开始就丢失了深度信息，即使在目前算法框架 内做到了准确的追踪，也只能是画面范围内像素级的追踪，不能对应到真实的物理世界中， 良P，不能给出追踪物体的=维空间坐标。
[0045] 针对上述不足，本申请实施例结合了 RGB和深度数据，提出了一种目标跟踪方法及 装置，对带有深度信息的监控视频进行前景检测，再将前景投影至地面检测目标，根据前后 时刻的目标检测结果得到跟踪目标的位置，最终输出跟踪队列。
[0046] 采用本申请实施例所提供的技术方案，可W精确的检测和跟踪场景中运动的人， 可W在复杂的光线变化和遮挡关系的情况下仍然保持非常高的准确率;此外，还可W实时 的给出每个跟踪目标在物理世界的=维空间坐标。
[0047] 下面对本申请实施例所提供的目标跟踪方法及装置进行说明。
[004引实施例一、
[0049] 图1示出了本申请实施例中目标跟踪方法实施的流程示意图，如图所示，所述目标 跟踪方法可W包括如下步骤：
[0050] 步骤101、检测监控视频中第二时刻的视频图像中的前景物体;所述监控视频中像 素点包括深度信息；
[0051] 步骤102、将所述前景物体投影至视频图像中地面所在平面，计算第二时刻的目标 检测结果；
[0052] 步骤103、根据第二时刻的目标检测结果W及跟踪队列的当前位置计算距离矩阵； 所述跟踪队列的当前位置根据第一时刻或第二时刻的目标检测结果确定;所述第一时刻为 所述第二时刻的上一时刻.
[0053] 步骤104、根据所述距离矩阵确定所述第二时刻的目标检测结果中与所述跟踪队 列的当前位置最接近的坐标；
[0054] 步骤105、将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪队列的当前 位置加入所述跟踪队列。
[0055] 具体实施时，可W在监控场景中设置RG抓摄像头/传感器来获取监控视频，所述监 控视频为深度视频，即所述视频中的像素点是带有深度信息的。
[0056] 可W预先建立背景模型，然后利用所述背景模型对监控视频中的第二时刻的视频 图像进行前景检测，检测出前景物体。所述第二时刻可W为监控视频的第一帖所在时刻、第 二帖所在时刻…等。
[0057] 假设所述前景物体在相机坐标系中的坐标为(xo，yo)，所述前景物体的深度为do， 那么通过坐标转换即可得出所述前景物体在真实物理世界的=维空间的坐标，具体转换过 程可W参考现有技术，本申请在此不做寶述。
[0058] 将所述前景物体投影至地面所在平面，将所述前景物体投射成质点，然后据此利 用现有技术中的目标检测方法检测所述前景物体中哪些是所要跟踪的目标，最终得到目标 检测结果。所述目标检测结果中可W包括目标的=维坐标、深度信息、映射回相机坐标系的 二维坐标等。
[0059] 将所述目标检测结果与跟踪队列的当前位置进行计算，得到距离矩阵，从而可W 确定出所述目标检测结果中与跟踪队列的当前位置最接近的坐标/位置，将该坐标/位置确 定为所述目标的当前位置，加入到所述跟踪队列。
[0060] 其中，所述跟踪队列可W根据所述第二时刻的上一时刻（即第一时刻)计算得到的 目标检测结果进行计算得到，如果所述第二时刻为首次，即不存在所述第二时刻的上一时 亥IJ(即第一时刻)计算得到的目标检测结果，那么可W将所述跟踪队列进行初始化，初始化 的值可W根据所述第二时刻的目标检测结果确定，例如:所述跟踪队列的当前位置初始值 为所述第二时刻的目标检测结果。，即将所述第二时刻的目标所在位置设置为目标跟踪的 起点。
[0061] 最终，随着时刻的不断推进，在每个时刻确定出来的目标位置(当前时刻跟踪队列 的当前位置)串联起来形成完整的跟踪队列。
[0062] 由于本申请实施例所提供的目标跟踪方法及装置，对带有深度信息的监控视频进 行前景检测，检测到的前景不会因光线等环境变化或者遮挡等而发生变化，从而为后续跟 踪奠定准确的数据基础，避免了现有技术利用RGB颜色数据检测受光线等环境影响W及遮 挡影响导致不准确的问题，本申请实施例将检测到的前景投影至地面所在平面，将目标作 为质点，再检测目标，运样可W确保连续时刻之间检测到的目标运动是小幅度的，不会存在 因为像素点的值受环境影响发生较大变化导致检测到的目标运动较大、进而导致后续跟踪 误差较大的问题，提高了跟踪精度。
[0063] 实施中，所述将所述前景物体投影至视频图像中地面所在平面，计算第二时刻的 目标检测结果，具体可W为：
[0064] 将所述前景物体投影至视频图像中地面所在平面，得到平面图像;所述平面图像 中坐标点的像素值由S维空间中的点占视频图像的大小W及所述S维空间中的点到地面 所在平面的距离确定；
[0065] 将预先训练得到的卷积核与所述平面图像进行卷积计算，得到第二时刻的目标检 测结果。
[0066] 具体实施时，将所述前景物体投射至地面所在平面，检测目标的过程可W为：
[0067] 先将所述前景物体投影至地面所在平面，即得到平面图像；
[0068] 所述平面图像中包括前景物体投影后的位置/坐标；
[0069] 所述平面图像中每一点的像素值可W由该点对应到=维空间中的点占据视频图 像的大小、W及S维空间中的点到地面的距离确定；
[0070] 然后用预先训练得到的卷积核对所述平面图像进行卷积计算，得到检测结果。
[0071 ]所述预先训练得到的卷积核可W为预先根据待跟踪目标的特征进行训练得到的， 具体训练过程也可W参考现有的卷积核训练方法。
[0072] 本申请实施例通过将前景物体投影至地面形成质点后，再利用卷积计算检测出所 述前景物体是否为待跟踪的目标，不会受光线变化、遮挡等影响，而且由于前景物体已经抽 象为地面质点，所述前景物体的运动是物理距离等级的，也即，所述前景物体真实移动了 20cm，在监控时可W得到相对应的运动距离或位置的变化，而现有技术中是根据像素级的 变化来监控物体运动的，当目标做非常小幅度的移动时，所述目标的像素值可能发生巨大 变化，再加之像素变化受光线、遮挡等影响较大，从而使得检测精度较低，误差较大。因此， 采用本申请实施例所提供的方案，可W极大的提高检测精度、跟踪准确性。
[0073] 实施中，所述平面图像中坐标点的像素值由S维空间中的点占视频图像的大小W 及所述=维空间中的点到地面所在平面的距离确定，具体可W为：
[0074] plane_view(x，y) =occupancy(xo，yo，do)*hei邑ht(xo，yo，do);
[OOW] 其中，plane_view(x，y)为平面图像plane_view在坐标点（X，y)的像素值， occupancy (XO，yo，do)为视频图像中（XO，yo)位置、深度为do的点占视频图像的大小，hei曲t (xo，yo)为视频图像中（xo，yo)位置、深度为do的点到地面所在平面的距离。
[0076] 具体实施时，假设视频图像中（xo，y日)位置的像素点，深度为d日，转换至S维空间 中，可W得到该点对应的S维坐标，该点在视频画面中的大小即可W作为occupancy (XO，yo， do),该点距离地面的高度可W作为height(xo，yo)，最终，平面图像中每个坐标点的像素值 可 U ^occup曰ncy (XO，yo，do) *hei邑ht (XO，yo，do)。
[0077] 实施中，在所述将预先训练得到的卷积核与所述平面图像进行卷积计算之后、得 到第二时刻的目标检测结果之前，所述方法可W进一步包括：
[0078] 对卷积计算的结果利用非极大值抑制方法保留局部最大值。
[0079] 具体实施时，在利用卷积核进行卷积计算之后，可能会得到多个卷积计算的结果， 在监控画面中同一目标可能被多个检测框所覆盖，然后通常实际使用时只需要确定一个检 测框覆盖所述目标即可，因此，本申请实施例可W对卷积计算的结果利用非极大值抑制方 法保留局部最大值，丢弃局部范围内的非最大值，即选出一个最能体现目标的检测框，得到 最终的目标检测结果，从而使得检测结果更加精确。
[0080] 实施中，所述根据第二时刻的目标检测结果W及跟踪队列的当前位置计算距离矩 阵，具体可W为：
[0081]
;
[00剧其中，M为距离矩阵，Q|\cp为To时刻跟踪队列的当前位置 时刻目标检测结果的=维坐标，時1为Tl时刻目标检测结果的=维坐^ 时刻在To时刻之后，So为To时刻目标检测结果的个数，引为Tl时刻目标检测结果的个数， D (qJ。.邱，時1)=
[0083]
[0084] 具体实施时，假设To为第一时刻、Tl为第二时刻，第二时刻的目标检测结果可W为 (0^1，D>^|，...，，Si为Tl时刻目标检测结果的个数;假设所述第二时刻存在上一时 亥IJ，那么跟踪队列的当前位置即可根据上一时刻（即第一时刻，To)计算得到，假设To时刻检 测到的目标有So个，则跟踪队列的当前位置则有So个，跟踪队列的当前位置可W为 姑。.Cp，趕。.CP，...,Q衣.CP }。
[0085] 第二时刻的目标检测结果W及跟踪队列的当前位置计算距离矩阵M，矩阵中每个 点为D (Qj'o.cp，畔'），D C'Q'I'o.cp,昨^是x、y、zS轴的距离之差计算得到的，具 体可W为：
[00861
[0087] 为了进一步提高跟踪精度，本申请实施例还可W采用如下方式实施。
[0088] 实施中，在所述将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪队列的 当前位置加入所述跟踪队列之后，所述方法可W进一步包括：
[0089] 对所述跟踪队列进行高斯平滑操作;和/或，
[0090] 判断所述跟踪队列是否达到预设标准，将达到预设标准的跟踪队列作为跟踪结果 输出。
[0091] 本申请实施例中可W在每次向跟踪队列加入一个位置就做一次高斯平滑操作，从 而可W得到更为平滑的轨迹;然后得到的跟踪队列并不直接输出，而是先判断所述跟踪队 列是否达到预设标准，将达到预设标准的跟踪队列作为跟踪结果输出，从而可W确保检测、 跟踪精度，输出的跟踪队列精度较大、误差较小。
[0092] 实施例二、
[0093] 本申请实施例W具体实施时的过程为例进行详细说明如下。
[0094] 图2示出了本申请实施例中目标跟踪过程的示意图，如图所示，所述目标跟踪过程 可W为：
[00巧]2.1学习背景模型
[0096] 对深度数据使用混合高斯模型建模，得到观察场景的背景模型。
[0097] 具体的，若图像分辨率为M*N，则深度背景模型可W为M*N的矩阵。其中，矩阵在(i， j)位置元素的值的含义是，背景在(i，j)位置像素对应的物理世界的点距离相机的距离。 [009引 2.2学习地面方程
[0099] 假设相机监控区域可W看到部分地面，且地面水平。相机获取深度数据，即相机可 W获取到每个像素点在物理世界的=维坐标。
[0100] 若图像分辨率为M*N，则可W有M*N个点可W作为输入集合。其中，任意S个不在同 一直线上的点都可W拟合出一个平面。
[0101] 对于任意一个平面，计算输入集合中每个点到该平面的距离。
[0102] 可W设定一个阔值th，如果距离小于th，则可W认为当前点支持该平面；否则，认 为当前点不支持该平面。
[0103] 从输入集合中随机选择点拟合平面，重复W上步骤，在此基础上使用RANSAC算法 拒绝错误的平面，最终保留若干个平面的方程。
[0104] 具体实施时，用户也可W手动选择其中最接近真实地面的一个平面作为地面模型 方程。
[0105] 在运一过程中，可W借助重力传感器，W重力方向为依据去掉不是地面的候选平 面。
[0106] 2.3前景检测
[0107] 每一帖图像可W与2.1得到的背景模型进行比较，对于任意一个像素，如果其深度 值小于对应位置的背景模型的深度值，则该像素为前景;反之，为背景。
[0108] 对M*N个像素均进行W上判决，即可得到运一帖所有的前景点。
[0109] 2.4plane_view 地面人员检测
[0110] 将2.3得到的所有前景点投射至2.2产生的地面对应的平面上，得到的图像定义为 plane_viewDplane_view是一个抽象的区域，是地面的子集，具体大小可W根据实际需要进 行设定。
[0111 ] plane_view建立像素和真实物理距离度量的联系，假设plane_view分辨率为S*S， 对应物理世界大小为K体平方米，即plane_view中S像素对应物理世界K米的距离。
[0112] 对于每一帖图像，plane_view人员检测过程具体可W如下：
[0113] a)将plane_view所有元素置为0;
[0114] b)遍历2.3产生的所有前景像素点，计算其在91日11日_乂1日巧对应位置的投影位置，并 在投影位置对该像素赋值。
[0115] 假设相机坐标系中在(xo，yo)深度为d日的点映射到plane_view坐标为plane_view (x，y)，则有：
[0116] plane_view(x，y) = Occupancy(XO，yo,do)*hei邑ht(XO，yo,do);
[0117] 其中，口1日116_￥16讯（又，5〇为口1日]16_￥16讯图像在（又，5〇像素的值，0。。啡日]1巧（又日，7〇， do)为相机坐标系中（xo，yo)位置、深度为do的像素对应=维空间中的点到相机的距离； hei曲t(xo，yo，do)为相机坐标系中（xo，yo)位置、深度为do的像素对应S维空间中的点到地 面的距离。
[0118] C)根据正常人体体型，可W设定人在地面投影的直径为m米（具体实施时可W为 0.25米~0.45米范围内），对应plane_view像素数为SO，用大小为so*so、值全为1的卷积核、 Wso/2的步长对b)产生的plane_view图像做卷积操作。
[0119] d)对上述C)的结果做非极大值限制(Non Maximum Suppression)，仅保留局部范 围内的最大值作为检测结果，丢弃所有非局部极值的检测。
[0120] e)将上述d)得到的局部极大值的位置映射回相机坐标系，作为当前帖的检测结 果。
[0121 ]通过上述目标检测步骤，可W确定出A和B为所要跟踪的目标(假设待跟踪的目标 为人）。
[0122] 2.f5head_confi;rm 确认
[0123] 经过步骤2.4可W得到若干个检测结果的候选，但运些结果并不一定都是人，因 此，本申请实施例对运些候选结果进一步判决。
[0124] 本申请实施例可W通过机器学习的方法，去掉那些不是人的检测结果。具体实施 时，可W结合深度图和RGB数据，使用Decision化ee、SVM和深度学习模型判断每个候选结 果是否是人，对于是人的候选结果，输出至下一步骤，作为跟踪步骤的输入。
[0125] 2.6 跟踪
[0126] 本申请实施例可W根据时空连续性实现跟踪。
[0127] 实时视频系统的工作频率大多在30帖/秒W上，在运样高频的采样频率下，相邻两 帖人的空间位置变化很小。
[0128] 发明人发现，W目前人类百米记录9.58秒计算，30帖的帖率下相邻两帖人最多移 动0.348米，大多数情况人的移动速度远小于运个数值，因此，时空连续性更适合日常场景 下的人的轨迹跟踪。
[0129] 假设系统从To时刻开始跟踪，To时刻经过上述检测过程可W得到So个检测结果
表示一个检测结果的空间=维坐 标。
[0130] 将运些检测结果初始化为跟踪队列，具体可W表示为{Q;。，Q;。，...，Q^V,每个 队列的当前位置可W表示为：
[0131]
;
[0132] Tq的下一时刻Tl经过检测步骤产生Si个检测结果，可W表示为pxfi， …，咕。
[0133] 针对当前位置，利用所述Si个检测结果和上一时刻To的跟踪队列计算距离矩阵M:
[0134]
[0135] 其中，Q]\cp (户K 2、...So)表示上一时刻每个队列的当前位置。
[
[
[0138] 计算出距离矩阵M后，从第一行开始，逐行向下，对每一行元素排序。
[0139] W第i行为例，排序即寻找第i个队列的匹配位置：
[0140] 值最小的元素如果小于预设阔值th，则认为匹配成功，队列i更新当前位置，成功 匹配的检测结果不再参与后面的匹配；
[0141] 值最小的元素如果大于预设阔值th，则队列i在运一帖匹配失败，没有与其位置接 近的检测结果。
[0142] 重复上述过程，即可实现基于时空连续性的人员跟踪。
[0143] 2.7引入延迟W提高准确率
[0144] 发明人考虑到，深度数据可能会有一定的噪声，在某些情况下可能会导致跟踪结 果不稳定。为了进一步提高跟踪精度、输出更为平滑的轨迹，发明人想到引入一定时间的延 迟，具体做法如下：
[0145] 对于上述2.6中的每个跟踪队列，每次加入一个新的位置，就对全队列做高斯平滑 操作，产生更加平滑的轨迹。同时，在每个跟踪队列预设标准，通过标准时才将其作为跟踪 结果对外输出，例如:通过机器学习认定是人的成员位置超过一定的比例，或者稳定的跟踪 超过一定的时间等。
[0146] 本申请实施例提供了一种根据物体物理运动规律和时空连续性的跟踪方法，使得 人员跟踪精度得到极大提升，且不受光线变化、遮挡关系等的影响，同时，还可W追踪到人 员的空间S维坐标。
[0147] 实施例S、
[0148] 基于同一发明构思，本申请实施例中还提供了一种目标跟踪装置，由于运些设备 解决问题的原理与一种目标跟踪方法相似，因此运些设备的实施可W参见方法的实施，重 复之处不再寶述。
[0149] 图3示出了本申请实施例中目标跟踪装置的结构示意图一，如图所示，所述目标跟 踪装置可W包括：
[0150] 前景检测模块301，用于检测监控视频中第二时刻的视频图像中的前景物体;所述 监控视频中像素点包括深度信息；
[0151] 目标检测模块302,用于将所述前景物体投影至视频图像中地面所在平面，计算第 二时刻的目标检测结果；
[0152] 距离计算模块303,用于根据第二时刻的目标检测结果W及跟踪队列的当前位置 计算距离矩阵;所述跟踪队列的当前位置根据第一时刻或第二时刻的目标检测结果确定； 所述第一时刻为所述第二时刻的上一时刻；
[0153] 坐标确定模块304,用于根据所述距离矩阵确定所述第二时刻的目标检测结果中 与所述跟踪队列的当前位置最接近的坐标；
[0154] 跟踪加入模块305,用于将所述与跟踪队列的当前位置最接近的坐标作为所述跟 踪队列的当前位置加入所述跟踪队列。
[0155] 图4示出了本申请实施例中目标检测模块的结构示意图一，如图所示，所述目标检 测模块302具体可W包括：
[0156] 平面投影单元3021，用于将所述前景物体投影至视频图像中地面所在平面，得到 平面图像；
[0157] 像素确定单元3022,用于由S维空间中的点占视频图像的大小W及所述S维空间 中的点到地面所在平面的距离确定所述平面图像中坐标点的像素值；
[0158] 卷积计算单元3023,用于将预先训练得到的卷积核与所述平面图像进行卷积计 算，得到第二时刻的目标检测结果。
[0159] 实施中，所述像素确定单元具体可W用于根据如下公式确定所述平面图像中坐标 点的像素值plane_view(x，y):
[0160] plane_view(x，y) =occupancy(xo，yo，do)*hei邑ht(xo，yo，do);
[0161 ] 其中，plane_view(x，y)为平面图像plane_view在坐标点（X，y)的像素值， occupancy (XO，yo，do)为视频图像中（XO，yo)位置、深度为do的点占视频图像的大小，hei曲t (xo，yo)为视频图像中（xo，yo)位置、深度为do的点到地面所在平面的距离。
[0162] 图5示出了本申请实施例中目标检测模块的结构示意图二，如图所示，所述目标检 测模块可W进一步包括：
[0163] 结果预处理单元3024,用于在所述将预先训练得到的卷积核与所述平面图像进行 卷积计算之后、得到第二时刻的目标检测结果之前，对卷积计算的结果利用非极大值抑制 方法保留局部最大值。
[0164] 实施中，所述距离计算模块具体可W用于根据如下公式计算距离矩阵：
[01AC；]

[0166]其中，M为距离矩阵，Q'J"°.cp为To时刻跟踪队列的当前位置， 刻目标检测结果的=维坐标，時1为Tl时刻目标检测结果的=维坐4 Tl时刻在To时刻之后，So为To时刻目标检测结果的个数，Si为Tl时刻目标检测结果的个数，
[0168] 图6示出了本申请实施例中目标跟踪装置的结构示意图二，如图所示，所述目标跟 踪装置可W进一步包括：
[0169] 第一处理模块306,用于在所述将所述与跟踪队列的当前位置最接近的坐标作为 所述跟踪队列的当前位置加入所述跟踪队列之后，对所述跟踪队列进行高斯平滑操作;和/ 或，
[0170] 第二处理模块307,用于判断所述跟踪队列是否达到预设标准，将达到预设标准的 跟踪队列作为跟踪结果输出。
[0171] 为了描述的方便，W上所述装置的各部分W功能分为各种模块或单元分别描述。 当然，在实施本申请时可W把各模块或单元的功能在同一个或多个软件或硬件中实现。
[0172] 实施例四、
[0173] 本申请W-具体的实际场景进行说明。
[0174] 图7示出了本申请实施例目标跟踪场景的示意图，如图所示，假设在监控场景内检 测到=个前景，分别为A、B、C。其中，A为人、B为人、C为车辆，将所述=个前景投影至地面所 在平面后为=个黑点表示，可W得到平面图像，所述平面图像可能包括A、B、C=个质点。
[0175] 对所述平面图像利用预先训练得到的人的卷积核进行卷积计算，可W得到检测结 果为A为人、B为人、C不为人。
[0176] 经过再次确认后，下面可W进行跟踪操作。
[0177] 假设00:00时刻，检测得到结果为{A的S维坐标(10,10,10)、B的S维坐标(20，20， 20) };初始化跟踪队列，目标A的跟踪队列的当前位置为00 :00时刻A的S维坐标（10，10， 10);目标B的跟踪队列的当前位置为00:00时刻B的S维坐标(20，20，20)。
[0178] 假设00:Ol时刻，检测得到结果为{A的S维坐标(11，10，10)、B的S维坐标(20，20， 21) };更新跟踪队列，将所述00: Ol时刻检测的结果与00:00时刻的跟踪队列的当前位置计 算距离矩阵M，计算出所述00:01时刻检测的结果中与00:00时刻的跟踪队列的当前位置最 近的位置，作为00:01时刻的跟踪队列的当前位置。由于作为质点，A、B在1秒之内的变化均 不会很大、都是非常小幅度的变化，因此，可W很容易的得出00:01时刻A的位置与00:00时 亥IjA的位置最近、00:01时刻B的位置与00:00时刻B的位置最近。目标A的跟踪队列的当前位 置为00:00时刻A的S维坐标（11，10，10)，目标A的跟踪队列为{(10，10，10)，（ 11，10，10)}; 目标B的跟踪队列的当前位置为00:00时刻B的S维坐标(20，20，21 )，目标B的跟踪队列为 {(20,20,20)，（20,20,21)}。
[0179] 假设00:02时刻，同样根据上述过程进行计算，可W分别得到A、B的下一个位置。
[0180] 重复上述过程可W实现跟踪监控场景内的人（即A和B)的目的。
[0181] 图8示出了本申请实施例中目标跟踪曲线的示意图，如图所示，跟踪目标为A、B两 个人，每个白点代表当前时刻之前计算得到的每个时刻跟踪队列的当前位置，所述黑点代 表跟踪到的最新的当前位置。
[0182] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序 产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实 施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产 品的形式。
[0183] 本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程 图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流 程和/或方框、W及流程图和/或方框图中的流程和/或方框的结合。可提供运些计算机程序 指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器W产 生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实 现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0184] 运些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备W特 定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。
[0185] 运些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计 算机或其他可编程设备上执行一系列操作步骤W产生计算机实现的处理，从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一 个方框或多个方框中指定的功能的步骤。
[0186]尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造 性概念，则可对运些实施例作出另外的变更和修改。所W，所附权利要求意欲解释为包括优 选实施例W及落入本申请范围的所有变更和修改。
【主权项】
1. 一种目标跟踪方法，其特征在于，包括如下步骤： 检测监控视频中第二时刻的视频图像中的前景物体;所述监控视频中像素点包括深度 信息； 将所述前景物体投影至视频图像中地面所在平面，计算第二时刻的目标检测结果； 根据第二时刻的目标检测结果以及跟踪队列的当前位置计算距离矩阵;所述跟踪队列 的当前位置根据第一时刻或第二时刻的目标检测结果确定;所述第一时刻为所述第二时刻 的上一时刻； 根据所述距离矩阵确定所述第二时刻的目标检测结果中与所述跟踪队列的当前位置 最接近的坐标； 将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪队列的当前位置加入所述 跟踪队列。2. 如权利要求1所述的方法，其特征在于，所述将所述前景物体投影至视频图像中地面 所在平面，计算第二时刻的目标检测结果，具体为： 将所述前景物体投影至视频图像中地面所在平面，得到平面图像;所述平面图像中坐 标点的像素值由三维空间中的点占视频图像的大小以及所述三维空间中的点到地面所在 平面的距离确定； 将预先训练得到的卷积核与所述平面图像进行卷积计算，得到第二时刻的目标检测结 果。3. 如权利要求2所述的方法，其特征在于，所述平面图像中坐标点的像素值由三维空间 中的点占视频图像的大小以及所述三维空间中的点到地面所在平面的距离确定，具体为： plane_view(x，y) = occupancy(xo，yo，do)*height(xo，yo,do); 其中，plane_view(x，y)为平面图像plane_view在坐标点（x，y)的像素值，occupancy (xo，y ο，do)为视频图像中（xo，y ο)位置、深度为do的点占视频图像的大小，he i ght (xo，yo)为视 频图像中（XQ，y〇)位置、深度为do的点到地面所在平面的距离。4. 如权利要求2所述的方法，其特征在于，在所述将预先训练得到的卷积核与所述平面 图像进行卷积计算之后、得到第二时刻的目标检测结果之前，进一步包括： 对卷积计算的结果利用非极大值抑制方法保留局部最大值。5. 如权利要求1所述的方法，其特征在于，所述根据第二时刻的目标检测结果以及跟踪 队列的当前位置计算距离矩阵，具体为：其中，M为距离矩阵，Qp, cp为To时刻跟踪队列的当前位置，Q^.cp = D；S 为To时刻目 标检测结果的三维坐标，D^1ST1时刻目标检测结果的三维坐IT1时刻在To时刻之后，So为To时刻目标检测结果的个数，SdT1时刻目标检测结果的个数，6. 如权利要求1所述的方法，其特征在于，在所述将所述与跟踪队列的当前位置最接近 的坐标作为所述跟踪队列的当前位置加入所述跟踪队列之后，进一步包括： 对所述跟踪队列进行高斯平滑操作;和/或， 判断所述跟踪队列是否达到预设标准，将达到预设标准的跟踪队列作为跟踪结果输 出。7. -种目标跟踪装置，其特征在于，包括： 前景检测模块，用于检测监控视频中第二时刻的视频图像中的前景物体;所述监控视 频中像素点包括深度信息； 目标检测模块，用于将所述前景物体投影至视频图像中地面所在平面，计算第二时刻 的目标检测结果； 距离计算模块，用于根据第二时刻的目标检测结果以及跟踪队列的当前位置计算距离 矩阵;所述跟踪队列的当前位置根据第一时刻或第二时刻的目标检测结果确定;所述第一 时刻为所述第二时刻的上一时刻； 坐标确定模块，用于根据所述距离矩阵确定所述第二时刻的目标检测结果中与所述跟 踪队列的当前位置最接近的坐标； 跟踪加入模块，用于将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪队列的 当前位置加入所述跟踪队列。8. 如权利要求7所述的装置，其特征在于，所述目标检测模块具体包括： 平面投影单元，用于将所述前景物体投影至视频图像中地面所在平面，得到平面图像； 像素确定单元，用于由三维空间中的点占视频图像的大小以及所述三维空间中的点到 地面所在平面的距离确定所述平面图像中坐标点的像素值； 卷积计算单元，用于将预先训练得到的卷积核与所述平面图像进行卷积计算，得到第 二时刻的目标检测结果。9. 如权利要求8所述的装置，其特征在于，所述像素确定单元具体用于根据如下公式确 定所述平面图像中坐标点的像素值P lane_vi ew(X，y): plane_view(x，y) = occupancy(x〇，y〇，d〇)*height(x〇，y〇,do); 其中，plane_view(x，y)为平面图像plane_view在坐标点（x，y)的像素值，occupancy (xo，y ο，do)为视频图像中（XQ，y ο)位置、深度为do的点占视频图像的大小，he i ght (XQ，y〇)为视 频图像中（XQ，yQ)位置、深度为do的点到地面所在平面的距离。10. 如权利要求8所述的装置，其特征在于，所述目标检测模块进一步包括： 结果预处理单元，用于在所述将预先训练得到的卷积核与所述平面图像进行卷积计算 之后、得到第二时刻的目标检测结果之前，对卷积计算的结果利用非极大值抑制方法保留 局部最大值。11. 如权利要求7所述的装置，其特征在于，所述距离计算模块具体用于根据如下公式 计算距离矩阵：其中，M为距离矩阵，QfU'p为To时刻跟踪队列的当前位置，Qp.卬=dJSd；"。为To时刻目 标检测结果的三维坐标，Df1ST1时刻目标检测结果的三维坐标：T1时刻在To时刻之后，So为To时刻目标检测结果的个数，SdT1时刻目标检测结果的个数，12.如权利要求7所述的装置，其特征在于，进一步包括： 第一处理模块，用于在所述将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪 队列的当前位置加入所述跟踪队列之后，对所述跟踪队列进行高斯平滑操作;和/或， 第二处理模块，用于判断所述跟踪队列是否达到预设标准，将达到预设标准的跟踪队 列作为跟踪结果输出。
【文档编号】G06K9/00GK106022266SQ201610339880
【公开日】2016年10月12日
【申请日】2016年5月20日
【发明人】赵昕
【申请人】北京格灵深瞳信息技术有限公司