专利名称：一种基于深度信息的多目标跟踪方法
技术领域：
本发明涉及图像处理技术，尤其涉及一种基于深度信息的多目标跟踪方法。
背景技术：
图像处理(image processing)是用计算机对图像进行分析，以达到所需结果的技 术，又称影像处理。图像处理技术的主要内容包括图像压缩，图像增强和复原，图像匹配、描 述和识别等三大部分。常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析 等，图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和 数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。虽 然某些处理也可以用光学方法或模拟技术实现，但它们远不及数字图像处理那样灵活和方 便，因而数字图像处理成为图像处理的主要方面。目前普通的图像主要由二维的像素点组成的平面图像，这种二维平面图像只能 反映图像场景的X、Y的位置坐标信息，而无法反映图像场景的深度位置信息Z坐标，随着 技术的进步，越来越多的出现了能够采集深度位置信息的装置设备，这些能够采集深度图 (Depth Map)的设备，将图像处理技术从二维图像X、Y坐标带入到三维图像X、Y、Z坐标新 时代。获取场景中各点相对于摄象机的距离是计算机视觉系统的重要任务之一，场景中 各点相对于摄象机的距离可以用深度图来表示，深度图生成的技术目前主要有三种方法， 结构光测距方法、激光测距雷达方法、变焦测距方法，通过各种方法获取真实场景的深度信 息并生成深度图，能够应用于各种技术领域的图像处理需求。目前市场上已经开始出现能够实时输出深度图的设备，如何使用这些设备，来开 发出各种人机交互的应用，已经成为未来人机交互技术发展方向之一，在深度Z方向上，如 何能对多个目标进行跟踪，使我们能够获取更多的人机交互控制信息，这是非常有意义的 技术，比如，我们将多目标跟踪应用互动游戏当中，那么就能实现多人和游戏进行互动，由 于多目标跟踪存在目标相互遮挡、相互交汇的情况，所以目前很多基于2D图像的多目标跟 踪算法，往往因为复杂度高不能满足实时性的要求，然而在基于深度信息的图像中，由于存 在X、Y、Z坐标，就使得目标跟踪算法的参考对象更多从而大大增加了算法的复杂度，目前 如何利用深度信息环境下实现多目标跟踪，已经成为深度信息图像处理技术领域亟待解决 的问题。
发明内容
本发明方法提供一种基于深度信息的多目标跟踪方法，能够在基于深度信息的条 件下，根据多目标的特征约束集合态，对多目标进行识别、分析和跟踪。本发明的技术方案如下一种基于深度信息的多目标跟踪方法，包括以下步骤
A.连续获取场景区域的深度帧；B.判断当前深度帧中是否出现启动动作，是则进入步骤C，否则进入步骤D ；C.获取产生该启动动作的目标的特征信息，将目标的特征信息加入特征信息数据 库；D.检查特征信息数据库中是否存在已经记录的特征信息，有则进入步骤E，否则 返回步骤A实时获取深度帧；E.读取特征信息数据库中的特征信息，以其中深度位置信息为参数，在当前深度 帧中提取参考轮廓；F.计算出所有参考轮廓的特征信息集合；G.将特征信息数据库中记录的特征信息与参考轮廓的特征信息集合进行对比，发 现满足匹配条件的数据则进入步骤H，未发现则返回步骤A ；H.更新特征信息数据库中记录的特征信息并输出满足匹配条件的特征信息。所述的基于深度信息的多目标跟踪方法，其中，所述步骤B进一步包括步骤Bi.设定启动条件集合；B2.将当前深度帧与前一深度帧进行深度值变化比较获得深度变化值；B3.判断深度变化值是否属于启动条件集合，属于则判定出现启动动作，进入步骤 C，否则判定未出现启动动作，进入步骤D。所述的基于深度信息的多目标跟踪方法，其中，所述步骤C进一步包括步骤Cl.通过对深度帧变化值进行阈值判断，提取变化轮廓区域，获取产生该启动动作 的目标；C2.在变化轮廓区域内获得该目标的特征信息；C3.将目标的特征信息与特征信息数据库中的数据进行比较，检查其和已记录数 据有没有相似性，如没有相似性则将其加入特征信息数据库。所述的基于深度信息的多目标跟踪方法，其中，在所述步骤C3中，将目标的特征 信息加入特征信息数据库时进行编号以区分其所对应的目标。所述的基于深度信息的多目标跟踪方法，其中，所述步骤E进一步包括步骤El.从特征信息数据库记录的特征信息中，提取深度位置的最小值、最大值以及轮 廓形态特征；E2.使用信息中深度位置为参数设定加权值，获取轮廓点，提取参考轮廓。所述的基于深度信息的多目标跟踪方法，其中，在步骤G中，具体是将特征信息数 据库中记录的对应每个目标的特征信息，与参考轮廓的目标特征信息集合进行遍历对比， 按照特征约束相似性原则进行匹配，当发现记录的某一目标的特征信息与某一参考轮廓的 特征信息满足设定阈值条件时，则判定为匹配。所述的基于深度信息的多目标跟踪方法，其中，在所述步骤H中，更新特征信息数 据库中记录的特征信息具体为如发现与目标匹配的参考轮廓，则用参考轮廓的特征信息 替换特征信息数据库中对应目标的特征信息；如目标没有发现匹配的参考轮廓，则启动有 效时间记录，当超过设定的有效时间后，依然没有发现可以与该目标的特征信息匹配的参 考轮廓，则从特征信息数据库中将该目标对应的特征信息删除。所述的基于深度信息的多目标跟踪方法，其中，所述特征信息包括轮廓面积、深度位置、投影表面深度特征以及轮廓形态特征。上述方法对每一个产生启动动作的目标均在特征信息数据库中记录其特征信息， 以便于对该目标的后续动作进行跟踪，通过遍历对比的方式可以对多个目标同时进行跟 踪，并在某一目标消失后在数据库中删除其对应的特征信息以提高运算效率。
图1为本发明基于深度信息的多目标跟踪方法较佳实施方式的流程图；图2为本发明中深度帧的示意图；图3为本发明中特征信息数据库的结构示意图；图4为本发明中从深度图中提取目标轮廓的示意图；图5为本发明中目标拟矩形的示意图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。参考图1，本发明基于深度信息的多目标跟踪方法较佳实施方式包括步骤Si、启动深度图采集设备，通过深度摄像机实时监测场景区域，按照每秒采集25 幅深度图的频率获取深度图序列，该序列中每张深度图即为深度帧，如图2所示；S2、在获取当前深度帧之后，将当前深度帧与前一深度帧进行深度值变化比较，当 深度值变化状态满足预先设定的阈值条件时，则认为在当前深度帧中发现了启动动作，若 不满足预设的阈值条件则直接进入步骤S4，检查是否存在已记录的信息数据；具体包括设定启用条件集合SARTUP⑶，启动动作是以深度前帧DEPTHxl (z, x, y) 作为参考帧，其中，ζ为深度值，χ和y是位置信息，以深度后帧(当前深度帧)DEPTHx2 (z，x， y)作为比较帧，通过计算获取深度帧变化值DEPTH。(z，x，y)，其中DEPTHc(ζ, χ, y) = DEPTHx2 (ζ, χ, y) -DEPTHxl (ζ，χ，y)，深度帧变化值 DEPTHc(ζ， X，y)有正负值区分，正值表示产生启动动作的目标向后运动，负值则表示产生启动动作 的目标向前运动，当深度帧变化值满足深度值变化阈值范围时，表达式为DEPTH。(z，χ, y) e SARTUP(D)，表示发现目标的启动动作，反之则不是启动动作，直接进入步骤S4;如图 2所示，其中目标A、目标B和目标C即为在场景区域中产生启动动作的目标，其变化值满足 阈值范围的区域即为变化轮廓区域，表达式为f (ζ，χ, y)；S3、发现启动动作后，获取产生该启动动作的目标的特征信息，将该目标的特征信 息与特征信息数据库中存在的特征信息数据进行比对，如发现该特征信息和已记录数据没 有相似性，则将该特征信息加入特征信息数据库中，并建立唯一识别ID号和有效时间值， 如发现该特征信息已经存在特征信息数据库中，则不进行记录；具体包括发现启动动作后，通过对深度帧变化值进行阈值判断，提取变化轮廓区 域f(z，x，y)，在变化轮廓区域内获得轮廓面积、深度位置、投影表面深度特征以及轮廓形态 特征，然后将这些特征信息与特征信息数据库中的数据进行比较，检查其和已记录数据有 没有相似性，如没有相似性则将其加入特征信息数据库，特征信息数据库的数据存储格式如图3所示；其中特征信息数据库为创建的特征信息记录数据库，用于记录需要跟踪的目标的
相关识别信息，其中，ID号与发现的目标相对应；轮廓面积为变化轮廓区域内所有深度点
的数量η ；深度位置为变化轮廓区域内所有深度点Z值的算术平均值zavCT、最小值^lin、最大值Zmax 三个元素组成，表达式为
权利要求
1.一种基于深度信息的多目标跟踪方法，包括以下步骤A.连续获取场景区域的深度帧；B.判断当前深度帧中是否出现启动动作，是则进入步骤C，否则进入步骤D；C.获取产生该启动动作的目标的特征信息，将目标的特征信息加入特征信息数据库；D.检查特征信息数据库中是否存在已经记录的特征信息，有则进入步骤E，否则返回 步骤A实时获取深度帧；E.读取特征信息数据库中的特征信息，以其中深度位置信息为参数，在当前深度帧中 提取参考轮廓；F.计算出所有参考轮廓的特征信息集合；G.将特征信息数据库中记录的特征信息与参考轮廓的特征信息集合进行对比，发现满 足匹配条件的数据则进入步骤H，未发现则返回步骤A ；H.更新特征信息数据库中记录的特征信息并输出满足匹配条件的特征信息。
2.根据权利要求1所述的基于深度信息的多目标跟踪方法，其特征在于所述步骤B 进一步包括步骤Bi.设定启动条件集合；B2.将当前深度帧与前一深度帧进行深度值变化比较获得深度变化值；B3.判断深度变化值是否属于启动条件集合，属于则判定出现启动动作，进入步骤C， 否则判定未出现启动动作，进入步骤D。
3.根据权利要求1所述的基于深度信息的多目标跟踪方法，其特征在于所述步骤C 进一步包括步骤Cl.通过对深度帧变化值进行阈值判断，提取变化轮廓区域，获取产生该启动动作的目标；C2.在变化轮廓区域内获得该目标的特征信息；C3.将目标的特征信息与特征信息数据库中的数据进行比较，检查其和已记录数据有 没有相似性，如没有相似性则将其加入特征信息数据库。
4.根据权利要求3所述的基于深度信息的多目标跟踪方法，其特征在于在所述步骤 C3中，将目标的特征信息加入特征信息数据库时进行编号以区分其所对应的目标。
5.根据权利要求1所述的基于深度信息的多目标跟踪方法，其特征在于所述步骤E 进一步包括步骤El.从特征信息数据库记录的特征信息中，提取深度位置的最小值、最大值以及轮廓形 态特征；E2.使用信息中深度位置为参数设定加权值，获取轮廓点，提取参考轮廓。
6.根据权利要求1所述的基于深度信息的多目标跟踪方法，其特征在于在步骤G中， 具体是将特征信息数据库中记录的对应每个目标的特征信息，与参考轮廓的目标特征信息 集合进行遍历对比，按照特征约束相似性原则进行匹配，当发现记录的某一目标的特征信 息与某一参考轮廓的特征信息满足设定阈值条件时，则判定为匹配。
7.根据权利要求1所述的基于深度信息的多目标跟踪方法，其特征在于在所述步骤H 中，更新特征信息数据库中记录的特征信息具体为如发现与目标匹配的参考轮廓，则用参 考轮廓的特征信息替换特征信息数据库中对应目标的特征信息；如目标没有发现匹配的参考轮廓，则启动有效时间记录，当超过设定的有效时间后，依然没有发现可以与该目标的特 征信息匹配的参考轮廓，则从特征信息数据库中将该目标对应的特征信息删除。
8.根据权利要求1至7中任一权利要求所述的基于深度信息的多目标跟踪方法，其特 征在于所述特征信息包括轮廓面积、深度位置、投影表面深度特征以及轮廓形态特征。
全文摘要
本发明提供一种基于深度信息的多目标跟踪方法，包括步骤A.连续获取场景区域的深度帧；B.判断当前深度帧中是否出现启动动作，是则进入步骤C，否则进入步骤D；C.获取产生该启动动作的目标的特征信息并加入特征信息数据库；D.检查特征信息数据库中是否存在已经记录的特征信息，有则进入步骤E，否则返回步骤A；E.读取特征信息数据库中的特征信息，以其中深度位置信息为参数，在当前深度帧中提取参考轮廓；F.计算出所有参考轮廓的特征信息集合；G.将特征信息数据库中记录的特征信息与参考轮廓的特征信息集合进行对比，发现满足匹配条件的数据则进入步骤H，未发现则返回步骤A；H.更新特征信息数据库中记录的特征信息并输出满足匹配条件的特征信息。
文档编号G06T7/20GK102063725SQ20101061622
公开日2011年5月18日 申请日期2010年12月30日 优先权日2010年12月30日
发明者付东, 刘纹高, 邵诗强, 黄卫东 申请人:Tcl集团股份有限公司