实时动态目标跟踪方法及装置与流程

本发明涉及图像处理技术领域，尤其是涉及一种实时动态目标跟踪方法及装置。

背景技术：

现有技术的目标跟踪主要通过两种方式实现，一种方式是运用生成的模型描述子描述目标的特征，通过搜索待定目标的特征实现目标的跟踪，有代表性的算法有稀疏编码，在线密度估计等。稀疏编码和在线密度估计等算法着眼于对目标本身的描述，忽略了背景信息，在目标为非刚体或被遮挡的情况下会产生漂移；另一种方式是通过训练分类器来实现跟踪目标。代表性的算法有MeanShift和典型的DLT深度学习算法。MeanShift采用目标的颜色直方图作为搜索特征，不断迭代MeanShift向量使得算法收敛于目标的真实位置，从而达到区分目标和跟踪的目的，MeanShift算法对边缘遮挡、目标旋转、变形和背景运动不敏感。典型的DLT深度学习算法采用辅助训练数据进行预训练，获取目标初略特征，实际跟踪时微调整预训练模型，增强其分类性能。这些算法在鲁棒性和实时性方面都或多或少存在不尽人意的地方。

技术实现要素：

有鉴于此，本发明的目的在于提供一种实时动态目标跟踪方法及装置，以缓解现有技术的目标跟踪在鲁棒性和实时性较差的技术问题。

第一方面，本发明实施例提供了一种实时动态目标跟踪方法，包括以下步骤：

采集目标的三维图像；

对三维图像进行图像通道分割处理，生成二维图像和图像深度矩阵；

对二维图像进行图像预处理，生成预处理后的二维图像；

对预处理后的二维图像和图像深度矩阵分别进行帧差分处理，得到帧差分处理后的二维图像和帧差分处理后的图像深度矩阵；

对帧差分处理后的二维图像进行凸包检测并计算凸包的质心；

对帧差分处理后的图像深度矩阵进行滤波，得到滤波后的图像深度矩阵；

将帧差分处理后的二维图像和滤波后的图像深度矩阵进行坐标融合，得到目标团块矫正矩阵；

根据质心对目标团块矫正矩阵进行目标标记和路径跟踪。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，在图像通道分割处理前或帧差分处理前还包括帧分割处理，具体方法为：

在图像通道分割处理之前对三维图像进行等帧数分组；

或在帧差分处理前对二维图像或预处理后的二维图像进行等帧数分组。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，帧差分处理为三帧差分处理。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，三帧差分处理为帧间差分法、索贝尔算子或背景差分算法。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，预处理方法包括全局阈值化、局部自适应阈值化、高斯模糊、高斯金字塔和拉普拉斯金字塔中的一种或多种。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，将帧差分处理后的二维图像和滤波后的图像深度矩阵进行坐标融合，生成目标团块矫正矩阵，具体为：

对帧差分后的二维图像进行形态学处理生成目标轮廓矩阵，将目标轮廓矩阵和滤波后的图像深度矩阵进行坐标融合生成目标团块矫正矩阵。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，对帧差分处理后的二维图像进行凸包检测并计算凸包的质心，具体为：

对帧差分处理后的二维图像进行形态学处理生成目标轮廓矩阵，对目标轮廓矩阵进行凸包检测并计算凸包的质心。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，滤波处理为低通滤波处理。

第二方面，本发明实施例还提供一种实时动态目标跟踪装置，包括：

图像采集模块，用于采集目标的三维图像；

分割模块，用于对三维图像进行通道分割处理，生成二维图像和图像深度矩阵；

图像预处理模块，用于对二维图像进行图像预处理，得到预处理后的二维图像；

帧差分处理模块，用于对预处理后的二维图像和图像深度矩阵分别进行帧差分处理，得到帧差分后的二维图像和帧差分后的图像深度矩阵；

凸包检测模块，用于对所述帧差分处理后的二维图像进行凸包检测并计算所述凸包的质心；

滤波模块，用于对帧差分后的图像深度矩阵进行滤波，得到滤波后的图像深度矩阵；

融合模块，用于将帧差分处理后的二维图像和滤波后的图像深度矩阵进行坐标融合生成目标团块矫正矩阵；

目标标记和跟踪模块，用于根据质心对目标团块矫正矩阵进行目标标记和路径跟踪。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，还包括帧分组模块；

用于在图像通道分割处理之前对三维图像进行等帧数分组；

或用于在帧差分处理前对二维图像或预处理后的二维图像进行等帧数分组。

本发明实施例带来了以下有益效果：

本发明提供了一种实时动态目标跟踪方法，将采集的目标的三维图像进行通道分割生成二维图像和图像深度矩阵；对二维图像进行图像预处理，对预处理后的二维图像和图像深度矩阵分别进行帧差分处理，然后对帧差分后的二维图像进行凸包检测，并计算凸包的质心；将帧差分后的图像深度矩阵进行滤波后与帧差分处理后的二维图像进行坐标融合生成目标团块矫正矩阵，因为帧差分后的图像深度矩阵也包含轮廓信息，因此滤波后的深度矩阵和帧差分处理后的二维图像融合后实现了对目标轮廓的双重定位，根据质心对目标团块矫正矩阵进行目标标记和路径跟踪，提高了对柔性目标实时跟踪的准确率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的实时动态目标跟踪方法的第一种实施方式的流程图；

图2为本发明实施例1提供的实时动态目标跟踪方法的第二种实施方式的流程图；

图3为本发明实施例1提供的实时动态目标跟踪方法的第三种实施方式的流程图；

图4为本发明实施例1提供的实时动态目标跟踪方法的第四种实施方式的流程图；

图5为本发明实施例2提供的实时动态目标跟踪装置的第一种实施方式的示意图；

图6为本发明实施例2提供的实时动态目标跟踪装置的第二种实施方式的示意图；

图7为本发明实施例2提供的实时动态目标跟踪装置的第三种实施方式的示意图；

图8为本发明实施例2提供的实时动态目标跟踪装置的第四种实施方式的示意图。

图标：101-图像采集模块；102-分割模块；103-图像预处理模块；104-帧差分处理模块；105-凸包检测模块；106-滤波模块；107-融合模块；108-目标标记和跟踪模块；110-帧分组模块；111-形态学处理模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前的实时动态目标跟踪方法在鲁棒性或实时性存在不足，基于此，本发明实施例提供的一种实时动态目标跟踪方法及装置，可以提高实时动态目标追踪的鲁棒性或实时性。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种实时动态目标跟踪方法进行详细介绍。

实施例1：

如图1所示，本发明实施例提供了一种实时动态目标跟踪方法，具体步骤如下：

S100.采集目标的三维图像。

通过深度摄像头连续实时采集动态目标的三维图像。本实施例中的动态目标可以是柔性目标，也可以是非柔性目标。

S102.对三维图像进行图像通道分割处理，生成二维图像和图像深度矩阵。

对每一帧三维图像进行图像通道分割，分离出二维图像和深度矩阵，然后对二维图像和深度矩阵分别进行处理。

S104.对二维图像进行图像预处理，得到预处理后的二维图像。

二维图像的预处理方法优选为全局阈值化、局部自适应阈值化、高斯模糊、高斯金字塔和拉普拉斯金字塔中的一种或几种。全局阈值化、局部自适应阈值算法进行二值化消除光照影响；采用高斯模糊、高斯金字塔和拉普拉斯金字塔消除噪音等。通过上述预处理方法实现图像的光照均衡。

S106.对预处理后的二维图像和图像深度矩阵分别进行帧差分处理，得到帧差分处理后的二维图像和帧差分处理后的图像深度矩阵。

帧差分处理可以是三帧或五帧差分法，优选采用三帧差分法，比如：帧间差分法、索贝尔算子或背景差分算法。

S108.对帧差分处理后的二维图像进行凸包检测并计算凸包的质心。

通过质心实现对凸包的标记和跟踪，降低了目标跟踪的数据运算量，同时提高了目标跟踪的准确率，实现了动态目标追踪的实时性。

S110.对帧差分处理后的图像深度矩阵进行滤波，得到滤波后的图像深度矩阵。

优选通过低通滤波器对帧差分处理后的图像深度矩阵进行滤波，以剔除帧差分处理后的图像深度矩阵中的正数。

S112.将帧差分处理后的二维图像和滤波后的图像深度矩阵进行坐标融合生成目标团块矫正矩阵。

将帧差分处理后的二维图像和滤波后的图像深度矩阵进行坐标融合，由于滤波后的图像深度矩阵也包含目标轮廓信息，因此，将均包含目标轮廓信息的两矩阵信息进行融合可以精确定位目标团块的坐标及轮廓。

S114.根据质心对目标团块矫正矩阵进行目标标记和路径跟踪。

根据质心对目标团块矩阵对进行标记并保存记录，实现目标团块质心的实时定位，而且输出结果可以作为各种需要跟踪目标的实际应用的后续输入数据。

将采集的目标的三维图像进行通道分割生成二维图像和图像深度矩阵；对二维图像进行图像预处理，对预处理后的二维图像和图像深度矩阵分别进行帧差分处理，然后对帧差分后的二维图像进行凸包检测，并计算凸包的质心；将帧差分后的图像深度矩阵进行滤波后与帧差分处理后的二维图像进行坐标融合生成目标团块矫正矩阵，因为帧差分后的图像深度矩阵也包含轮廓信息，因此滤波后的深度矩阵和帧差分处理后的二维图像融合后实现了对目标轮廓的双重定位，根据质心对目标团块矫正矩阵进行目标标记和路径跟踪，提高了对柔性目标实时跟踪的准确率。

如图2所示，作为本发明的另一种实施方式，在步骤S102之前还包括：

步骤S101.对三维图像进行等帧数分组。

根据选择的具体的帧差分方法选择相应的帧数分组，比如，若选择三帧差分法，则三维图像的分组为每三帧一组；若选择五帧差分法，则三维图像的分组为每五帧一组。三维图像等帧数分组后，在步骤S102中，对每一组三维图像中的每一帧图像进行图像通道分割。

如图3所示，作为本发明的另一种实施方式，在步骤S106之前还包括：

S105.对所述预处理后的二维图像进行等帧数分组。

此步骤中，将预处理后的二维图像根据选择的具体的帧差分方法选择相应的帧数分组，比如，若选择三帧差分法，则预处理后的二维图像的分组为每三帧一组，若选择五帧差分法，则预处理后的二维图像的分组为每五帧一组。

另外，对于等帧数分组，也可以在二维图像进行预处理前进行等帧数分组，将二维图像根据选择的具体的帧差分方法选择相应的帧数分组，比如，若选择三帧差分法，则二维图像的分组为每三帧一组，若选择五帧差分法，则二维图像的分组为每五帧一组。

如图4所示，作为本发明的另一种实施方式，在步骤S106之后的优选实施方式为：

S107.对帧差分后的二维图像进行形态学处理，生成目标轮廓矩阵。

本步骤对帧差分处理后的二维图像进行形态学处理生成目标轮廓矩阵，且形态学处理方法优选腐蚀或膨胀，通过腐蚀去掉毛刺，去掉孤立的0像素；通过膨胀填充边缘或0像素内部的孔。

S108.对目标轮廓矩阵进行凸包检测并计算凸包的质心。

S110.对帧差分处理后的图像深度矩阵进行滤波，得到滤波后的图像深度矩阵。

S112.将目标轮廓矩阵和滤波后的图像深度矩阵进行坐标融合生成目标团块矫正矩阵。

S114.根据目标团块矫正矩阵进行目标标记并跟踪路径。

实施例2：

如图5所示，本实施例提供了一种实时动态目标跟踪装置，包括图像采集模块101、分割模块102、图像预处理模块103、帧差分处理模块104、凸包检测模块105、滤波模块106、融合模块107、目标标记和跟踪模块108，图像采集模块101用于采集目标的三维图像；分割模块102用于对三维图像进行通道分割处理，生成二维图像和图像深度矩阵；图像预处理模块103用于对二维图像进行图像预处理，得到预处理后的二维图像；帧差分处理模块104用于对预处理后的二维图像和图像深度矩阵分别进行帧差分处理，得到帧差分后的二维图像和帧差分后的图像深度矩阵；凸包检测模块105用于对帧差分后的二维图像进行凸包检测并计算凸包的质心；滤波模块106用于对帧差分后的图像深度矩阵进行滤波，得到滤波后的图像深度矩阵；融合模块107用于将帧差分后的二维图像和滤波后的图像深度矩阵进行坐标融合，得到目标团块矫正矩阵；目标标记和跟踪模块108用于根据凸包的质心对目标团块矫正矩阵进行目标标记和路径跟踪。

通过通道分割模块102将采集的目标的三维图像进行通道分割生成二维图像和图像深度矩阵；通过预处理模块对二维图像进行图像预处理，通过帧差分处理模块104对预处理后的二维图像和图像深度矩阵分别进行帧差分处理，通过凸包检测模块105用于对帧差分后的二维图像进行凸包检测和凸包质心的计算；通过融合模块107将帧差分后的图像深度矩阵进行滤波后与帧差分后的二维图像进行坐标融合生成目标团块矫正矩阵，因为帧差分后的图像深度矩阵也包含轮廓信息，因此滤波后的深度矩阵和目标轮廓矩阵融合后实现了对目标轮廓的双重定位，根据目标团块矫正矩阵进行目标标记并跟踪路径。

如图6和图7所示，作为本实施例的另一种实施方式，实时动态目标跟踪装置还包括帧分组模块110，用于在图像通道分割处理之前对三维图像进行等帧数分组；或用于在帧差分处理前对二维图像或预处理后的二维图像进行等帧数分组。即图像的等帧数分组，可以在在图像通道分割处理前即对三维图像进行等帧数分组；或是在二维图像预处理之前对二维图像进行等帧数分组；或是对预处理后的二维图像进行等帧数分组，然后将分组后的设定帧数的二维图像直接进行帧差分处理。

本实施例中的帧差分处理是三帧差分法或五帧差分法或是其他帧差分方法。

需要说明的是，本实施例中的差分方法、预处理方法如实施例1中所述，在此不予赘述。

如图8所示，作为本实施例的另一种实施方式，实时动态目标跟踪装置还包括形态学处理模块111，用于对帧差分后的二维图像进行形态学处理，生成目标轮廓矩阵。凸包检测模块105和融合模块107均基于形态学处理模块111生成的目标轮廓矩阵。本实施例中的形态学算法优选为膨胀或腐蚀。

本发明实施例提供的实时动态目标跟踪装置，与上述实施例提供的实时动态目标跟踪方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本发明实施例所提供的实时动态目标跟踪方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。