一种目标检测跟踪方法和装置与流程

本发明涉及计算机视觉技术领域，具体涉及一种目标检测跟踪方法和装置。

背景技术：

由于技术的发展、摄像机的广泛应用，视频分析在各行各业也得到了广泛的应用。目前有很多跟踪检测方法，比如早期的基于模板匹配的检测跟踪方法，速度慢且精度低；现在有些在线学习的方法，例如在线检测算法(tld)可以在线学习，但是效果不能够满足应用需求；还有基于机器学习的检测算法，例如基于卷积神经网络(cnn)的目标检测算法，需要经过大量的训练，且不能在线学习，长时间之后，目标可能发生很多形变，会造成跟踪不准。

技术实现要素：

本发明提供了一种目标检测跟踪方法和装置，以实现可在线学习的检测跟踪，并提高检测跟踪的精度。

根据本发明的一个方面，本发明提供了一种目标检测跟踪方法，包括：

预测目标在当前帧图像中可能出现的位置，以该位置为中心，在预设的检测半径内，随机选取若干检测块；

将选取的检测块输入特征提取器，提取每个检测块的特征；

将每个检测块的特征输入到集合分类器进行分类，判断每个检测块中是否包含目标，获取最有可能包含目标的最优检测块，并根据检验结果更新所述集合分类器的参数；

将前一帧图像的目标所在位置作为模板，对所述最优检测块周围区域进行模板匹配，获取目标在当前帧图像中的准确位置；

在前一帧图像的目标所在位置随机选取若干特征点，在当前帧图像中确定每个特征点对应的位置，根据这些特征点在两帧图像中的位移变化，实时跟踪目标。

根据本发明的另一个方面，本发明提供了一种目标检测跟踪装置，包括：

检测块选取单元，用于预测目标在当前帧图像中可能出现的位置，以该位置为中心，在预设的检测半径内，随机选取若干检测块；

特征提取器，用于对所述检测块选取单元选取的检测块，提取每个检测块的特征；

集合分类器，用于对所述特征提取器提取的每个检测块的特征进行分类，判断每个检测块中是否包含目标，获取最有可能包含目标的最优检测块，并根据检验结果更新所述集合分类器的参数；

位置获取单元，用于将前一帧图像的目标所在位置作为模板，对所述集合分类器获取的最优检测块周围区域进行模板匹配，获取目标在当前帧图像中的准确位置；

目标跟踪单元，用于在前一帧图像的目标所在位置随机选取若干特征点，在当前帧图像中确定每个特征点对应的位置，根据这些特征点在两帧图像中的位移变化，实时跟踪目标。

本发明的有益效果是：本发明实施例在预测位置选取检测块，提高了效率；设计专门的特征提取器，提取检测块的有效特征，提高检测跟踪的准确性；提取的特征输入到集合分类器，判断检测块中是否包含目标，选出最优检测块并在其周围区域进行模板匹配，从而检测目标的准确位置，并根据检验结果更新集合分类器的参数，实现在线学习；根据特征点在连续两帧图像中的位移变化，可以实现对目标运动的跟踪。

附图说明

图1是本发明一个实施例提供的一种目标检测跟踪方法的流程图；

图2是本发明一个实施例中深度卷积神经网络的示意图；

图3是本发明一个实施例提供的一种目标检测跟踪装置的功能框图。

具体实施方式

本发明的设计构思是：现有的跟踪检测方法各有不足，不能满足应用需求。例如基于模板匹配的检测跟踪方法，速度慢且精度低；在线检测算法虽然可以在线学习，但是效果不能够满足应用需求；基于卷积神经网络的目标检测算法，需要经过大量的训练，且不能在线学习。针对这种情况，本发明在预测位置选取检测块，提高了效率；设计专门的特征提取器，提取检测块的有效特征，提高检测跟踪的准确性；再将特征输入到集合分类器，判断检测块中是否包含目标，选出最优检测块并在其周围区域进行模板匹配，从而检测目标的准确位置，并根据检验结果更新集合分类器的参数，实现了在线学习；根据特征点在连续两帧图像中的位移变化，还可以实现对目标运动的跟踪。

实施例一

图1是本发明一个实施例提供的一种目标检测跟踪方法的流程图，如图1所示，本实施例提供的目标检测跟踪方法包括：

步骤S110：预测目标在当前帧图像中可能出现的位置，以该位置为中心，在预设的检测半径内，随机选取若干检测块。检测半径r可以根据需要配置。

可以根据之前的图像预测目标在当前帧图像的位置，例如当在前两帧图像中包含目标时，根据目标在前一帧图像中的位置以及目标在前两帧图像中的运动情况，即可预测目标在当前帧图像中的可能出现的位置。如果之前的图像中不包含目标，那么用户可以人工指定初始的跟踪位置，或者通过光流法等其他现有的方法确定初始的跟踪位置，作为目标在当前帧图像中可能出现的位置。

步骤S120：将选取的检测块输入特征提取器，提取每个检测块的特征。

现有的在线学习方法提取的图像特征比较简单，跟踪效果不能满足应用需求。因此在优选实施例中，特征提取器采用深度卷积神经网络，充分利用深度卷积神经网络可以提取有效特征的优点。由于本方案不但需要目标跟踪的精度，还需要有较高的效率，才能够满足应用需求，因此深度卷积神经网络的结构需要尽量简单有效。如图2所示，本实施例中的深度卷积神经网络包括3个卷积层和2个降采样层，卷积核的大小为5*5，选取的检测块为32*32像素。每个检测块输入到深度卷积神经网络中，最终会得到一个对应的54维的特征向量。

在利用特征提取器提取检测块的特征之前，需要对深度卷积神经网络进行训练。本实施例建立了一个样本库，样本库中尽量包含目标的各种形状、尺度的图片，目标的选取仅需要任意选择一个同类的目标即可，例如当需要跟踪小汽车时，仅需要任意选择一个小汽车即可，而不必选择某一辆特定的小汽车。利用这个样本库训练深度卷积神经网络的卷积核的参数等，通过训练得到用于提取特征的深度卷积神经网络，用于提取检测块的特征。

步骤S130：将每个检测块的特征输入到集合分类器进行分类，判断每个检测块中是否包含目标，获取最有可能包含目标的最优检测块，并根据检验结果更新集合分类器的参数。

本实施例中的集合分类器为随机森林分类器，其中包含有n个基本分类器，每个基本分类器包含m个特征比较集，也就是说每颗树有m个判断节点，输入图像的特征与每一个判断节点进行比较，产生0或1，然后将这m个0或1的数连成二进制码，从而获取n个长度为m的二进制数，计算后验概率：P(y|x)＝pCounter/(pCounter+nCounter)，其中pCounter和nCounter分别是正和负图像片的数目。

计算后验概率的过程如下所示：

整个集合分类器公有n个基本分类器，也就是有n个后验概率，然后求平均，若某个检测块的后验概率均值大于预设的后验概率阈值，则判断该检测块中包含目标，否则判断该检测块中不包含目标。

可以将检测块分为正样本和负样本，正样本为目标块，负样本为背景块。设置目标阈值th和背景阈值th1，将后验概率均值小于背景阈值th1的检测块作为负样本，将后验概率均值大于目标阈值th的检测块作为正样本，更新集合分类器中每个基本分类器的正负样本集，并根据集合分类器中每个基本分类器更新后的正负样本集，更新后验概率阈值。本方法可以广泛的应用到动态背景或者静态背景下的目标检测及跟踪。

将所有的检测块计算一遍，找出后验概率最大检测块的作为最优检测块，其包含目标的可能性最大。

作为一个具体的实施例，集合分类器包含有15个基本分类器，每个基本分类器包含13个特征比较集。后验概率阈值的初始值设置为0.6，之后会训练优化。目标阈值th取00.65，背景阈值th1取0.2。

步骤S140：将前一帧图像的目标所在位置作为模板，对最优检测块周围区域进行模板匹配，获取目标在当前帧图像中的准确位置。

步骤S150：在前一帧图像的目标所在位置随机选取若干特征点，在当前帧图像中确定每个特征点对应的位置，根据这些特征点在两帧图像中的位移变化，实时跟踪目标。

优选实施例中，特征点选取4*4的窗口，在选取了所有的特征点并确定了每个特征点在前后两帧图像中的位置之后，将所有的特征点根据在相邻两帧图像中的位移变化进行排序，得到排序的中值，将不大于中值的预设比例的特征点作为当前帧的特征点，例如不大于中值的50％的特征点，然后仅根据这部分特征点进行目标跟踪，并以此进行下去，从而实现了特征点的动态更新，提高了目标检测跟踪的准确性。

实施例二

图3是本发明一个实施例提供的一种目标检测跟踪装置的功能框图，如图3所示，本实施例提供的目标检测跟踪装置300包括检测块选取单元310、特征提取器320、集合分类器330、位置获取单元340和目标跟踪单元350。

检测块选取单元310用于预测目标在当前帧图像中可能出现的位置，并以该位置为中心，在预设的检测半径内，随机选取若干检测块。

特征提取器320用于对检测块选取单元310选取的检测块，提取每个检测块的特征。为了能够有效提取检测块的特征，本实施例的特征提取器320采用深度卷积神经网络，包括3个卷积层和2个降采样层，卷积核的大小为5*5，选取的检测块为32*32像素。每个检测块输入到深度卷积神经网络中，最终会得到一个对应的54维的特征向量。深度卷积神经网络在使用之前需要进行训练，因此本实施例提供的目标检测跟踪装置300还包括样本库360，其中包含有目标的多种形状、尺度的图片，用于训练深度卷积神经网络的卷积核的参数等。

集合分类器330用于对特征提取器320提取的每个检测块的特征进行分类，判断每个检测块中是否包含目标，获取最有可能包含目标的最优检测块，并根据检验结果更新集合分类器330的参数。本实施例中，集合分类器330为随机森林分类器，包括n个基本分类器，每个基本分类器包含m个特征比较集。将每个检测块的特征依次输入集合分类器330中的每个基本分类器，与每个基本分类器的判断节点进行比较，产生0或1，从而获取n个长度为m的二进制数以及对应的n个后验概率；计算每个检测块的n个后验概率的均值，若某个检测块的后验概率均值大于预设的后验概率阈值，则判断该检测块中包含目标，否则判断该检测块中不包含目标，并将后验概率均值最大的检测块作为最优检测块。具体地，集合分类器包含有15个基本分类器，每个基本分类器包含13个特征比较集，后验概率阈值的初始值设置为0.6。

为了使本实施例提供的目标检测跟踪装置300能够在线学习，不论目标发生什么变化，都可以检测跟踪到，优选实施例中，集合分类器330包括学习模块331，用于将后验概率均值小于预设的背景阈值(如0.2)的检测块作为负样本，将后验概率均值大于预设的目标阈值(如0.65)的检测块作为正样本，更新集合分类器330中每个基本分类器的正负样本集，并根据集合分类器330中每个基本分类器更新后的正负样本集，更新后验概率阈值。

位置获取单元340用于将前一帧图像的目标所在位置作为模板，对集合分类器330获取的最优检测块周围区域进行模板匹配，获取目标在当前帧图像中的准确位置。

目标跟踪单元350用于在前一帧图像的目标所在位置随机选取若干特征点，在当前帧图像中确定每个特征点对应的位置，根据这些特征点在两帧图像中的位移变化，实时跟踪目标。

在一个优选实施例中，目标跟踪单元350包括特征点更新模块351，用于对所有特征点的位移变化的大小进行排序，获取排序的中值，将不大于排序中值的预设比例(如50％)的特征点作为当前帧的特征点，并以此进行下去，从而实现特征点的动态更新，提高检测跟踪的准确性。

本实施例提供的目标检测跟踪装置，可以直接接受一整张图片的输入，然后直接进行检测跟踪，并且可以在线学习，长期检测跟踪，不论目标发生什么变化，都可以检测跟踪到，如果目标消失，等目标出现时，可再次检测跟踪，可以广泛的应用到动态背景或者静态背景下的目标检测及跟踪。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

需要说明的是：

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

本发明的目标检测跟踪装置传统上包括处理器和以存储器形式的计算机程序产品或者计算机可读介质。存储器可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器具有用于执行上述方法中的任何方法步骤的程序代码的存储空间。例如，用于程序代码的存储空间可以包括分别用于实现上面的方法中的各种步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为便携式或者固定存储单元。该存储单元可以类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括用于执行根据本发明的方法步骤的计算机可读代码，即可以由例如处理器读取的代码，这些代码被运行时，导致该目标检测跟踪装置执行上面所描述的方法中的各个步骤。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。单词“包括”不排除存在未列在权利要求中的元件或步骤。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。