一种基于颜色属性的核相关目标跟踪方法
【专利摘要】本申请公开了一种基于颜色属性的核相关目标跟踪方法，建立训练样本集，包含所述目标处于不同位置和/或不同姿态的多帧样本图像；对所述待处理图像和样本图像进行颜色命名，提取所述待处理图像和样本图像颜色特征数据；利用核相关响应函数计算样本图像颜色特征数据与待处理图像的颜色特征数据的响应值大小，所述待处理图像中目标的位置或姿态被识别为响应值最大的样本图像所包含的目标位置或姿态。本发明利用目标颜色属性成功解决跟踪过程中出现的光照变化、目标遮挡、快速运动、形变、多相似目标干扰等问题，并利用FFT加速傅里叶变换。
【专利说明】
一种基于颜色属性的核相关目标跟踪方法
技术领域
[0001]本发明涉及基于运动目标跟踪的图像分析技术领域，具体涉及一种核相关目标跟踪方法，可应用于对多场景中运动目标识别跟踪。
【背景技术】
[0002]目标跟踪是计算机视觉的重要技术，其中，判别类跟踪算法可以适应目标所处场景的变化，算法需要大量的训练样本。例如文献Exploiting the Circulant Structure ofTracking-by-Detect1n with Kernels(作者Henriques J F,Rui C等，论文记载于Computer Vis1n-ECCV 2012,Springer Berlin Heidelberg)所披露的CSk算法，本申请中称之为“核相关算法”，用循环矩阵方式表示多个图像样本，利用核相关的响应函数计算图像样本对目标图像的响应值，得到目标图像的位置即为响应值最大的图像样本所表示的位置。对于现有算法，只有对大量的样本进行训练才能得到识别率更高的分类器，但是计算所需时间较长，很难达到实时性的要求。另外，由于现有CSK算法技术使用灰度图像，受光照变化、目标遮挡、目标快速运动影响较大，还存在多相似目标干扰的问题。目前所出现的特征一般对某一场景或几种场景下有稳定的表现，但是对于多场景变化以及光照变化，或者目标产生的各种障碍缺乏适应性。
【发明内容】
[0003]本发明克服现有技术中存在的不足，提出一种基于颜色属性的核相关目标跟踪方法，解决现有技术用灰度图像进行目标跟踪容易受到外界环境干扰的问题。
[0004]本发明的基于颜色属性的核相关目标跟踪方法，包含以下步骤
[0005]对视频进行截取获取一帧待处理图像，包含待跟踪的目标；
[0006]建立训练样本集，包含所述目标处于不同位置和/或不同姿态的多帧样本图像；
[0007]对所述待处理图像和样本图像进行颜色命名，提取所述待处理图像和样本图像颜色特征数据;作为本发明的最佳实施例，进一步地，用主分量分析(PCA)技术对颜色特征数据进行降维处理；
[0008]利用核相关算法，计算样本图像颜色特征数据与待处理图像的颜色特征数据的响应值大小，所述待处理图像中目标的位置或姿态被识别为响应值最大的样本图像所包含的目标位置或姿态。
[0009]具体地，目标处于不同姿态的图像从公开数据库中查询获得；目标处于不同位置的图像用提取前景目标循环偏移序列的方法得到；作为本发明进一步优化的实施例，所述前景目标偏移序列利用基于混合高斯背景建模算法提取。
[0010]作为本发明进一步优化的实施例，所述颜色特征数据的提取方法包含以下步骤:根据色彩空间转换公式，将图像由RGB空间转换到Lab空间；用K均值聚类算法，把图像进行分割，将图像划分为颜色最为接近的簇，从而得到有效的颜色区域;在Lab空间中划分离散区间，提取各颜色区域内像素点的颜色值，并对应到该像素点所在离散区间；统计每个离散区间内对应像素点的数量，从而得到单个离散区间某一种颜色的像素点数量在全部离散区间像素点总和中所占的百分比；求出离散区间被命名为11种基本颜色的概率;计算每一帧图像所对应的颜色特征数据，建立特征信息库，所述颜色特征数据为m行11列的矩阵，元素值为所述概率值，m表示图像中的离散区间个数。
[0011]作为本发明进一步优化的实施例，所述颜色特征数据包含离散区间被命名为基本颜色的概率，计算所述离散区间被命名为基本颜色的概率的方法是基于PLSA-bg文本分析算法。
[0012]本发明的技术方案能够达到以下有益效果:与现有跟踪技术相比，目标的颜色属性可反映目标自身的属性，对光照变化、多场景变化、目标的各种姿态变化有较好的适应性，本发明利用颜色属性取代灰度特征对跟踪目标进行描述，对目标描述更为准确、外界环境干扰小，算法鲁棒性较好;采用PCA技术对颜色特征数据进行降维处理，对目标特征描述更为简练，能成功解决跟踪过程中出现的光照变化、目标遮挡、快速运动、形变、多相似目标干扰等问题。此算法进行视频图像处理，可用于武器制导、安防等领域，并可以扩展到多目标跟踪场景中。综上所述，本发明的方法运算效率高、能够适应目标变化。
【附图说明】
[0013]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
[0014]在附图中:
[0015]图1为本发明基于颜色属性的核相关目标跟踪方法实现位置跟踪的流程图
[0016]图2为本发明基于颜色属性的核相关目标跟踪方法实现姿态识别的流程图
[0017]图3为图像颜色特征数据提取的方法流程图
【具体实施方式】
[0018]以下结合附图，详细说明本申请各实施例提供的技术方案。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0019]如图1所示，是本发明基于颜色属性的核相关目标跟踪方法实现位置跟踪的流程图，包括如下步骤:
[0020]步骤101、建立训练样本集，包含目标处于不同位置的多帧样本图像;具体地，目标处于不同位置的图像用提取前景目标循环偏移序列的方法得到;作为本发明进一步优化的实施例，所述前景目标偏移序列利用基于混合高斯背景建模算法，从任一帧待处理图像中提取；
[0021]步骤102、对所述样本图像进行颜色命名，提取所述样本图像的颜色特征数据；
[0022]步骤103、对视频进行截取获取一帧待处理图像，包含待跟踪的目标，对待处理图像进行颜色命名，提取所述待处理图像的颜色特征数据；
[0023]步骤104、用主分量分析(PCA)技术对所述样本图像和所述待处理图像的颜色特征数据进行降维处理；
[0024]步骤105、基于CSK算法，采用FFT加速计算，再利用核相关响应函数计算样本图像颜色特征数据与待处理图像的颜色特征数据的响应值大小，所述待处理图像中目标的位置被识别为响应值最大的样本图像所包含目标的位置；
[0025]重复步骤103至步骤105。再次执行步骤103时，所述待处理图像为上一次执行步骤103时所述待处理图像的下一帧图像，这样实现连续帧图像中的运动目标识别。
[0026]如图2所示，是本发明基于颜色属性的核相关目标跟踪方法实现姿态识别的流程图，包括如下步骤:
[0027]步骤201、建立训练样本集，包含目标处于不同姿态的多帧样本图像;具体地，目标处于不同姿态的图像可以从公开数据库中查询获得；
[0028]步骤202、对所述样本图像进行颜色命名，提取所述样本图像的颜色特征数据；
[0029]步骤203、对视频进行截取获取一帧待处理图像，包含待跟踪的目标，对待处理图像进行颜色命名，提取所述待处理图像的颜色特征数据；
[0030]步骤204、用主分量分析(PCA)技术对所述样本图像和所述待处理图像的颜色特征数据进行降维处理；
[0031]步骤205、基于CSK算法，采用FFT加速计算，再利用核相关响应函数计算样本图像颜色特征数据与待处理图像的颜色特征数据的响应值大小，所述待处理图像中目标的姿态被识别为响应值最大的样本图像所包含目标的姿态；
[0032]重复步骤203至步骤205。再次执行步骤203时，所述待处理图像为上一次执行步骤203时所述待处理图像的下一帧图像，这样实现连续帧图像中的运动目标识别。
[0033]本发明图1至2所述算法流程中，关于本发明中用主分量分析方法进行降维处理，做如下说明。对待处理图像进行颜色信息提取，从而得到待处理图像对应于11种基本颜色的概率信息，作为颜色特征数据。这是一个高维矩阵，对所述高维矩阵进行降维处理后的矩阵，也可以作为颜色特征数据。将所述颜色特征数据作为CSK算法的输入数据来使用，就是将原始的CSK算法的目标灰度特征替换为目标颜色特征。当使用降维处理后的颜色特征数据时，降维后得到的低维矩阵，其意义在于用最为显著的代表颜色来命名概率，数据量显著减少，计算效率提高。例如，降维处理后的矩阵对应概率值最大的少数几种基本颜色的概率信息，降维处理后的矩阵包含原矩阵的一部分元素集合。
[0034]作为本发明图1至2所述算法进一步优化的实施例，提取颜色特征数据的方法是基于PLSA-bg文本分析算法。
[0035]图3为图像颜色特征数据的提取方法流程图，包含以下步骤
[0036]步骤301、根据色彩空间转换公式，将图像由RGB空间转换到Lab空间，具体过程是，由RGB颜色空间转到CIEXYZ空间、再由CIEXYZ转到Lab空间。
[0037]步骤302、用K均值聚类算法，把图像进行分割，将图像划分为颜色最为接近的簇，从而得到有效的颜色区域。
[0038]K均值聚类算法的基本原理为:先随机选取K个对象作为初始的聚类中心。然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。一旦全部对象都被分配了，每个聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。
[0039]K均值聚类算法具体包括以下步骤:1、初始化簇中心，求出Lab空间中像素点j到第i簇中心的距离，寻找出最小距离值，将像素点j纳入第i簇中；2、将图像中全部点分别纳入各簇中后再重新计算各簇的中心点;3、衡量误差值，重复上述步骤I?2，直至误差值达到最小;4、求出每个簇中心的颜色值与基本颜色值的距离，得到颜色最为接近的簇，从而划分有效的颜色区域。
[0040]步骤303、在Lab空间中划分离散区间，提取各颜色区域内像素点的颜色值，并对应到该像素点所在离散区间。这里必须注意，若Lab空间的离散区间选择太小，学习集中的颜色信息分布将过于分散，若离散区间太大，会降低所得到的颜色信息准确度。例如本发明的实施例，在Lab空间中选定10 X 20 X 20个离散区间(即将L离散为10、a离散为20、b离散为20)。
[0041]步骤304、统计每个离散区间的对应像素点的数量，从而得到单个离散区间某一种颜色的像素点数量在全部离散区间像素点总和中所占的百分比。
[0042]步骤305、求出离散区间被命名为11种基本颜色的概率。在一帧图像中，按照Lab空间划分的4000个离散区间中，每个像素点拥有一个颜色值，且每个像素点属于一个离散区间。但是颜色值和离散区间不是一一对应的。属于某个区间的那些像素点各自的颜色可能不同，因此在一帧图像中就可以统计出每个区间属于某一基本颜色的概率值。表示为:属于某一个离散区间且为某一基本颜色的像素点数量，与属于该离散区间的全部像素点数量的比值。
[0043]当一帧图像用多个样本进行学习时，作为本发明的最佳实施例，是由PLSA-bg算法结合最大似然(EM)算法递归求出离散区间被命名为各基本颜色的概率。Joost vanilde等人对原始的概率潜在语义分析(PLSA)方法进行改进后得到PLSA-bg模型，能够求出图像中像素颜色被标定成基本颜色的概率。
[0044]步骤306、计算每一帧图像所对应的颜色特征数据，建立特征信息库。将11种基本颜色的样本集进行上述步骤处理，得出离散区间与基本颜色相关的比率P(Ulzk)，其中，Zk表示11种基本颜色集中的颜色值，k=l，2，…，ll;Cj表示第j个区间，j = l，2，…，m;m表示图像中的离散区间个数(本实施例中Lab空间中选定1 X 20 X 20个离散区间，则m = 4000)。即得到11种基本颜色对应于离散区间的分布，进而得到离散区间对应这11种基本颜色的概率值，建立相应的特征信息库。所述特征信息库为每一帧图像所对应的颜色特征数据组成。所述颜色特征数据为m行11列的矩阵，元素值为所述概率值。降维处理后的矩阵，对应概率值最大的两列，为m行2列的矩阵，就是原来矩阵的一部分。
[0045]上述步骤301?306中，所述图像为图1?2算法流程所述待处理图像或样本图像。
[0046]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0047]以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
【主权项】
1.一种基于颜色属性的核相关目标跟踪方法，其特征在于，包含以下步骤 对视频进行截取获取一帧待处理图像，包含待跟踪的目标； 建立训练样本集，包含所述目标处于不同位置和/或不同姿态的多帧样本图像； 对所述待处理图像和样本图像进行颜色命名，提取所述待处理图像和样本图像颜色特征数据； 利用核相关算法，计算样本图像颜色特征数据与待处理图像的颜色特征数据的响应值大小，所述待处理图像中目标的位置或姿态被识别为响应值最大的样本图像所包含的目标位置或姿态。2.如权利要求1所述基于颜色属性的核相关目标跟踪方法，其特征在于，进一步包含以下步骤 用主分量分析技术对颜色特征数据进行降维处理。3.如权利要求1?2任一所述基于颜色属性的核相关目标跟踪方法，其特征在于， 目标处于不同位置的图像用提取前景目标循环偏移序列的方法得到。4.如权利要求1?2任一所述基于颜色属性的核相关目标跟踪方法，其特征在于， 目标处于不同姿态的图像从公开数据库中查询获得。5.如权利要求1?2任一所述基于颜色属性的核相关目标跟踪方法，其特征在于，所述颜色特征数据的提取方法包含以下步骤 根据色彩空间转换公式，将图像由RGB空间转换到Lab空间； 用K均值聚类算法，把图像进行分割，将图像划分为颜色最为接近的簇，从而得到有效的颜色区域； 在Lab空间中划分离散区间，提取各颜色区域内像素点的颜色值，并对应到该像素点所在离散区间； 统计每个离散区间内对应像素点的数量，从而得到单个离散区间某一种颜色的像素点数量在全部离散区间像素点总和中所占的百分比； 求出离散区间被命名为11种基本颜色的概率； 计算每一帧图像所对应的颜色特征数据，建立特征信息库，所述颜色特征数据为m行11列的矩阵，元素值为所述概率值，m表示图像中的离散区间个数。6.如权利要求3所述基于颜色属性的核相关目标跟踪方法，其特征在于， 所述前景目标偏移序列利用基于混合高斯背景建模算法提取。7.如权利要求5所述基于颜色属性的核相关目标跟踪方法，其特征在于， 计算离散区间被命名为11种基本颜色的概率的方法是基于PLSA-bg文本分析算法。8.如权利要求5所述基于颜色属性的核相关目标跟踪方法，其特征在于，所述K均值聚类算法具体包括以下步骤: 初始化簇中心，求出Lab空间中像素点j到第i簇中心的距离，寻找出最小距离值，将像素点j纳入第i簇中； 将图像中全部点分别纳入各簇中后再重新计算各簇的中心点； 衡量误差值，重复上述步骤，直至误差值达到最小； 求出每个簇中心的颜色值与基本颜色值的距离，得到颜色最为接近的簇，从而划分有效的颜色区域。9.如权利要求5所述基于颜色属性的核相关目标跟踪方法，其特征在于，进一步包含以下步骤 用主分量分析技术对颜色特征数据进行降维处理后的矩阵，对应概率值最大的两列，为m行2列的矩阵。10.如权利要求7所述基于颜色属性的核相关目标跟踪方法，其特征在于， 当一帧图像用多个样本进行学习时，是由PLSA-bg算法结合最大似然算法求出离散区间被命名为各基本颜色的概率。
【文档编号】G06T7/20GK105844647SQ201610210636
【公开日】2016年8月10日
【申请日】2016年4月6日
【发明人】徐立芳, 郭延景, 莫宏伟, 池澄
【申请人】哈尔滨伟方智能科技开发有限责任公司