一种结合高斯核函数的卷积神经网络跟踪方法与流程

文档序号:14396333阅读:1605来源:国知局

本发明涉及计算机视觉的目标跟踪领域,特别是一种结合高斯核函数的卷积神经网络跟踪方法。



背景技术:

视觉跟踪是计算机视觉领域的研究热点,在虚拟现实、人机交互、智能监控、增强现实、机器感知等场景中有着重要的研究与应用价值。视觉跟踪主要通过分析视频图片序列,对检测出的各个候选目标区域实施匹配,定位跟踪目标在视频序列中的位置。目前跟踪算法已经取得很多研究成果,但在实际中应对各类复杂场景时仍面临很大挑战,例如面对遮挡、形变、视频序列分辨率低等诸多因素影响时,如何实现更加鲁棒和准确的跟踪仍然是目前研究的核心。

传统跟踪算法大多数直接使用视频图像序列中的像素值特征进行建模,当跟踪过程中出现复杂场景等较大挑战时,浅层的像素级特征无法很好应对。

因此,本发明人对其进一步的探索和研究,提出一种结合高斯核函数的卷积神经网络跟踪方法。



技术实现要素:

为了解决深度学习在跟踪领域的问题,本发明提出结合高斯核函数的卷积神经网络跟踪方法:

本发明提出一种结合高斯核函数的卷积神经网络跟踪方法,包括以下步骤:

步骤1、初始化:包括针对各帧图像的归一化,粒子滤波,网络规模和样本容量这些参数的设置;且设置的参数包括滤波网络取片尺寸w*w,滤波器数p,归一化尺寸n*n,粒子滤波器的目标状态的标准偏差σx,σy,σs以及使用n个粒子;

步骤2、初始滤波器提取:针对第一帧图像的目标,通过滑动窗口和k-means聚类提取一个初始滤波器组用以后续网络的滤波器使用,在跟踪过程中此滤波器组保持不变;

步骤3、根据卷积神经网络结构,先提取各候选样本的深层抽象特征,再利用高斯核函数方式加速卷积计算,其具体包括:

步骤31、简单层特征提取:针对输入图像帧,通过预处理将图像归一化到n*n大小,对目标区域利用w*w大小的滑动窗口进行采样,得到长度为l的图像块组x;

步骤32、用k-means聚类的方法从l=(n-w+1)×(n-w+1)个图像块中聚类得到d个图像块滤波器作为卷积核,将卷积核记作

步骤33、对输入的图像i所对应的响应如公式(1)所示:

其中,s为第一层卷积结果,f为卷积核;

步骤34、对图像的目标周围的区域随机采样得到l个样本,同样进行k-means聚类获得图像的背景模板:

步骤35、采用均值池化方式处理所有图像的背景模板得到平均背景:

其中,fb为背景卷积核,b是标明为背景,d是获取一组背景模板的总个数,m为平均池化操作的参数;

步骤36、简单层的特征表达如公式(2)所示:

步骤37、复杂层特征提取:将d个简单层的特征进行堆叠,构成一个三维张量来表示目标的复杂层特征,并将该复杂层特征记作c∈r(n-w+1)×(n-w+1)×d

步骤38、采用稀疏表达的方式表示特征得到特征张量的c的稀疏表达,且

步骤39、根据soft-shrinking方法获得目标特征表达如公式(3)所示:

步骤310、利用高斯核函数进行卷积运算,其表达式如下公式(4)所示:

其中,*表示复共轭,k(x,x′)表示高斯核函数;

步骤311、设是一个高维核希尔伯特空间的映射,则核函数权重可表示为其中,系数向量为α,元素为αi;

步骤312、要求解的参数由v变为α,则核正则化最小二乘分类器(kernelizedregularizedleastsquare,krls)的闭式解可表示为:

α=(k+λi)-1y(5)

其中,k是核函数矩阵,矩阵元素为kij=k(xi,xj),i是单位矩阵,向量y的元素为yi,

由于k是循环矩阵,则将上述公式(5)可转换到dft域,

其中,是核函数矩阵k的第一行元素组成的向量,符号∧表示傅里叶变换;

步骤4、特征匹配与定位:利用粒子滤波跟踪框架,进行特征匹配与定位,以进行目标跟踪。

所述步骤4具体包括:

步骤41、设第t帧时总观测序列为ot={o1,...,ot},根据贝叶斯理论,求出后验概率p的最大值,

p(st|ot)∝p(ot|st)∫p(st|st-1)p(st-1|ot-1)dst-1(7)

其中st=[xt,yt,st]t,其中xt,yt为目标的位置,st为尺度参数,p(st|st-1)为运动模型,p(st|ot)为观测模型。

步骤42、对于运动模型p(st|st-1),假设目标状态参数相互独立,用三个高斯分布描述,则运动模型即为布朗运动,

p(st|st-1)=n(st|st-1,∑s)(8)

其中∑s=diag(σx,σy,σt)为对角协方差矩阵;

步骤43、对于观测模型p(st|ot);通过测量样本目标之间的相似度计算:

步骤44、最终根据公式(9)跟踪目标:

在所述步骤4之后,若处理的是最后一帧图像,则输出结果,若不是最后一帧图像,则依次进入步骤5和6;

其中步骤5、网络更新:包括采取限定阈值的方式,即当所有粒子中最高的置信值低于阈值时,更新网络,利用初始滤波器组,结合跟踪过程中得到目前前景滤波器组,通过不同权重进行相加,得到新的卷积网络滤波器;

步骤6、模板更新:利用一个模板匹配方案进行模板更新。

所述步骤6具体包括:

步骤61、以第一帧中目标的中心点为中心,偏移量为±1范围内进行等尺寸采样,构成正样本集合。

步骤62、以当前帧的近、远2类距离采样,构成负样本集合;正模板在整个序列中相同;预设一个更新阈值,当达到阈值时更新一次模板。

本发明相比现有技术,具有的优点如下:

本发明方法引入高斯核函数加速计算,采用简化后的卷积神经网络,脱离深度学习算法苛刻的运行环境,提取目标的深度抽象特征。第一层利用k-means在第一帧中提取归一化图像块作为滤波器组提取目标的简单层特征,第二层将简单的单元特征图堆叠形成一个复杂的特征映射,并编码目标的局部结构位置信息,实现了鲁棒的跟踪。

下面结合附图对本发明做进一步的说明。

附图说明

图1为本发明一种结合高斯核函数的卷积神经网络跟踪方法的处理流程图。

具体实施方式

如图1所示本实施例揭示的一种结合高斯核函数的卷积神经网络跟踪方法,具体包括以下步骤:

步骤1、初始化:包括针对各帧图像的归一化,粒子滤波,网络规模和样本容量这些参数的设置;且设置的参数包括滤波网络取片尺寸w*w(6×6),滤波器数p=100,归一化尺寸n*n(32×32),粒子滤波器的目标状态的标准偏差设置如下:σx=4,σy=4,σs=0.01,使用n=300个粒子;

步骤2、初始滤波器提取:针对第一帧图像的目标(即首帧),通过滑动窗口和k-means聚类提取一个初始滤波器组用以后续网络的滤波器使用,在跟踪过程中此滤波器组保持不变;

步骤3、根据卷积神经网络结构,先提取各候选样本的深层抽象特征,再利用高斯核函数方式加速卷积计算,其具体包括:

步骤31、简单层特征提取:针对输入图像帧,通过预处理将图像归一化到n*n大小,对目标区域利用w*w大小的滑动窗口进行采样,得到长度为l的图像块组x,这里w=6;

步骤32、用k-means聚类的方法从l=(n-w+1)×(n-w+1)(此l与步骤31的l相同)个图像块中聚类得到d个图像块滤波器作为卷积核,将卷积核记作

步骤33、对输入的图像i所对应的响应如公式(1)所示:

其中,s为第一层卷积结果,f为卷积核;

步骤34、对图像的目标周围的区域随机采样得到l个样本,同样进行k-means聚类获得图像的背景模板:

步骤35、采用均值池化方式处理所有图像的背景模板得到平均背景:

其中,fb为背景卷积核,b是标明为背景,d是获取一组背景模板的总个数,m为平均池化操作的参数;

步骤36、简单层的特征表达如公式(2)所示:

步骤37、复杂层特征提取:将d个简单层的特征进行堆叠,构成一个三维张量来表示目标的复杂层特征,并将该复杂层特征记作c∈r(n-w+1)×(n-w+1)×d

步骤38、采用稀疏表达的方式表示特征得到特征张量的c的稀疏表达,且

步骤39、根据soft-shrinking方法获得目标特征表达如公式(3)所示:

步骤310、利用高斯核函数进行卷积运算,其表达式如下公式(4)所示:

其中,*表示复共轭,k(x,x′)表示高斯核函数;

步骤311、设是一个高维核希尔伯特空间的映射,则核函数权重可表示为其中,系数向量为α,元素为αi;

步骤312、要求解的参数由v变为α,则核正则化最小二乘分类器(kernelizedregularizedleastsquare,krls)的闭式解可表示为:

α=(k+λi)-1y(5)

其中,k是核函数矩阵,矩阵元素为kij=k(xi,xj),i是单位矩阵,向量y的元素为yi,

由于k是循环矩阵,则将上述公式(5)可转换到dft域,

其中,是核函数矩阵k的第一行元素组成的向量,符号∧表示傅里叶变换;krls分类器的闭式解可利用fft快速得到。

步骤4、特征匹配与定位:利用粒子滤波跟踪框架,进行特征匹配与定位,以进行目标跟踪,其具体包括:

步骤41、设第t帧时总观测序列为ot={o1,...,ot},根据贝叶斯理论,求出后验概率p的最大值,

p(st|ot)∝p(ot|st)∫p(st|st-1)p(st-1|ot-1)dst-1(7)

其中st=[xt,yt,st]t,其中xt,yt为目标的位置,st为尺度参数,p(st|st-1)为运动模型,p(st|ot)为观测模型。

步骤42、对于运动模型p(st|st-1),假设目标状态参数相互独立,用三个高斯分布描述,则运动模型即为布朗运动,

p(st|st-1)=n(st|st-1,∑s)(8)

其中∑s=diag(σx,σy,σt)为对角协方差矩阵;

步骤43、对于观测模型p(st|ot);通过测量样本目标之间的相似度计算:

步骤44、最终根据公式(9)跟踪目标:

在所述步骤4之后,若处理的是最后一帧图像,则输出结果,若不是最后一帧图像,则依次进入步骤5和6;

其中步骤5、网络更新:包括采取限定阈值的方式,即当所有粒子中最高的置信值低于阈值时,更新网络,利用初始滤波器组,结合跟踪过程中得到目前前景滤波器组,通过不同权重进行相加,得到新的卷积网络滤波器;

步骤6、模板更新:利用一个模板匹配方案进行模板更新,其具体包括:

步骤61、以第一帧中目标的中心点为中心,偏移量为±1范围内进行等尺寸采样,构成正样本集合。

步骤62、以当前帧的近、远2类距离采样,构成负样本集合;正模板在整个序列中相同;预设一个更新阈值,当达到阈值时更新一次模板。

上述说明示出并描述了本发明的优选实施例,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文发明构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1