结合特征点匹配及深度神经网络检测的目标运动跟踪方法
【专利摘要】本发明公开了一种结合特征点匹配及深度神经网络检测的目标运动跟踪方法。首先利用深度神经网络通过样本学习目标的视觉先验，然后跟踪在贝叶斯推理框架下进行，在跟踪过程中将目标视觉先验用作目标的外观表示，跟踪结果由粒子滤波顺序得到。为了防止跟踪漂移，通过特征点匹配建立系统的状态模型，并且将目标分解成子目标进行相似度量提高算法抗局部遮挡能力。本发明可以精确跟踪视频中的运动目标，能够广泛应用于人机交互、互动娱乐、智能监控、医疗诊断等领域。
【专利说明】结合特征点匹配及深度神经网络检测的目标运动跟踪方法 【技术领域】
[0001] 本发明涉及计算机视觉和视频处理领域，特别涉及基于视频的运动目标跟踪方 法。 【【背景技术】】
[0002] 基于视频的运动目标跟踪能够广泛应用于人机交互、互动娱乐、智能监控等多个 领域。目前，常用的运动目标跟踪方法主要采用判别式跟踪算法或生成式跟踪算法。此两 类跟踪算法各有其优缺点，判别式跟踪算法由于采用了有效的目标视觉表示，在简单的跟 踪环境下能够取得较好的跟踪效果，但在复杂的背景下跟踪效果较差。生成式跟踪算法在 遮挡等复杂环境下跟踪效果较好，但是当目标外观急剧变化时，则跟踪效果较差。 【
【发明内容】
】
[0003] 鉴于此，本发明的目的在于利用这两类跟踪算法的优点，提出一种在复杂环境进 行目标运动精确跟踪的方法。
[0004] 为达到上述目的，本发明采用以下技术方案：
[0005] 1、在公开数据集上训练栈式稀疏自编码神经网络得到目标的先验视觉表示。
[0006] 2、在提取的SIFT匹配点对基础上建立目标函数，并优化该目标函数得运动目标 上下两帧间的运动模型。
[0007] 3、在以上两步的基础上，利用粒子滤波进行运动目标跟踪。
[0008] 与现有技术相比，本发明具有以下显著优势：
[0009] 1、该发明利用深度神经网络学习目标的先验视觉表示，可以提高跟踪的精度。
[0010] 2、该发明利用特征点匹配及深度神经网络检测可以防止跟踪漂移及跟踪丢失。 【【附图说明】】
[0011] 图1是目标跟踪流程图；
[0012] 图2是栈式稀疏自编码神经网络结构图；
[0013] 图3是特征层1稀疏自编码结构图；
[0014] 图4是本发明应用于视频跟踪结果图； 【【具体实施方式】】
[0015] 下面结合附图及【具体实施方式】对本发明作进一步详细描述。
[0016] 本发明所提出的目标运动跟踪算法如图1所示，现具体介绍每一步的实现细节：
[0017] 1、离线训练。利用V0C2010及CaltechlOl数据集进行栈式自编码神经网络训练 得到目标的视觉先验。采用的栈式自编码神经网络结构如图2所示，共分5层，第1层为输 入层，最后一层为softmax分类器，中间三层为稀疏自编码器。训练采用逐层贪婪训练法分 两步进行，第一步依次训练网络的每一层，第二步在第一步计算的每层初始权值的基础上 利用反向传播算法对整个网络进行微调。
[0018] 第一步训练：稀疏自编码器尝试逼近一个恒等函数，从而使得输出i接近于输入 X。以特征层1为例说明稀疏自编码器的结构（见图3)及训练过程。
[0019] 设第i样本为Xl，W，W'，b，b'分别为输入层与隐含层及隐含层与输出 层之间的权值矩阵及偏置向量。输入层（ Xl=[Xl(1)，x2(1)，…， Xlffi4(1)，l]T)，隐含层 (h, ，<"为第i样本下隐含层神经元j的激励输出）及输出层 (孓4('>y)具有以下关系
[0020] h;.=/(Wx;+b),x =/(W'h(+b') ⑴
[0021] 其中 f (?)为 logistic sigmoid 函数。
[0022] 建立稀疏自编码器的目标函数为
[0023] m 'rse (w，wb，b ') = J(W，W '，b，b') + /^[KL(p || A)] (2) 产1
[0024] 其中e控制稀疏性惩罚因子的权重，J(W，r，b，b')为代价函数，定义为 III
[0026] /?HkL(p|| P,)]为稀疏约束项，其中m为隐含层神经元的数量，p是稀疏性参数， 通常是一个接近于〇的较小的值，0用来控制约束项的权重。之间的交叉 熵。
[0027] 稀疏自编码器为求解使式（2)最小化的参数，即
[0028] W, Wb, b' = arg wmin b (Jsparsc (W, Wb, b')) (4)
[0029] 第二步微调：在第一步训练过程中，由于训练每一层参数时，会固定其它各层参数 保持不变，因而如果想得到更好的结果，在上述预训练过程完成之后，可以通过反向传播算 法同时调整所有层的参数以改善结果。
[0030] 为了提高算法抵抗局部遮挡的能力，除了训练一个整体目标自编码深度神经网 络，同时将目标分成四个不重叠的子目标（上半部分，下半部分，左半部分及右半部分）分 别训练一个自编码深度神经网络，由于尺寸减少一半，因而这四个子目标对应的自编码深 度神经网络的输入层的大小都为512。这样做的好处在于在局部遮挡下，目标部分区域可 见，利用部分可见区域进行目标相似性度量可以提高算法的可靠性。
[0031] 2、目标跟踪。本发明采用粒子滤波作为跟踪的基本方法。粒子滤波跟踪的精度依 赖于状态模型及观测模型的可靠性，下面说明这两个模型的构建。
[0032] 2. 1状态模型构建
[0033] 我们以向量\=(尤,'，兄|乂,;；,23,3，;；,3，<,)，； 1)/'表示目标状态，（'1,乃1)、（<,7, 2)、 O,3，X5 )、（<,/)分别为目标在图像中左上角、左下角、右上角、右下角的坐标。采用的状态 模型如下
[0034] /7(X,丨 X,-】）=g(X,_, ) + '_,，V,-, ~ 7V(0, Z) (5)
[0035] 其中N(0, E )为零向量均值多元高斯函数，E为对角矩阵。g(xt D为运动模型， 采用六参数仿射变换定义如下
[0036] |x, =a,xt_, +a2y^ + aa V，= a4x,-^ + + a3 (6)
[0037] 其中a。，ap a2, a3, a4, 85为运动模型参数，米用以下方法计算得到。
[0038] 由上式定义误差函数为
[0039] E(p;x) = [m 从 _,叫 L少,-七义,-,--巧」 1J
[0040] 其中 P = (a。，ap a2, a3, a4, a5)T，x = (xt，yt，xt+1，yt+1)为两匹配 SIFT 特征点在图 像上的坐标。最小化下式可以求得运动模型参数
[0041 ] p* = arg min jj] E(p; x)1 E(p; x)| ⑶
[0042] 采用Gauss-Newton迭代法来优化上式。
[0043] 2. 2观测模型构建
[0044] 以深度神经网络的输出作为粒子的相似度，由于共有5个深度神经网络，故粒子 的相似度结合目标及子目标的深度神经网络输出，定义如下
[0045] p(z, Ixjoc^, -c{ +6>2-max(c；,cf,c；,c；) (9)
[0046] 其中0 p 0 2为相似度系数，满足0彳0 2= 1，其值根据实验调整设置；为目标 深度神经网络的输出，< , <, < 分别为四个子目标深度神经网络的输出。
[0047] 2. 3在线目标跟踪
[0048] 待跟踪的目标由用户在首帧中标注得到，并且提取待跟踪目标图像区域中的SIFT 特征。在首帧中提取目标的正负样本对离线训练得到的栈式稀疏自编码深度神经网络进行 再训练得到目标的视觉专用表示模型。正样本集由选定目标区域根据以下变换方程得到，
[0049] ^x'^j f cos0 sin^V 1 sin 61 cos/9 1JU (1〇)
[0050] 其中（x，y)T为选定目标区域中的像素点坐标，（x'，y' ) T为变换后的区域像素 点坐标，0，S为变换参数，0为变换角度，取值范围为0 G [-31/4, Jl/4]，s为变换尺度， 取值范围为S G [0. 8,1. 2]。随机选择一组（0，s)值根据式（10)将目标模板进行变换作 为一个训练正样本，负样本集则以选定目标区域之外的图像区域作为数据源，以不同的尺 度及位置从这些数据源中提取负样本。
[0051] 目标在线跟踪算法流程如图1所示。在本算法中还设定两个阈值&1，a 2，且ai> a2，其中％用来判定当前跟踪结果是否可靠，如果可信度超过该阈值，则将跟踪结果作为一 个新的正样本，并从该区域以外的图像区域选择负样本，重新训练深度神经网络。a 2用来判 定粒子滤波跟踪是否发生漂移，如果所有粒子的相似度都低于该阈值，则表明跟踪器失效， 需要由深度神经网络扫描整个图像进行目标检测，并根据检测结果进行粒子滤波器重新初 始化。
[0052] 将本方法应用于视频的目标跟踪结果见图4。
【主权项】
1. 一种结合特征点匹配及深度神经网络检测的目标运动跟踪方法。其特征在于包括以 下步骤： a) 在V0C2010及CaltechlOl数据集进行栈式自编码神经网络训练得到目标的视觉先 验。 b) 提取的SIFT匹配点对并上建立目标函数，优化该目标函数得运动目标上下两帧间 的运动模型。 c) 在以上两步的基础上，利用粒子滤波进行运动目标跟踪。2. 根据权利要求1所述的一种结合特征点匹配及深度神经网络检测的目标运动跟踪 方法，其特征在于：所述步骤b)中建立以下误差函数。
【文档编号】G06K9/62GK105894008SQ201410767363
【公开日】2016年8月24日
【申请日】2015年1月16日
【发明人】陈姝
【申请人】广西卡斯特动漫有限公司, 陈姝