专利名称：一种基于多特征自适应融合和在线学习的目标跟踪方法
技术领域：
本发明涉及目标跟踪领域，特别涉及一种基于多特征自适应融合和在线学习的目标跟踪方法。
背景技术：
视频目标跟踪是指对视频序列中目标的检测、表征和轨迹提取的过程。视频目标跟踪在视频监控、事件分析、人机交互等领域都有实际应用需求。目前，世界上最先进的监控系统也不能完美地处理复杂场景下的动态跟踪任务，例如:形变、遮挡、光照变化、阴影或拥挤环境下的跟踪。特别在目标间发生部分遮挡以及目标发生形变时，目标跟踪仍是个挑战。基于单特征的跟踪方法通常初始化目标区域，提取任意目标特征，例如:颜色特征，在下一帧进行搜索和匹配。但该方法很难处理复杂背景下的跟踪任务，造成对目标跟踪以及后续的轨迹评估不具鲁棒性。为此，现有技术中又提出了基于多特征的目标跟踪方法，该方法通常提取颜色、边缘等特征，可以较好地完成某些复杂情况下的跟踪任务。发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足:基于多特征的目标跟踪方法无法适应目标外形的变化，不能很好的解决目标之间发生部分遮挡后跟踪漂移的问题。
发明内容
本发明提供了一种基于多特征自适应融合和在线学习的目标跟踪方法，本方法避免了跟踪漂移的问题，很好的适应了目标外形的变化，详见下文描述:一种基于多特征自适应融合和在线学习的目标跟踪方法，所述方法包括以下步骤:(I)从一帧图像中选定目标区域，提取目标特征并作为模板特征；(2)初始化识别器，输入下一帧图像，初始化候选目标区域；根据转移公式获取新候选目标区域；(3)对所述新候选目标区域分别提取颜色、边缘、纹理三种特征；根据各特征的辨别性和相关性进行自适应融合；(4)计算融合后特征与模版特征的巴氏距离，将所述巴氏距离归一化后作为所述新候选目标区域的权重；(5)将N个新候选目标区域按照权重大小进行排序，若重采样判断值大于重采样判决阈值，进行重采样，执行步骤(6);如果否，执行步骤(6)；(6)对最大权重的新候选目标区域与所述目标区域进行重叠判断，若重叠率小于重叠率阈值执行步骤(7);否则，执行步骤(8)；(7)将最大权重的新候选目标区域的多倍区域输入检测器，若所述检测器输出0，表示跟踪失败；否则将所述检测器输出结果输入到识别器，若所述识别器输出是，表示跟踪成功并更新所述识别器、所述模板特征和所述目标区域；若输出否，表示发现新目标，流程结束；(8)重叠率大于等于重叠率阈值，则认为跟踪成功，更新所述识别器、所述模板特征和所述目标区域，流程结束。所述提取目标特征并作为模板特征的步骤具体包括:I)提取颜色特征信息；2)提取边缘特征信息；3)提取纹理特征信息；4)融合所述颜色特征信息、所述边缘特征信息和所述纹理特征信息，得到目标特征直方图，作为所述模板特征。所述提取颜色特征信息的步骤具体包括:I)将颜色空间分为彩色区域和非彩色区域，对所述彩色区域和所述非彩色区域进行HSV分区，获取QhXQs个彩色子区间和Qv个非彩色子区间，将所述QhXQs个彩色子区间和所述Qv个非彩色子区间作为QhXQs+Qv个颜色区间u ；2)根据像素点与目标区域中心点的距离远近对所述像素点赋予不同的权值，根据所述像素点的HSV对相应的颜色区间u进行投票；3)统计每一颜色区间的投票值得到颜色特征直方图。所述提取边缘特征信息的步骤具体包括:I)对所述目标区域插值得到2倍宽和高的插值区域，然后分别对所述目标区域和所述插值区域分块；2)计算每一子块的边缘强度和方向，在0° -360°范围内将边缘方向划分为若干个方向区域，根据边缘强度对方向区域投票，得到每一子块的边缘特征直方图；3)将每一子块计算得到的所述边缘特征直方图连接起来得到完整边缘特征直方图。所述提取纹理特征信息的步骤具体包括:I)对每一子块，计算局部二值模式特征直方图；2)将每一子块计算得到的所述局部二值模式特征直方图连接起来得到完整纹理特征直方图。所述辨别性定义为所述新候选目标区域与相邻背景关于某一特征的相似程度，用两直方图的巴氏系数表不。所述相关性定义为所述新候选目标区域与所述模版特征关于某一特征的相似程度，用两直方图的巴氏系数表不。所述更新识别器具体为:正样本由所述检测器验证过的新候选目标区域组成，负样本为背景中随机选取的与新候选目标区域等尺寸的区域；所述更新模板特征具体为:将最大权重的新候选目标区域的特征作为更新后的模板特征；所述更新目标区域具体为:将最大权重的新候选目标区域作为更新后的目标区域。
本发明提供的技术方案的有益效果是:本方法克服了单特征的单一性，增强了不同场景以及一定形变情况下目标跟踪的适应能力，并且避免了遮挡后易发生跟踪漂移的问题，大大提闻了目标跟踪的精确性和鲁棒性。
图1为一种基于多特征自适应融合和在线学习的目标跟踪方法的流程图；图2为初始化目标区域的示意图；图3为目标I发生遮挡的示意图；图4为通过在线学习成功找回遮挡丢失的目标的示意图；图5为另一初始化目标区域的不意图；图6为目标I和目标2发生交错遮挡的示意图；图7为精确跟踪没有发生跟踪漂移的示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。为了避免跟踪漂移的问题，很好的适应目标外形的变化，本发明实施例提供了一种基于多特征自适应融合和在线学习的目标跟踪方法，在线学习通过实时自动学习，可以克服目标形变以及跟踪漂移带来的问题，较好地实现了预期的跟踪效果，参见图1，详见下文描述:101:将任意视频序列的一帧作为输入，从一帧图像中选定目标区域，提取目标特征并作为模板特征；其中，选定目标区域的操作为本领域技术人员所公知，目标区域为矩形区域，例如:根据实际需求可以人为手工选定被跟踪对象所在矩形区域；或者采用被检测对象模型(例如:人体检测模型[I])进行自动检测，计算模版特征。其中，提取目标特征并作为模板特征的步骤具体为:I)提取颜色特征信息；本方法采用基于HSV (色度、饱和度和亮度)颜色空间模型的核加权颜色特征直方图对目标进行建模，基本思想是:(I)将颜色空间分为彩色区域和非彩色区域，对彩色区域和非彩色区域进行HSV分区，获取QhXQs个彩色子区间和Qv个非彩色子区间，将QhXQs个彩色子区间和Qv个非彩色子区间作为QhXQs+Qv个颜色区间u ；例如:所有亮度小于20%或者饱和度小于10%均归入非彩色区域，并按亮度值分为Qv个非彩色子区间，非彩色区域以外的颜色区域为彩色区域，按色度和饱和度分为QhXQs个彩色子区间。(2)根据像素点与目标区域中心点的距离远近对像素点赋予不同的权值(即对距离目标中心较远的像素点赋予较小的权值，从而减弱目标边界及背景的干扰)，根据像素点的HSV对相应的颜色区间u进行投票；定义目标区域为宽W，高H的矩形区域。在目标区域边界的像素点可能属于背景或发生了部分遮挡，为了增加颜色分布的可靠性，采用如下函数分配权重:
权利要求
1.一种基于多特征自适应融合和在线学习的目标跟踪方法，其特征在于，所述方法包括以下步骤: (1)从一帧图像中选定目标区域，提取目标特征并作为模板特征； (2)初始化识别器，输入下一帧图像，初始化候选目标区域；根据转移公式获取新候选目标区域； (3)对所述新候选目标区域分别提取颜色、边缘、纹理三种特征；根据各特征的辨别性和相关性进行自适应融合； (4)计算融合后特征与模版特征的巴氏距离，将所述巴氏距离归一化后作为所述新候选目标区域的权重； (5)将N个新候选目标区域按照权重大小进行排序，若重采样判断值大于重采样判决阈值，进行重采样，执行步骤(6);如果否，执行步骤(6)； (6)对最大权重的新候选目标区域与所述目标区域进行重叠判断，若重叠率小于重叠率阈值执行步骤(7);否则，执行步骤(8)； (7)将最大权重的新候选目标区域的多倍区域输入检测器，若所述检测器输出O，表示跟踪失败；否则将所述检测器输出结果输入到识别器，若所述识别器输出是，表示跟踪成功并更新所述识别器、所述模板特征和所述目标区域；若输出否，表示发现新目标，流程结束； (8)重叠率大于等于重叠率阈值，则认为跟踪成功，更新所述识别器、所述模板特征和所述目标区域，流程结束。
2.根据权利要求1所述的一种基于多特征自适应融合和在线学习的目标跟踪方法，其特征在于，所述提取目标特征并作为模板特征的步骤具体包括: 1)提取颜色特征信息； 2)提取边缘特征信息； 3)提取纹理特征信息； 4)融合所述颜色特征信息、所述边缘特征信息和所述纹理特征信息，得到目标特征直方图，作为所述模板特征。
3.根据权利要求2所述的一种基于多特征自适应融合和在线学习的目标跟踪方法，其特征在于，所述提取颜色特征信息的步骤具体包括: 1)将颜色空间分为彩色区域和非彩色区域，对所述彩色区域和所述非彩色区域进行HSV分区，获取qxQs个彩色子区间和Qv个非彩色子区间，将所述QhXQs个彩色子区间和所述Qv个非彩色子区间作为QhXQs+Qv个颜色区间u ； 2)根据像素点与目标区域中心点的距离远近对所述像素点赋予不同的权值，根据所述像素点的HSV对相应的颜色区间u进行投票； 3)统计每一颜色区间的投票值得到颜色特征直方图。
4.根据权利要求2所述的一种基于多特征自适应融合和在线学习的目标跟踪方法，其特征在于，所述提取边缘特征信息的步骤具体包括: 1)对所述目标区域插值得到2倍宽和高的插值区域，然后分别对所述目标区域和所述插值区域分块； 2)计算每一子块的边缘强度和方向，在0°-360°范围内将边缘方向划分为若干个方向区域，根据边缘强度对方向区域投票，得到每一子块的边缘特征直方图； 3)将每一子块计算得到的所述边缘特征直方图连接起来得到完整边缘特征直方图。
5.根据权利要求2所述的一种基于多特征自适应融合和在线学习的目标跟踪方法，其特征在于，所述提取纹理特征信息的步骤具体包括: 1)对每一子块，计算局部二值模式特征直方图； 2)将每一子块计算得到的所述局部二值模式特征直方图连接起来得到完整纹理特征直方图。
6.根据权利要求1所述的一种基于多特征自适应融合和在线学习的目标跟踪方法，其特征在于，所述辨别性定义为所述新候选目标区域与相邻背景关于某一特征的相似程度，用两直方图的巴氏系数表示。
7.根据权利要求1所述的一种基于多特征自适应融合和在线学习的目标跟踪方法，其特征在于，所述相关性定义为所述新候选目标区域与所述模版特征关于某一特征的相似程度，用两直方图的巴氏系数表不。
8.根据权利要求1所述的一种基于多特征自适应融合和在线学习的目标跟踪方法，其特征在于， 所述更新识别器具体为:正样本由所述检测器验证过的新候选目标区域组成，负样本为背景中随机选取的与新候选目标区域等尺寸的区域； 所述更新模板特征具体为:将最大权重的新候选目标区域的特征作为更新后的模板特征； 所述更新目标区域具体为:将最大权重的新候选目标区域作为更新后的目标区域。
全文摘要
本发明公开了一种基于多特征自适应融合和在线学习的目标跟踪方法，提取目标特征并作为模板特征；对新候选目标区域分别提取三种特征；根据各特征的辨别性和相关性进行自适应融合；计算融合后特征与模版特征的巴氏距离，将巴氏距离归一化后作为新候选目标区域的权重；对最大权重的新候选目标区域与目标区域进行重叠判断，若重叠率小于重叠率阈值将最大权重的新候选目标区域的多倍区域输入检测器，当识别器输出是，表示跟踪成功并更新识别器、模板特征和目标区域；若输出否，表示发现新目标；若重叠率大于等于重叠率阈值，更新识别器、模板特征和目标区域。增强了不同场景以及一定形变情况下目标跟踪的适应能力，避免了遮挡后易发生跟踪漂移的问题。
文档编号G06T7/20GK103198493SQ20131012157
公开日2013年7月10日 申请日期2013年4月9日 优先权日2013年4月9日
发明者苏育挺, 刘安安, 刘晓伟 申请人:天津大学