一种在线视频目标跟踪方法和装置制造方法
【专利摘要】本发明涉及一种在线视频目标跟踪方法及装置，包括以下步骤：获取在线视频中的起始帧图像的图像特征，建立初始背景模型；获取下一帧图像；将初始背景模型与下一帧图像进行对比，得到对比结果，根据对比结果更新初始背景模型；获取前景图像，并提取前景目标；利用在线学习方法获得目标特征，对前景目标进行定位，得到前景目标的位置信息；对前景目标的位置进行标记，将标记后的下一帧图像输出；组合所有输出的下一帧图像，得到前景目标的运行轨迹。本发明针对实时监控视频进行处理，在第一时间对目标进行跟踪，无需在获得全部原始视频图像后再进行目标跟踪，保证了数据的实时有效性，也避免了现有跟踪方式对多目标交叉遮挡之后对准确率的影响。
【专利说明】一种在线视频目标跟踪方法和装置
【技术领域】
[0001]本发明涉及视频流的分析与处理领域，特别涉及一种在线视频目标跟踪方法和装置。
【背景技术】
[0002]近年来，随着数字媒体技术和智能视频监控技术的高速发展，公共安全形势受到社会和公众的广泛关注，多媒体和安防视频数据呈爆炸式增长。传统耗时的简单原始的靠人工浏览方式已远远不能满足人们对视频信息分析和处理的需求。因此，迫切需要一种处理速度快、目标跟踪准，且具有良好健壮性的在线视频目标跟踪方法和系统。
[0003]目标跟踪就是在一段图像序列中的实时找到所感兴趣的运动目标，包括其位置、速度及加速度等运动参数。目标跟踪是计算机视觉领域研究的热点问题，随着计算机技术的发展而得到迅猛的发展，目标跟踪技术也由此得到了长足的进步。上世纪对图像的处理主要是集中于单幅图像的处理，即便在动态图像序列中跟踪运动目标，也带有浓厚的静态图像处理的特点。直到上世纪八十年代BKP Horn等人提出了光流法(Optical Flow,参见 Determining Optical Flow, BKP Horn, BG Schunck, Artificialintelligence, 1981, Elsevier),目标跟踪研究才真正意义上步入了动态图像序列的研究领域。但是由于光流法对计算机处理速度要求极高，在实际应用领域很难满足实时性的需求。另外，视频序列存在的噪声会对光流法跟踪产生极大的干扰，因此光流法现阶段很难应用到实际场合。
[0004]目标跟踪领域的跟踪算法层出不穷，在跟踪效果上能满足某些应用背景的要求，但缺乏通用性。1975年Fukunaga等人在一篇关于概率密度梯度函数的估计中首次提出均值偏移(Mean Shift,参见 The Estimation of the Gradient of a DensityFunction, with Applications in Pattern Recognition)概念，Yizong Zheng 于 1995 年在“Mean Shift Mode Seeking and Clustering”一文中拓展了 Mean Shift 的适用范围。虽然用Mean Shift算法对目标跟踪有着速度快，并且具有较强的抗干扰能力，但是该算法对不同环境、不同运动特性的目标进行跟踪，也会产生一些影响跟踪稳定性的因素。比如对复杂背景下的目标跟踪，对运动中发生了形变、缩放、遮挡等情况的目标进行长时间跟踪时，其跟踪稳定性受到较大的影响。针对这些问题，虽然可以通过合理的目标特征选取、有效地核函数(Kernel Function具体参见黄继斌，核函数的概念、性质及其应用，湖北师范学院学报，2007)、带宽自适应更新、模板更新和遮挡检测机制进行解决，然而在很多不同的应用环境下，要做到以上四点并不是件容易的事情。虽然有很多学者针对这些做了很多研究，并在不同程度上解决了上述问题，但要么是算法复杂度难以满足实时性，要么就是有许多前提条件，从而使实际的跟踪效果并不理想。在目标跟踪过程中，直接对场景中的所有目标进行匹配运算，寻找最佳匹配位置，需要处理大量的冗余信息，这样运算量比较大，而且没有必要。一类常见的方法是预测运动物体下一帧可能出现的位置，在其相关区域内寻找最优点° Kalman 滤波器(Kalman Filter,参见 A New Approach to Linear Filtering andPrediction Problems, RE Kalman, Journal of basic Engineering, 1960)是一个对动态系统的状态序列进行线性最小方差估计的算法，它通过状态方程和观测方程来描述一个动态系统，基于系统以前的状态序列对下一个状态作最优估计，预测时具有无偏、稳定和最优的特点，且具有计算量小、可实时计算的特点，可以准确的预测目标的位置和速度，但其只适合于线性且呈高斯分布的系统。
【发明内容】
[0005]本发明所要解决的技术问题是提供一种实时获取在线视频并对在线视频中的目标进行在线跟踪的在线视频目标跟踪方法及装置。
[0006]本发明解决上述技术问题的技术方案如下:一种在线视频目标跟踪方法，包括以下步骤:
[0007]步骤1:获取在线视频中的起始帧图像，提取图像特征，根据图像特征建立初始背景模型；
[0008]步骤2:获取下一帧图像，同时转入步骤3和步骤4 ；
[0009]步骤3:将初始背景模型的图像特征与下一帧图像的图像特征进行对比，得到对比结果，根据对比结果更新初始背景模型；
[0010]步骤4:获取下一帧图像中的前景图像，在前景图像中提取前景目标；
[0011]步骤5:利用在线学习方法获得前景目标的目标特征，根据目标特征在下一帧图像中对前景目标进行定位，得到前景目标的位置信息；
[0012]步骤6:根据前景目标的位置信息在下一帧图像中对前景目标的位置进行标记，将标记后的下一巾贞图像输出；
[0013]步骤7:重复执行步骤2至步骤6，直至在线视频输入完毕，组合所有输出的下一帧图像，得到前景目标的运行轨迹。
[0014]本发明的有益效果是:本发明针对实时监控视频进行处理，在第一时间对目标进行跟踪，无需在获得全部原始视频图像后再进行目标跟踪，保证了数据的实时有效性，也避免了现有跟踪方式对多目标交叉遮挡之后对准确率的影响，本发明采用的算法具有较高的合理性以及运行效率，降低了复杂度，提高了准确率。
[0015]在上述技术方案的基础上，本发明还可以做如下改进。
[0016]进一步，所述在线学习方法具体为采用Boosting学习算法和流形学习方法分别获取前景目标的目标特征，分别得到第一特征和第二特征，采用加权系数的方式整合第一特征和第二特征，得到最终的目标特征。
[0017]进一步，所述图像特征包括纹理特征。
[0018]进一步,所述步骤3进一步包括:
[0019]步骤3.1:将初始背景模型的纹理特征与下一帧图像的纹理特征进行匹配计算；
[0020]步骤3.2:如果初始背景模型的图像特征与下一帧图像的图像特征匹配，将匹配部分的像素点标记为背景，转入步骤3.3，否则，将不匹配部分的像素点标记为前景，转入步骤 3.3 ;
[0021]步骤3.3:根据标记的前景和背景更新初始背景模型，转入步骤3.1。
[0022]进一步，一种在线视频目标跟踪装置，包括背景建模单元，目标提取单元，目标特征在线学习单元，目标定位单元和序列标记单元；
[0023]所述背景建模单元，用于获取在线视频中的起始帧图像，提取图像特征，根据图像特征建立初始背景模型，获取下一帧图像，将初始背景模型的图像特征与下一帧图像的图像特征进行对比，得到对比结果，根据对比结果更新初始背景模型，将下一帧图像的信息发送给目标提取单元；
[0024]所述目标提取单元，用于获取下一帧图像中的前景图像，在前景图像中提取前景目标，将前景目标的信息发送给目标特征在线学习单元；
[0025]所述目标特征在线学习单元，用于接收前景目标的信息，利用在线学习方法获得前景目标的目标特征，将目标特征的信息发送给目标定位单元；
[0026]所述目标定位单元，用于接收目标特征的信息，根据目标特征在下一帧图像中对前景目标进行定位，得到前景目标的位置信息，将前景目标的位置信息发送给序列标记单元;
[0027]所述序列标记单元，用于根据前景目标的位置信息在下一帧图像中对前景目标的位置进行标记，将标记后的下一帧图像输出，重复执行目标提取单元、目标特征在线学习单元和目标定位单元，直至在线视频输入完毕，组合所有输出的下一帧图像，得到前景目标的运行轨迹。
[0028]进一步，所述目标特征在线学习单元包括Boosting特征学习单元，流形特征学习单元和加权综合单元；
[0029]所述Boosting特征学习单元,用于采用Boosting学习算法获取前景目标的目标特征，得到第一特征，将第一特征发送给加权综合单元；
[0030]所述流形特征学习单元，用于采用流形学习方法获取前景目标的目标特征，得到第二特征，将第二特征发送给加权综合单元；
[0031]所述加权综合单元，用于接收第一特征和第二特征，采用加权系数的方式整合第一特征和第二特征，得到最终的目标特征。
[0032]进一步，所述图像特征包括纹理特征。
[0033]进一步，所述背景建模单元进一步包括获取单元，匹配单元，标记单元和更新单元;
[0034]获取单元，用于获取在线视频中的起始帧图像，提取图像特征，根据图像特征建立初始背景模型，获取下一帧图像，将初始背景模型的信息和下一帧图像的信息发送给匹配单元；
[0035]所述匹配单元，用于接收初始背景模型的信息和下一帧图像的信息，将初始背景模型的纹理特征与下一帧图像的纹理特征进行匹配计算，所述匹配计算的结果发送给标记单元；
[0036]所述标记单元，用于接收匹配计算的结果，如果初始背景模型的图像特征与下一帧图像的图像特征匹配，将匹配部分的像素点标记为背景，执行更新单元，否则，将不匹配部分的像素点标记为前景，执行更新单元；
[0037]所述更新单元，用于根据标记的前景和背景更新初始背景模型，执行匹配单元。
[0038]进一步，所述在线视频目标跟踪装置还包括存储装置，显示装置和图像获取装置；[0039]所述存储装置，用于存储序列标记单元生成的前景目标的运行轨迹；
[0040]所述显示装置，用于显示序列标记单元生成的前景目标的运行轨迹；
[0041]所述图像获取装置，用于实时的获取在线视频，并将在线视频发送给背景建模单
J Li ο
【专利附图】
【附图说明】
[0042]图1为本发明方法步骤流程图；
[0043]图2为本发明装置结构图；
[0044]图3为本发明输入输出效果示意图。
[0045]附图中，各标号所代表的部件列表如下:
[0046]1、背景建模单元，1-1、获取单元，1-2、匹配单元，1-3、标记单元，1_4、更新单元，2、目标提取单元，3、目标特征在线学习单元，3-l、B00Sting特征学习单元，3-2、流形特征学习单元，3-3、加权综合单元,4、目标定位单元,5、序列标记单元6、存储装置,7、显示装置,8、图像获取装置。
【具体实施方式】
[0047]以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0048]如图1所示，为本发明方法步骤流程图；图2为本发明装置结构图；图3为本发明输入输出效果示意图。
[0049]实施例1
[0050]一种在线视频目标跟踪方法，包括以下步骤:
[0051]步骤1:获取在线视频中的起始帧图像，提取图像特征，根据图像特征建立初始背景模型；
[0052]步骤2:获取下一帧图像，同时转入步骤3和步骤4 ；
[0053]步骤3:将初始背景模型的图像特征与下一帧图像的图像特征进行对比，得到对比结果，根据对比结果更新初始背景模型；
[0054]步骤4:获取下一帧图像中的前景图像，在前景图像中提取前景目标；
[0055]步骤5:利用在线学习方法获得前景目标的目标特征，根据目标特征在下一帧图像中对前景目标进行定位，得到前景目标的位置信息；
[0056]步骤6:根据前景目标的位置信息在下一帧图像中对前景目标的位置进行标记，将标记后的下一巾贞图像输出；
[0057]步骤7:重复执行步骤2至步骤6，直至在线视频输入完毕，组合所有输出的下一帧图像，得到前景目标的运行轨迹。
[0058]所述在线学习方法具体为采用Boosting学习算法和流形学习方法分别获取前景目标的目标特征，分别得到第一特征和第二特征，采用加权系数的方式整合第一特征和第二特征，得到最终的目标特征。
[0059]所述图像特征包括纹理特征。
[0060]所述步骤3进一步包括:[0061]步骤3.1:将初始背景模型的纹理特征与下一帧图像的纹理特征进行匹配计算；
[0062]步骤3.2:如果初始背景模型的图像特征与下一帧图像的图像特征匹配，将匹配部分的像素点标记为背景，转入步骤3.3，否则，将不匹配部分的像素点标记为前景，转入步骤 3.3 ;
[0063]步骤3.3:根据标记的前景和背景更新初始背景模型，转入步骤3.1。
[0064]一种在线视频目标跟踪装置，包括背景建模单元1，目标提取单元2，目标特征在线学习单元3，目标定位单元4和序列标记单元5 ；
[0065]所述背景建模单元1，用于获取在线视频中的起始帧图像，提取图像特征，根据图像特征建立初始背景模型，获取下一帧图像，将初始背景模型的图像特征与下一帧图像的图像特征进行对比，得到对比结果，根据对比结果更新初始背景模型，将下一帧图像的信息发送给目标提取单元2 ;
[0066]所述目标提取单元2，用于获取下一帧图像中的前景图像，在前景图像中提取前景目标，将前景目标的信息发送给目标特征在线学习单元3 ;
[0067]所述目标特征在线学习单元3，用于接收前景目标的信息，利用在线学习方法获得前景目标的目标特征，将目标特征的信息发送给目标定位单元4 ；
[0068]所述目标定位单元4，用于接收目标特征的信息，根据目标特征在下一帧图像中对前景目标进行定位，得到前景目标的位置信息，将前景目标的位置信息发送给序列标记单元5 ；
[0069]所述序列标记单元5，用于根据前景目标的位置信息在下一帧图像中对前景目标的位置进行标记，将标记后的下一帧图像输出，重复执行目标提取单元2、目标特征在线学习单元3和目标定位单元4，直至在线视频输入完毕，组合所有输出的下一帧图像，得到前景目标的运行轨迹。
[0070]所述目标特征在线学习单元3包括Boosting特征学习单元3-1，流形特征学习单元3-2和加权综合单元3-3 ；
[0071]所述Boosting特征学习单元3-1,用于采用Boosting学习算法获取前景目标的目标特征，得到第一特征，将第一特征发送给加权综合单元3-3 ；
[0072]所述流形特征学习单元3-2，用于采用流形学习方法获取前景目标的目标特征，得到第二特征，将第二特征发送给加权综合单元3-3 ；
[0073]所述加权综合单元3-3，用于接收第一特征和第二特征，采用加权系数的方式整合第一特征和第二特征，得到最终的目标特征。
[0074]所述图像特征包括纹理特征。
[0075]所述背景建模单元I进一步包括获取单元1-1，匹配单元1-2，标记单元1-3和更新单元1-4 ；
[0076]获取单元1-1，用于获取在线视频中的起始帧图像，提取图像特征，根据图像特征建立初始背景模型，获取下一帧图像，将初始背景模型的信息和下一帧图像的信息发送给匹配单元1-2 ；
[0077]所述匹配单元1-2，用于接收初始背景模型的信息和下一帧图像的信息，将初始背景模型的纹理特征与下一帧图像的纹理特征进行匹配计算，所述匹配计算的结果发送给标记单元1-3 ；[0078]所述标记单元1-3，用于接收匹配计算的结果，如果初始背景模型的图像特征与下一帧图像的图像特征匹配，将匹配部分的像素点标记为背景，执行更新单元1-4，否则，将不匹配部分的像素点标记为前景，执行更新单元1-4 ；
[0079]所述更新单元1-4，用于根据标记的前景和背景更新初始背景模型，执行匹配单元1-2。
[0080]所述在线视频目标跟踪装置还包括存储装置6，显示装置7和图像获取装置8 ；
[0081]所述存储装置6，用于存储序列标记单元5生成的前景目标的运行轨迹；
[0082]所述显示装置7，用于显示序列标记单元5生成的前景目标的运行轨迹；
[0083]所述图像获取装置8，用于实时的获取在线视频，并将在线视频发送给背景建模单元1，图像获取装置8用于实时的获取视频图像，其可例如为一监控摄像头。
[0084]本发明将视频图像中的运动目标进行标注、跟踪，对运动中发生了形变、缩放、遮挡等情况的目标能够进行稳定的长时间跟踪，而且，本发明对硬件的要求低，算法复杂度低。
[0085]本发明的在线视频目标跟踪装置用于实时针对当前获取的每一帧图像进行在线处理。即，获取图像与视频目标跟踪同步进行，并非保留全部视频后在启动目标跟踪处理。在线视频目标跟踪装置可设置在一板卡、图形处理器(Graphics processing unit, GPU)或嵌入式处理盒上。
[0086]本发明的视频目标跟踪包括对单目标和多目标的跟踪，背景建模单元I接受来自图像获取装置8的图像，并对收到的每一帧图像进行前景图像和背景图像的分割。
[0087]背景建模单元I可以采用基于纹理的背景建模(具体参见Marko Heikkil, MattiPietikinen, “A Texture-Based Method for Modeling the Background and DetectingMoving 0b jects”，IEEE Trans.Pattern Anal.Machine Intell, 2006)对输入视频图像进行背景建模，得到每一帧图像的背景图像，并传送给目标提取单元2。
[0088]目标提取单元2将每一帧图像与相应的背景图像相减，再利用现有技术的图割算法(具体参见 J.Sun, ff.Zhang, X.Tang, H, Shum, “Background Cut”, ECCV, 2006)得到精确地前景图像。然后用得到的前景图像标注目标的可能位置。
[0089]目标特征在线学习单元3用于对目标的特征进行学习，以便对目标进行精确定位。在线 boosting (boosting 算法，具体参见 Y Freund, A Short Introduction toBoosting, Journal of Japanese Society for Artificial Intelligence, 14(5):771-780，September, 1999.)的特征学习算法在特征学习问题上具有较好的性能,而且boosting算法不仅仅能够做回归、分类，而且具有特征选择的作用。在线boosting特征学习方法主要关注目标与背景以及其他前景之间的差别因素，而没有关注目标本身的一些特点。由于仅从一个方面考虑目标特点，则很容易受噪声的影响而导致跟踪失败，因此可以考虑从两个角度协同学习的方式来达到对目标特征的正确学习。我们采用目标在线流形(Manifoldlearning,具体参见Zhenyue Zhang, Adaptive Manifold Learning, Pattern Analysis andMachine Intelligence, 2012)与boosting特征协同学习的方法来对目标特征进行学习表述。目标流形由其局部子空间的线性组合来近似，此学习方法更加关注目标本身的特点，对目标特征流形在线的更新学习，具有很好的特性学习性能。
[0090]目标定位单元4，在目标特征在线学习单元3对目标特征进行学习之后，由目标定位单元4利用目标特征对目标进行精确定位。
[0091]序列标记单元5将定位后的目标进行标记，同时对其运动轨迹进行标注。
[0092]存储装置6，用于存储序列标记单元5生成的视频。
[0093]显示装置7，可为一显示屏，用于播放处理后的视频供用户观看。
[0094]该在线视频目标跟踪装置还可包括一用户接口，供导出视频。本发明所谓运动物体，是指记录了某个真实的运动目标在连续帧里出现的颜色信息的图像。该运动目标例如为人、宠物、能移动的车体等可移动物。运动目标在图像获取装置8拍摄的区域里走过，通常被图像获取装置8拍摄在连续的多帧图像中。
[0095]S卩，针对一帧图像，同时对其前景图像和当前背景模型进行处理。
[0096]目标特征在线学习是另一个重要步骤，通过在线学习得到目标的特征，从而可以精确定位目标。在本实施方案中我们采用了目标在线流形与boosting特征协同学习的方法来对目标特征进行学习表述。
[0097]流形是一个在数学上有严格定义的概念，简而言之，就是非线性的空间。最简单的流形就是球面。流形学习算法的就是我们认为数据之间的关系是非线性的，就像这些数据分布在一个流形上一样。我们试图用某些方法把数据的维数降下来。在降维的过程中我们保持数据之间的非线性关系。
[0098]Boosting方法是一种用来提高弱分类算法准确度的方法，这种方法通过构造一个预测函数系列，然后以一定的方式将他们组合成一个预测函数。它是一种框架算法，主要是通过对样本集的操作获得样本子集，然后用弱分类算法在样本子集上训练生成一系列的基分类器。它可以用来提高其他弱分类算法的识别率，也就是将其他的弱分类算法作为基分类算法放于Boosting框架中，通过Boosting框架对训练样本集的操作，得到不同的训练样本子集，用该样本子集去训练生成基分类器；每得到一个样本集就用该基分类算法在该样本集上产生一个基分类器，这样在给定训练循环次数η后，就可产生η个基分类器，然后Boosting框架算法将这η个基分类器进行加权融合，产生一个最后的结果分类器，在这η个基分类器中，每个单个的分类器的识别率不一定很高，但将它们联合后的结果有很高的识别率，这样便提高了该弱分类算法的识别率。总的说来Boosting算法的核心思想就是通过对一系列弱学习机的联合以便产生出我们所期望的强学习机。
[0099]图3示出了本发明的输入和输出的效果图像。如图所示，当目标(行人)从t_ At时刻进入监视范围开始，系统对其进行跟踪，直到当前时刻t，并显示出其当前位置和运动轨迹。
[0100]本发明的在线视频目标跟踪方式针对实时提取的运动物体序列进行处理，保证在第一时间即可对原始视频图像进行目标跟踪，使目标跟踪达到实时性的需求。
[0101]本发明对运动中发生了形变、缩放、遮挡等情况的目标能够进行稳定的长时间跟踪，使目标跟踪达到闻准确率的需求。
[0102]本发明的算法具有较高的合理性以及运行效率，降低了复杂度。
[0103]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种在线视频目标跟踪方法，其特征在于，包括以下步骤: 步骤1:获取在线视频中的起始帧图像，提取图像特征，根据图像特征建立初始背景模型； 步骤2:获取下一帧图像，同时转入步骤3和步骤4 ； 步骤3:将初始背景模型的图像特征与下一帧图像的图像特征进行对比，得到对比结果，根据对比结果更新初始背景模型； 步骤4:获取下一帧图像中的前景图像，在前景图像中提取前景目标； 步骤5:利用在线学习方法获得前景目标的目标特征，根据目标特征在下一帧图像中对前景目标进行定位，得到前景目标的位置信息； 步骤6:根据前景目标的位置信息在下一帧图像中对前景目标的位置进行标记，将标记后的下一帧图像输出； 步骤7:重复执行步骤2至步骤6，直至在线视频输入完毕，组合所有输出的下一帧图像，得到前景目标的运行轨迹。
2.根据权利要求1所述的在线视频目标跟踪方法，其特征在于:所述在线学习方法具体为采用Boosting学习算法和流形学习方法分别获取前景目标的目标特征，分别得到第一特征和第二特征，采用加权系数的方式整合第一特征和第二特征，得到最终的目标特征。
3.根据权利要求1所述 的在线视频目标跟踪方法，其特征在于:所述图像特征包括纹理特征。
4.根据权利要求3所述的在线视频目标跟踪方法，其特征在于:所述步骤3进一步包括: 步骤3.1:将初始背景模型的纹理特征与下一帧图像的纹理特征进行匹配计算； 步骤3.2:如果初始背景模型的图像特征与下一帧图像的图像特征匹配，将匹配部分的像素点标记为背景，转入步骤3.3，否则，将不匹配部分的像素点标记为前景，转入步骤3.3 ； 步骤3.3:根据标记的前景和背景更新初始背景模型，转入步骤3.1。
5.一种在线视频目标跟踪装置，其特征在于:包括背景建模单元(1)，目标提取单元(2)，目标特征在线学习单元(3)，目标定位单元(4)和序列标记单元(5)； 所述背景建模单元(1)，用于获取在线视频中的起始帧图像，提取图像特征，根据图像特征建立初始背景模型，获取下一帧图像，将初始背景模型的图像特征与下一帧图像的图像特征进行对比，得到对比结果，根据对比结果更新初始背景模型，将下一帧图像的信息发送给目标提取单元(2); 所述目标提取单元(2)，用于获取下一帧图像中的前景图像，在前景图像中提取前景目标，将前景目标的信息发送给目标特征在线学习单元(3 ); 所述目标特征在线学习单元(3)，用于接收前景目标的信息，利用在线学习方法获得前景目标的目标特征，将目标特征的信息发送给目标定位单元(4); 所述目标定位单元(4)，用于接收目标特征的信息，根据目标特征在下一帧图像中对前景目标进行定位，得到前景目标的位置信息，将前景目标的位置信息发送给序列标记单元(5)； 所述序列标记单元(5)，用于根据前景目标的位置信息在下一帧图像中对前景目标的位置进行标记，将标记后的下一帧图像输出，重复执行目标提取单元(2)、目标特征在线学习单元(3)和目标定位单元(4)，直至在线视频输入完毕，组合所有输出的下一帧图像，得到前景目标的运行轨迹。
6.根据权利要求5所述的在线视频目标跟踪装置，其特征在于:所述目标特征在线学习单元(3)包括Boosting特征学习单元(3-1)，流形特征学习单元(3-2)和加权综合单元(3-3)； 所述Boosting特征学习单元(3-1),用于采用Boosting学习算法获取前景目标的目标特征，得到第一特征，将第一特征发送给加权综合单元(3-3)； 所述流形特征学习单元(3-2)，用于采用流形学习方法获取前景目标的目标特征，得到第二特征，将第二特征发送给加权综合单元(3-3)； 所述加权综合单元(3-3)，用于接收第一特征和第二特征，采用加权系数的方式整合第一特征和第二特征，得到最终的目标特征。
7.根据权利要求5所述的在线视频目标跟踪装置，其特征在于:所述图像特征包括纹理特征。
8.根据权利要求5所述的在线视频目标跟踪装置，其特征在于:所述背景建模单元(I)进一步包括获取单元(1-1)，匹配单元(1-2)，标记单元(1-3)和更新单元(1-4)； 获取单元(1-1)，用于获取在线视频中的起始帧图像，提取图像特征，根据图像特征建立初始背景模型，获取下一帧图像，将初始背景模型的信息和下一帧图像的信息发送给匹配单元(1-2)； 所述匹配单元(1-2)，用于接收初始背景模型的信息和下一帧图像的信息，将初始背景模型的纹理特征与下一帧图像的纹理特征进行匹配计算，所述匹配计算的结果发送给标记单元(1-3)； 所述标记单元(1-3)，用于接收匹配计算的结果，如果初始背景模型的图像特征与下一帧图像的图像特征匹配，将匹配部分的像素点标记为背景，执行更新单元(1-4)，否则，将不匹配部分的像素点标记为前景，执行更新单元(1-4)； 所述更新单元(1-4)，用于根据标记的前景和背景更新初始背景模型，执行匹配单元(1-2)。
9.根据权利要求5所述的在线视频目标跟踪装置，其特征在于:所述在线视频目标跟踪装置还包括存储装置(6 )，显示装置(7 )和图像获取装置(8 ); 所述存储装置(6)，用于存储序列标记单元(5)生成的前景目标的运行轨迹； 所述显示装置(7)，用于显示序列标记单元(5)生成的前景目标的运行轨迹； 所述图像获取装置(8)，用于实时的获取在线视频，并将在线视频发送给背景建模单元
(I)。
【文档编号】G06T7/20GK103440668SQ201310390529
【公开日】2013年12月11日 申请日期:2013年8月30日 优先权日:2013年8月30日
【发明者】葛仕明, 文辉, 陈水仙, 秦伟俊, 孙利民 申请人:中国科学院信息工程研究所