视频中多物体实时追踪系统及其实现方法
【技术领域】
[0001] 本发明设及视频技术领域，尤其是设及一种视频中多物体实时追踪的系统及其实 现方法。
【背景技术】
[0002] 人类在获取外部信息的过程中，80%的信息是由视觉获得的。说明通过视觉获取 的信息量大、利用率高。同时也说明了赋予机器人类视觉功能对发展智能机器是及其重要 的。
[0003] 随着计算机技术、图像传感技术及信息处理技术的发展，人们成功的通过图像获 取装置获取外部信息，根据像素分布、亮度和颜色等信息转化为数字信息，供其分析处理的 过程，形成了一 口独立的学科一-计算机视觉。
[0004] 在视频中跟踪快速移动的物体有助于对指定目标的精准定位和相应信息的准确 传递，是图像处理、人工智能识别等技术基础。
[0005] 现有技术在跟踪过程中往往存在计算速度慢、精准度不够等不足。为了解决上述 问题，本案发明人结合自身经验研发了一种计算速度快且精准度高的视频中多物体实时追 踪系统，并提出了其实现的方法。
【发明内容】
[0006] 本发明的目的在于提供一种结构科学合理、计算速度快且精准度高的视频中多物 体实时追踪系统及其实现方法。
[0007] 为实现上述目的，本发明提供如下技术方案：
[0008] 本发明首先提供了一种视频中多物体实时追踪系统，该系统包括在线视频播放 器、OpenCV解码器、RAW数据处理器、智能跟踪器、W及输出设备，其特征在于:所述智能跟踪 器包括用W将经过所述RAW数据处理器格式加工后的图像转换成灰度图的S通道RGB图像 转换模块、用W获取图像样本模板的高斯模糊处理模块、用W消除跟踪过程中所出现的高 频干扰和漏能的=矩形汉宁窗模块、用W将经过上述模块处理后的图片信息分解成幅值谱 并进行初步计算的傅里叶变换和快速傅里叶变换模块、跟踪算法模块、W及多目标跟踪模 块。
[0009] 本发明还提供了一种视频中多物体实时追踪的实现方法，该方法包括W下步骤：
[0010] 步骤SOI、打开任意多个在线视频，在任意想追踪的多个物体上均用鼠标拉一个小 框，该小框内的图像内容将被定为目标物体；
[0011] 步骤S02、利用化enCV解码器将上述步骤SOl中所选定的目标物体进行图像解码；
[0012] 步骤S03、利用RAW数据处理器对上述步骤S02中解码后的图像进行加工处理，该加 工处理主要包括给解码后的原始图像添加噪声扰动、光照扰动、W及白化扰动，W提高上述 原始图像在跟踪过程中对环境的适应能力，同时利用=矩形汉宁窗模块消除跟踪过程中所 出现的高频干扰和漏能；
[0013] 步骤S04、将经过上述步骤S03中加工处理后的目标物体及其区域作为指定目标， 并利用S通道RGB图像转换模块将该指定目标所对应的图像转换成灰度图，W便减少信息 量，提升运算速度；
[0014] 步骤S05、将上述步骤S04中经过S通道RGB图像转换模块转换后的指定目标的尺 寸扩大1.5倍，得到可W作为跟踪检测的有效区域样本模板；
[0015] 步骤S06、任意取下一帖画面信息与上述步骤S05中所得到的样本模板进行平移比 对，并利用跟踪算法模块来快速精准判断指定目标在下一帖的准确位置和尺寸大小；
[0016] 步骤S07、同样利用跟踪算法模块实现多个指定目标跟踪锁定。
[0017] 本发明的有益效果是，通过核屯、计算对=矩形汉宁窗模块的有效判断，在只进行 半个一维计算的状态下就可W得到所需的最终二维汉宁窗值，速度极快。通过对跟踪算法 模块中的计算公式优化设计加速实现了跟踪算法值。精准度也大幅提高。
【附图说明】
[0018] 图1是本发明：视频中多物体实时追踪系统的框架示意图；
[0019] 图2是本发明：视频中多物体实时追踪的实现方法的结构图。
【具体实施方式】
[0020] 下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的 实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都 属于本发明保护的范围。
[0021] 参照图1所示的一种视频中多物体实时追踪系统，该系统包括在线视频播放器1、 化enCV解码器2、RAW数据处理器3、智能跟踪器4、W及输出设备5。其中，所述智能跟踪器4包 括用W将经过所述RAW数据处理器3格式加工后的图像转换成灰度图的S通道RGB图像转换 模块41、用W获取图像样本模板的高斯模糊处理模块42、用W消除跟踪过程中所出现的高 频干扰和漏能的=矩形汉宁窗模块43、用W将经过上述模块处理后的图片信息分解成幅值 谱并进行初步计算的傅里叶变换和快速傅里叶变换模块44、跟踪算法模块45、W及多目标 跟踪模块46。在所述智能跟踪器4中还内置有一可动态设置比对尺寸的物体形变及尺度变 化自适应模块47。
[0022] 其中，所述=矩形汉宁窗模块43为只进行X方向和y方向计算的二维汉宁窗模块， 该二维汉宁窗模块的运行计算如下式所示：
[0024] h(n)表不局频脉冲响应，N为波长；
[0025] 为了满足苛刻的时间要求，实现实时跟踪，本发明首先对X方向和y方向上的汉宁 窗N值进行判断，若Nx = Ny,则，本发明只需计算X方向上的汉宁窗，不计算y方向，并将所得 计算值直接进行矩阵相乘，进而得到所需的最终二维汉宁窗值；
[0026] 其中，当n为偶数时，只需计算X方向上(T(n/2)-l的汉宁窗值，
[0027] 当n为奇数时，只需计算X方向上(T((n+l)/2)-l的汉宁窗值，至此，X方向上一维的 汉宁窗计算完毕，进而可得，本发明是将上述二维汉宁窗模块的运行计算转化成了半个一 维计算。
[0028] 如图2所示的一种视频中多物体实时追踪的实现方法，该实现方法包括W下步骤：
[0029] 步骤SOI、选目标:打开任意多个在线视频，在任意想追踪的多个物体上均用鼠标 拉一个小框，该小框内的图像内容将被定为目标物体；
[0030] 步骤S02、解码:利用化enCV解码器将上述步骤SOl中所选定的目标物体进行图像 解码；
[0031] 步骤S03、加工处理:利用RAW数据处理器对上述步骤S02中解码后的图像进行加工 处理，该加工处理主要包括给解码后的原始图像添加噪声扰动、光照扰动、W及白化扰动， W提高上述原始图像在跟踪过程中对环境的适应能力，同时利用=矩形汉宁窗模块消除跟 踪过程中所出现的高频干扰和漏能；
[0032] 步骤S04、转换为指定目标:将经过上述步骤S03中加工处理后的目标物体及其区 域作为指定目标，并利用S通道RGB图像转换模块将该指定目标所对应的图像转换成灰度 图，W便减少信息量，提升运算速度；
[0033] 步骤S05、扩大尺寸:将上述步骤S04中经过S通道RGB图像转换模块转换后的指定 目标的尺寸扩大1.5倍，得到可W作为跟踪检测的有效区域样本模板；
[0034] 步骤S06、模板匹配计算:任意取下一帖画面信息与上述步骤S05中所得到的样本 模板进行平移比对，并利用跟踪算法模块来快速精准判断指定目标在下一帖的准确位置和 尺寸大小。该跟踪算法最根本的本质在于模板匹配，现有同类技术的模板匹配速度极慢，而 本发明所提供的模板匹配技术有=大特点：
[0035] 1)不仅会匹配正样本，也会匹配负样本，从而提高了正负样本的区分性，而同类技 术的模板匹配只匹配正样本。
[0036] 2)基于人体图像特征在频率域进行匹配，而通常的模板匹配算法是基于像素匹配 并且是在空间域做的，效果差，速度慢。为了对人体图像特征的计算进行加速，本发明使用 了 Intel的SSE2指令集进行了加速。
[0037] 3)本发明采取了类似于SVM的核函数来将低维度的非线性分类问题映射到高维度 的线性分类问题，其中，本发明使用的是高斯核函数。
[0038] 所述步骤S06中所述的跟踪算法模块将通过如下分步骤来实现加速计算：
[0039] 步骤S061、模板训练:给跟踪算法模块假设并给定一些模板训练样本及其回归值， 如{(xi，yi)，（X2，y2)，...，（xi，yi)，...};
[0040] 步骤S062、找函数:使得该模板训练样本的最终目标是找到一个函数f(z)=wTz， 并使得如下残差函数最小：
[0041 ] !濟)公{/(X，）--如3 中 Allwf i
[0042]步骤S063、给出系数表示公式:将要求解的系数W表示为W下形式：
[0044]进而使最终要求解的参数由W变为系数Al地a且表示如下式：
[0046] 其