一种多目标跟踪方法及装置的制造方法
【技术领域】
[0001 ] 本发明涉及计算机视觉领域，特别涉及一种多目标跟踪方法及装置。
【背景技术】
[0002] 计算机视觉主要研究对目标对象的识别、目标对象的定位和对目标对象的运动分 析，多目标跟踪是计算机视觉领域的基础课题之一，其应用十分广泛，多目标跟踪的主要任 务是在一段连续的视频文件中，定位出每一幅图像中感兴趣的目标所在的位置，从而实现 对感兴趣的目标的跟踪，多目标跟踪是计算机视觉领域十分重要的部分，只有实现对目标 的准确跟踪，才能展开后续目标行为分析工作。
[0003] 其中，现有的多目标跟踪技术是依据目标对象在前一帧图像的区域信息预测目标 对象在当前图像帧的区域，将所预测出的区域作为目标对象在当前图像帧中的区域。
[0004] 但是，由于目标对象的位置变化具有不定性，这种仅仅依据前一帧图像的目标对 象的区域信息来直接预测方式，导致多目标跟踪准确率较低。
【发明内容】
[0005] 本发明实施例的目的是提供一种多目标跟踪方法及装置，提高多目标跟踪准确 率，技术方案如下：
[0006] 确定参考图像帧中每一目标对象在当前的目标图像帧的第一类预测区域，其中， 所述参考图像帧和所述目标图像帧为视频文件中的不同图像帧，且参考图像帧为与目标图 像帧相连续的上一帧图像；其中，所述目标对象为所述参考图像帧中所包括的多个物体对 象中的至少一个；
[0007] 确定所述目标图像帧所对应的梯度幅值图；
[0008] 利用预定窗口在所述梯度幅值图中逐像素点滑动，得到所述预定窗口在滑动过程 中所生成的多个子图像区域；
[0009] 从多个子图像区域中，筛选得到包含物体对象的第一类子图像区域；
[0010] 对每一个第一类子图像区域执行预定区域分析操作，其中，所述预定分析操作至 少包括：
[0011] 将当前的第一类子图像区域分别与各个目标对象所对应第一类预测区域进行图 像匹配，如果存在匹配率大于预设阈值的目标第一类预测区域，则将该第一类子图像区域， 作为所述目标第一类预测区域所对应目标对象在所述目标图像帧中的区域。
[0012] 可选的，所述区域分析操作还包括：
[0013] 如果不存在匹配率大于预设阈值的目标第一类预测区域，则在判断出所述参考图 像帧之前存在至少一帧图像时：
[0014] 从所述参考图像帧之前的未被作为该第一类子图像区域所对应辅助图像帧的至 少一帧图像中，选择最靠近所述参考图像帧的一帧图像作为该第一类子图像区域所对应的 当前的辅助图像帧，并确定当前的辅助图像帧中每一目标对象在当前的目标图像帧的第二 类预测区域，将该第一类子图像区域分别与每一第二类预测区域进行图像匹配，如果存在 匹配率大于预设阈值的目标第二类预测区域，则将该第一类子图像区域，作为所述目标第 二预测区域所对应目标对象在所述目标图像帧中的区域，否则，继续执行从所述参考图像 帧之前的未被作为该第一类子图像区域所对应辅助图像帧的至少一帧图像中，选择最靠近 所述参考图像帧的一帧图像作为该第一类子图像区域所对应的当前的辅助图像帧步骤，直 至参考图像帧之前的各帧图像均被作为该第一类子图像区域所对应的辅助图像帧。
[0015] 可选的，所述确定所述目标图像帧所对应的梯度幅值图，包括：
[0016] 计算所述目标图像帧中每个像素点位置的梯度幅值；
[0017] 基于所计算得到的每个像素点位置的梯度幅值，得到所述目标图像帧所对应的梯 度幅值图；
[0018] 其中，计算所述目标图像帧中每个像素点位置的梯度幅值所利用的公式为：
[0019] f = min( |gx|+ |gy|, 255)
[0020] gx= I(x+l,y)-I(x, y)
[0021] gy= I(x, y+l)-I(x, y)
[0022] 其中，f为像素点位置（x，y)的梯度幅值，gx为图像像素点位置（x，y)的水平梯度， gy为图像该像素点位置（x，y)的垂直梯度，I(x，y)为像素点位置（x，y)的像素。
[0023] 可选的，所述从多个子图像区域中，筛选得到包含物体对象的第一类子图像区域， 包括：
[0024] 计算所述多个子图像中的每个子图像区域的得分；
[0025] 基于所述得分对多个子图像区域进行降序排列，提取排序位置属于预定位置范围 的至少一个子图像区域；
[0026] 使用蕨类分类器和最近邻分类器，对所提取的至少一个子图像区域进行筛选，得 到包含物体对象的第一类子图像区域；
[0027] 其中，计算所述多个子图像中的每个子图像区域的得分所利用的公式为：
[0029] 其中，S为子图像区域得分，ω = (X1, χ2,…，χ64)为预设特征向量，f = (yi, y2，… ，y64)为窗口在滑动过程中所生成的子图像区域的二值梯度幅值的向量形式，k为维度。
[0030] 可选的，所述使用蕨类分类器和最近邻分类器，对所提取的至少一个子图像区域 进行筛选，得到包含物体对象的第一类子图像区域，包括：
[0031] 使用蕨类分类器和最近邻分类器，对所提取的至少一个子图像区域进行筛选，得 到筛选结果；
[0032] 将筛选结果作为包含物体对象的第一类子图像区域；
[0033] 或者，
[0034] 所述使用蕨类分类器和最近邻分类器，对所提取的至少一个子图像区域进行筛 选，得到包含物体对象的第一类子图像区域，包括：
[0035] 使用蕨类分类器和最近邻分类器，对所提取的至少一个子图像区域进行筛选，得 到筛选结果；
[0036] 判断筛选结果中的各个子图像区域是否为预定背景图像区域；
[0037] 将筛选结果中不属于背景图像区域的子图像区域作为包含物体对象的第一类子 图像区域。
[0038] 本发明实施例提供了一种多目标跟踪装置，包括：
[0039] 第一确定模块，用于确定参考图像帧中每一目标对象在当前的目标图像帧的第一 类预测区域，其中，所述参考图像帧和所述目标图像帧为视频文件中的不同图像帧，且参考 图像帧为与目标图像帧相连续的上一帧图像；其中，所述目标对象为所述参考图像帧中所 包括的多个物体对象中的至少一个；
[0040] 第二确定模块，用于确定所述目标图像帧所对应的梯度幅值图；
[0041] 子图像区域生成模块，用于利用预定窗口在所述梯度幅值图中逐像素点滑动，得 到所述预定窗口在滑动过程中所生成的多个子图像区域；
[0042] 筛选模块，用于从多个子图像区域中，筛选得到包含物体对象的第一类子图像区 域；
[0043] 分析模块，用于对每一个第一类子图像区域执行预定区域分析操作，其中，所述预 定分析操作至少包括：
[0044] 将当前的第一类子图像区域分别与各个目标对象所对应第一类预测区域进行图 像匹配，如果存在匹配率大于预设阈值的目标第一类预测区域，则将该第一类子图像区域， 作为所述目标第一类预测区域所对应目标对象在所述目标图像帧中的区域。
[0045] 可选的，所述分析模块所执行的预定区域分析操作还包括：
[0046] 如果不存在匹配率大于预设阈值的目标第一类预测区域，则在判断出所述参考图 像帧之前存在至少一帧图像时：
[0047] 从所述参考图像帧之前的未被作为该第一类子图像区域所对应辅助图像帧的至 少一帧图像中，选择最靠近所述参考图像帧的一帧图像作为该第一类子图像区域所对应的 当前的辅助图像帧，并确定当前的辅助图像帧中每一目标对象在当前的目标图像帧的第二 类预测区域，将该第一类子图像区域分别与每一第二类预测区域进行图像匹配，如果存在 匹配率大于预设阈值的目标第二类预测区域，则将该第一类子图像区域，作为所述目标第 二预测区域所对应目标对象在所述目标图像帧中的区域，否则，继续执行从所述参考图像 帧之前的未被作为该第一类子图像区域所对应辅助图像帧的至少一帧图像中，选择最靠近 所述参考图像帧的一帧图像作为该第一类子图像区域所对应的当前的辅助图像帧步骤，直 至参考图像帧之前的各帧图像均被作为该第一类子图像区域所对应的辅助图像帧。
[0048] 可选的，所述第二确定模块包括：
[0049] 第一计算子模块，用于计算所述目标图像帧中每个像素点位置的梯度幅值；
[0050] 获得子模块，用于基于所计算得到的每个像素点位置的梯度幅值，得到所述目标 图像帧所对应的梯度幅值图；
[0051] 其中，计算所述目标图像帧中每个像素点位置的梯度幅值所利用的公式为：
[0052] f = min( |gx|+ |gy|, 255)
[0053] gx= I (x+1, y)-I (x, y)
[0054] gy= I (x, y+l)-I (x, y)
[0055] 其中，f为像素点位置（x，y)的