基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法

基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法
【技术领域】
[0001] 本发明涉及视频监控领域不同摄像头之间的行人匹配方法，尤其涉及一种基于多 尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法。
【背景技术】
[0002] 当前在公共场合，常使用无交叠视域摄像头进行视频监控以扩大监控范围和记录 行人轨迹。这其中的关键是实现不同摄像头检测到的行人之间的准确匹配。然而在现实中 行人和不同摄像头之间的距离存在较大的差异，行人图像的分辨率往往大小不一，导致了 低分辨率行人匹配问题的出现，即一个摄像头检测到的低分辨率行人和另一个摄像头检测 到的正常分辨率行人之间的匹配问题。
[0003] 近五年来出现了很多行人匹配的方法，如基于支持向量排序模型的匹配、基于相 对距离比较学习的统计方法、基于等价约束模型的贝叶斯距离、基于自适应决策函数的匹 配，以及基于局部线性判别分析的匹配等方法。但是现有方法忽略了行人匹配中存在的低 分辨率问题，直接将所有行人图像缩放到单一的标准尺度后再进行匹配，使低分辨行人的 信息损失严重，导致低分辨率行人匹配的准确率低下。

【发明内容】

[0004] 本发明的目的在于克服现有技术的不足，提供一种实用性强、可明显提高低分辨 率行人匹配准确率的基于多尺度联合学习的不同摄像头之间低分辨率行人匹配的方法。本 方法对低分辨率行人和正常分辨率行人在多个图像尺度上进行联合建模以充分学习其内 在的匹配关系，并获得了较高的匹配准确率。这是现有的方法中第一次解决低分辨率行人 的匹配问题。
[0005] 本发明的目的通过下述方案实现：一种基于多尺度联合学习的无交叠摄像头之间 的低分辨率行人匹配方法，包括下述步骤：
[0006] (1)生成多个不同图像尺度的行人训练数据；
[0007] (2)提出不同尺度上同一行人差异最小化准则；
[0008](3)建立多尺度联合学习模型；
[0009](4)实现不同摄像头间低分辨率行人的匹配。
[0010] 作为优选的，所述步骤（1)中，不同尺度的行人训练数据是通过将原始分辨率各 异的行人训练图像同时缩放到多个不同的尺度得到的。
[0011] 作为优选的，步骤（1)具体为：
[0012] 行人训练图像被缩放到两个尺度，即一个标准尺度和一个其他的小尺度，更 多尺度的情况可以很容易扩展，具体地，对于一个行人训练集，通过缩放图像可以分 别得到一个标准尺度的行人训练集
和一个小尺度的行人训练集
分别表示同一张行人图像调 整到标准尺度和小尺度后提取的特征向量，其所属的行人/类别记为yi，N是训练集的行人 图像样本总数。
[0013] 作为优选的，所述步骤（2)中，提出的不同尺度同一行人分布差异最小化准则，是 通过最小化不同尺度上同一行人的图像特征向量在低维空间中的分布差异实现的。
[0014] 作为优选的，步骤（2)具体为：
[0015] 不同尺度的同一个行人差异最小化准则通过最大限度减少同一行人在不同尺度 上的图像的特征向量的均值在一个低维空间中的差异来实现，即最小化不同尺度的行人同 类均值在低维子空间中的差异，该过程可表示为：
[0017] 其中，uf和< 分别是\和Xs中第i个行人的所属图像的特征向量的均值,C是行 人的总个数即总类别数，e 和1Wse 分别是标准尺度和小尺度上距离度 量的变换矩阵，用来投影行人样本到低维空间，r是被投影的低维空间的维度。
[0018] 作为优选的，所述步骤（3)中的多尺度联合学习模型，目的是协同地在每个尺度 上学习一个最优的距离度量，既实现不同尺度上同一行人差异最小化准则，同时又保证在 同一尺度上，不同行人的类间距离最大化，同一行人的类内距离最小化。
[0019] 作为优选的，步骤（3)具体为：
[0020] 首先根据He和Niyogi提出的亲和度矩阵A和Sugiyama提出的局部线性判别理 论，构造同一尺度的行人的类间散度矩阵Sb和类内的散度矩阵Sw如下：
[0024] 其中，xjPX.j为两张行人图像的特征向量，当X;和X.j属于同一行人时，
当xJPX属于不同行人时，
^和X_,之间的亲和度，N是所有行人样本的总数，N。是对应的同一行人的样本数，对于标准 尺度和小尺度，其对应的类间散度矩阵分别被表示为和Sf其对应的类内散度矩阵分 另|J被表示为和
[0025] 为了得到最优距离度量的变换矩阵WjPWs，使其既要满足不同尺度的行人同类均 值差异HCMD(Wh，Ws)最小化，又要分别实现行人样本的类内距离最小化和类间距离最大化， 所以建立多尺度联合学习模型如下：
[0027] 公式③表示的是基于两个图像尺度的多尺度联合学习模型，通过增加更多的尺度 来最小化HCMD并同时学习各个尺度上行人的距离度量，能够很容易扩展到两个以上尺度 的联合学习模型，求解公式③即可得到优选方案中标准尺度和小尺度上的最优距离度量的 变换矩阵WjPWs。
[0028] 作为优选的，所述步骤（4)是对摄像头camA中检测到的低分辨率行人PA，在摄像 头camB中检测到的R个正常分辨率行人,re[1，R]中找到与其匹配的行人，与PA匹配
确定，其中是？&与/^在不同尺度上 学习的最优距离度量计算的融合距离。
[0029] 本发明与现有技术相比，具有如下优点和有益效果：
[0030] 1、本发明使用多个图像尺度来提取行人的信息，与现有的行人匹配技术直接将所 有行人缩放到单一图像尺度的做法相比，有效地保持了低分辨率行人的表观信息。
[0031] 2、本发明提出的不同尺度的同一行人差异最小化准则能够保持不同尺度的行人 表观信息的相似性，有效地传递了不同分辨率行人的判别信息。
[0032] 3、本发明在不同尺度上同一行人差异最小化准则的基础上建立多尺度联合学习 模型，学习每个尺度的最优距离度量，有效地增强了低分辨率行人和正常分辨率行人之间 的匹配关系。与现有行人匹配技术相比，较好地改善了无交叠视域摄像头之间低分辨率行 人的匹配效果。
【附图说明】
[0033]图1为本发明的操作流程图示。
[0034] 图2为本发明方法的思想描述。
[0035] 图3为CAVIAR行人数据集示例（第一行是一个摄像头中检测到的正常分辨率行 人，第二行是对应的另一摄像头中检测到的低分辨率行人）。
[0036] 图4为本发明的方法与现有行人匹配方法在CAVIAR行人数据集上的CMC曲线结 果对比图。
[0037] 图5为本发明的方法在低分辨率行人监控场景下的匹配结果示例图。
【具体实施方式】
[0038] 下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限 于此。
[0039] 实施例
[0040] 图1、图2示出了本发明的操作过程，由图1可见，基于多尺度联合学习的无交叠视 域摄像头之间的低分辨率行人匹配方法，包括下述步骤：
[0041] (1)将原始的行人训练数据分别缩放到多个图像尺度上，以充分保持低分辨率行 人的信息。具体地，在本实施例中，采用行人匹配方法中常用的单一标准尺度（128X48)和 一个其他的小尺度（64X24)共两个尺度。对于行人图像，提取其颜色、LBP和H0G特征组 成特征向量。
[0042] (2)构造不同尺度上同一行人差异最小化准则的具体表达形式。在本实施例中， 通过最小化同一行人在不同尺度上的图像特征向量的均值在一个低维空间中的差异即 min% %HCMDO%，)来实现该准则。其中^和别是标准尺度和小尺度上距 离度量的变换矩阵，用来投影行人样本到低维空间。在本实施例中，低维空间的维度取1〇〇 维最佳。
[0043] (3)构建多尺度联合学习模型，协同学习不同尺度上最优距离度量，从而实现最小 化HCMD(Wh，Ws)，又保证同一尺度上不同行人的类间距离最大化和同一行人的类内距离最小 化。具体地，在本实施例中，通过以下公式③的近似等价形式来求解最优距离度量的变换矩 阵1和Ws:
[0045] 其中，α是控制HCMD影响幅度的参数，在本实施例中α取10。
[0046] (4)实现不同摄像头下的低分辨率行人的匹配（见图5)。具体地，在本实施例中， 对于摄像头camA中检测到的目标行人P 摄像头camΒ中检测到的某一行人ΡΒ，分别提取 其在标准尺度上的图像特征向量4和4，以及在小尺度上的图像特征向量χχ* 则PjPΡΒ在两个不同尺度上分别利用WjpW/变换后得到的融合距离度量可以由下式计算 得到：
[0048] 其中，β是调节标准尺度和小尺度影响的权重。在本实施例中β取0.3。假 设在一段时间内有R个行人进入摄像头camB，则利用公式⑤分