一种面向多摄像机的目标匹配方法与流程

本发明属于图像处理、视频监控和计算机视觉的技术领域，特指一种面向多摄像机的目标匹配方法。

背景技术：

随着智能交通、平安城市等一系列智能化概念的提出，智能视频监控技术成为计算机视觉领域一个新兴的应用方向。其中基于单摄像机的目标检测跟踪在某些小范围场景中已经得到了良好的应用。但是单摄像机视野范围十分有限，无法多角度、长时间对目标进行处理。多个摄像机具有监控范围大，观测角度广等优点，并可以利用多重信息增加系统的鲁棒性，因此在视频监控领域的应用越来越广。

但是多个摄像机的使用也会带来一系列新问题，包括多摄像机之间的目标匹配、目标接力跟踪、数据融合等。其中，多摄像机之间的目标匹配是指在不同的图像序列中找到目标间的对应关系，其结果直接影响后续的处理，因此它是多摄像机应用中最重要和基础的问题之一。

近年来，各国研究人员陆续提出了一些方法来尝试解决这个问题。这些方法一般可分为：基于区域的方法和基于点的方法。基于区域的方法将目标视为区域，利用区域的颜色相关特征在多视角中进行匹配。但是这类特征受光线影响较大，导致匹配误差较大。基于点的方法是根据几何约束对目标的特征点进行匹配，从而实现多摄像机的目标匹配。但这类方法需要较多的先验知识进行建模，过程比较复杂，无法满足实际需求。

技术实现要素：

针对现有跟踪方法的不足，本发明其目的在于提出一种面向多摄像机的目标匹配方法。

本发明的技术方案是：

一种面向多摄像机的目标匹配方法，包括以下步骤：

S1通过两个摄像机同步对目标进行拍摄，得到目标的两幅视频图像P1(x,y)和P2(x,y)，然后在第一幅图像P1(x,y)对目标区域进行标记，这里我们通过手工指定的方式完成。手工选择包含目标的一个矩形图像，记为目标图像A(x,y)，矩形大小为a×b。

S2使用一个大小为a×b的窗口，在图像P2(x,y)上进行滑动搜索，通过灰度匹配找到一个候选图像块集合；

滑动搜索时，窗口每滑动一次，在图像P2(x,y)上得到的一个大小为a×b的图像块，记为B(x,y)，计算B(x,y)和目标图像A(x,y)的灰度差值SAD(B)：

SAD(B)＝∑|A(x,y)-B(x,y)| (1)

根据这个定义可以看到，灰度差值越小，说明两者匹配程度越高。窗口滑动搜索完毕后，对所有的灰度差值进行排序，选择数值最小的前100个对应的图像块作为候选图像块集合，记为{B_i(x,y)|i＝1,…,100}。

S3对目标图像A(x,y)进行基于有序比对特征描述，得到一个特征向量；

S3.1对目标图像A(x,y)进行分块，将目标图像A(x,y)平均分成若干个图像小块，每个图像小块大小均为3×3，那么可以得到数目为的图像小块，记为{k₁(x,y),k₂(x,y),…,k_sum(x,y)}。

S3.2对目标图像A(x,y)上的所有的3×3的图像小块进行有序比对编码；

对任一3×3的图像小块进行有序比对编码的方法是：通过度量图像小块与其周围均匀分布的同等大小的八个矩形区域之间平均灰度的有序比对关系，并用二进制编码把这八个有序比对关系串接成一个描述子，获得一个特征值。本发明提出的有序比对特征的编码思想借鉴了局部二元模式描述子，但矩形区域之间的比对比像素之间的比对更加稳定可靠，因为计算平均灰度也即均值滤波操作，对图像噪声有很好的抑制作用。

a.对于目标图像A(x,y)上的任一图像小块k_j(x,y)，计算其的灰度均值其中Ω表示图像小块k_j(x,y)所有的像素集合。

b.以图像小块k_j(x,y)为中心，选择周围均匀分布的八个的大小为3×3的矩形区域：记k_j(x,y)的中心像素位置为(x₀,y₀)，那么其周围八个大小为3×3的矩形区域的中心像素分别为(x₀-6,y₀)、(x₀-3,y₀+3)、(x₀,y₀+6)、(x₀+3,y₀+3)、(x₀+6,y₀)、(x₀+3,y₀-3)、(x₀,y₀-6)、(x₀-3,y₀-3)，按照顺序计算这八个矩形区域的灰度均值，记为{μ₁,μ₂,…,μ₈}。

c.有序比对特征以图像小块k_j(x,y)的灰度均值μ为阈值，分别将周围八个矩形区域的灰度均值{μ₁,μ₂,…,μ₈}与μ进行比较，若大于μ，标记为1，否则为0。这样经过比较会产生8位二进制数，转化为十进制数所得的值即得到该图像小块k_j(x,y)的有序比对特征值YXT(k_j)。其计算公式为：

其中

d.按照步骤a至c中的方法对图像A(x,y)上所有的图像小块进行有序比对编码，最终可以得到一个长度为sum的特征向量，记为YXT_A。

S4对候选图像块集合中的每个候选图像块进行基于有序比对特征描述，每个候选图像块会得到一个特征向量；

按照步骤S3中同样的方法对候选图像块集合{B_i(x,y)|i＝1,…,100}里的每个候选图像块进行基于有序比对特征描述，每个候选图像块会得到一个长度为sum的特征向量，记为{YXT_B_i|i＝1,…,100}。

S5通过特征向量计算目标图像和候选图像的距离，选择最小的作为最佳匹配结果。

以任一候选图像B_i(x,y)为例说明计算过程，B_i(x,y)的特征向量为YXT_B_i，目标图像A(x,y)的特征向量为YXT_A，采用欧式距离计算两者的差异也即距离dist(B_i)：

对所有的候选图像都采用上述方法计算和目标图像的距离后，进行排序，找到距离最小的候选图像作为最佳匹配结果。

本发明首先通过一个简单的灰度匹配找到一个候选图像块集合，然后通过精度高的有序特征比对描述对图像进行特征描述并计算匹配系数，最终找到目标匹配的结果。本发明方法同时考虑匹配准确度和时间复杂度两个要素，在不需要耗费太多时间的基础上依然可以达到很好的匹配效果，适用于各种视频图像处理系统。

附图说明

图1是本发明一种面向多摄像机的目标匹配方法的流程图；

图2是有序比对特征的模板示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

一种面向多摄像机的目标匹配方法，包括以下步骤：

通过两个摄像机同步对目标进行拍摄，得到目标的两幅视频图像P1(x,y)和P2(x,y)，然后在第一幅图像P1(x,y)对目标区域进行标记，这里我们通过手工指定的方式完成。手工选择包含目标的一个矩形图像，记为目标图像A(x,y)，矩形大小为a×b。

为了提高匹配的准确性，需要对图像进行复杂的特征描述，但是这也同时提高了匹配的时间复杂度。本发明同时考虑匹配准确度和时间复杂度两个要素，提出了一种分布式的目标匹配方法，首先通过一个简单的灰度匹配找到一个候选图像块集合，然后通过精度高的有序特征比对描述对图像进行特征描述并计算匹配系数，最终找到目标匹配的结果。具体步骤如下：

(1)使用一个大小为a×b的窗口，在图像P2(x,y)上进行滑动搜索，通过灰度匹配找到一个候选图像块集合；

窗口每滑动一次，在图像P2(x,y)上得到的一个大小为a×b的图像块，记为B(x,y)，计算B(x,y)和目标图像A(x,y)的灰度差值SAD(B)：

SAD(B)＝∑|A(x,y)-B(x,y)| (1)

根据这个定义可以看到，灰度差值越小，说明两者匹配程度越高。窗口滑动搜索完毕后，对所有的灰度差值进行排序，选择数值最小的前100个对应的图像块作为候选图像块集合，记为{B_i(x,y)|i＝1,…,100}。

(2)对目标图像A(x,y)进行基于有序比对特征描述，得到一个特征向量；

S2.1对目标图像A(x,y)进行分块，将目标图像A(x,y)平均分成若干个图像小块，每个图像小块大小均为3×3，那么可以得到数目为的图像小块，记为{k₁(x,y),k₂(x,y),…,k_sum(x,y)}。

S2.2对目标图像A(x,y)上的所有的3×3的图像小块进行有序比对编码；

对任一3×3的图像小块进行有序比对编码的方法是：通过度量图像小块与其周围均匀分布的同等大小的八个矩形区域之间平均灰度的有序比对关系，并用二进制编码把这八个有序比对关系串接成一个描述子，获得一个特征值。本发明提出的有序比对特征的编码思想借鉴了局部二元模式描述子，但矩形区域之间的比对比像素之间的比对更加稳定可靠，因为计算平均灰度也即均值滤波操作，对图像噪声有很好的抑制作用。

下面任取一个图像小块k_j(x,y)为例进行有序比对的编码说明。

a.对于目标图像A(x,y)上的任一图像小块k_j(x,y)，计算其的灰度均值其中Ω表示图像小块k_j(x,y)所有的像素集合。

b.以图像小块k_j(x,y)为中心，选择周围均匀分布的八个的大小为3×3的矩形区域：记k_j(x,y)的中心像素位置为(x₀,y₀)，那么其周围八个大小为3×3的矩形区域的中心像素分别为(x₀-6,y₀)、(x₀-3,y₀+3)、(x₀,y₀+6)、(x₀+3,y₀+3)、(x₀+6,y₀)、(x₀+3,y₀-3)、(x₀,y₀-6)、(x₀-3,y₀-3)，按照顺序计算这八个矩形区域的灰度均值，记为{μ₁,μ₂,…,μ₈}。

c.有序比对特征以图像小块k_j(x,y)的灰度均值μ为阈值，分别将周围八个矩形区域的灰度均值{μ₁,μ₂,…,μ₈}与μ进行比较，若大于μ，标记为1，否则为0。这样经过比较会产生8位二进制数，转化为十进制数所得的值即得到该图像小块k_j(x,y)的有序比对特征值YXT(k_j)。其计算公式为：

其中如图2所示，每个图像块大小均为3×3，标号1～8的图像块即为需要和图像小块a_i(x,y)进行比对的八个矩形区域。

d.按照步骤a至c中的方法对目标图像A(x,y)上所有的图像小块进行有序比对编码，最终可以得到一个长度为sum的特征向量，记为YXT_A。

(3)按照步骤(2)中同样的方法对候选图像块集合{B_i(x,y)|i＝1,…,100}里的每个候选图像块进行基于有序比对特征描述，每个候选图像块会得到一个长度为sum的特征向量，记为{YXT_B_i|i＝1,…,100}。

(4)通过特征向量计算目标图像和候选图像的距离，选择最小的作为最佳匹配结果。

以任一候选图像B_i(x,y)为例说明计算过程，B_i(x,y)的特征向量为YXT_B_i，目标图像A(x,y)的特征向量为YXT_A，采用欧式距离计算两者的差异也即距离dist(B_i)：

对所有的候选图像都计算和目标图像的距离后，进行排序，找到距离最小的候选图像作为最佳匹配结果。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。