基于深度卷积神经网络的多摄像机系统目标匹配方法
【技术领域】
[0001] 本发明属于计算机视觉中的智能视频监控领域，适用于多摄像机协作视频监控系 统的基于深度卷积神经网络的目标匹配方法。
【背景技术】
[0002] 在大型的视频监控场所，如机场、地铁站、广场等，对于多摄像机协作监控系统中 的目标进行跟踪，多摄像机间的目标匹配是一个关键步骤。对于大型的视频监控场景，摄像 机的标定是困难、复杂的，彼此间的空间关系、时间关系W及时间差难W进行推理，因此目 前应用较广的多摄像机间的目标匹配方法主要是基于特征的目标匹配，特征选取的有效性 直接影响匹配结果的准确性。但是能有效对目标进行表征的鲁棒性特征的提取是一个难 题。目前常用的特征包括颜色、纹理等，该些特征难W在所有的监控场景中都保持良好的鲁 棒性。因此，我们提出了一种基于深度学习的目标匹配方法，可W从视频峽序列中自适应地 学习出特征W实现准确的目标匹配。与传统的神经网络相比，深度神经网络克服了网络层 数较少的问题，通过对特征进行逐层变换，获得更加抽象的特征表达，并且将目标分类作为 网络的最后输出层实现，大大提高了目标匹配的速度与效率。
【发明内容】
[0003] 本发明要克服现有技术的上述不足，提供一种基于深度学习的多摄像机间的目标 匹配方法，该方法的具体步骤包括：
[0004] (1)目标图像的预处理；提取多摄像机域的n幅目标图像，共分为m个标签；利用 双H次插值算法化icubic inte巧olation)将图像尺寸统一调整为hXw，其中h为图像的 高，W为图像的宽；对图像样本的像素值进行简单缩放，使得最终的像素值均落在[0, 1]之 间；n幅图像的标签存储为nXl的数据，每一个标签的取值范围为[1，…，m];
[0005] (2)基于深度卷积神经网络进行特征提取：
[000引 （a)从步骤（1)中提取得到的目标图像中选取出nt个训练样本，作为卷积神经网 络第一层输入层的感知节点X二片…，式J 其中，X" i = 1，2,…，叫表示 第i幅图像；
[0007] 化）应用于目标图像特征提取的滤波器是一种基于局部保护投影方法构建的卷积 核，其具体构建方法如下：
[0008] 对图像X进行分块处理，设定分块大小为P iXp2,则Xi的全部分块为： X沁X林…，其中，Xu, j = 1，…，hw表示Xi的第j个分块向量；然后从 每个分块上减去分块均值，得到：式二[无U,无其中，文U，j = 1，…，hw表 示移去均值后的分块；对所有的输入图像X做相同的处理，得到：^ e j^PiPzXrithw,
[0009] 特征向量按下式计算；XLXTa = AXDXTa，其中，a是特征向量，A是a对应的特 征值，D是对角矩阵，其元素值为权重矩阵W的列和或者行和；权重矩阵W是维数为ntXnt 的稀疏矩阵，W。表示样本文^与為?之间的连接权重，计算所有样本间的欧几里得距离，对 于每个样本，寻找与其距离最近的k。。。,。,,个样本，即；如果样本馬?在样本式.的k。。。,。,,个最 _ _ _ 2 近邻居内，或者样本馬在样本兩的barest个最近邻居内，则Wy = E况)， 否则，Wy= 0 ;D "= E jWji，L = W-D是Laplacian矩阵；将计算得到的特征向量按其特 征值大小进行排序，取前ki个特征向量（a〇,ai,…令V/= a…i = 1，2,…，kS贝IJ '^1 =[巧，巧咕]e胶口 1 口?'xki即为提取的卷积核；
[0010] 将卷积核yi与每峽图像是进行卷积，即又/二疋*巧，i = 1，…，nt，j = 1，…，ki，则在该卷积层产生ntki幅输出特征映射图，表示为： F 二的,...，巧 1,巧,...，巧V..,种￡，...，巧；]e 胶叫川W;
[0011] (C)对于上述得到的特征映射图Y，对其基于最大值池化（max pooling)进行特征 点下采样；设采样窗口大小为siXsi，则得到ntki幅输出特征映射图：
[0012]
【主权项】
1. 一种基于深度卷积神经网络的多摄像机系统目标匹配方法，其特征包括： (1) 目标图像的预处理：提取多摄像机域的n幅目标图像，共分为m个标签；利用双三 次插值算法（bicubicinterpolation)将图像尺寸统一调整为hXw，其中h为图像的高，w 为图像的宽；对图像样本的像素值进行简单缩放，使得最终的像素值均落在[〇, 1]之间；n 幅图像的标签存储为nX1的数据，每一个标签的取值范围为[1，…，m]; (2) 基于深度卷积神经网络进行特征提取： (a) 从步骤⑴中提取得到的目标图像中选取出nt个训练样本，作为卷积神经网络第
一层输入层的感知节纟 库中，Xpi= 1，2,…，nt表示第i幅 图像； (b) 应用于目标图像特征提取的滤波器是一种基于局部保护投影方法构建的卷积核， 其具体构建方法如下： 对图像\进行分块处理，设定分块大小为p'巧，则\的全部分块为：
其中，Xu，j= 1，"'hw表示Xi的第j个分块向量；然后从 每个分块上减去分块均值，得到：
：中，fy，j= 1，…，hw表 示移去均值后的分块；对所有的输入图像X做相同的处理，得到Ue ^PiP2Xnthvj, 特征向量按下式计算：XLXTa=AXDXTa，其中，a是特征向量，入是a对应的特征值，D是对角矩阵，其元素值为权重矩阵W的列和或者行和；权重矩阵W是维数为ntXnt的稀 疏矩阵，表示样本戈<与&之间的连接权重，计算所有样本间的欧几里得距离，对于每 个样本，寻找与其距离最近的kn_st个样本，即：如果样本在样本兄的kn_st个最近 邻居内，或者样本在样本尤/的kn_st个最近邻居内，则
否 贝1J，Wij= 0;DEjWji，L=W-D是Laplacian矩阵；将计算得到的特征向量按其特征值 大小进行排序，取前k1个特征向量
=1，2,…，k1，则
即为提取的卷积核； 将卷积核V1与每帧图像足进行卷积，即X/ =兄*K/，i= 1，…，nt，j= 1，…，k1，则在该卷积层产生ritk1幅输出特征映射图，表示为：
(c) 对于上述得到的特征映射图Y，对其基于最大值池化（maxpooling)进 行特征点下采样；设采样窗口大小为s1Xs1，则得到ntk1幅输出特征映射图：
其中，第i幅输出特征映射图
3第i幅输出特征映射 图的第j行第k列，i= 1，…，ntk1
u、v 表示采样步长，f表示第i幅输入图像，max{.}表示取最大值函数；另外，本算法采用无重 叠采样，即取U=V=S1; ⑷采用与（b)相类似的步骤，对图像Xi进行分块处理，设定分块大小为PlXp2，将 步骤（c)得到的特征映射图Z作为该卷积层的输入，对每帧图像的分块数据去均值，得 到输入图像：
其中，第i幅输入特征映射图
=1，…，hk1表示第i幅分块去均值后的图像，j= 1，…，hw表示第i幅图像中移去均值后的第j个分块向量；构造权重矩阵W，并根据ZLZTa =AZDZTa计算特征向量，按照特征值大小进行排序后，取前k2个特征向量作为选取的卷 积；
其中，印，i= 1，…，k2表示V2中的第i个卷 积核；然后利用得到的卷积核V2对每帧图像名进行卷积，则在该卷积层产生nfk2幅输出 特征映射图
，其中，
(e) 对十上述得到的特祉映射图U，米用与（c)相类似的步骤，对其基于最大值池 化进行特征点下采样；设采样窗口大小为s2Xs2,则得到nfk2幅输出特征映射图：
其中，第 i幅输出特征映射图
表示第i幅输出特征映射图的第j行第k列，i= 1，…，ntkY，
L，u、v表示采样步长，U1表示第i幅输入 图像，max{.}表示取最大值函数；另外，本算法采用无重叠采样，即取u=v=s2; (f) ^
i= 1，…，hk1，即取0中的每k2幅图 像为一组，将其进行Heaviside二值量化后处理为十进制值，则每k2幅图像转换成一幅图f
= 1，…，hk1，其中，H( ?)表示Heaviside函数，表示 Pi中的第j幅图像，表示十进制处理结果，取值范围为[0,2fc2 - 1];然后每取1^幅!\ 图像为一组，先将每幅图像划分成B块，再计算出每块区域的直方图特征，然后将得到的B 块直方图特征连接成行向量，定义为Bhist(7)s)，其中，rf= 1 =i，…，nt， s= 1，…，k1;则对于（a)中的每幅图像Xi，最终基于卷积神经网络提取得到特征矢量
(3)分类识别：将上述提取得到的特征./" = 作为输入，每个特征矢量 对应的目标标签作为输出，通过多类支持向量机SVM构建得到目标的分类器模型。基于该 分类器模型，可实现对不同摄像机视野中的目标进行标注和分类，以用于目标交接及跟踪 等。
【专利摘要】一种基于深度卷积神经网络的多摄像机间的目标匹配方法。本发明基于局部保护投影方法初始化多个卷积核，基于最大值池化方法对图像进行下采样，通过逐层特征变换，提取更加鲁棒、更加具有代表性的直方图特征；再利用多类支持向量机SVM分类器进行分类识别。当目标从一个摄像机视野域进入另外一个摄像机视野域时，对其提取特征并标注对应的目标标签，实现在多摄像机协作监控领域对目标进行准确的识别，以用于目标交接及跟踪等。
【IPC分类】G06K9-46, G06K9-66
【公开号】CN104616032
【申请号】CN201510047118
【发明人】王慧燕, 王勋, 何肖爽, 陈卫刚
【申请人】浙江工商大学
【公开日】2015年5月13日
【申请日】2015年1月30日