基于空间‑光谱结构约束的多尺度分层目标检测方法与流程

本发明属于目标识别领域，具体方法涉及一种分层结构模型中多维窗口特征的结合。

背景技术：

目标识别是计算机视觉领域一个重要的课题，它包含分类和检测。目标分类是将一个给定目标归纳至几个已知种类，而后者是将目标从待测图像中提取出来。传统的目标分类是依赖统计学习的分类器模型，并且需要大量的训练样本。这种训练过程缓慢且容易出现参数过拟合现象。因而，无训练的目标检测算法在近年来得以发展。

2003年，文献1(D.Comaniciu,V.Ramesh,P.Meer,Kernel-based object tracking,Pattern Analysis and Machine Intelligence,IEEE Transactions on,25(2003)564-577.)在目标跟踪中提出使用核作为算子。之后文献2(H.Takeda,S.Farsiu,P.Milanfar,Kernel regression for image processing and reconstruction,Image Processing,IEEE Transactions on,16(2007)349-366.)提出使用核回归模型提取局部特征结构，从而对原图像进行恢复和重建。在此基础上，文献3(H.J.Seo,P.Milanfar,Training-free,generic object detection using locally adaptive regression kernels,Pattern Analysis and Machine Intelligence,IEEE Transactions on,32(2010)1688-1704.)提出了的局部自适应回归核的目标识别算法，可适用于人脸识别。但是文献3中采用的单一模版，检测结果对模板的依赖度高，同时该算法只考虑整体结构，对于多姿态的目标检测显得力不从心。针对这些问题，文献4(F.Luo,J.Han,W.Qi,Y.Zhang,L.Bai,Robust object detection based on local similar structure statistical matching,Infrared Physics&Technology,68(2015)75-83.)将局部细节纳入考虑范围，提出局部相似结构统计匹配(LSSSM)。LSSSM对目标检测的效果有所改善，但未能在效率和效果两方面形成双赢模式。文献5(Liu J,Han J,Zhang Y,et al.A novel method of target recognition based on 3D-color-space locally adaptive regression kernels model[C]//Applied Optics and Photonics China.International Society for Optics and Photonics,2015:96753A-96753A-6.)中加入了RGB彩色图像信息，解决了文献3和4中光谱信息丢失的问题，但却增加了计算负担。同时，文献3，文献4和文献5的算法均只考虑局部图像块中中心像素点与周围像素点值之间的关系，而忽视了局部图像块之间的结构和光谱关系。例如人体的胳膊与树干在局部图像块中呈现较高的相似度。因此，只考虑图像块的内部关系而忽略图像块之间的关系势必会引起误检测。

文献6(Xue T,Han J,Zhang Y,et al.Aneighboring structure reconstructed matching algorithm based on LARK features[J].Infrared Physics&Technology,2015,73:8-18.)虽然从非负线性重构的角度考虑了邻域结构，但自然环境中大多的物体的结构关系呈非线性，线性重构势必不能取得很好的效果；同时，NRSM本质只是进行简单的特征融合，邻域重构与LARK特征在窗口尺度上没有形成区域包含关系，只是分别对图像块进行处理。

技术实现要素：

本发明的目的在于提供一种能够同时提高检测精度与效率的基于空间-光谱结构约束的多尺度分层目标检测方法。

实现本发明目的的技术解决方案为：一种基于空间-光谱结构约束的多尺度分层目标检测方法，利用类金字塔分层结构模型，结合局部特征和近邻特征对目标进行检测，其中局部特征和近邻特征通过多维窗口构建位置关系，具体包括以下步骤：

步骤1，根据待检测目标，构建多尺度多视角多姿态的模板集；计算该模板集的二值化近邻特征矩阵和自适应局部核回归特征矩阵，并对两组特征矩阵进行去冗余优化；

步骤2，将待测图像缩小至原图像的1/4，根据ITTI显著目标分析，对待测图像进行预处理，去除场景中的背景噪声；计算预处理后待测图像的近邻特征矩阵，根据余弦相似性准则与模板集的近邻特征矩阵进行相似度比较，从而初步确定目标的范围T₁；

步骤3，将待测图像缩小至原图像的1/2，计算步骤2中T₁区域的自适应局部核回归特征矩阵，并与模板集的自适应局部核回归特征矩阵进行相似度对比，确定目标区域T₂；

步骤4，将待测图像恢复至原图大小，计算步骤3中的T₂区域的近邻特征矩阵，再次根据余弦相似性准则与模板集的近邻特征矩阵进行相似度比较，确定出目标的最终位置，完成目标检测。

进一步地，步骤1中所述模板集的二值化近邻特征矩阵计算过程如下：

局部窗口之间的像素灰度的联合分布反映该局部区域的纹理分布，公式如下：

其中，T表示局部特征，w为九宫格中小窗口宽度，g_X(i,j)表示中心窗口中点(i,j)的像素灰度，g_1(i,j),g_2(i,j),…,g_8(i,j)表示邻域8个窗口中点的像素灰度；

按照像素排列顺序，将中心窗口的像素灰度与邻域窗口进行比较，通过差值分布函数反映邻域窗口的纹理分布情况：

为了更直接的描述中心窗口与邻域窗口的纹理变化，将上述差值分布函数进行二值化处理：

其中，

因此，邻域w×w的窗口转化为0/1组合的二值化图像，按照位置顺序用2^p对该二值化图像进行加权求和：

将邻域的8个窗口均进行上述操作，构成BP算子：

BP＝{BP₁,BP₂,...,BP₈} (6)

BP_k表示第k个邻域窗口与中心窗口的结构关系，即为权重；对BP_k进行归一化处理得归一化值NBP：

选取固定的间隔interval，使大窗口历遍M*N大小的图像，从而得到全图的NPBP特征矩阵即二值化近邻模式特征矩阵，矩阵大小为interval为所取间隔大小。

进一步地，步骤1中所述模板集的自适应局部核回归特征矩阵计算过程为：

局部核函数反映图像局部结构区域变化趋势，公式如下：

K(X_l-X；C_l)＝exp{(X_l-X)^TC_l(X_l-X)},l∈{1,...,L}. (8)

其中，K(·)为局部核函数，X为窗口中心像素点的位置，X_l为窗口内中心像素点外其他像素点的位置，C_l为协方差矩阵，L为窗口内像素数；

将图像特征信息定义为S＝{x,y,r,z(x,y,r)}，其中[x,y]为空间坐标，r为色度坐标，z(x,y,r)为点(x,y,r)的灰度值；

通过黎曼度量建立特征信息的微分公式：

dS²＝dx²+dy²+dr+dz²＝ΔX^TC_lΔX (9)

其中，ΔX＝[dx,dy,dr]，C_l为适用于多光谱图像的协方差矩阵：

其中，k为窗口Ω_l的中心像素点，z_x(k)、z_y(k)、z_r(k)为点k处灰度值对x、y、r轴的一阶偏导，分别为点k处灰度值对x、y、r轴的二阶偏导；

将C_l带入局部核函数，计算出以像素点为中心的w×w×w_r窗口内的局部核：

其中，为以i中心像素点的窗口中l像素点处的局部核值；

从而得到该像素点i的权值向量矩阵fⁱ：

用w×w×w_r的窗口历遍全图，通过计算各个像素点的权值向量矩阵，得到模板集Q的权值向量矩阵，m为模板集图像的个数，M为模板集m张图像总的像素数。

进一步地，步骤1所述对两组特征矩阵进行去冗余优化，具体如下：

其中，ρ为相似度值，与分别表示模板Q的权值向量矩阵中的第i行和第j行；

设定阈值τ，如果ρ>τ，则只保留其中一个列向量；反之，两向量均保留。

本发明与现有技术相比，其显著优点在于：(1)多尺度的模板集克服了单模板检测精度不高的缺陷；(2)建立在多维窗口上的两种空间-光谱特征结合，解决了光谱信息缺失和目标细节过度拆分造成的误检测；(3)类金字塔分层结构模型中的两种特征交替检测，在提高检测精度的同时提高了检测效率。

附图说明

图1为本发明基于空间-光谱结构约束的多尺度分层目标检测方法的流程图。

图2为本发明实施例中的汽车检测模板集示意图。

图3为本发明实施例中在CBCL数据库中的汽车检测结果图，其中(a)～(h)依次为不同汽车检测结果图。

具体实施方式

下面以汽车目标为实例对本发明做进一步的详细阐述：

本发明提出了一种基于local binary和LARK的多尺度分层结构模型。针对图像背景信息干扰，局部特征过度拆分等问题，融合空间域和光谱域信息，构建了空间-光谱的NPBP特征矩阵即二值化近邻模式特征矩阵；通过多维窗口将近邻结构特征与局部细节特征相结合，交替检测，提高了目标识别的精确度；同时，针对目标的尺寸差异和姿态多变等问题，建立多尺度多姿态多角度的模板集，确保图像中的目标均可被检测识别；最后建立类金字塔分层结构模型，提高检测精度的同时有效缩短了检测时间。

结合图1，本发明基于空间-光谱结构约束的多尺度分层目标检测方法，利用类金字塔分层结构模型，结合局部特征和近邻特征对目标进行检测，其中局部特征和近邻特征通过多维窗口构建位置关系，具体包括以下步骤：

步骤1，根据待检测目标，构建多尺度多视角多姿态的模板集；计算该模板集的二值化近邻特征矩阵和自适应局部核回归特征矩阵，并对两组特征矩阵进行去冗余优化；

步骤2，将待测图像缩小至原图像的1/4，根据ITTI显著目标分析，对待测图像进行预处理，去除场景中的背景噪声；计算预处理后待测图像的近邻特征矩阵，根据余弦相似性准则与模板集的近邻特征矩阵进行相似度比较，从而初步确定目标的范围T₁；

步骤3，将待测图像缩小至原图像的1/2，计算步骤2中T₁区域的自适应局部核回归特征矩阵，并与模板集的自适应局部核回归特征矩阵进行相似度对比，确定目标区域T₂；

步骤4，将待测图像恢复至原图大小，计算步骤3中的T₂区域的近邻特征矩阵，再次根据余弦相似性准则与模板集的近邻特征矩阵进行相似度比较，确定出目标的最终位置，完成目标检测。

实施例1

首先，构建如图2所示的汽车的模板集，汽车模板集中的汽车呈现图中①-⑦所示的多尺度多视角。

第一步：计算模板集的空间-光谱近邻结构特征。近邻结构特征是反映中心窗口与邻域8窗口的结构关系。

局部窗口之间的像素灰度的联合分布可反映该局部区域的纹理分布：

其中，T表示局部特征，w为九宫格中小窗口宽度，g_X(i,j)表示中心窗口中点(i,j)的像素灰度，g_1(i,j),g_2(i,j),…,g_8(i,j)表示邻域8个窗口中点的像素灰度；

按照像素排列顺序，将中心窗口的像素灰度与邻域窗口进行比较，通过差值分布函数反映邻域窗口的纹理分布情况：

为了更直接的描述中心窗口与邻域窗口的纹理变化，将上述差值分布函数进行二值化处理：

其中，

因此，邻域w×w的窗口转化为0/1组合的二值化图像(也可视为一串长度为w×w的二进制数)。按照位置顺序用2^p对该二值化图像进行加权求和：

将邻域的8个窗口均进行上述操作，构成BP算子：

BP＝{BP₁,BP₂,...,BP₈} (6)

BP_k表示第k个邻域窗口与中心窗口的结构关系，即为权重。权重值的范围随着窗口的增大而增加，不利于后续的计算处理，因此对BP_k进行归一化处理得归一化值NBP：

选取一定的间隔，使图示的5*5*9的大窗口历遍M*N大小的图像，从而得到全图的NPBP特征矩阵，矩阵大小为interval为所取间隔大小。可见图像的NPBP矩阵较原图阵以interval倍缩小，相当于对图像进行了一个稀疏编码的图像重建过程，有利于节省后续的计算时间，提高识别效率。

第二步：计算模板集的空间-光谱局部自适应核特征(3D-LARK)矩阵。

局部核函数反映图像局部结构区域变化趋势，公式如下：

K(X_l-X；C_l)＝exp{(X_l-X)^TC_l(X_l-X)},l∈{1,...,L}. (8)

其中，K(·)为局部核函数，X为窗口中心像素点的位置，X_l为窗口内中心像素点外其他像素点的位置，C_l为协方差矩阵，L为窗口内像素数；

将图像特征信息定义为S＝{x,y,r,z(x,y,r)}，其中[x,y]为空间坐标，r为色度坐标，z(x,y,r)为点(x,y,r)的灰度值；

通过黎曼度量建立特征信息的微分公式：

dS²＝dx²+dy²+dr+dz²＝ΔX^TC_lΔX (9)

其中ΔX＝[dx,dy,dr]，C_l为适用于多光谱图像的协方差矩阵：

其中，k为窗口Ω_l的中心像素点，z_x(k)、z_y(k)、z_r(k)为点k处灰度值对x、y、r轴的一阶偏导，分别为点k处灰度值对x、y、r轴的二阶偏导；

将C_l带入局部核函数，计算出以像素点为中心的w×w×w_r窗口内的局部核：

其中，为以i中心像素点的窗口中l像素点处的局部核值；

从而得到该像素点i的权值向量矩阵fⁱ：

用w×w×w_r的窗口历遍全图，通过计算各个像素点的权值向量矩阵，得到模板集Q的权值向量矩阵，m为模板集图像的个数，M为模板集m张图像总的像素数。

第三步：根据余弦相似性准测，对上述两个特征矩阵去冗余：

其中，ρ为相似度值，与分别表示模板Q的权值向量矩阵中的第i行和第j行；

设定阈值τ，如果ρ>τ，则只保留其中一个列向量；反之，两向量均保留。

其次，根据上述理论，计算出待测图像的空间-光谱NPBP和3D-LARK特征矩阵。

最终，根据类金字塔分层结构模型，通过每一层待测图像与模板集特征矩阵之间的相似性度量，判断是否包含目标；并通过非极大值抑制，检测出目标的位置。每一层都对前一层的检测结果进行修正，最终取得较好的识别效果。首先通过NPBP邻域特征对待测图像进行整体把握，在此基础上通过3D-LARK进行细节特征分析，从而在一定程度上减少了原待测图背景噪声的干扰。最后再通过NPBP对第二层的细节分析结果进行整体检测。实验证明，如图3(a)～(h)所示，本算法在彩色图像上取得了较好的识别效果，识别精度和效率均有所提高。

综上所述，本发明构建了基于近邻结构特征和局部自适应核回归的类金字塔分层结构模型。将图像局部区域的内部特征与区域间的结构特征相结合，改善了图像背景信息干扰，局部特征过度拆分等问题；并在特征算子中融合空间域和光谱域信息，使算法可普适到多光谱图像，并提高了检测精度；在从多尺度等方面扩充模板集的同时利用类金字塔分层结构中两种特征的交替识别，提高识别效率和精度。