一种模糊异谱图像的模板匹配识别方法与流程

本发明属于数字图像识别技术领域，更具体地，是一种针对模糊异谱图像的模板匹配识别方法。

背景技术：

在模板匹配识别问题中，考虑到时间、空间环境的约束以及采集设备的限制，通常需要用不同源的传感器进行模板制备和实时图像的摄取，比如采用三维投影进行模板制备，而采用红外传感器进行实时图像扫描，而这种异谱段的图像仅在轮廓上相似，细节上却存在很大的差异。在采集实时图像时，又容易由于镜头的虚晃或环境干扰而造成采集图像的模糊。异谱段和模糊现象给模板匹配识别任务带来了诸多挑战。

模板匹配识别按照工作原理的不同，主要可以分为传统的非参数化的模板匹配识别方法和基于样本学习的参数化模板匹配识别方法。

传统方法基于像素灰度值或特征计算相关系数和最近邻的思想从而进行模板匹配识别，这种方法在模板制备与保障条件好的情况下可以取得较好结果，而针对模糊异谱图像的模板匹配识别问题，由于模板图像与实时图像的差异性，加之非参数化的方法对于待匹配的特征对等看待，不存在特征选择的过程，保留诸多无用甚至有害的冗余特征，传统方法存在诸多弊端；而参数化的方法主要基于机器学习，通过有监督训练获取具有较强区分能力的分类器来进行模板匹配识别，但由于特殊环境(异谱段、模糊)下可采集样本质和量的限制以及模板图像与实时图像问存在的很大差异，基于样本学习的参数化匹配方法采用较少，传统的非参数化的模板匹配识别方法仍是常用方法。

由此可见，现有技术中非参数化方法中存在无法进行特征选择、保留诸多无用甚至有害的冗余特征的技术问题，现有技术中参数化方法存在难以针对处于异谱段、加有模糊的小样本进行参数化学习的技术问题。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种模糊异谱图像的模板匹配识别方法，其目的在于结合深度学习、单样例支撑向量机和难例挖掘机制进行可见光图像的知识迁移，从而获得具有特征选择能力的面向单正样本的参数化的二分类学习模型，由此针对现有技术中非参数化方法中存在无法进行特征选择、保留诸多无用甚至有害的冗余特征的技术问题，以及现有技术中参数化方法存在难以针对处于异谱段、加有模糊的小样本进行参数化学习的技术问题，提供了一个有效的解决方案。

为实现上述目的，按照本发明的一个方面，提供了一种模糊异谱图像的模板匹配识别方法，包括：

(1)获取样本图像，对样本图像进行模糊处理得到训练样本，训练样本包括正样本和负样本，正样本为单个三维投影模板图像，负样本为红外图像和若干可见光图像，此处的训练样本针对esvm训练；

(2)获取基于大型可见光图像数据集训练的cnn模型，去掉已经训练好的cnn模型的全连接层，得到目标cnn模型；

(3)将正样本输入目标cnn模型，得到特征图层，对特征图层进行处理得到正样本的特征描述；

(4)利用正样本图像的特征描述初始化esvm模型的权值向量；

(5)从负样本中抽取与正样本特征描述维度相同的负样本特征描述集合；

(6)将正样本特征描述和负样本特征描述集合输入esvm模型，结合难例挖掘机制迭代训练esvm模型，更新esvm模型参数，直至模型达到稳定状态，得到最终的esvm分类器；

(7)对待检测的经过模糊处理的红外实时图像进行密集采样得到若干子图，每个子图通过训练好的cnn模型提取特征图层，对特征图层进行处理得到特征描述后输入esvm分类器，得到所有子图的分值后进行极大值抑制，最高分值的子图对应的位置就是三维投影模板匹配上的红外图上的位置。

进一步的，步骤(3)的具体实现方式为：抽取少量正负样本输入目标cnn模型并进行不同特征图层描述能力的对比试验，综合特征描述能力和效率要求选取一个特征图层进行特征提取，将正样本输入目标cnn模型，得到各个卷积层对应的特征图层，按照对比试验的结果选取对应特征图层进行最大值池化处理得到池化后的特征，对池化后的特征进行向量化和规范化处理，得到正样本的特征描述。

进一步的，步骤(5)的具体实现方式为：从负样本中随机抽取m张负样本图像，m张负样本图像分别输入cnn，抽取对应特征图层，利用正样本特征描述对应的特征图层对负样本特征图层进行密集采样得到子特征图层，对子特征图层进行最大值池化、向量化和规范化处理，得到与正样本图像特征描述维度相同的负样本特征集合。

进一步的，步骤(6)包括：

(6-1)esvm模型对应分类函数fβ：

fβ(x)＝ω^tx+b

其中，x为输入的特征，b为偏重参数，ω为权值向量；

(6-2)将负样本特征描述集合dn输入esvm模型，按照下式进行难例挖掘，得到难例集合：

其中，xn为负样本特征集合dn中的特征，yn为其对应标签“-1”，即根据上式挖掘得到的难例集合；

(6-3)输入正样本特征xe和难例集合按照最小化目标函数来优化训练esvm模型，更新权值向量ω：

其中，ωe为目标函数，c1和c2为正则化常数，h为铰链损失函数；

(6-4)从负样本中去除处理过的负样本图像，在新的集合中随机抽取m张负样本图像，提取特征描述集合，并利用当前esvm模型进行难例挖掘，进而更新esvm模型，由此迭代训练t轮至esvm模型达到稳定状态，得到最终的esvm分类器：

fβ(x)＝ωf^tx+bf

其中ωf、bf分别为esvm分类器最终的权值向量和偏重参数。

进一步的，步骤(7)的具体实现方式为：对待检测的经过模糊处理的红外实时图像进行密集采样得到若干子图，每个子图通过训练好的cnn模型提取特征图层，对特征图层进行处理得到特征描述后输入esvm分类器，直至得到所有子图的分值和检测框的位置，由位置得到各个检测框大小，按照检测框大小重叠率不超过阈值进行极大值抑制，最高分值的子图对应的位置就是三维投影模板匹配上的红外图上的位置。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提供的模糊异谱图像的模板匹配识别方法，针对小样本和异谱图像匹配的问题，结合深度学习、单样例支撑向量机和难例挖掘机制将可见光图像域的知识迁移，获得面向单个正样本的参数化的二分类学习模型，为参数化的模板匹配识别框架的数据驱动提供了有效的保障。由此，本发明提供了一种有效融合迁移学习和特征选择机制、识别精度高的参数化的模板匹配识别方案。

(2)本发明提供的模糊异谱图像的模板匹配识别方法，打破了传统模板匹配识别的思维定势，为模板匹配识别引入了基于esvm(exemplarsvm，样例支撑向量机)的参数化的解决方案，使得模型具有特征选择的能力，相较于普通的csvm(categoricalsvm，类别的支撑向量机)，esvm能够获得更加细粒化的分类识别结果。

附图说明

图1为本发明实施例提供的一种模糊异谱图像的模板匹配识别方法的流程示意图；

图2为本发明实施例1提供的三维投影模板图；

图3为本发明实施例1提供的负样本集合；

图4为本发明实施例1提供的抽取cnn特征描述子的流程示意图；

图5为本发明实施例1提供的esvm测试过程的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，一种模糊异谱图像的模板匹配识别方法，主要包括以下步骤：

(1)获取样本图像，对样本图像进行模糊处理得到训练样本，训练样本包括正样本和负样本，正样本为单个三维投影模板图像，负样本为搜集的红外图像和大量可见光图像；

(2)获取现有的基于可见光图像训练的cnn模型，去掉cnn模型的全连接层；

(3)抽取少量正负样本输入cnn模型并进行不同特征图层描述能力的对比试验，综合特征描述能力和效率要求选取一个特征图层进行特征提取。将正样本图像输入cnn模型，得到所有卷积层对应的特征图层，按照对比试验的结果选取对应特征图层进行最大值池化处理得到池化后的特征，对池化后的特征进行向量化和规范化处理，得到正样本图像的特征描述；

(3-1)结合对比试验设正样本对应抽取的特征图层为其中l为特征图层中每张特征图的长度，w为特征图的宽度，d为特征图的张数。将fe中的每张特征图划分成n×n个窗口(n×n为池化窗的尺寸)，对于每个窗口取最大值，从而得到新的特征图层

(3-2)将特征图层f′e中d张特征图同一位置上的值按特征图顺序排成列向量，将n²个这样的向量串接，得到f′e的向量化表示

(3-3)对xe的每一个维度i进行如下的幂规范化(powernormalization)处理：

其中，[xe]i为xe的第i个元素；

(3-4)对上述幂规范化后的xe进行l2规范化，得到正样本图像的特征描述如下所示：

(4)利用正样本图像的特征描述xe初始化esvm模型的权值向量ω，即ω＝xe；

(5)从已有的负样本集合中随机抽取m张负样本图像，从m张负样本图像中抽取与正样本图像特征描述维度相同的负样本特征集合；

(5-1)m张负样本图像分别输入cnn，抽取对应特征图层，方式同正样本；

(5-2)对于m张图片中第i张负样本图像，采用正样本原始特征图尺寸、固定步长对其特征图层进行密集采样，获得ki个与fe同维度的子特征图层；

(5-3)对于第i张负样本图像对应的ki个子特征图层，分别按照正样本对应的处理方式对其进行最大值池化、向量化和规范化，获得ki个与正样本图像特征描述xe维度相同的负样本特征描述，对于所有的m张图片做同样处理最终获得ki个特征描述组成的负样本特征描述集合dn。

(6)利用esvm模型挖掘负样本中的难例，基于正样本和难例对应的特征描述训练和更新esvm模型进行新的难例挖掘，由此迭代训练优化直至模型达到稳定状态，得到最终的esvm分类器；

(6-1)初始化偏重参数b＝0，根据初始化权值向量ω得到当前esvm分类器对应分类函数fβ：

fβ(x)＝ω^tx+b

其中，x为输入的特征。

(6-2)将当前负样本描述集合dn输入分类器，按照下式进行难例挖掘，得到难例集合：

其中，xn为负样本特征集合dn中的特征，yn为其对应标签“-1”，即根据上式挖掘得到的难例集合。

(6-3)输入当前的正样本特征xe和难例集合按照最小化如下目标函数来优化训练esvm分类器，更新权值向量ω：

其中，ωe为目标函数，c1，c2为正则化常数表示所接项对于目标函数的影响程度，h为铰链损失函数：h(x)＝max(0，1-x)。

(6-4)从已有的负样本图像集合中去除已被处理过的负样本图像，在新的集合中随机抽取m张负样本图像，按照同样的方式提取特征描述集合，并利用当前分类器进行难例挖掘，进而更新分类器。由此迭代训练t轮至esvm达到稳定状态，得到最终的分类器：

fβ(x)＝ωf^tx+bf

其中ωf、bf分别为分类器最终的权值向量和偏重参数。

(7)对于待检测的经过模糊处理的红外实时图像进行密集采样，通过cnn提取特征图层，将特征图层经过池化、向量化和规范化后得到的特征描述输入esvm分类器，得到对应分值和对应各检测框的位置，由位置可得各检测框的大小，按照检测框大小重叠率不超过oth进行极大值抑制，将最高得分值对应的位置作为模板匹配识别结果。

实施例1

本发明提供了一种模糊异谱图像的模板匹配识别方法，包括esvm训练和实时图像检测阶段，具体的，前者包含训练样本和cnn模型的获取，提取正样本特征，esvm模型初始化，结合难例挖掘迭代训练esvm；后者包括密集采样，提取cnn特征，输入esvm获得对应分值，极大值抑制，获得最终结果。以下结合实施例来具体阐述本发明提供的获取模糊不变图像的特征描述子的方法，具体步骤如下：

(1)获取样本图像并对样本图像进行模糊处理得到训练样本。

(1-1)正样本为如图2所示的单个三维投影模板图像；

(1-2)负样本中红外图像的获取主要通过google、百度搜索引擎，可见光图像的获取途径包括搜素引擎和sun等大型可见光数据集，部分样本如图2所示，其中，左半部分为红外图，右半部分为可见光图；

(1-3)模糊处理采用高斯模糊，邻域窗口的尺寸设置为3×3，标准差设置为0.5；

(1-4)由cnn的输入要求将样本中灰度图像根据下式转换为rgb图像：

r＝i；g＝i；b＝i；

其中i为灰度图像，r，g，b为rgb图像的三个通道。

(2)获取现有的基于可见光图像训练的cnn模型。

(2-1)下载cnn模型：本实施例中采用由英国牛津大学vgg(视觉几何组)基于可见光图像训练的16层的cnn模型vgg-net；

(2-2)去掉模型的全连接层，使得模型可以输入任意尺寸大小的图片。

(3)抽取少量样本输入vgg-net并进行不同特征图层描述能力的对比试验，综合特征描述能力和效率要求选取一个特征图层进行特征提取。将正样本输入cnn模型，经过cnn前向传播过程中的卷积和降采样等操作后得到所有卷积层对应的特征图层，抽取特定卷积层对应的特征图层并进行最大值池化，对池化后的特征进行向量化和规范化。主要流程如图4所示。

(3-1)结合对比试验，本实施例中对应抽取的特征图层设定为conv5_1层，即vgg-net中第五组卷积层中的第一个子卷积层，则对应正样本抽取的特征图层其中l，w分别为特征图的长度与宽度，与输入图像的尺寸有关，d＝512为特征图的张数；

(3-2)将fe中的每一张特征图划分成2×2个窗口，对于每个窗口取最大值，从而得到新的特征图层

(3-3)将特征图层f′e中512张特征图同一位置上的值按特征图顺序排成列向量，将2²个这样的向量串接，得到f′e的向量化表示

(3-4)对xe的每一个维度i进行如下的幂规范化(powernormalization)处理：

其中，[xe]i为xe的第i个元素；

(3-5)对上述幂规范化后的xe进行l2规范化，得到正样本图像的特征描述如下所示：

(4)利用正样本图像的特征描述xe初始化esvm模型的权值向量ω，即ω＝xe；

(5)从已有的负样本集合中随机抽取40张负样本图像，从中抽取与正样本图像特征描述维度相同的负样本特征集合。

(5-1)40张负样本图像分别输入cnn，抽取对应特征图层，方式同正样本；

(5-2)对于40张负样本图像中的第i张负样本图像，采用尺寸为l×w(即正样本原始特征图尺寸)、横向步长和纵向步长均为1的滑动窗对特征图进行密集采样，获得ki个与fe同维度的子特征图层；

(5-3)对于第i张负样本图像对应的ki个子特征图层，分别按照正样本对应的处理方式对其进行最大值池化、向量化和规范化，获得ki个与正样本图像特征描述xe维度相同的负样本特征描述，对于所有的40张图片做同样处理最终获得个特征描述组成的负样本特征描述集合dn。

(6)利用esvm模型挖掘负样本中的难例，基于正样本和难例对应的特征描述训练和更新esvm模型进行新的难例挖掘，由此迭代训练优化直至模型达到稳定状态，，结合难例挖掘机制迭代训练和更新esvm模型至模型达到稳定状态。

(6-1)初始化偏重参数b＝0，根据初始化权值向量ω得到当前esvm分类器对应分类函数fβ：

fβ(x)＝ω^tx+b

其中x为输入的特征。

(6-2)将当前负样本描述集合dn输入分类器，按照下式进行难例挖掘，得到难例集合：

其中，xn为负样本特征集合dn中的特征，yn为其对应标签“-1”，即根据上式挖掘得到的难例集合。

(6-3)输入当前的正样本特征xe和难例集合取正则化常数c1＝0.5，c2＝0.01，按照最小化如下目标函数来优化训练esvm分类器：

其中，ωe为目标函数，h为铰链损失函数：h(x)＝max(0，1-x)。

(6-4)从已有的负样本图像集合中去除已被处理过的负样本图像，在新的集合中随机抽取40张负样本图像，按照同样的方式提取特征描述集合，并利用当前分类器进行难例挖掘，进而更新分类器。由此将分类器迭代训练6轮，得到最终的esvm分类器：

fβ(x)＝ωf^tx+bf

其中ωf、bf分别为分类器最终的权值向量和偏重参数。

(7)对于待检测的经过模糊处理的红外实时图像进行密集采样，通过cnn提取特征图层，将特征图层经过池化、向量化和规范化后得到的特征描述输入esvm分类器得到对应分值和各个检测框的位置，由位置可得各检测框的大小，按照检测框大小重叠率不超过50％进行极大值抑制，将最高得分值对应的位置作为模板匹配识别结果。流程图如图5所示。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。