基于卷积神经网络进行特征提取的图像匹配方法与流程

本发明涉及深度学习和图像领域，尤其涉及在图像处理应用中，通过对图片特征进行提取来实现常规图片的匹配问题。具体涉及基于卷积神经网络进行特征提取的图像匹配方法。

背景技术：

数字图像匹配是数字图像处理中的关键技术之一，是其他一些数字图像处理，如全景视频、智能视频监控等的基础，如何实现高速高质量的图像匹配，对于整个系统而言都是至关重要的。

图像特征匹配的理论是对图像进行特征点选择和提取，然后对提取的特征点之间进行匹配，从而找出源图像和目标图像之间的仿射矩阵，利用仿射矩阵便可将二者进行匹配从而得到高精度广角度的更大范围的匹配图像。

在图像匹配技术中，往往容易出现错误匹配的情况，也就是在图像特征点选择和提取时提取的特征点并不准确，进而导致了匹配失败，使得匹配出来的结果出现较大偏差。传统的harris角点检测方法是通过在图像上取一个滑动窗口，不断的移动这个窗口并检测窗口中的像素变化情况，当遇到角点时，窗口在横纵两个方向上均会产生较大的像素变化，从而找出图片中的特征点。但是当图片中角点等特征不明显时，会影响到特征点的准确提取与特征点的匹配。

随着图像匹配技术正朝着更优化的拼接融合方向不断发展，为了顺应这种发展趋势，大量的图像匹配算法被研究并改进，主要工作是围绕图像的配准程度方面进行的，通过对特征提取算法进行改良，使得算法两幅图片的差异分析更加精确，从而实现图像之间的匹配。此过程可以通过深度学习方法来实现，使得在一些特征不明显的情况下，通过对图像不同层次特征的提取依然可以达到提高精度的目的，从而提高了图像匹配的质量。

技术实现要素：

为克服现有技术的不足，本发明旨在提出一种基于深度学习卷积神经网络进行特征提取的图像匹配方法。该方法依据深度学习网络提取的不同层次的图像特征作为图像间相互匹配的依据，在角点等传统特征不明确的情况下，依然可以取得较好的匹配效果。为此，本发明采取的技术方案是，基于卷积神经网络进行特征提取的图像匹配方法，步骤如下：

1)图像预处理

首先对准备进行特征匹配的两幅图像进行图像分割处理，将图片分割成多个正方形图片；

2)深度学习卷积神经网络

将第一步中选取的第一幅图分割后的图片与第二幅图所有的分割图片作为输入，输入至训练后的卷积神经网络中，保存每幅输入图片在卷积神经网络第二层、第四次以及第六层的输出信号，并以卷积神经网络第二层、第四次以及第六层的输出信号为分割后图片的特征，进行进一步匹配，寻找特征点；

3)图像块特征匹配

将第2)步的输出信号转换为向量形式，对两幅图片分割出的图像块之间的同层图片特征向量进行比对，

首先用如下公式计算第一幅图片与第二幅图片分割后的所有图片同网络层输出向量之间的相关系数

其中，e(x)为求x的均值运算，x为第一幅图片经过网络层的输出向量，d(x)为求x的方差运算，y为第二幅图片经过网络层的输出向量，选出第二幅图分割后的与第一个图片中随机选取三幅分割后的图片a1，a2，a3在三层网络相关系数总和最大的分割图片为b1，b2，b3，得到与原始图片相匹配的第二幅图片的图像块；

4)对图像块进行特征点选取与匹配

采用由后向前的策略依次推断每层的特征点位置，以最后一层的相关滤波响应值最大的位置为初始位置，即

其中r限定了搜索范围，γ为最后一层的权重调节参数，依次反向传播至前一层，特征点最终位置通过公式中的相关滤波响应矩阵取得最大值的位置决定，对卷积特征贡献最大的点被认为两幅图片中的匹配点，对第三步选出的六个图像块分别进行操作获得a1，a2，a3，b1，b2，b3六个图像块对应的六个特征点，由图像块之间的对应关系得知，a1b1，a2b2，a3b3，为三组匹配点，并根据匹配点坐标的位置对两幅图片进行匹配。

其中卷积神经网络采用梯度下降法进行训练。

本发明的特点及有益效果是：

本发明通过卷积神经网络对图片特征进行提取，避免了传统图像匹配方法对角点等图片特征的依赖，扩大了能进行匹配的图片范围。

本发明通过卷积神经网络对图片特征进行提取，相对于传统方法特征点位置选取更加精确，从而提高了图片匹配的精度。

附图说明：

图1卷积神经网络结构示意图。

本发明中所用卷积神经网络结构如图2所示。为了网络能够更好的进行特征提取，网络中所用卷积核大小均为3*3。网络在用于特征提取前需使用图片训练集(如imagenet)对网络进行训练，使网络中的卷积核能够更好的对图片特征进行提取。

图2基于深度学习的图像匹配方法整体结构图。

具体实施方式

本发明中，使用了深度学习的方法对图像特征进行提取，并通过提取的特征获得图像间的匹配点，进而对图像进行匹配，从而提高特征点的准确率与匹配的质量。这一技术发明主要分为以下几个部分：

1.图像预处理

为了使图像能够输入至卷积神经网络中，首先对准备进行特征匹配的两幅图像进行图像分割处理。在这一步将图片分割成多个224*224像素的正方形图片。如图1所示，从图片左上角开始，每相隔112个像素点，就以该点为正方形图片左上角的顶点分割出一个正方形图片。并从第一个图片中随机选取三幅分割后的图片为a1，a2，a3。例如在图一中从左上角开始分割出了4幅224*224像素的正方形图片。

2.深度学习卷积神经网络

该部分由卷积神经网络组成，是图像特征提取过程的主体部分，将第一步中选取的第一幅图分割后的图片与第二幅图所有的分割图片均作为输入，输入至使用数据库数据进行训练后的卷积神经网络中，保存每幅输入图片在卷积神经网络第二层、第四次以及第六层的输出信号，并以卷积神经网络第二层、第四次以及第六层的输出信号为分割后图片的特征，进行进一步匹配，寻找特征点。

3.图像块特征匹配

将第二步的输出信号转换为向量形式，对两幅图片分割出的图像块之间的同层图片特征向量进行比对。首先用如下公式计算第一幅图片与第二幅图片分割后的所有图片同网络层输出向量之间的相关系数

其中，e(x)为求x的均值运算，x为第一幅图片经过网络层的输出向量，d(x)为求x的方差运算，y为第二幅图片经过网络层的输出向量，选出第二幅图分割后的与第一个图片中随机选取三幅分割后的图片a1，a2，a3在三层网络相关系数总和最大的分割图片为b1，b2，b3，得到与原始图片相匹配的第二幅图片的图像块。

4.对图像块进行特征点选取与匹配

由于cnn前面的卷积层具有较好的空间信息表达能力，由此采用由后向前的策略依次推断每层的特征点位置。以最后一层的相关滤波响应值最大的位置为初始位置，即

其中r限定了搜索范围，γ为最后一层的权重调节参数，依次反向传播至前一层，特征点最终位置通过公式中的相关滤波响应矩阵取得最大值的位置决定。对卷积特征贡献最大的点被认为两幅图片中的匹配点。对第三步选出的六个图像块分别进行操作获得a1，a2，a3，b1，b2，b3六个图像块对应的六个特征点。由图像块之间的对应关系得知，a1b1，a2b2，a3b3，为三组匹配点，并根据匹配点坐标的位置对两幅图片进行匹配。

本文设计基于深度学习卷积神经网络进行特征提取的图像匹配方法通过深度学习网络来对图像特征进行识别。在使用前需要使用大量数据对卷积神经网络进行训练。对于大数据训练过程中已有的物体类别，在应用本匹配方法时会更加精确。

在实际使用时，可根据实际情况选取合适的训练集，并根据训练集情况更改网络最后一次的向量个数完成训练。