一种基于卷积神经网络的斑点图图像配准方法与流程

本发明涉及一种基于卷积神经网络的斑点图图像配准方法，属于天文图像处理技术领域。

背景技术：

在天文图像领域，图像配准主要用于校正设备抖动造成的图像平移，旋转、缩放或大气扰动带来的非刚性变形。图像配准是很多图像应用视觉的一个关键问题，是将相同场景在不同时间、不同视角、使用相同或不同设备拍摄的多幅图像校准到同一坐标下，以消除或降低图像间存在的位置、尺度和光照等差异，从而获得有几何一致性图像的过程。

斑点图最明显的特征就是细节丰富，因此我们可以对斑点图特征提取，基于特征进行图像配准，但是斑点图的缺点是边界处模糊，图像的强度和梯度变化不明显，并且背景复杂多变。目前图像配准的方法主要分为基于特征的配准方法和基于灰度的方法，以及近几年基于神经网络的图像配准。但是这些方法存在着不少缺点，一方面这些方法对于斑点图图像配准不是很准确，另一方面这些方法往往要提取大量的图像特征，耗费大量时间，而且在设计的特征不具有普适性，也会导致图像配准的效果不佳。因此，发明一种基于卷积神经网络的斑点图图像配准方法实现快速准确的图像配准是非常必要的。

技术实现要素：

本发明提供了一种基于卷积神经网络的斑点图图像配准方法，用以解决现有技术中斑点图图像配准存在配准过程复杂、配准率不高的技术问题。

本发明的技术方案是：一种基于卷积神经网络的斑点图图像配准方法，包括以下步骤：

step1、获取斑点图图像作为样本集，并划分训练样本集、验证样本集和测试样本集；

step2、构建卷积神经网络；

step3、对训练样本集中的样本图片进行预处理；

step4、将预处理后的样本图片作为训练数据输入到卷积神经网络进行训练，得到训练后的卷积神经网络的各层参数；

step5、利用训练好的卷积神经网络，对测试样本集中的样本图片进行特征提取，利用斑点图特征实现斑点图图像配准。

进一步地，所述step1中，斑点图图像包括待配准斑点图和配准斑点图。

进一步地，所述step2中的卷积神经网络，其中有1个输入层，7个卷积层，6个池化层和3个全连接层和1个输出层，其中带有权重的为卷积层和全连接层；每个卷积层有相同的配置，即卷积核大小为3×3，步长为1，填充为1；共有6个池化层，池化内核大小都为2×2，步长2；有三个全连接层，前两层都是4096通道，第三层1000路代表着1000个标签类别；最后一层为输出层；第一层为卷积层，卷积核大小为3×3，个数为64个；第二层为池化层，池化内核大小为2×2，步长2；第三层是卷积层，卷积核大小为3×3，个数为128个；第四层为池化层，池化内核大小为2×2，步长2；第五层是卷积层，卷积核大小为3×3，个数为256个；第六层是池化层，池化内核大小为2×2，步长2；第七层是卷积层，卷积核大小为3×3，个数为256个；第八层是池化层，池化内核大小为2×2，步长2；第九层是卷积层，卷积核大小为3×3，个数为512个；第十层是池化层，池化内核大小为2×2，步长2；第十一层、十二层是卷积层，卷积核大小为3×3，个数为512个；第十三层是池化层，池化内核大小为2×2，步长2；

第十四、十五、十六层为全连接层，将上层输出的二维特征图转化成一维向量；第十七层是输出层，其使用soft-max分类器输出2种类型的目标：待配准斑点图和配准斑点图。

进一步地，所述step3中，对训练样本集中的样本图片进行预处理是对样本图片旋转、平移、和非线性形变。

本发明的有益效果是：

（1）该斑点图图像配准是通过卷积神经网络进行特征提取，根据特征进行配准，避免传统技术中人工设计特征的过程，大幅度节约时间成本，具有实时性。

（2）该斑点图图像配准方法是通过卷积神经网络对斑点图进行特征提取，可以最大可能地利用更多的斑点图特征，实现短周期斑点图图像配准。

（3）该斑点图图像配准误差低，即使图像存在大气抖动的影响和光照的不同也能得到较好的配准结果。

（4）允许待配准图像发生一定的旋转、平移和非线性形变。

附图说明

图1为本发明的流程图；

图2为本发明待配准斑点图图像；

图3为本发明配准斑点图像。

具体实施方式

实施例1：如图1-3所示，一种基于卷积神经网络的斑点图图像配准方法，包括以下步骤：

step1、获取斑点图图像作为样本集，并划分训练样本集、验证样本集和测试样本集；

进一步地，所述step1中，斑点图图像包括待配准斑点图和配准斑点图。

在所述step1中，斑点图如图2和图3所示。使用图形辅助工具采集斑点图500张作为样本图片，其中待配准斑点图像400张，配准斑点图100张，并对所有样本图片添加标签，最后将80%的样本图片作为训练样本集，10%的样本图片作为验证样本集，10%的样本图片作为测试样本集。

step2、构建卷积神经网络；

进一步地，所述step2中的卷积神经网络，其中有1个输入层，7个卷积层，6个池化层和3个全连接层和1个输出层，其中带有权重的为卷积层和全连接层；每个卷积层有相同的配置，即卷积核大小为3×3，步长为1，填充为1；共有6个池化层，池化内核大小都为2×2，步长2；有三个全连接层，前两层都是4096通道，第三层1000路代表着1000个标签类别；最后一层为输出层；第一层为卷积层，卷积核大小为3×3，个数为64个；第二层为池化层，池化内核大小为2×2，步长2；第三层是卷积层，卷积核大小为3×3，个数为128个；第四层为池化层，池化内核大小为2×2，步长2；第五层是卷积层，卷积核大小为3×3，个数为256个；第六层是池化层，池化内核大小为2×2，步长2；第七层是卷积层，卷积核大小为3×3，个数为256个；第八层是池化层，池化内核大小为2×2，步长2；第九层是卷积层，卷积核大小为3×3，个数为512个；第十层是池化层，池化内核大小为2×2，步长2；第十一层、十二层是卷积层，卷积核大小为3×3，个数为512个；第十三层是池化层，池化内核大小为2×2，步长2；

第十四、十五、十六层为全连接层，将上层输出的二维特征图转化成一维向量；第十七层是输出层，其使用soft-max分类器输出2种类型的目标：待配准斑点图和配准斑点图。

step3、对训练样本集中的样本图片进行预处理；

进一步地，所述step3中，对训练样本集中的样本图片进行预处理是对样本图片旋转、平移、和非线性形变。

在所述step3中，对样本图片进行预处理主要是随机裁剪样本图片得到大小为一个宽和高分别为512像素和512像素的图片。对样本图像进行旋转、平移和非线性形变，其中旋转斑点图图像为50张，发生位移斑点图图像为50张，同时发生旋转和位移的斑点图图像为100张，发生非线性形变的斑点图图像为200张。

step4、将预处理后的样本图片作为训练数据输入到卷积神经网络进行训练，得到训练后的卷积神经网络的各层参数；

在所述step4中，训练卷积神经网络的过程包括前向传播和反向传播两个过程。在前向传播过程中，首先将512×512大小的样本图输入到第一层卷积层进行卷积运算，64通道的特征图，然后传入第二层池化层进行最大值池化操作得到256×256大小，64通道的特征图，再传入第三层卷积层进行卷积运算操作得到256×256大小，128通道的特征图，接下来传入第四层最大池化层进行运算得到128×128大小，128通道的特征图，然后传入第五层卷积层进行卷积运算、relu激活函数运算得到128×128大小，256通道的特征图，然后传入第六层池化层进行最大值池化操作得到128×128大小，256通道的特征图然后传入第七层卷积层进行卷积运算、relu激活函数运算得到64×64大小，256通道的特征图，然后传入第八层池化层进行最大值池化操作得到32×32大小，512通道的特征图，然后传入第九层卷积层进行卷积运算、relu激活函数运算得到32×32大小，512通道的特征图，然后传入第十层池化层进行最大值池化操作得到16×16大小，512通道的特征图，然后传入第十一层卷积层进行卷积运算、relu激活函数运算得到16×16大小，512通道的特征图，然后传入第十二层卷积层进行卷积运算、relu激活函数运算得到8×8大小，512通道的特征图，然后传入第十三层池化层进行最大值池化操作得到4×4大小，512通道的特征图，然后依此传入第十四层、第十五层、第十六层分别进行relu激活函数运算得到有4096个元素的一维向量，最后传入输出层得到输出结果。在反向传播过程中，计算卷积神经网络前向传播的输出结果对样本输入的最小均方误差，按照极小化误差的方式，反向逐层调整网络的权值。重复进行前向传播和反向传播，直到达到误差最小或者达到最大迭代次数时，从而得到训练好的卷积神经网络模型。经过训练样本训练出多个模型后，为了能找出效果最佳的模型，验证样本输入卷积神经网络得到的配准斑点图来调节了迭代数、学习率等，使得配准斑点图在验证集上最优，得到最优的卷积神经网络模型。

step5、利用训练好的卷积神经网络，对测试样本集中的样本图片进行特征提取，利用斑点图特征实现斑点图图像配准。

在所述step5中，使用的测试样本集大小为50张斑点图待配准图像，测试前先对测试样本集进行裁剪得到大小为一个宽和高分别为512像素和512像素的图片，利用训练好的卷积神经网络，对测试样本集中的样本图片进行特征提取，利用斑点图特征实现斑点图图像配准。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。