一种基于LSTM神经网络的自监督学习图像配准方法

一种基于lstm神经网络的自监督学习图像配准方法
技术领域
1.本发明涉及深度自监督学习领域，尤其是涉及一种基于lstm神经网络的自监督学习图像配准方法。


背景技术：

2.图像配准就是找到一幅图像像素到另一幅图像像素间的空间映射关系。这些图像可以是不同时间(多时间配准)，不同传感器在不同地方拍摄(多模式配准)。图像配准具有广泛的应用，适用于同一个场景中有多张图像需要进行匹配或叠加。在医学图像领域以及卫星图像分析和光流(optical flow)方面非常普遍。
3.自21世纪初以来，图像配准主要使用基于特征的方法。这些方法有三个步骤：关键点检测和特征描述，特征匹配，图像变换。简单的说，选择两个图像中的感兴趣点，将参考图像(reference image)与感测图像(sensed image)中的等价感兴趣点进行关联，然后变换感测图像使两个图像对齐。
4.目前大多数关于图像配准的研究涉及深度学习。在过去的几年中，深度学习使计算机视觉任务具有先进的性能，如图像分类，物体检测和分割。人工神经网络的起源可以追溯到20世纪40年代。1986年，反向传播算法的提出为神经网络的训练提供了可能。2006年，deep learning的提出让神经网络重新得到关注。在2012年imagenet大规模视觉识别大赛中，krizhevskey等人训练的深度卷积神经网络alexnet以15.3％的top-5错误率取得了冠军，震惊了机器学习领域。6个月后，谷歌和百度都发布了新的基于图像内容的搜索引擎，深度学习模型大幅提高了图像搜索的准确率。由于深度学习在学术届和工业界的巨大影响力，2013年《麻省理工科技评论》(mit technology review)将其列为世界十大技术突破之首。2015年，微软亚洲研究院视觉计算组的何恺明团队提出残差神经网络(residual network，resnet)，该网络一经问世便在imagenet大赛中斩获图像分类、检测、定位三项冠军，并在另一图像识别挑战赛ms coco(microsoft common objects in context challenges)中同样成功登顶。尤其在图像分类(image classification)任务中，resnet以3.57％的top-5错误率，极大地实现了对人类视觉能力的突破。
5.深度学习用于图像配准的第一种方式是用于特征提取。卷积神经网络设法获得越来越复杂的图像特征并进行学习。2014年以来，研究人员将这些网络应用于特征提取的步骤，而不是使用sift或类似算法。2014年，dosovitskiy等人提出了一种通用的特征提取方法，使用未标记的数据训练卷积神经网络。这些特征的通用性使转换具有鲁棒性。这些特征或描述符的性能优于sift描述符以匹配任务。2018年，yang等人开发了一种基于相同思想的非刚性配准方法。他们使用预训练的vgg网络层来生成一个特征描述符，同时保留卷积信息和局部特征。这些描述符的性能也优于类似sift的探测器，特别是在sift包含许多异常值或无法匹配足够数量特征点的情况下。


技术实现要素：

6.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于lstm神经网络的自监督学习图像配准方法，针对低分辨率的2d图像，利用自监督学习的原理产生出具有真实标签的数据集，利用深度学习有监督学习的原理训练得到回归网络对刚体变换参数进行实时性的预测，以解决针对这一目标基于特征的方法和基于经典fft方法的不足。针对本发明提出的基于lstm神经网络的自监督学习图像配准算法，需要实现以下几点内容：
7.(1)数据集选取问题:利用有监督学习的方式对一组变换前后的图像进行回归，需要变换前后的图像和标记值，对于低分辨率图像的刚体变换这一特定的应用来说，现有的图像配准数据集难以满足要求。因此，利用图像变换生成带有正确标记值的图像对是重要的原则。
8.(2)模型架构的设计:因为针对特定配准类别和分辨率水平的场景需要不同复杂度的网络架构，因此需要选择合适的神经网络架构。基于不同图像特征提取算法的特征方法对于配准任务表现并不相同，基于快速傅里叶变换的方法也需要考虑角度的获取。
9.(3)算法实时性的要求：考虑到算法有可能应用的环境要求，例如间接获取相机位姿的信息进而调整，需要算法实时地对输入图像做出处理以提高工作效率。同时，基于成本控制的考虑，算法实际部署的平台计算能力可能有限，因此算法应考虑实时性的要求。
10.本发明的目的可以通过以下技术方案来实现：
11.一种基于lstm神经网络的自监督学习图像配准方法，具体包括以下步骤：
12.s1、获取源数据，生成随机数对源数据进行图像变换，得到变换前后的图像对和随机数标签值；
13.s2、将变换前后的图像对压缩为两个一维向量；
14.s3、将两个一维向量作为两个时间序列输入lstm神经网络提取出图像特征；
15.s4、将图像特征输入全连接的回归网络计算平移量和旋转角度值，并根据预设的损失函数训练深度神经网络；
16.s5、将待配准的图像输入完成训练的深度神经网络，得到图像配准结果。
17.所述步骤s1中图像变换的类型包括旋转变换和平移变换。
18.进一步地，所述随机数包括旋转变换对应的旋转角度值和平移变换对应的平移量。
19.进一步地，所述旋转变换对应的旋转角度值为0到360度之间的均匀随机数。
20.进一步地，所述平移变换对应的平移量为x方向和y方向上的均匀随机数。
21.进一步地，所述平移变换对应的平移量均在图像宽度和高度范围内。
22.所述步骤s2中两个一维向量具体为源图像和目标图像展平后形成的一维像素数组。
23.所述步骤s3中图像特征具体为源域图像和目标域图像的特征。
24.所述lstm神经网络的时间步长具体为2。
25.所述步骤s4具体包括以下步骤：
26.s41、将得到的时间序列送入lstm神经网络，lstm神经网络计算状态值和输出值，在lstm神经网络的最后一层输出图像特征；
27.s42、将图像特征输入全连接的回归网络计算平移量和旋转角度值，并根据预设的
损失函数训练深度神经网络。
28.与现有技术相比，本发明具有以下有益效果：
29.1.本发明改进了传统的图像配准算法，使其能够在不同的数据集上都有着较好的性能表现，lstm神经网络图像配准模型用带标签的数据进行有监督训练，因此也往往只能作用于带有标签值的特定的数据域，不能对任意图像训练网络。而本发明则提出了一种自监督的训练方法，使得模型能够成功地迁移到其它的数据域当中，从而使得图像配准模型的实用性以及全面性更高。
30.2.本发明引入了lstm神经网络，通过展平图像对到一维向量的方式在网络的输入层就减少了相应的域差距，而传统的图像配准模型会受限于原始图像本身，而本发明通过引入图像到图像的lstm神经网络从而摆脱了对原始图像的依赖。
31.3.本发明引入了自监督学习的思想，将样本生成用于有监督的图像配准当中去，通过这种深度神经网络训练的方式，有效提高了训练的效率以及模型的准确度。
32.4.本发明可以通过不限制样本数量的方式对网络进行训练以及优化，整个流程十分简洁，无需进行复杂的后期调优。
附图说明
33.图1为本发明的流程示意图；
34.图2为本发明lstm神经网络的原理图。
具体实施方式
35.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
36.实施例
37.如图1所示，一种基于lstm神经网络的自监督学习图像配准方法，具体包括以下步骤：
38.s1、获取源数据，生成随机数对源数据进行图像变换，得到变换前后的图像对和随机数标签值；
39.s2、将变换前后的图像对压缩为两个一维向量；
40.s3、将两个一维向量作为两个时间序列输入lstm神经网络提取出图像特征；
41.s4、将图像特征输入全连接的回归网络计算平移量和旋转角度值，并根据预设的损失函数训练深度神经网络；
42.s5、将待配准的图像输入完成训练的深度神经网络，得到图像配准结果。
43.步骤s1中图像变换的类型包括旋转变换和平移变换。
44.图像到图像变换的目标是产生带有真实标签值的刚体变换数据集，通过将源域图像映射到目标域，使模型能够学习具有真实标记值的配准特征。
45.随机数包括旋转变换对应的旋转角度值和平移变换对应的平移量。
46.旋转变换对应的旋转角度值为0到360度之间的均匀随机数。
47.平移变换对应的平移量为x方向和y方向上的均匀随机数。
48.平移变换对应的平移量均在图像宽度和高度范围内。
49.步骤s2中两个一维向量具体为源图像和目标图像展平后形成的一维像素数组。
50.为了获得源域图像以及目标域图像的特征图表示，需要使用深度神经网络来提取相应的特征，在本实施例中，将变换前后的图像压缩为两个一维向量作为两个时间序列，输入给深度lstm神经网络提取相应源图像和目标图像的图像特征。
51.步骤s3中图像特征具体为源域图像和目标域图像的特征。
52.如图2所示，lstm神经网络的时间步长具体为2。
53.步骤s4具体包括以下步骤：
54.s41、将得到的时间序列送入lstm神经网络，lstm神经网络计算状态值和输出值，在lstm神经网络的最后一层输出图像特征；
55.s42、将图像特征输入全连接的回归网络计算平移量和旋转角度值，并根据预设的损失函数训练深度神经网络。
56.此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等效变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。