一种基于图卷积神经网络的图像配准方法与流程

本发明涉及计算机视觉
技术领域：
，特别是一种基于图卷积神经网络的图像配准方法。
背景技术：
：越来越多的计算机视觉产品融入到我们的日常生活中，而现实生活中复杂的数据对计算机视觉算法要求越来越高。估计两图像之间的几何关系是计算机视觉邻域的基础问题，在structurefrommotion和simultaneouslocalizationandmapping里扮演了重要的角色。在图像配准里，传统的外点去除算法比如有ransac(fischlerma,bollesrc.randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography.communicationsoftheacm.1981jun1；24(6):381-95.)是标准算法，也是最流行的外点去除算法。gms(bianj,linwy,matsushitay,yeungsk,nguyentd,chengmm.gms:grid-basedmotionstatisticsforfast,ultra-robustfeaturecorrespondence.inproceedingsoftheieeeconferenceoncomputervisionandpatternrecognition2017(pp.4181-4190).)。随着深度学习在近几年的表现的性能越来越高，将深度学习用于图像匹配的算法也日益增多。但是目前还没有一种将图卷积神经网络(gcn)用于图像配准的方案，一是因为没有有效图卷积可以用于图像配准，二是因为非刚性变换的缘故，无法采取有效的取邻居策略。技术实现要素：有鉴于此，本发明的目的是提出一种基于图卷积神经网络的图像配准方法，有效提高了配准精度。本发明采用以下方案实现：一种基于图卷积神经网络的图像配准方法，具体包括以下步骤：获得图像对的关键点，并初始化关键点匹配；将初始匹配对输入到多层感知机获得每个匹配对的特征点信息；将初始匹配对输入到图卷积神经网络获得每个匹配点对的局部图空间特征信息；将匹配点对的特征点信息与局部图空间特征信息联合后输入到多层感知机学习联合特征，并输出最终特征；利用输出的最终特征计算损失值，并采用反向传播算法调整网络参数。进一步地，所述获得图像对的关键点，并初始化关键点匹配对及数据集具体为：采用特征提取算法提取2d配准图像中关键点坐标的假设匹配对，得到其中，n为匹配点对的个数，pi为其中的一个假设匹配对，与为一对匹配对的坐标。进一步地，所述将初始匹配对输入到多层感知机获得每个匹配对的特征点信息具体包括以下步骤：步骤s21：采用一层共享感知机将初始匹配对的集合p＝[p1；p2；...；pi；...；pn]映射到其中，n为匹配点对的个数，m为特征通道数；步骤s22：将n个匹配对输入到基础残差网络结构中，获得每个匹配对的映射特征输出其中，c1为特征通道的维数。进一步地，所述基础残差网络结构包括一层共享感知机mlp、一个实例归一化层in，一个批量归一化层bn，和一个矫正线性单元relu。进一步地，所述图卷积神经网络包括一个以上的图卷积模块、一个以上的池化层、共享感知机网络mlp；每个图卷积模块中包括一层图卷积层以及一层relu层；通过图卷积层提取输入数据的图卷积特征，通过池化层对提取的图卷积特征进行池化操作，在每次池化后再次构建每个匹配对的最近邻以输入到下一个图卷积层，之后将不同空间关系下的图卷积特征以通道维合并，最后采用共享感知机网络mlp对联合特征进行学习，得到每个匹配点对的局部图空间特征信息其中n为输入的匹配点对数量，c2为特征通道的维数。进一步地，所述将匹配点对的特征点信息与局部图空间特征信息联合后输入到多层感知机学习联合特征，并输出最终特征具体为：将每个匹配点对的特征点信息out1与局部图空间特征信息out2通过特征通道维合并，得到将依次输入到一个以上的基础残差网络以及一层感知机层，获得最后的逻辑输出值进一步地，所述利用输出的最终特征计算损失值，并采用反向传播算法调整网络参数具体为：通过加权八点算法计算出最后的输出的本质矩阵用损失函数计算损失值，并通过反向传播算法调整网络参数。进一步地，所述损失值loss的计算为：式中，less为由加权八点算法预测最后输出的本质矩阵和真值本质矩阵e之间的本质矩阵误差；lcls为二值交叉熵损失函数，z表示真值标签，s表示网络输出的逻辑值，即与现有技术相比，本发明有以下有益效果：本发明将基于空间上的图卷积引入到图像配准方法中，将图卷积的优势与现阶段在图像配准中常用的神经网络模块结合、提取特征。因此，本发明最终能提高匹配精度。实验结果表明，本发明在基准数据集上达到了最先进的性能。附图说明图1为本发明实施例的方法流程示意图。图2为本发明实施例的图卷积网络结构示意图。图3为本发明实施例的整体网络结构示意图。具体实施方式下面结合附图及实施例对本发明做进一步说明。应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
技术领域：
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。如图1以及图3所示，本实施例提供了一种基于图卷积神经网络的图像配准方法，具体包括以下步骤：获得图像对的关键点，并初始化关键点匹配；将初始匹配对输入到多层感知机获得每个匹配对的特征点信息；将初始匹配对输入到图卷积神经网络获得每个匹配点对的局部图空间特征信息；将匹配点对的特征点信息与局部图空间特征信息联合后输入到多层感知机学习联合特征，并输出最终特征；利用输出的最终特征计算损失值，并采用反向传播算法调整网络参数。在本实施例中，所述获得图像对的关键点，并初始化关键点匹配对及数据集具体为：采用特征提取算法提取2d配准图像中关键点坐标的假设匹配对，得到其中，n为匹配点对的个数，pi为其中的一个假设匹配对，与为一对匹配对的坐标。在本实施例中，所述将初始匹配对输入到多层感知机获得每个匹配对的特征点信息具体包括以下步骤：步骤s21：采用一层共享感知机将初始匹配对的集合p＝[p1；p2；...；pi；...；pn]映射到其中，n为匹配点对的个数，m为特征通道数；步骤s22：将n个匹配点对输入到基础残差网络结构中，获得每个匹配对的映射特征输出其中，c1为特征通道的维数。在本实施例中，所述基础残差网络结构包括一层共享感知机mlp、一个实例归一化层in，一个批量归一化层bn，和一个矫正线性单元relu。如图2所示，在本实施例中，所述图卷积神经网络包括一个以上的图卷积模块(gcn)、一个以上的池化层、共享感知机网络mlp；每个图卷积模块中包括一层图卷积层以及一层relu层；其中，图卷积层conv计算卷积核ks与感受野的余弦相似性。具体为：式中，感受野为图结构，pn为感受野的中心，为pn的m个基于欧式距离的最近邻居，由预先计算给出；<·>表示点积；w(·)表示权重参数，由网络学习给出；这里的f(x)＝w·x+b，w为权重矩阵，b为偏差；图卷积核ks＝{kc,k1,k2,...,ks}表示由s+1个卷积核节点组成，kc＝(0,0,0,0)；计算每个邻居的特征和每个卷积核权重的余弦相似度。式中，dm,n＝pm-pn表示感受野中心到邻居的方向。通过图卷积层提取输入数据的图卷积特征，通过池化层对提取的图卷积特征进行池化操作，将输入池化为r为池化率；需要注意到是，因为经过池化后原本的匹配对数量及尺度和空间关系有改变，所以在每次池化后再次构建每个匹配对的最近邻以输入到下一个图卷积层，之后将不同空间关系下的图卷积特征以通道维合并，得到多尺度特征，最后采用一个小型的共享感知机网络mlp对联合特征(多尺度特征)进行学习，得到每个匹配点对的局部图空间特征信息其中n为输入的匹配点对数量，c2为特征通道的维数。在本实施例中，所述将匹配点对的特征点信息与局部图空间特征信息联合后输入到多层感知机学习联合特征，并输出最终特征具体为：将每个匹配点对的特征点信息out1与局部图空间特征信息out2通过特征通道维合并，得到将依次输入到一个以上的基础残差网络以及一层感知机层，获得网络预测输出的逻辑值n为输入匹配对个数。在本实施例中，所述利用输出的最终特征计算损失值，并采用反向传播算法调整网络参数具体为：通过加权八点算法计算出最后的输出的本质矩阵用损失函数计算损失值，并通过反向传播算法调整网络参数。在本实施例中，所述损失值loss的计算为：式中，less为由加权八点算法预测出逻辑值的本质矩阵和真值本质矩阵e之间的本质矩阵误差，具体采用几何损失：这里p1，p2为一个对应匹配点，t[i]为向量t的第i个元素，表示真值本质矩阵e与点p1的距离，表示真值本质矩阵e与点p2的距离，表示网络预测的本质矩阵到p1的距离。lcls为二值交叉熵损失函数，z表示真值标签，s表示网络输出的逻辑值，即本实施例将所提出的方法与当前最先进的匹配方法的定量和定性实验在公共数据集(yfcc100m)上进行，结果表明本实施例的方法明显优于其他算法。下表为本实施例与其他几种匹配算法的f-测量值，准确率，召回率量化对比。对比方法有ransac，lpm，pointcn。从表中，可以看到本发明显著提升了检测准确率，在4种方法中取得最好的效果。f-scoreprecisionrecallransac0.19140.22220.1879lpm0.22130.24150.2579pointcn0.33190.27450.5588本实施例方法0.39750.32370.6234本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。当前第1页12