一种内窥镜图像特征点匹配方法及系统与流程
本发明涉及图像处理领域，尤其涉及一种内窥镜图像特征点匹配方法及系统。
背景技术：
内窥镜是一种光学仪器，是由冷光源镜头、纤维光导线、图像传输系统、屏幕显示系统等组成，它能扩大手术视野，使用内窥镜的突出特点是手术切口小，切口瘢痕不明显，术后反应轻，出血、青紫和肿胀时间可大大减少，恢复也较传统手术快。在通过计算机辅助的医学内窥镜手术领域，常见的是进行相关图像处理来引导微创手术，在不同图像之间建立可靠的对应关系是众多临床应用中的关键问题，例如在组织表面重建、相机运动估计以及手术导航等应用中。
现有的内窥镜图像特征点匹配方法一般首先采用常用的检测和描述图像局部特征算法，例如利用仿射尺度不变特征转换方法(affinescaleinvariantfeaturetransform，以下简称asift)等来提取图像的特征点，并使用相应的特征描述子来对特征点进行匹配可以得到图像间的特征点对应关系，但是由于内窥镜图像中的组织结构一般纹理信息弱，存在诸如遮挡以及形变等问题，单纯依赖特征描述子相似度很难获得令人满意的匹配结果。
现有的内窥镜图像特征点匹配方法主要存在如下问题：弱纹理情况下提取特征点数目不足，最终保留的匹配结果数量不足，很难实现细致的表面或者结构重建；改变阈值提取足量特征点时，由于纹理信息弱，存在形变等因素，错误的匹配数目多，大量的离群点无法被有效地剔除，导致匹配精度下降。
对于临床医学图像处理而言，得到足够数量和高精度的匹配结果是图像引导微创手术成功的关键，因此需要提出一种高精度的内窥镜图像特征点匹配的方法。
技术实现要素：
本发明实施例提供一种内窥镜图像特征点匹配方法及系统，用以解决现有技术中图像特征点提取数量不足，匹配精度低，受大量干扰噪声点影响等问题。
第一方面，本发明实施例提供一种内窥镜图像特征点匹配方法，包括：
s1，基于两幅待匹配的内窥镜图像提取图像特征点，并基于特征描述子相似度完成所述图像特征点匹配，获取所述图像特征点的初始匹配点对集合；
s2，基于所述两幅待匹配的内窥镜图像间的未知形变和所述图像特征点局部邻域结构之间的对应关系以及局部结构对所述初始匹配点对集合进行局部距离约束，结合仿射参数和对应特征点运动信息对特征点信息进行扩展，估算相似度边界，得到具有运动一致性的特征点对应关系集合；
s3，基于所述特征点对应关系集合对空间距离感知进行优化，生成双边仿射运动一致性模型，设置双边运动边界的自适应距离阈值参数，得到全局图像对应的内点匹配集合，实现所述两幅待匹配的内窥镜图像之间的特征点匹配。
其中，所述s2的步骤具体包括：
s21，建立所述两幅待匹配的内窥镜图像间的未知形变和所述图像特征点局部邻域结构之间的对应关系；
s22，基于每个所述图像特征点，在对应点集合中相应的6个最近点来构建所述局部结构；
s23，基于所述两幅待匹配的内窥镜图像间的未知形变和所述图像特征点局部邻域结构之间的对应关系，且任意所述初始匹配点对与其邻域点之间的距离固定，设置阈值参数，计算并获得所述具有局部性保持的内点集合，实现局部距离约束；
s24，对所述待匹配的两幅图像提取的所述特征点信息进行扩展，添加特征点对应的运动信息，应用相似度边界函数，得到具有所述运动一致性的特征点对应关系集合。
其中，所述步骤s22包括基于欧几里得距离公式进行计算，得到基于每个所述图像特征点及其在对应点集合中相应的6个最近点来构建的所述局部结构。
其中，所述步骤s24中应用相似度边界函数，得到所述具有运动一致性的特征点对应关系集合，是基于所述具有局部性保持的内点集合所得到。
其中，所述s3的步骤具体包括：
s31，基于所述特征点对应关系集合，应用双边变化的仿射运动边界，获得所述双边仿射运动一致性模型；
s32，设置所述双边运动边界的自适应空间阈值参数，得到所述全局图像对应的内点匹配集合，实现所述两幅待匹配的内窥镜图像之间的特征点匹配。
其中，所述步骤s32中设置所述双边运动边界的自适应空间阈值参数，具体包括：
结合局部结构保持模型，将所述双边运动边界的自适应空间阈值参数设置为与所述局部结构的距离约束阈值参数保持一致。
其中，所述步骤s32中计算并得到所述全局图像对应的内点匹配集合，具体包括：
通过设置所述图像特征点在双边运动边界两个方向上的估算结果，和所述图像特征点噪声观测数据之间的距离阈值来得到所述全局图像对应的内点匹配集合。
第二方面，本发明实施例提供一种内窥镜图像特征点匹配系统，包括：
第一处理模块，用于基于两幅待匹配的内窥镜图像提取图像特征点，并基于特征描述子相似度完成所述图像特征点匹配，获取所述图像特征点的初始匹配点对集合；
第二处理模块，用于基于所述两幅待匹配的内窥镜图像间的未知形变和所述图像特征点局部邻域结构之间的对应关系以及局部结构对所述初始匹配点对集合进行局部距离约束，结合仿射参数和对应特征点运动信息对特征点信息进行扩展，估算相似度边界，得到具有运动一致性的特征点对应关系集合；
第三处理模块，用于基于所述特征点对应关系集合对空间距离感知进行优化，生成双边仿射运动一致性模型，设置双边运动边界的自适应距离阈值参数，得到全局图像对应的内点匹配集合，实现两幅待匹配的内窥镜图像之间的特征点匹配。
第三方面，本发明实施例提供一种电子设备，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述一种内窥镜图像特征点匹配方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现任一项所述一种内窥镜图像特征点匹配方法的步骤。
本发明实施例提供的一种内窥镜图像特征点匹配方法及系统，通过基于局部性保持的运动一致性方法，从包含大量离群点的给定初始匹配对中找到可靠对应关系，并且在保证高精度的同时保留足够多的特征点匹配对，有助于实现更细致的组织表面重建、更准确的相机运动估计以及手术导航等应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种内窥镜图像特征点匹配方法流程图；
图2为本发明实施例提供的一种内窥镜图像特征点匹配方法中步骤s2具体流程图；
图3为本发明实施例提供的一种内窥镜图像特征点匹配方法中步骤s3具体流程图；
图4为本发明实施例提供的一种内窥镜图像特征点匹配系统结构示意图；
图5为本发明实施例提供的一种内窥镜图像特征点匹配系统的第二处理模块子结构示意图；
图6为本发明实施例提供的一种内窥镜图像特征点匹配系统的第三处理模块子结构示意图；
图7为本发明实施例提供的匹配算法流程图；
图8为本发明实施例提供的基于局部结构保持的运动一致性约束算法流程图；
图9为本发明实施例提供的基于自适应阈值双边运动边界约束算法流程图；
图10为本发明实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的内窥镜图像特征点匹配方法存在如下问题：弱纹理情况下提取特征点数目不足，最终保留的匹配结果数量不足，很难实现细致的表面或者结构重建；改变阈值提取足量特征点时，由于纹理信息弱，存在形变等因素，错误的匹配数目多，大量的离群点无法被有效地剔除，导致匹配精度下降。
针对现有技术中存在的问题，本发明实施例提供了一种内窥镜图像特征点匹配方法，图1为本发明实施例提供的一种内窥镜图像特征点匹配方法流程图，如图1所示，包括：
s1，基于两幅待匹配的内窥镜图像提取图像特征点，并基于特征描述子相似度完成所述图像特征点匹配，获取所述图像特征点的初始匹配点对集合；
s2，基于所述两幅待匹配的内窥镜图像间的未知形变和所述图像特征点局部邻域结构之间的对应关系以及局部结构对所述初始匹配点对集合进行局部距离约束，结合仿射参数和对应特征点运动信息对特征点信息进行扩展，估算相似度边界，得到具有运动一致性的特征点对应关系集合；
s3，基于所述特征点对应关系集合对空间距离感知进行优化，生成双边仿射运动一致性模型，设置双边运动边界的自适应距离阈值参数，得到全局图像对应的内点匹配集合，实现所述两幅待匹配的内窥镜图像之间的特征点匹配。
具体地，在步骤s1中首先提取两幅待匹配的内窥镜图像特征点，假设给定一对内窥镜图像分别为ir(参考图像)以及it(模板图像)，使用图像特征提取算法，本实施例采用asift算法，分别提取两幅图像中的特征得到对应特征点集合fr和ft。由于内窥镜图像中组织平滑、纹理信息弱，因此要考虑所有可能的匹配结果，利用特征描述子的相似度得到一个初始的特征点对应关系，定义为
整体的匹配算法流程如图7所示，图7为本发明实施例提供的匹配算法流程图。
本发明实施例通过基于局部性保持的运动一致性方法，从包含大量离群点的给定初始匹配对中找到可靠对应关系，并且在保证高精度的同时保留足够多的特征点匹配对，有助于实现更细致的组织表面重建、更准确的相机运动估计以及手术导航等应用。
在上述实施例基础上，所述步骤s2具体步骤参考图2，图2为本发明实施例提供的一种内窥镜图像特征点匹配方法中步骤s2具体流程图，如图2所示，包括：
s21，建立所述两幅待匹配的内窥镜图像间的未知形变和所述图像特征点局部邻域结构之间的对应关系；
s22，基于每个所述图像特征点，在对应点集合中相应的6个最近点来构建所述局部结构；
s23，基于所述两幅待匹配的内窥镜图像间的未知形变和所述图像特征点局部邻域结构之间的对应关系，且任意所述初始匹配点对与其邻域点之间的距离固定，设置阈值参数，计算并获得所述具有局部性保持的内点集合，实现局部距离约束；
s24，对所述待匹配的两幅图像提取的所述特征点信息进行扩展，添加特征点对应的运动信息，应用相似度边界函数，得到具有所述运动一致性的特征点对应关系集合。
其中，所述步骤s22包括基于欧几里得距离公式进行计算，得到基于每个所述图像特征点及其在对应点集合中相应的6个最近点来构建的所述局部结构。
其中，所述步骤s24中应用相似度边界函数，得到所述具有运动一致性的特征点对应关系集合，是基于所述具有局部性保持的内点集合所得到。
具体地，步骤s21先假设在一对内窥镜的图像间发生了未知的形变，而对应特征点的局部邻域结构并不会自由地发生改变，这里可以仅仅约束局部邻域结构，并寻找两幅待匹配的图像间的未知形变和两幅待匹配的图像特征点局部邻域结构之间的对应关系，我们将建立上述可靠对应关系的任务表示为寻找局部性损失函数c的最优解t，用如下公式表示：
其中t为n×1的二值向量，当tn＝1以及tn＝0时分别表示对应点(xn,yn)为内点或离群点，定义参数ξ用来平衡损失函数c中求和第一项和第二项的权重，且ξ>0，参数n表示初始匹配点对的数目，参数cn由如下公式来计算局部距离结构：
其中d为一个定义二值的距离矩阵，nx和ny分别表示特征点x和y的邻域点集合。
步骤s22，基于欧几里得距离的计算公式，通过寻找每个特征点在对应点集合中相应的6个最近点来构建局部结构，这里定义为k，当
在步骤23中，由于在步骤s21中初始的图像特征点对应关系已经确定，并且任意初始匹配点对以及与其邻域点之间的距离是固定的，通过设置阈值参数ζ进行判断，当满足cn≤ξ时，tn＝1，来求解局部性损失函数c的最优解t，从而获得具有局部性保持的内点集合，用
接下来在步骤s24中，通过添加运动信息和放射信息，将图像特征点的描述信息从仅有的位置信息xn＝[xn，yn]扩展到xn＝[xn，yn；vn；on]，其中n为点的索引，vn＝[un，vn]表示对应特征点在x和y方向上的运动，on＝[scale，orientation，tilt，rotation]是asift算法中特征描述子的仿射信息。在具有局部性保持的集合
其中h(.)表示huber函数，用于惩罚估计的函数预测值与假定的观测值“1”之间的偏差。g(i，j)是一个包含元素为
上述实施例中步骤21至步骤24完整的算法流程图参见图8，图8为本发明实施例提供的基于局部结构保持的运动一致性约束算法流程图。
本发明实施例通过对获取的初始匹配点对集合进行局部距离约束，实现基于局部结构保持的运动一致性约束，能够从存在大量噪声的内窥镜图像特征点对应关系中，准确地剔除错误匹配，同时考虑局部结构在形变中的不变性以及全局运动的一致性，可以鲁棒地解决不同类型的形变下的匹配问题。
在上述实施例基础上，所述步骤s3具体步骤参考图3，图3为本发明实施例提供的一种内窥镜图像特征点匹配方法中步骤s3具体流程图，如图3所示，包括：
s31，基于所述特征点对应关系集合，应用双边变化的仿射运动边界，获得所述双边仿射运动一致性模型；
s32，设置所述双边运动边界的自适应空间阈值参数，得到所述全局图像对应的内点匹配集合，实现所述两幅待匹配的内窥镜图像之间的特征点匹配。
其中，所述步骤s32中设置所述双边运动边界的自适应空间阈值参数，具体包括：
结合局部结构保持模型，将所述双边运动边界的自适应空间阈值参数设置为与所述局部结构的距离约束阈值参数保持一致。
其中，所述步骤s32中计算并得到所述全局图像对应的内点匹配集合，具体包括：
通过设置所述图像特征点在双边运动边界两个方向上的估算结果，和所述图像特征点噪声观测数据之间的距离阈值来得到所述全局图像对应的内点匹配集合。具体地，为了使模型包含细微的空间感知能力，步骤s31中，在具有运动一致性的对应关系集合
其中ok是标量的偏差值，k是不同平滑函数的索引。通过最小化损失函数的损失值，计算得到最优解
步骤32中，为了使局部距离约束能够在整个匹配流程中发挥作用，双边运动边界的空间距离阈值也需要与之保持一致。因此，结合局部结构保持模型，设置一个如下的自适应空间阈值来使得全局运动能更好地结合局部性保持策略，如下所示：
通过设置两个方向上的估算结果与噪声观测数据之间的距离阈值dlp，我们可以得到如下的具有高精度的内点集合.smc：
最终实现两幅待匹配的内窥镜图像之间的特征点匹配。
上述实施例中步骤31至步骤32完整的算法流程图参见图9，图9为本发明实施例提供的基于自适应阈值双边运动边界约束算法流程图。
本发明实施例通过自适应阈值的应用，在面对不同尺度的形变类型均具有自适应的约束，有效地适用于未知形变大小的内窥镜图像，在保证高精度的情况下可以保留足够多的正确特征点对应关系，便于在后续的结构重建等操作中应用。
图4为本发明实施例提供的一种内窥镜图像特征点匹配系统结构示意图，如图4所示，包括：第一处理模块41、第二处理模块42和第三处理模块43，其中：第一处理模块41用于基于两幅待匹配的内窥镜图像提取图像特征点，并基于特征描述子相似度完成所述图像特征点匹配，获取所述图像特征点的初始匹配点对集合；第二处理模块42用于基于所述两幅待匹配的内窥镜图像间的未知形变和所述图像特征点局部邻域结构之间的对应关系以及局部结构对所述初始匹配点对集合进行局部距离约束，结合仿射参数和对应特征点运动信息对特征点信息进行扩展，估算相似度边界，得到具有运动一致性的特征点对应关系集合；第三处理模块43用于基于所述特征点对应关系集合对空间距离感知进行优化，生成双边仿射运动一致性模型，设置双边运动边界的自适应距离阈值参数，得到全局图像对应的内点匹配集合，实现所述两幅待匹配的内窥镜图像之间的特征点匹配。
本发明实施例提供的系统用于执行上述对应的方法，其具体的实施方式与方法的实施方式一致，涉及的算法流程与对应的方法部分算法流程相同，此处不再赘述。
本发明实施例通过对获取的初始匹配点对集合进行局部距离约束，实现基于局部结构保持的运动一致性约束，能够从存在大量噪声的内窥镜图像特征点对应关系中，准确地剔除错误匹配，同时考虑局部结构在形变中的不变性以及全局运动的一致性，可以鲁棒地解决不同类型的形变下的匹配问题。
在上述实施例基础上，图5为本发明实施例提供的一种内窥镜图像特征点匹配系统的第二处理模块子结构示意图，如图5所示，第二处理模块42具体包括：匹配子模块421、构建子模块422、第一计算子模块423和第二计算子模块424，其中：
匹配子模块421用于建立所述两幅待匹配的内窥镜图像间的未知形变和所述图像特征点局部邻域结构之间的对应关系；构建子模块422用于基于每个所述图像特征点，在对应点集合中相应的6个最近点来构建所述局部结构；第一计算子模块423用于基于所述两幅待匹配的内窥镜图像间的未知形变和所述图像特征点局部邻域结构之间的对应关系，且任意所述初始匹配点对与其邻域点之间的距离固定，设置阈值参数，计算并获得所述具有局部性保持的内点集合，实现局部距离约束；第二计算子模块424用于对所述待匹配的两幅图像提取的所述特征点信息进行扩展，添加特征点对应的运动信息，应用相似度边界函数，得到具有所述运动一致性的特征点对应关系集合。
本发明实施例提供的系统用于执行上述对应的方法，其具体的实施方式与方法的实施方式一致，涉及的算法流程与对应的方法算法流程相同，此处不再赘述。
本发明实施例通过对获取的初始匹配点对集合进行局部距离约束，实现基于局部结构保持的运动一致性约束，能够从存在大量噪声的内窥镜图像特征点对应关系中，准确地剔除错误匹配，同时考虑局部结构在形变中的不变性以及全局运动的一致性，可以鲁棒地解决不同类型的形变下的匹配问题。
在上述实施例基础上，图6为本发明实施例提供的一种内窥镜图像特征点匹配系统的第三处理模块子结构示意图,如图6所示，第三处理模块43具体包括：第三计算子模块431和第四计算子模块432，其中：
第三计算子模块431用于基于所述特征点对应关系集合，应用双边变化的仿射运动边界，获得所述双边仿射运动一致性模型；第四计算子模块432用于设置所述双边运动边界的自适应空间阈值参数，得到所述全局图像对应的内点匹配集合，实现所述两幅待匹配的内窥镜图像之间的特征点匹配。
本发明实施例提供的系统用于执行上述对应的方法，其具体的实施方式与方法的实施方式一致，涉及的算法流程与对应的方法算法流程相同，此处不再赘述。
本发明实施例通过自适应阈值的应用，在面对不同尺度的形变类型均具有自适应的约束，有效地适用于未知形变大小的内窥镜图像，在保证高精度的情况下可以保留足够多的正确特征点对应关系，便于在后续的结构重建等操作中应用。
图10示例了一种服务器的实体结构示意图，如图10所示，该服务器可以包括：处理器(processor)1010、通信接口(communicationsinterface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行如下方法：基于两幅待匹配的内窥镜图像提取图像特征点，并基于特征描述子相似度完成所述图像特征点匹配，获取所述图像特征点的初始匹配点对集合；基于所述两幅待匹配的内窥镜图像间的未知形变和所述图像特征点局部邻域结构之间的对应关系以及局部结构对所述初始匹配点对集合进行局部距离约束，结合仿射参数和对应特征点运动信息对特征点信息进行扩展，估算相似度边界，得到具有运动一致性的特征点对应关系集合；基于所述特征点对应关系集合对空间距离感知进行优化，生成双边仿射运动一致性模型，设置双边运动边界的自适应距离阈值参数，得到全局图像对应的内点匹配集合，实现所述两幅待匹配的内窥镜图像之间的特征点匹配。
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：基于两幅待匹配的内窥镜图像提取图像特征点，并基于特征描述子相似度完成所述图像特征点匹配，获取所述图像特征点的初始匹配点对集合；基于所述两幅待匹配的内窥镜图像间的未知形变和所述图像特征点局部邻域结构之间的对应关系以及局部结构对所述初始匹配点对集合进行局部距离约束，结合仿射参数和对应特征点运动信息对特征点信息进行扩展，估算相似度边界，得到具有运动一致性的特征点对应关系集合；基于所述特征点对应关系集合对空间距离感知进行优化，生成双边仿射运动一致性模型，设置双边运动边界的自适应距离阈值参数，得到全局图像对应的内点匹配集合，实现所述两幅待匹配的内窥镜图像之间的特征点匹配。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！