图像匹配方法、图像匹配装置、存储介质和计算机设备与流程

本发明属于图像处理，具体地讲，涉及一种图像匹配方法、图像匹配装置、存储介质和计算机设备。

背景技术：

1、胶囊内窥镜是一种医疗器械设备，胶囊内窥镜将图像采集、无线传输等核心功能集成于一个可被人体吞咽的胶囊内，在进行检查过程中，将胶囊内窥镜吞入体内，内窥镜在体内采集消化道图像并同步传送到体外，以根据获得的图像数据进行医疗检查。

2、在获取到原始内镜图像之后，医生通常要进行根据病理样本图像在原始内镜图像中匹配并标注出病理区域，匹配过程要求医生的具有较高的专业水准和经验，同时也需要耗费更长时间和人力成本。因此，如何提高病理匹配的自动化程度以降低匹配难度和减少匹配时间，是本技术领域亟需解决的技术问题。

技术实现思路

1、本发明解决的技术问题是：如何原始内镜图像和病理样本图像之间的图像匹配自动化程度。

2、本技术公开了一种图像匹配方法，所述图像匹配方法包括：

3、对原始内镜图像进行预处理得到第一图像，对病理样本图像进行预处理得到第二图像，所述预处理包括图像亮度均匀化处理和图像对比度均衡化处理；

4、采用预设算法分别对所述第一图像、所述第二图像进行特征提取，分别得到第一图结构特征和第二图结构特征；

5、将所述第一图结构特征和所述第二图结构特征输入到预训练的图卷积网络模型中，得到匹配图结构；

6、根据所述匹配图结构得到所述原始内镜图像与所述病理样本图像之间的匹配点组。

7、可选地，对所述原始内镜图像进行所述图像亮度均匀化处理，包括：

8、对所述原始内镜图像进行色彩空间转换，得到hsv颜色空间中的v通道数据；

9、根据所述v通道数据得到灰度直方图；

10、对所述灰度直方图进行裁剪，裁剪的调整参数为：

11、

12、其中，h(l)表示灰度直方图的原始值，l∈[0,255]，tw表示裁剪阈值，lmax表示灰度直方图的最大灰度值，hw(l)表示裁剪后的灰度值。

13、可选地，对所述原始内镜图像进行所述图像对比度均衡化处理，包括：

14、在对所述原始内镜图像进行所述图像亮度均匀化处理后，采用限制对比度的自适应直方图均衡化方法增强所述原始内镜图像的图像对比度，得到第一图像，其中所述限制对比度的自适应直方图均衡化方法中的剪切极限值为：

15、lc＝av-floor(ε×(ux×uy-av))

16、其中，av表示原始内镜图像被分割为m×n个不重叠的子区域中各个子区域的平均分配像素数的平均值，ux、uy表示子区域的x方向和y方向的像素个数，ε表示设定的系数，ε∈[0,1]，floor表示为不大于该数值的整数。

17、可选地，采用预设算法对所述第一图像进行特征提取得到第一图结构特征，包括：

18、根据所述第一图像构建得到高斯差分金字塔；

19、从所述高斯差分金字塔检测到得到若干候选关键点；

20、对若干候选关键点依次进行边缘点去除处理、重复点去除处理，得到第一特征点集；

21、将第一特征点集中的各个特征点还原至所述原始内镜图像后，进行德洛内三角化处理，得到第一三角形集合；

22、根据所述第一三角形集合构建得到第一邻接矩阵，所述第一邻接矩阵作为第一图结构特征。

23、可选地，所述预训练的图卷积网络模型包括预训练的图卷积神经网络和多层感知器，将所述第一图结构特征和所述第二图结构特征输入到预训练的图卷积网络模型中，得到匹配图结构，包括：

24、根据采用预设算法对所述第一图像进行特征提取过程中得到的第一特征点集和第一三角形集合构建得到第一图表示，根据采用预设算法对所述第二图像进行特征提取过程中得到的第二特征点集和第二三角形集合构建得到第二图表示；

25、所述图卷积神经网络基于所述第一图结构特征、所述第二图结构特征、所述第一图表示和所述第二图表示，得到第一特征矩阵和第二特征矩阵；

26、根据所述第一特征矩阵和所述第二特征矩阵构建得到各节点之间的邻域共识矩阵；

27、所述多层感知器基于各所述邻域共识矩阵得到各个软对应矩阵；

28、根据各个软对应矩阵的加权和得到匹配图结构，所述匹配图结构包括若干组匹配图对，每组匹配图对包括第一匹配图和第二匹配图。

29、可选地，所述预训练的图卷积网络模型包括图内卷积层和跨图卷积层，所述将所述第一图结构特征和所述第二图结构特征输入到预训练的图卷积网络模型中，得到匹配图结构，包括：

30、图内卷积层和跨图卷积层基于第一图结构特征、第二图结构特征得到第一融合特征和第二融合特征；

31、根据第一融合特征和第二融合特征构建得到相似度矩阵和软分配矩阵；

32、根据相似度矩阵和软分配矩阵构建优化问题，求解优化问题得到软分配矩阵的解；

33、根据所述软分配矩阵的解得到匹配图结构，所述匹配图结构包括若干组匹配图对，每组匹配图对包括第一匹配图和第二匹配图。

34、可选地，所述根据所述匹配图结构得到所述原始内镜图像与所述病理样本图像之间的匹配点组，包括：

35、获取所述第一匹配图中各个节点在所述第一图像中所对应的各个第一像素坐标，获取所述第二匹配图中各个节点在所述第二图像中所对应的各个第二像素坐标；

36、根据各个所述第一像素坐标计算得到第一质心坐标，根据各个所述第二像素坐标计算得到第二质心坐标，所述第一质心坐标与所述第二质心坐标构成所述原始内镜图像与所述病理样本图像之间的匹配点组。

37、本技术还公开了一种图像匹配装置，所述图像匹配装置包括：

38、图像预处理模块，所述图像预处理模块用于对原始内镜图像进行预处理得到第一图像，对病理样本图像进行预处理得到第二图像，所述预处理包括图像亮度均匀化处理和图像对比度均衡化处理；

39、特征提取模块，所述特征提取模块用于采用预设算法分别对所述第一图像、所述第二图像进行特征提取，分别得到第一图结构特征和第二图结构特征；

40、图匹配模块，所述图匹配模块用于将所述第一图结构特征和所述第二图结构特征输入到预训练的图卷积网络模型中，得到匹配图结构；

41、匹配还原模块，所述匹配还原模块用于根据所述匹配图结构得到所述原始内镜图像与所述病理样本图像之间的匹配点组。

42、本技术还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有图像匹配程序，所述图像匹配程序被处理器执行时实现上述的图像匹配方法。

43、本技术还公开了一种计算机设备，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的图像匹配程序，所述图像匹配程序被处理器执行时实现上述的图像匹配方法。

44、(三)有益效果

45、本发明公开的一种图像匹配方法、图像匹配装置、存储介质和计算机设备，相对于现有技术，具有如下技术效果：

46、该方法依次经过图像预处理、特征提取、图匹配和匹配还原等步骤，匹配出原始内镜对象、病理样本图像之间的匹配点，从而实现病理区域的匹配，该方法的自动化程度高，无需人工进行匹配标注，降低了匹配难度和人力成本。