一种图像非刚性配准方法、系统、设备和存储介质

本发明涉及图像处理，具体为一种图像非刚性配准方法、系统、设备和存储介质。

背景技术：

1、图像非刚性配准是一种图像处理技术，用于将具有非刚性形变变化的图像进行对齐。相对于刚性配准，非刚性配准更适用于处理具有曲面形变或局部变形的图像，例如医学图像、地理图像等。传统的图像非刚性配准技术主要依赖于基于光流的方法，光流技术可以推测图像中像素的位移，从而可以用于估计图像之间的形变变换。根据光流的估计结果，可以构建一个位移场来描述两幅图像之间的非刚性变形。通过优化算法，可以最小化位移场之间的差异，从而实现图像的非刚性配准。

2、通过基于光流的非刚性配准方法对连续图像帧进行非刚性配准，可以实现视频压缩、视频分析、高精度缺陷分析等更高级别的任务。当前，基于光流的非刚性配准算法受到基本光流假设的约束——亮度不变假设和小位移假设，使得其无法在大位移、大形变场景下取得较高的配准精度，限制了非刚性算法在实际场景中的应用。

技术实现思路

1、本发明提供了一种配准精度高的图像非刚性配准方法、系统、设备和存储介质。

2、本发明技术方案如下：

3、一种图像非刚性配准方法，包括如下操作：

4、s1、获取模板图像的种子点集，所述种子点集经标记处理，得到标记种子点集；

5、s2、获取所述标记种子点集的自适应补丁集，基于所述自适应补丁集，测试图像经多尺度配准处理，得到粗糙位移场；

6、所述多尺度匹配处理的操作为：当前层的自适应补丁集在测试图像上进行块匹配，得到当前层的偏移量集，基于所述当前层的偏移量集，得到当前层的位移场和优化搜索半径集，并传递给下一层，所述下一层执行得到位移场、得到优化搜索半径集和传递的操作，直至最后一层，得到所述粗糙位移场；

7、s3、所述粗糙位移场经滤波处理，得到滤波粗糙位移场；所述滤波粗糙位移场经变分增强处理，得到精细位移场；

8、s4、基于所述精细位移场，所述测试图像经像素映射处理，得到图像配准结果。

9、所述s2中多尺度匹配处理的操作具体为：所述模板图像的第l层图层的自适应补丁集，根据纹理特征相似度，在所述测试图像中对应第l层图层进行块匹配，得到第l层测试补丁集；获取所述第l层测试补丁集与第l层自适应补丁集的位置差，得到第l层偏移量集；所述第l层偏移量集经均衡处理，得到第l层位移场；基于所述第l层偏移量集，得到优化搜索半径集，所述优化搜索半径集与第l层位移场向上传递至第l-1层图层，分别作为所述第l-1层图层的初始第l-1层搜索半径集和初始第l-1层偏移量集；基于所述初始第l-1层搜索半径集，执行所述块匹配、获取位置差的操作得到的偏移量集，与所述初始第l-1层偏移量集结合，得到第l-1层偏移量集，所述第l-1层偏移量集执行均衡处理、得到优化搜索半径集和传递的操作，直至顶层，得到所述粗糙位移场。

10、所述均衡处理的操作具体为：在所述第l层偏移量集的中心至四周的方向上，将所述第l层偏移量集中，所述标记种子点集中不可靠种子点对应的第l层测试补丁集的偏移量替换为，所述不可靠种子点的八邻域范围内可靠种子点对应测试补丁集的偏移量均值，得到所述第l层位移场；当前轮次的不可靠种子点对应的第l层测试补丁集的偏移量经替换后，将所述当前轮次的不可靠种子点更新为可靠种子点，并执行下一轮的替换操作。

11、所述得到第l-1层偏移量集的操作具体为：获取所述位置差的操作得到的偏移量集，与对应位置所述初始第l-1层偏移量集的和，得到第l-1层偏移量集。

12、所述s1中标记的操作具体为：获取所述种子点集中的每个种子点的第一尺寸补丁，判断当前第一尺寸补丁的信息熵是否大于第一熵阈值；若大于，则当前第一尺寸补丁对应的种子点为可靠种子点；若不大于，所述当前第一尺寸补丁经扩大尺寸处理，得到第二尺寸补丁；判断所述第二尺寸补丁是否大于第二熵阈值；

13、若不大于，则当前第二尺寸补丁对应的种子点为可靠种子点；若大于，则当前第二尺寸补丁对应的种子点为不可靠种子点。

14、所述s3中变分增强处理的操作具体为：根据位移场平滑假设，将所述滤波粗糙位移场中相邻测试补丁之间的位移场偏差值调整至预设范围内，得到亚像素级别的所述精细位移场。

15、所述s1中获取模板图像的种子点集的操作具体为：获取所述模板图像的尺寸数据，基于所述尺寸数据，在所述模板图像上根据固定步长设置若干个种子点，得到所述种子点集。

16、一种图像非刚性配准系统，包括：

17、标记种子点集生成模块，用于获取模板图像的种子点集，所述种子点集经标记处理，得到标记种子点集；

18、粗糙位移场生成模块，用于获取所述标记种子点集的自适应补丁集，基于所述自适应补丁集，测试图像经多尺度配准处理，得到粗糙位移场；所述多尺度匹配处理的操作为：当前层的自适应补丁集在测试图像上进行块匹配，得到当前层的偏移量集，基于所述当前层的偏移量集，得到当前层的位移场和优化搜索半径集，并传递给下一层，下一层执行得到位移场、得到优化搜索半径集和传递的操作，直至最后一层，得到所述粗糙位移场；

19、精细位移场生成模块，用于所述粗糙位移场经滤波处理，得到滤波粗糙位移场；所述滤波粗糙位移场经变分增强处理，得到精细位移场；

20、图像配准结果生成模块，用于基于所述精细位移场，所述测试图像经像素映射处理，得到图像配准结果。

21、一种图像非刚性配准设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的图像非刚性配准方法。

22、一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的图像非刚性配准方法。

23、本发明的有益效果在于：

24、本发明提供的一种图像非刚性配准方法，在模板图像中设置种子点，通过对种子点进行标记后生成自适应补丁，接着根据纹理特征相似度，在测试图像上进行多尺度的块匹配和均衡处理后，先利用中值滤波等手段剔除粗糙位移场中存在明显异常的偏移量，再根据偏移量平滑假设，即相邻像素点的偏移量具有连续性，利用变分增强等手段对粗糙位移场进行精化，得到精细位移场后，对测试图像经像素映射处理，使其与模板图像更相似，可有效处理图像间存在的大位移、大形变，并且能够应对非平面印刷品图案中存在的重复纹理、弱纹理区域；该方法的图像配准精度高，可以达到亚像素级的配准精度，为后续高精度缺陷分析提供支持。

技术特征：

1.一种图像非刚性配准方法，其特征在于，包括如下操作：

2.根据权利要求1所述的图像非刚性配准方法，其特征在于，所述s2中多尺度匹配处理的操作具体为：

3.根据权利要求2所述的图像非刚性配准方法，其特征在于，所述均衡处理的操作具体为：

4.根据权利要求2所述的图像非刚性配准方法，其特征在于，所述得到第l-1层偏移量集的操作具体为：

5.根据权利要求1所述的图像非刚性配准方法，其特征在于，所述s1中标记的操作具体为：

6.根据权利要求1所述的图像非刚性配准方法，其特征在于，所述s3中变分增强处理的操作具体为：

7.根据权利要求1所述的图像非刚性配准方法，其特征在于，所述s1中获取模板图像的种子点集的操作具体为：

8.一种图像非刚性配准系统，其特征在于，包括：

9.一种图像非刚性配准设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-7任一项所述的图像非刚性配准方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的图像非刚性配准方法。

技术总结
本发明涉及图像处理技术领域，具体为一种图像非刚性配准方法、系统、设备和存储介质，该配准方法在模板图像中设置种子点，通过对种子点进行标记后生成自适应补丁，接着根据纹理特征相似度，在测试图像上进行多尺度的块匹配和均衡处理后，先利用中值滤波等手段剔除粗糙位移场中存在明显异常的偏移量，再根据偏移量平滑假设，即相邻像素点的偏移量具有连续性，最后利用变分增强等手段对粗糙位移场进行精化，得到精细位移场后，对测试图像经像素映射处理，使其与模板图像更相似，可有效处理图像间存在的大位移、大形变，使得图像配准精度高，可达到亚像素级的配准精度，为后续高精度缺陷分析提供支持。

技术研发人员：施陈博,贾宝盾,祝长生,张淳,蒋鑫,张国栋,杨心杰
受保护的技术使用者：山东科技大学
技术研发日：
技术公布日：2024/1/15