图像配准方法及相关装置、设备与流程

1.本技术涉及人工智能技术领域，特别是涉及一种图像配准方法及相关装置、设备。


背景技术：

2.随着电子信息技术的发展，增强现实(augmented reality，ar)、虚拟现实(virtual reality，vr)等成为计算机视觉领域中的应用热点，通过相机作为输入设备，并利用图像算法处理，可以数字化周围环境，从而获取与真实环境进行交互的使用体验。
3.图像配准是ar、vr等计算机视觉领域中的研究重点，通过图像配准技术可以获取相机拍摄到的待配准图像与目标图像之间的配准参数，从而后续可以通过配准参数，得到目标图像在待配准图像中的注册位置。然而，现有的图像配准技术主要面向目标图像在待配准图像中占比较大的情况下，而若目标图像在待配准图像中占比较小，则无法准确配准。有鉴于此，如何提高图像配准的准确性成为亟待解决的问题。


技术实现要素：

4.本技术提供一种图像配准方法及相关装置、设备。
5.本技术第一方面提供了一种图像配准方法，包括：获取待配准图像和包含目标图像的参考图像；确定第一图像区域的第一偏转角度，并确定第二图像区域的第二偏转角度，其中，第一图像区域的至少部分像素点在参考图像中，第二图像区域的至少部分像素点在待配准图像中；基于第一偏转角度和第二偏转角度，得到候选配准参数；基于候选配准参数，得到目标图像与待配准图像之间的最终配准参数。
6.因此，获取待配准图像和包含目标图像的参考图像，确定第一图像区域的第一偏转角度，并确定第二图像区域的第二偏转角度，且第一图像区域的至少部分像素点在参考图像中，第二图像区域的至少部分像素点在待配准图像中，在此基础上，再基于第一偏转角度和第二偏转角度，得到候选配准参数，从而基于候选配准参数，得到目标图像与待配准图像之间的最终配准参数，而无需通过提取特征点以及特征表示来进行配准，故配准不会受到目标图像在待配准图像中的占比影响，能够有利于提高图像配准的准确性。
7.其中，第二图像区域和候选配准参数均有预设数量个，每个候选配准参数是基于第一偏转角度和一第二图像区域对应的第二偏转角度得到；基于候选配准参数，得到目标图像与待配准图像之间的最终配准参数，包括：对于各个候选配准参数：利用候选配准参数，确定待配准图像与目标图像之间的相似度，以得到候选配准参数的第一评分结果；基于预设数量个候选配准参数的第一评分结果，得到最终配准参数。
8.因此，第二图像区域和候选配准参数均有预设数量个，每个候选配准参数是基于第一偏转角度和一第二图像区域对应的第二偏转角度得到，在此基础上，对于各个候选配准参数：利用候选配准参数，确定待配准图像与目标图像之间的相似度，以得到候选配准参数的第一评分结果，并基于预设数量个候选配准参数的第一评分结果，得到最终配准参数，故能够从预设数量个候选配准参数中，通过关于相似度的第一评分结果得到最终配准参
数，能够有利于进一步提高图像配准的准确性。
9.其中，基于预设数量个候选配准参数的第一评分结果，得到最终配准参数，包括：选取第一评分结果满足预设条件的候选配准参数，作为粗选配准参数；利用预设优化方式，对粗选配准参数进行优化；利用优化后的粗选配准参数，确定待配准图像与目标图像之间的相似度，以得到优化后的粗选配准参数的第二评分结果；基于优化后的粗选配准参数的第二评分结果，选择优化后的粗选配准参数作为最终配准参数。
10.因此，通过选取第一评分结果满足预设条件的候选配准参数，作为粗选配准参数，并利用预设优化方式，对粗选配准参数进行优化，从而利用优化后的粗选配准参数，确定待配准图像与目标图像之间的相似度，以得到优化后的粗选配准参数的第二评分结果，进而基于优化后的粗选配准参数的第二评分结果，选择优化后的粗选配准参数作为最终配准参数，故此能够通过“两阶段”从候选配准参数中筛选得到最终配准参数，能够有利于进一步提高图像配准的准确性。
11.其中，利用候选配准参数，确定待配准图像与目标图像之间的相似度，包括：利用候选配准参数，确定至少一组匹配点对；其中，匹配点对中的两个像素点分别来自待配准图像和参考图像中的目标图像；基于至少一组匹配点对的像素值，得到待配准图像与目标图像之间的相似度。
12.因此，通过利用候选配准参数，确定至少一组匹配点对，且匹配点对中的两个像素点分别来自待配准图像和参考图像中的目标图像，并基于至少一组匹配点对的像素值，得到待配准图像和目标图像之间的相似度，能够在相似度计算过程中，排除不属于目标图像的像素点的干扰，有利于提高相似度的准确性。
13.其中，在基于第一偏转角度和第二偏转角度，得到候选配准参数之前，方法还包括：获取参考图像在待配准图像中的预估区域，并基于预估区域和参考图像的尺寸，得到预估缩放比例；基于第一偏转角度和第二偏转角度，得到候选配准参数，包括：基于预估缩放比例、第一偏转角度和第二偏转角度，得到候选配准参数。
14.因此，通过获取参考图像在待配准图像中的预估区域，并基于预估区域和参考图像的尺寸，得到预估缩放比例，从而基于预估缩放比例、第一偏转角度和第二偏转角度，得到候选配准参数，能够有利于提高图像配准的效率。
15.其中，基于预估缩放比例、第一偏转角度和第二偏转角度，得到候选配准参数，包括：获取第一偏转角度与第二偏转角度之间的角度差；基于角度差和预估缩放比例，得到候选配准参数。
16.因此，通过获取第一偏转角度和第二偏转角度之间的角度差，并基于角度差和预估缩放比例，得到候选配准参数，能够有利于降低图像配准的复杂度。
17.其中，图像配准方法还包括：响应于无法获取到预估区域，将候选缩放比例作为预估缩放比例。
18.因此，响应于无法获取到预估区域，将候选缩放比例作为预估缩放比例，能够有利于提高图像配准的鲁棒性。
19.其中，获包含目标图像的参考图像，包括：将目标图像作为参考图像；或者，将目标图像处理为与待配准图像形状相同的参考图像，并记录参考图像中的像素点的属性信息，其中，像素点的属性信息用于确定像素点是否属于目标图像。
20.因此，通过将目标图像作为参考图像，或者将目标图像处理为与待配准图像形状相同的参考图像，并记录参考图像中的像素点的属性信息，且像素点的属性信息用于确定像素点是否属于目标图像，故此在目标图像为任意形状的情况下，也能够完成图像配准，有利于提高图像配准的鲁棒性。
21.其中，第一图像区域的像素点均在参考图像中；和/或，第二图像区域的像素点均在待配准图像中。
22.因此，通过将第一图像区域的像素点设置为均在参考图像中，和/或，将第二图像区域的像素点设置为均在待配准图像中，能够有利于提高图像配准的准确性。
23.其中，第一图像区域的中心为参考图像的中心；和/或，第一偏转角度为第一图像区域的形心与第一图像区域的中心的连线与预设方向之间的有向夹角；第二偏转角度为第二图像区域的形心与第二图像区域的中心的连线与预设方向之间的有向夹角。
24.因此，通过将第一图像的中心设置为参考图像的中心，而第一偏转角度为第一图像区域的形心与第一图像区域的中心的连线与预设方向之间的有向夹角，第二偏转角度为第二图像区域的形心与第二图像区域的中心的连线与预设方向之间的有向夹角，能够有利于提高第一偏转角度和第二偏转角度的准确性。
25.本技术第二方面提供了一种图像配准装置，包括：图像获取模块、角度确定模块、候选参数获取模块和最终参数获取模块，图像获取模块，用于获取待配准图像和包含目标图像的参考图像；角度确定模块，用于确定第一图像区域的第一偏转角度，并确定第二图像区域的第二偏转角度，其中，第一图像区域的至少部分像素点在参考图像中，第二图像区域的至少部分像素点在待配准图像中；候选参数获取模块，用于基于第一偏转角度和第二偏转角度，得到候选配准参数；最终参数获取模块，用于基于候选配准参数，得到目标图像与待配准图像之间的最终配准参数。
26.本技术第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的图像配准方法。
27.本技术第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的图像配准方法。
28.上述方案，获取待配准图像和包含目标图像的参考图像，确定第一图像区域的第一偏转角度，并确定第二图像区域的第二偏转角度，且第一图像区域的至少部分像素点在参考图像中，第二图像区域的至少部分像素点在待配准图像中，在此基础上，再基于第一偏转角度和第二偏转角度，得到候选配准参数，从而基于候选配准参数，得到目标图像与待配准图像之间的最终配准参数，而无需通过提取特征点以及特征表示来进行配准，故配准不会受到目标图像在待配准图像中的占比影响，能够有利于提高图像配准的准确性。
附图说明
29.图1是本技术图像配准方法一实施例的流程示意图；
30.图2是参考图像一实施例的示意图；
31.图3是偏转角度获取方式一实施例的示意图；
32.图4是获取第一特征表示的示意图；
33.图5是图1中步骤s14一实施例的流程示意图；
34.图6是本技术图像配准装置一实施例的框架示意图；
35.图7是本技术电子设备一实施例的框架示意图；
36.图8是本技术计算机可读存储介质一实施例的框架示意图。
具体实施方式
37.下面结合说明书附图，对本技术实施例的方案进行详细说明。
38.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
39.本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
40.请参阅图1，图1是本技术图像配准方法一实施例的流程示意图。
41.具体而言，可以包括如下步骤：
42.步骤s11：获取待配准图像和包含目标图像的参考图像。
43.在一个实施场景中，待配准图像可以是相机拍摄到的图像。例如，在ar、vr等应用场景中，待配准图像可以是诸如手机、平板电脑、智能眼镜等电子设备所拍摄到的图像；或者，在视频监控场景中，待配准图像可以是监控相机所拍摄到的图像，在此不做限定。其他场景可以以此类推，在此不再一一举例。
44.在另一个实施场景中，目标图像可以是预先获取的图像，具体可以根据实际应用情况进行设置。例如，在需要确定待配准图像中建筑物a的位置的情况下，可以预先获取建筑物a的图像；或者，在需要确定待配准图像中人物b的位置的情况下，可以预先获取人物b的图像，其他情况可以以此类推，在此不再一一举例。
45.在一个实施场景中，目标图像的形状可以为矩形，在此情况下，可以直接将目标图像作为参考图像，以进行后续的配准。
46.在另一个实施场景中，目标图像的形状也可以为矩形之外的任意形状，具体可以包括但不限于：三角形、圆形、梯形等等，在此不做限定。此外，目标图像也可以是不规则形状，例如，目标图像可以是人脸图像，且目标图像的边缘为人脸轮廓；或者，目标图像也可以是动物图像，且目标图像的边缘为动物轮廓，其他情况可以以此类推，在此不再一一举例。需要说明的是，如前所述，本公开实施例以及下述公开实施例，并不限定目标图像的具体形状，目标图像可以是任意形状。
47.在一个具体的实施场景中，在目标图像的形状为矩形之外的任意形状的情况下，可以将目标图像处理为与待配准图像形状相同的参考图像。例如，可以将目标图像外扩为与待配准图像形状相同的参考图像。请结合参阅图2，图2是参考图像一实施例的示意图。如图2所示，以目标图像为圆形且待配准图像为矩形为例，可以获取圆形的外接矩形，且该外接矩形中圆形为目标图像，圆形与外接矩形之间的像素点可以为任意像素值，从而得到参考图像，如可以统一采用黑色填充圆形与外接矩形之间的区域，或者，也可以统一采用白色填充圆形与外接矩形之间的区域，在此不做限定。请继续结合参阅图2，在目标图像为圆形且待配准图像为矩形的情况下，也可以获取包含该圆形且不与该圆形相切的矩形，且该矩
形中圆形为目标图像，圆形与该矩形之间的像素点可以为任意像素值，从而得到参考图像，即包含圆形的矩形，可以不限于外接矩形。在目标图像为其他形状的情况下，或者，在待配准图像为其他形状的情况下，可以以此类推，在此不再一一举例。此外，也可以将内接于目标图像(或者，不与目标图像内接，且包含于目标图像)且与待配准图像形状相同的子图像，作为参考图像，在此不做限定。仍以目标图像为圆形且待配准图像为矩形为例，可以将圆形的内接矩形内图像数据，作为参考图像；或者，仍以目标图像为圆形且待配准图像为矩形为例，可以将不与圆形内接且包含于圆形的矩形内图像数据，作为参考图像，在此不做限定。需要说明的是，为了提高配准鲁棒性，可以直接选择将目标图像外扩为与待配准图像形状相同的参考图像。
48.在另一个具体的实施场景中，在目标图像的形状为矩形之外的任意形状的情况下，可以将目标图像外扩为待配准图像形状相同的参考图像，在此基础上，还可以进一步记录参考图像中的像素点的属性信息，且属性信息用于确定像素点是否属于目标图像。具体地，属性信息可以具体包括参考图像中各个像素点的属性值，在像素点的属性值为第一数值(如1)的情况下，表示该像素点属于目标图像，而在像素点的属性值为第二数值(如0)的情况下，表示该像素点不属于目标图像。请继续结合参阅图2，参考图像中位于圆形区域的像素点属于目标图像，故可以将这些像素点的属性值设置为第一数值(如1)，而参考图像中位于圆形区域和矩形区域之间的像素点不属于目标图像，故可以将这些像素点的属性值设置为第二数值(如0)。其他情况可以以此类推，在此不再一一举例。
49.在又一个具体的实施场景中，为了便于后续在配准过程中，获取参考图像中的像素点的属性信息，还可以基于属性信息生成与参考图像相同尺寸的模板图像，且模板图像中每个像素点的像素值表示参考图像中对应像素点是否属于目标图像。具体地，在模板图像中像素点的像素值为第一数值(如，1)的情况下，可以表示参考图像中对应像素点属于目标图像，而在模板图像中像素点的像素值为第二数值(如，0)的情况下，可以表示参考图像中对应像素点不属于目标图像。需要说明的是，前述“对应”一词表示位于图像中相同位置。例如，以模板图像左上角像素点为坐标原点建立第一坐标系，以原点水平向右方向为第一坐标系x轴正方向，以原点垂直向下方向为第一坐标系y轴正方向，并以参考图像左上角像素点为原点建立第二坐标系，以原点水平向右方向为第二坐标系x轴正方向，以原点垂直向下方向为第二坐标系y轴正方向，模板图像中像素点(u0,v0)和参考图像中像素点(u0,v0)相对应。
50.步骤s12：确定第一图像区域的第一偏转角度，并确定第二图像区域的第二偏转角度。
51.本公开实施例中，第一图像区域的至少部分像素点在参考图像中，第二图像区域的至少部分像素点在待配准图像中。例如，位于第一图像区域左上位置的部分像素点不在参考图像中，而其他像素点在参考图像中；或者，位于第二图像区域左上位置的部分像素点不在待配准图像中，而其他像素点在待配准图像中，在此不做限定。此外，为了降低不在参考图像或不在待配准图像中的像素点对于图像配准的干扰，第一图像区域的像素点可以均在参考图像中，第二图像区域的像素点也可以均在待配准图像中，从而能够有利于提高图像配准的鲁棒性。
52.在一个实施场景中，第一图像区域和第二图像区域的形状可以均设置为预设形
状。预设形状可以包括但不限于：矩形、圆形等等，在此不做限定。
53.在另一个实施场景中，第一图像区域的尺寸可以设置为第一尺寸，第二图像区域的尺寸可以设置为第二尺寸。第一尺寸和第二尺寸可以根据实际应用情况进行设置，例如，在第一图像区域和第二图像区域设置为矩形的情况下，可以将第一尺寸、第二尺寸设置为16*16、32*32等等，在此不做限定；或者，在第一图像区域和第二图像区域设置为圆形的情况下，可以将第一图像区域和第二图像区域具体设置为半径为16、32等的圆形，在此不做限定。
54.在又一个实施场景中，为了降低获取偏转角度的辅助度，第一图像区域的中心可以设置为参考图像的中心。
55.在又一个实施场景中，第一偏转角度为第一图像区域的形心与第一图像区域的中心的连线与预设方向之间的有向夹角，而第二偏转角度为第二图像区域的形心与第二图像区域的中心的连线与预设方向之间的有向夹角。具体地，有向夹角可以包括：连线以顺时针方向偏转至预设方向的夹角，或者，连线以逆时针方向偏转至预设方向的夹角，在此不做限定。例如，可以定义在以顺时针方向进行偏转时，有向夹角的符号为
“‑”
(即负号)，或者，也可以定义在以逆时针方向进行偏转时，有向夹角的符号为“+”(即正号)，在此不做限定。
56.在一个具体的实施场景中，请结合参阅图3，图3是偏转角度获取方式一实施例的示意图。如图3所示，实线矩形表示参考图像(或待配准图像)，实线矩形内的虚线矩形表示第一图像区域(或第二图像区域)，p为第一图像区域(或第二图像区域)的形心，以第一图像区域的中心为坐标原点o建立直角坐标系，第一图像区域(或第二图像区域)的形心p与第一图像区域(或第二图像区域)的中心的连线为op，预设方向具体可以为上述直角坐标系的x轴，有向夹角可以为预设方向至连线逆时针方向的夹角θ。其他情况可以以此类推，在此不再一一举例。
57.在另一个具体的实施场景中，请继续结合参阅图3，形心(c
x
,c
y
)可以表示为：
[0058][0059]
上述公式(1)中，(x,y)表示第一图像区域(或第二图像区域)中某一像素点相对第一图像区域(或第二图像区域)中心的偏移量，i(x,y)表示该像素点的像素值，∑表示求和符合，其求和范围为第一图像区域(或第二图像区域)中的像素点。需要说明的是，在第一图像区域(或第二图像区域)中某一像素点的属性信息表示其不属于目标图像的情况下，即在第一图像区域(或第二图像区域)中某一像素点的属性值为第二数值的情况下，可以在求和过程中将该像素点剔除，即在形心计算过程中，不考虑该像素点。
[0060]
在又一个具体的实施场景中，第一偏转角度(或第二偏转角度)θ可以直接通过下式得到：
[0061]
θ＝arctan(∑yi(x,y),∑xi(x,y))
……
(2)
[0062]
上述公式(2)中，(x,y)表示第一图像区域(或第二图像区域)中某一像素点相对第一图像区域(或第二图像区域)中心的偏移量，i(x,y)表示该像素点的像素值，∑表示求和符合，其求和范围为第一图像区域(或第二图像区域)中的像素点。需要说明的是，在第一图像区域(或第二图像区域)中某一像素点的属性信息表示其不属于目标图像的情况下，即在第一图像区域(或第二图像区域)中某一像素点的属性值为第二数值的情况下，可以在求和
过程中将该像素点剔除，即在形心计算过程中，不考虑该像素点。
[0063]
步骤s13：基于第一偏转角度和第二偏转角度，得到候选配准参数。
[0064]
在一个实施场景中，可以获取参考图像在待配准图像中的预估区域，并基于预估区域和参考图像的尺寸，得到预估缩放比例，在此基础上，可以基于预估缩放比例、第一偏转角度和第二偏转角度，得到候选配准参数，故此，能够有利于提高图像配准的效率。
[0065]
在一个具体的实施场景中，可以提示用户在待配准图像中标记出参考图像的预估区域，从而可以在用户确定完成标记的情况下，获取参考图像在待配准图像中的预估区域。例如，用户可以在待配准图像的某一位置标记一个48*48的预估区域，从而在参考图像的图像尺寸为32*32的情况下，可以得到预估缩放比例为32/48≈0.67，其他情况可以以此类推，在此不再一一举例。
[0066]
在另一个具体的实施场景中，还可以预先训练一个图像配准网络，具体地，图像配准网络可以包括但不限于：regression homographynet、dirnet等等，在此不做限定。在此基础上，可以将参考图像和待配准图像输入至图像配准网络，得到参考图像和待配准图像之间的预估配准参数，并利用预估配准参数得到参考图像在待配准图像中的预估区域。例如，可以获取参考图像的四个角点的第一位置坐标，并利用预估配准参数将四个角点的位置坐标转换至待配准图像中，得到对应的第二位置坐标，进而可以通过四个角点在待配准图像中的第二位置坐标，得到预估区域。
[0067]
在又一个具体的实施场景中，可以提取参考图像中的第一特征点，并基于属性信息确定第一特征点的第一特征表示，以及提取待配准图像中的第二特征点及其第二特征表示，从而可以基于第一特征点及第一特征表示和第二特征点及第二特征表示，得到参考图像和待配准图像之间的预估配准参数。此外，在基于属性信息生成模板图像的情况下，也可以直接基于模板图像确定第一特征点的第一特征表示。具体地，第一特征点和第二特征点可以基于orb(oriented fast and rotated brief)、sift(scale
‑
invariant feature transform)等特征提取方式提取得到，具体提取过程可以参考orb、sift等特征提取方式的技术细节，在此不再赘述。在此基础上，可以利用预估配准参数得到参考图像在待配准图像中的预估区域，具体可以参阅前述相关描述，在此不再赘述。
[0068]
需要说明的是，在基于属性信息确定第一特征点的第一特征表示的过程中，可以在参考图像内包含第一特征点的图像区域中，选取预设数量组像素点对，并基于像素点对的属性信息，得到像素点对的第一像素比对值，从而可以利用预设数量组像素点对的第一像素比对值，得到第一特征点的第一特征表示。具体地，在像素点对的属性信息表示不属于目标图像的情况下，可以将像素点对的第一像素比对值设置为预设无效字符，而在像素点对的属性信息均表示属于目标图像的情况下，可以基于像素点对之间的大小关系，得到像素点对的第一像素比对值。请结合参阅图4，图4是获取第一特征表示的示意图。如图4所示，圆形区域表示包含第一特征点的图像区域，圆形区域中各个方形区域分别表示图像区域中的像素点，其中，以网格线填充的方向区域表示第一特征点，以其他相同阴影填充且通过虚线连接的像素点对为在图像区域中所选取得到的预设数量组像素点对，为了便于描述，图4示意性地表示了4组像素点对，像素点对中虚线箭头一侧的像素点可以记为a，虚线圆点一侧的像素点可以记为b，故可以将以右斜线填充的像素点对记为p1(a,b)，将以点填充的像素点对记为p2(a,b)，以横线填充的像素点对记为p3(a,b)，将以左斜线填充的像素点对记为
p4(a,b)。若像素点对中像素点a、像素点b中的任一者不属于目标图像，则可以将该像素点对的第一像素比对值设置为预设无效字符(如，*、#等等)，反之可以基于像素点a的像素值和像素点b的像素值之间的大小关系，得到像素点对的第一像素比对值。例如，在像素点a的像素值大于像素点b的像素值的情况下，可以将像素点对的第一像素比对值设置为第一数值(如，1)，而在像素点a的像素值不大于像素点b的像素值的情况下，可以将像素点对的第一像素比对值设置为第二数值(如，0)。举例来说，对于像素点对p1(a,b)而言，像素点a的像素值大于像素点b的像素值，故可以将像素点对p1(a,b)的第一像素比对值设置为1，而对于像素点对p2(a,b)而言，像素点a的像素值不大于像素点b的像素值，故可以将像素点对p2(a,b)的第一像素比对值设置为0，对于像素点对p3(a,b)而言，像素点a的像素值大于像素点b的像素值，故可以将像素点对p3(a,b)的第一像素比对值设置为1，对于像素点对p4(a,b)而言，像素点a的像素值大于像素点b的像素值，故可以将像素点对p4(a,b)的第一像素比对值设置为1，故此图4所示的第一特征点的第一特征表示可以描述为[1 0 1 1]。其他情况可以以此类推，在此不再一一举例。
[0069]
此外，在基于第一特征点及第一特征表示和第二特征点及第二特征表示，得到参考图像和待配准图像之间的预估配准参数的过程中，具体可以基于第一特征表示中除预设无效字符外的第一像素比对值和第二特征表示中的第二像素比对值，得到第一特征点和第二特征点之间的特征相似度，在此基础上，可以将特征相似度满足预设条件的第一特征点和第二特征点，作为特征点对，并基于特征点对，获取目标图像和待配准图像之间的预估配准参数。具体地，在得到若干组特征点对之后，可以采用随机一致性采样(random sample consensus)方式处理若干组特征点对，得到预估配准参数。具体处理过程可以参阅随机一致性采样的相关技术细节，在此不再赘述。
[0070]
在又一个具体的实施场景中，响应于无法获取到预估区域，可以将候选缩放比例作为预估缩放比例。具体地，候选缩放比例可以根据实际应用情况进行设置，例如，候选缩放比例可以为包括但不限于：0.2、0.4、0.6、0.8等等，在此不做限定。在此情况下，可以选择其中至少一者作为预估缩放比例，具体所选择的候选缩放比例在此不做限定。
[0071]
在又一个具体的实施场景中，在得到预估缩放比例之后，可以获取第一偏转角度与第二偏转角度之间的角度差，从而可以基于角度差和预估缩放比例，得到候选配准参数。为了便于描述，可以将预估缩放比例记为s，角度差记为α，将第二图像区域的中心记为(u,v)，将参考图像的中心记为(o
x
,o
y
)，则候选配准参数h可以表示为：
[0072][0073]
在另一个实施场景中，可以在待配准图像中选取预设数量个候选位置，并基于每个候选位置确定一个第二图像区域，从而可以得到预设数量个第二图像区域。在此基础上，可以通过前述方式，确定每一第二图像区域的第二偏转角度，并基于第一偏转角度和各个第二偏转角度，得到预设数量个候选配准参数。
[0074]
在一个具体的实施场景中，在第二图像区域为半径为r的圆形区域的情况下，可以分别以预设数量个候选位置为中心，并以r为半径，确定预设数量个第二图像区域；或者，在第二图像区域为边长为d的正方形区域的情况下，可以分别以预设数量候选位置为中心，并
以d为正方形边长，确定预设数量个第二图像区域。其他情况可以以此类推，在此不再一一举例。
[0075]
在另一个具体的实施场景中，在存在两个第二偏转角度的情况下，可以基于第一偏转角度和第二偏转角度01，可以得到候选配准参数01；或者，基于第一偏转角度和第二偏转角度02，可以得到候选配准参数02。其他情况可以以此类推，在此不再一一举例。
[0076]
在又一个具体的实施场景中，如前所述，为了降低不在参考图像或不在待配准图像中的像素点对于图像配准的干扰，通过候选位置所确定的第二图像区域中的像素点可以均在待配准图像中。也就是说，第二图像区域不会访问到待配准图像的外部区域，从而能够有利于提高图像配准的鲁棒性。
[0077]
步骤s14：基于候选配准参数，得到目标图像与待配准图像之间的最终配准参数。
[0078]
在一个实施场景中，在候选配准参数仅有一个的情况下，可以直接将该候选配准参数作为目标图像和待配准图像之间的最终配准参数。
[0079]
在另一个实施场景中，在候选配准参数仅有一个的情况下，为了提高最终配准参数的准确性，也可以利用预设优化方式，对候选配准参数进行优化，并将优化之后的候选配准参数作为最终配准参数。具体地，预设优化方式可以包括但不限于：gauss
‑
newton、levenberg
‑
marquard等方式，在此不做限定。
[0080]
在又一个实施场景中，如前所述，候选配准参数可以有预设数量个，在此情况下，对于各个候选配准参数，可以利用候选配准参数，确定待配准图像与目标图像之间的相似度，以得到候选配准参数的第一评分结果，并基于预设数量个候选配准参数的第一评分结果，得到最终配准参数。故此，能够有利于进一步提高图像配准的准确性。
[0081]
在一个具体的实施场景中，第一评分结果表示候选配准参数的准确度，待配准图像与目标图像之间的相似度越高，候选配准参数的准确度越高，反之，待配准图像与目标图像之间的相似度越低，候选配准参数的准确度越低。
[0082]
在另一个具体的实施场景中，具体可以根据第一评分结果，选取准确性最高的候选配准参数，作为最终配准参数。
[0083]
在一个实施场景中，在得到上述最终配准参数之后，可以利用最终配准参数对目标图像进行处理，得到目标图像在待配准图像中的注册位置。例如，可以获取位于目标图像边缘线上的像素点，并利用最终配准参数，确定边缘线上的像素点在待配准图像中的位置，从而得到目标图像在待配准图像中的注册位置。
[0084]
上述方案，获取待配准图像和包含目标图像的参考图像，确定第一图像区域的第一偏转角度，并确定第二图像区域的第二偏转角度，且第一图像区域的至少部分像素点在参考图像中，第二图像区域的至少部分像素点在待配准图像中，在此基础上，再基于第一偏转角度和第二偏转角度，得到候选配准参数，从而基于候选配准参数，得到目标图像与待配准图像之间的最终配准参数，而无需通过提取特征点以及特征表示来进行配准，故配准不会受到目标图像在待配准图像中的占比影响，能够有利于提高图像配准的准确性。
[0085]
请参阅图5，图5是图1中步骤s14一实施例的流程示意图。本公开实施例中，存在预设数量个候选配准参数，预设数量个候选配准参数的获取过程，具体可以参阅前述公开实施例中相关描述，在此不再赘述。具体而言，本公开实施例可以包括如下步骤：
[0086]
步骤s51：对于各个候选配准参数：利用候选配准参数，确定待配准图像与目标图
像之间的相似度，以得到候选配准参数的第一评分结果。
[0087]
具体地，对于参考图像中的像素点(x,y)以及待配准图像中的像素点(x
′
,y
′
)，存在如下转换关系：
[0088][0089]
上述公式(4)中，h表示候选配准参数。也就是说，可以利用候选配准参数对参考图像中的像素点(x,y)进行坐标转换，得到待配准图像中与该像素点对应的像素点，进一步地，可以将这两个分别来自参考图像和待配准图像的像素点作为一组匹配点对。
[0090]
在一个实施场景中，在得到上述匹配点对的基础上，可以利用匹配点对的像素值，得到待配准图像与目标图像之间的相似度。
[0091]
在一个具体的实施场景中，若匹配点对中来自参考图像的像素点不属于目标图像，则会降低待配准图像与目标图像之间相似度的准确性，故此可以在计算相似度之前，可以基于匹配点对中来自参考图像的像素点的属性信息，确定是否剔除匹配点对，在匹配点对中来自参考图像的像素点的属性信息表示该像素点不属于目标图像的情况下，可以剔除该匹配点对，反之在匹配点对中来自参考图像的像素点的属性信息表示该像素点属于目标图像的情况下，可以保留该匹配点对。
[0092]
在另一个具体的实施场景中，可以利用ssd(sum of squared differences，误差平方和)对匹配点对的像素值进行处理，得到待配准图像与目标图像之间的相似度。为了便于描述，可以将匹配点对中来自目标图像t中的像素点(x,y)的像素值记为t(x,y)，并将匹配点对中来自待匹配图像f中的像素点(x
′
,y
′
)的像素值记为f(x,y)，则待配准图像和目标图像之间的相似度ssd(t,f)可以表示为：
[0093]
ssd(t,f)＝∑
x,y
(t(x,y)
‑
f(x
′
,y
′
))2……
(5)
[0094]
上述公式(5)中，∑
x,y
表示对目标图像中像素点(x,y)以及由候选配准参数h在待配准图像中确定的与其对应的像素点(x
′
,y
′
)所组成的匹配点对的像素值进行误差平方求和。由此可见，相似度ssd(t,f)越小，目标图像与待配准图像之间的相似度越高，反之，相似度ssd(t,f)越大，目标图像与待配准图像之间的相似度越低。
[0095]
在又一个具体的实施场景中，也可以利用ncc(normalized cross correlation，归一化互相关)对匹配点对的像素值进行处理，得到待配准图像与目标图像之间的相似度。为了便于描述，可以将匹配点对中来自目标图像t中的像素点(x,y)的像素值记为t(x,y)，并将匹配点对中来自待匹配图像f中的像素点(x
′
,y
′
)的像素值记为f(x,y)，则待配准图像和目标图像之间的相似度ncc(t,f)可以表示为：
[0096][0097]
上述公式(6)中，∑
x,y
表示对目标图像中像素点(x,y)以及由候选配准参数h在待配准图像中确定的与其对应的像素点(x
′
,y
′
)所组成的匹配点对的像素值进行归一化互相关处理。此外，表示目标图像中像素点(x,y)像素值的平均值，表示待配准图像中像素
点(x
′
,y
′
)像素值的平均值。需要说明的是，ncc(t,f)的值域范围为
‑
1至1，且ncc(t,f)越接近于1，表示目标图像与待配准图像之间的相似度越高。
[0098]
步骤s52：基于预设数量个候选配准参数的第一评分结果，得到最终配准参数。
[0099]
在一个实施场景中，如前所述，第一评分结果表示候选配准参数的准确度，在此基础上，可以直接选择准确度最高的候选配准参数作为最终配准参数。
[0100]
在另一个实施场景中，如前所述，第一评分结果表示候选配准参数的准确度，在此基础上，可以选取第一评分结果满足预设条件的候选配准参数，作为粗选配准参数，并利用预设优化方式对粗选配准参数进行优化，从而利用优化后的粗选配准参数，确定待配准图像与目标图像之间的相似度，以得到优化后的粗选配准参数的第二评分结果，并基于优化后的粗选配准参数的第二评分结果，选择优化后的粗选配准参数作为最终配准参数。故此，能够通过“两阶段”从候选配准参数中筛选得到最终配准参数，能够有利于进一步提高图像配准的准确性。
[0101]
在一个具体的实施场景中，预设条件可以包括候选配准参数的准确度高于预设阈值。预设阈值具体可以根据实际应用情况进行设置，例如，在对最终配准参数的准确性要求较高的情况下，可以将预设阈值设置地稍大一些，而在对最终配准参数的准确性要求相对宽松的情况下，可以将预设阈值设置地稍小一些，预设阈值的具体数值在此不做限定。
[0102]
在另一个具体的实施场景中，也可以将候选配准参数按照准确度由高到低的顺序进行排序，在此基础上，预设条件也可以包括位于前预设数量的候选配准参数。例如，预设条件可以包括位于前5位的候选配准参数；或者，预设条件也可以包括位于前4位的候选配准参数，在此不做限定。
[0103]
在又一个具体的实施场景中，可以利用优化后的粗选配准参数，确定至少一组匹配点对，且匹配点对中的两个像素点分别来自待配准图像和参考图像中的目标图像，并基于至少一组匹配点对的像素值，得到待配准图像与目标图像之间的相似度，以得到优化后的粗选配准参数的第二评分结果。具体可以参阅前述关于第一评分结果的相关描述，在此不再赘述。
[0104]
在又一个具体的实施场景中，第二评分结果与第一评分结果是采用不同的方式得到的。例如，在第一评分结果是采用ssd得到的情况下，第二评分结果可以采用ncc得到；或者，在第一评分结果是采用ncc得到的情况下，第二评分结果可以采用ssd得到。ssd和ncc的具体计算过程可以参阅前述相关描述，在此不再赘述。
[0105]
在又一个具体的实施场景中，第二评分结果表示优化后的粗选配准参数的准确度，且待配准图像与目标图像之间的相似度越高，优化后的粗选配准参数的准确度越高，反之待配准图像与目标图像之间的相似度越低，优化后的粗选配准参数的准确度越低。在此基础上，可以选择准确度最高的优化后的粗选配准参数，作为最终配准参数。
[0106]
在又一个具体的实施场景中，由于诸如前述ncc、ssd等计算相似度的方式具有连续性，故可以通过gauss
‑
newton、levenberg
‑
marquard等方式对粗选配准参数进行优化。
[0107]
在又一个具体的实施场景中，在采用ncc计算相似度的情况下，可以将ncc(t,f)作为目标函数，并将h作为优化对象进行迭代优化；或者，在采用ssd计算相似度的情况下，可以将ssd(t,f)作为目标函数，并将h作为优化对象进行迭代优化，其他情况可以以此类推，在此不再一一举例。为了便于描述，可以将目标图像记为t，待配准图像记为f，粗选配准参
数记为h，则目标函数可以表示为：
[0108][0109]
上述公式(7)中，f(h
‑1)表示待配准图像经粗选配准参数h变换的结果，f函数用于计算t和f(h
‑1)之间的相似度，具体可以为ssd函数，或者ncc函数，在此不做限定。通过最大化f，可以得到优化后的粗选配准参数h。
[0110]
区别于前述实施例，第二图像区域和候选配准参数均有预设数量个，每个候选配准参数是基于第一偏转角度和一第二图像区域对应的第二偏转角度得到，在此基础上，对于各个候选配准参数：利用候选配准参数，确定待配准图像与目标图像之间的相似度，以得到候选配准参数的第一评分结果，并基于预设数量个候选配准参数的第一评分结果，得到最终配准参数，故能够从预设数量个候选配准参数中，通过关于相似度的第一评分结果得到最终配准参数，能够有利于进一步提高图像配准的准确性。
[0111]
请参阅图6，图6是本技术图像配准装置60一实施例的框架示意图。图像配准装置60包括：图像获取模块61、角度确定模块62、候选参数获取模块63和最终参数获取模块64，图像获取模块61用于获取待配准图像和包含目标图像的参考图像；角度确定模块62用于确定第一图像区域的第一偏转角度，并确定第二图像区域的第二偏转角度，其中，第一图像区域的至少部分像素点在参考图像中，第二图像区域的至少部分像素点在待配准图像中；候选参数获取模块63用于基于第一偏转角度和第二偏转角度，得到候选配准参数；最终参数获取模块64用于基于候选配准参数，得到目标图像与待配准图像之间的最终配准参数。
[0112]
上述方案，获取待配准图像和包含目标图像的参考图像，确定第一图像区域的第一偏转角度，并确定第二图像区域的第二偏转角度，且第一图像区域的至少部分像素点在参考图像中，第二图像区域的至少部分像素点在待配准图像中，在此基础上，再基于第一偏转角度和第二偏转角度，得到候选配准参数，从而基于候选配准参数，得到目标图像与待配准图像之间的最终配准参数，而无需通过提取特征点以及特征表示来进行配准，故配准不会受到目标图像在待配准图像中的占比影响，能够有利于提高图像配准的准确性。
[0113]
在一些公开实施例中，第二图像区域和候选配准参数均有预设数量个，每个候选配准参数是基于第一偏转角度和一第二图像区域对应的第二偏转角度得到，最终参数获取模块64包括第一评分结果获取子模块，用于对于各个候选配准参数：利用候选配准参数，确定待配准图像与目标图像之间的相似度，以得到候选配准参数的第一评分结果，最终参数获取模块64包括最终配准参数获取子模块，用于基于预设数量个候选配准参数的第一评分结果，得到最终配准参数。
[0114]
区别于前述实施例，第二图像区域和候选配准参数均有预设数量个，每个候选配准参数是基于第一偏转角度和一第二图像区域对应的第二偏转角度得到，在此基础上，对于各个候选配准参数：利用候选配准参数，确定待配准图像与目标图像之间的相似度，以得到候选配准参数的第一评分结果，并基于预设数量个候选配准参数的第一评分结果，得到最终配准参数，故能够从预设数量个候选配准参数中，通过关于相似度的第一评分结果得到最终配准参数，能够有利于进一步提高图像配准的准确性。
[0115]
在一些公开实施例中，最终配准参数获取子模块包括粗选配准参数选择单元，用于选取第一评分结果满足预设条件的候选配准参数，作为粗选配准参数，最终配准参数获
取子模块包括粗选配准参数优化单元，用于利用预设优化方式，对粗选配准参数进行优化，最终配准参数获取子模块包括第二评分结果获取单元，用于利用优化后的粗选配准参数，确定待配准图像与目标图像之间的相似度，以得到优化后的粗选配准参数的第二评分结果，最终配准参数获取子模块包括最终配准参数选择单元，用于基于优化后的粗选配准参数的第二评分结果，选择优化后的粗选配准参数作为最终配准参数。
[0116]
区别于前述实施例，通过选取第一评分结果满足预设条件的候选配准参数，作为粗选配准参数，并利用预设优化方式，对粗选配准参数进行优化，从而利用优化后的粗选配准参数，确定待配准图像与目标图像之间的相似度，以得到优化后的粗选配准参数的第二评分结果，进而基于优化后的粗选配准参数的第二评分结果，选择优化后的粗选配准参数作为最终配准参数，故此能够通过“两阶段”从候选配准参数中筛选得到最终配准参数，能够有利于进一步提高图像配准的准确性。
[0117]
在一些公开实施例中，第一评分结果获取子模块包括匹配点对确定单元，用于利用候选配准参数，确定至少一组匹配点对，且匹配点对中的两个像素点分别来自待配准图像和参考图像中的目标图像，第一评分结果获取子模块包括相似度获取单元，用于基于至少一组匹配点对的像素值，得到待配准图像与目标图像之间的相似度。或者，第二评分结果获取单元具体用于利用优化后的粗选配准参数，确定至少一组匹配点对，且匹配点对中的两个像素点分别来自待配准图像和参考图像中的目标图像，并基于至少一组匹配点对的像素值，得到待配准图像与目标图像之间的相似度。
[0118]
区别于前述实施例，通过利用候选配准参数或利用优化后的粗选配准参数，确定至少一组匹配点对，且匹配点对中的两个像素点分别来自待配准图像和参考图像中的目标图像，并基于至少一组匹配点对的像素值，得到待配准图像和目标图像之间的相似度，能够在相似度计算过程中，排除不属于目标图像的像素点的干扰，有利于提高相似度的准确性。
[0119]
在一些公开实施例中，图像配准装置60包括缩放比例获取模块，用于获取参考图像在待配准图像中的预估区域，并基于预估区域和参考图像的尺寸，得到预估缩放比例，候选参数获取模块63具体用于基于预估缩放比例、第一偏转角度和第二偏转角度，得到候选配准参数。
[0120]
区别于前述实施例，通过获取参考图像在待配准图像中的预估区域，并基于预估区域和参考图像的尺寸，得到预估缩放比例，从而基于预估缩放比例、第一偏转角度和第二偏转角度，得到候选配准参数，能够有利于提高图像配准的效率。
[0121]
在一些公开实施例中，候选参数获取模块63包括角度差获取子模块，用于获取第一偏转角度与第二偏转角度之间的角度差，候选参数获取模块63包括候选参数获取子模块，用于基于角度差和预估缩放比例，得到候选配准参数。
[0122]
区别于前述实施例，通过获取第一偏转角度和第二偏转角度之间的角度差，并基于角度差和预估缩放比例，得到候选配准参数，能够有利于降低图像配准的复杂度。
[0123]
在一些公开实施例中，缩放比例获取模块还用于响应于无法获取到预估区域，将候选缩放比例作为预估缩放比例。
[0124]
区别于前述实施例，响应于无法获取到预估区域，将候选缩放比例作为预估缩放比例，能够有利于提高图像配准的鲁棒性。
[0125]
在一些公开实施例中，图像获取模块61具体用于将目标图像作为参考图像；或者，
将目标图像处理为与待配准图像形状相同的参考图像，并记录参考图像中的像素点的属性信息，其中，像素点的属性信息用于确定像素点是否属于目标图像。
[0126]
区别于前述实施例，通过将目标图像作为参考图像，或者将目标图像处理为与待配准图像形状相同的参考图像，并记录参考图像中的像素点的属性信息，且像素点的属性信息用于确定像素点是否属于目标图像，故此在目标图像为任意形状的情况下，也能够完成图像配准，有利于提高图像配准的鲁棒性。
[0127]
在一些公开实施例中，第一图像区域的像素点均在参考图像中；和/或，第二图像区域的像素点均在待配准图像中。
[0128]
区别于前述实施例，通过将第一图像区域的像素点设置为均在参考图像中，和/或，将第二图像区域的像素点设置为均在待配准图像中，能够有利于提高图像配准的准确性。
[0129]
在一些公开实施例中，第一图像区域的中心为参考图像的中心；和/或，第一偏转角度为第一图像区域的形心与第一图像区域的中心的连线与预设方向之间的有向夹角；第二偏转角度为第二图像区域的形心与第二图像区域的中心的连线与预设方向之间的有向夹角。
[0130]
区别于前述实施例，通过将第一图像的中心设置为参考图像的中心，而第一偏转角度为第一图像区域的形心与第一图像区域的中心的连线与预设方向之间的有向夹角，第二偏转角度为第二图像区域的形心与第二图像区域的中心的连线与预设方向之间的有向夹角，能够有利于提高第一偏转角度和第二偏转角度的准确性。
[0131]
请参阅图7，图7是本技术电子设备70一实施例的框架示意图。电子设备70包括相互耦接的存储器71和处理器72，处理器72用于执行存储器71中存储的程序指令，以实现上述任一图像配准方法实施例的步骤。在一个具体的实施场景中，电子设备70可以包括但不限于：微型计算机、服务器，此外，电子设备70还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
[0132]
具体而言，处理器72用于控制其自身以及存储器71以实现上述任一图像配准方法实施例的步骤。处理器72还可以称为cpu(central processing unit，中央处理单元)。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field
‑
programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器72可以由集成电路芯片共同实现。
[0133]
上述方案，能够有利于提高图像配准的准确性。
[0134]
请参阅图8，图8为本技术计算机可读存储介质80一实施例的框架示意图。计算机可读存储介质80存储有能够被处理器运行的程序指令801，程序指令801用于实现上述任一图像配准方法实施例的步骤。
[0135]
上述方案，能够有利于提高图像配准的准确性。
[0136]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这
里不再赘述。
[0137]
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
[0138]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
[0139]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0140]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0141]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。