一种图像配准方法、装置及电子设备和存储介质与流程

1.本技术涉及图像处理技术领域，更具体地说，涉及一种图像配准方法、装置及一种电子设备和一种计算机可读存储介质。


背景技术：

2.在图像采集过程中，若利用可见光波段的信息采集得到的彩色图形效果较差，可以通过适当的红外补光及曝光控制，得到清晰、高信噪比的红外图像。但是红外图像仅有灰度信息而无色彩信息。基于此，结合两者优势而提出的可见光波段与红外波段图像融合技术，即双光融合技术，原则上可在提升图像信噪比的同时，保留色彩信息。
3.在双光融合技术中，硬件方案一般为单镜头+棱镜分光(单目分光)模式，通过特殊镀膜工艺的分光棱镜实现可见光与红外光的分离成像。双光融合技术中的图像配准可以实现图像信息在空间位置上的对齐，是保证图像融合效果的前提。当配合变焦镜头使用时，受焦段、场景、镜头工艺等因素影响，单目分光模式的配准精度往往不理想。在相关技术中，可以采用如下两种解决方法：方法一，是在实验室标准场景下，先离线标定好多套不同镜头焦距下的配准参数，发送到设备端，然后设备根据当前镜头焦距选择合适的参数配准生效。该方法将计算量较大的配准标定(即配准参数计算)过程离线化，可以有效降低在设备端的计算量，但是无法消除由场景因素造成的配准偏差，因此场景适应性较差。方法二，直接采用在线配准计算并生效的方式。该方法一方面大大增加了设备端的计算量，另一方面无法保证场景的细节纹理丰富度，从而也无法保证配准的精度及稳定性。
4.因此，如何在保证配准精度的同时，提高场景适应性是本领域技术人员需要解决的技术问题。


技术实现要素：

5.本技术的目的在于提供一种图像配准方法、装置及一种电子设备和一种计算机可读存储介质，在保证配准精度的同时，提高了场景适应性。
6.为实现上述目的，本技术提供了一种图像配准方法，应用于目标设备，包括：
7.接收服务器发送的所述目标设备对应的焦距参考值和每个所述焦距参考值对应的配准参数；其中，所述服务器基于尺度不变性的特征提取方法对所述目标设备进行离线标定计算每个所述焦距参考值对应的配准参数；
8.获取参考图像、待配准图像和当前焦距值，基于所述焦距参考值和所述配准参数的对应关系确定所述当前焦距值对应的离线配准参数，并利用所述离线配准参数对所述待配准图像进行配准生效得到离线配准图像；
9.基于非尺度不变性的特征提取方法计算所述参考图像与所述离线配准图像之间的在线配准参数，并利用所述在线配准参数对所述离线配准图像进行配准生效得到在线配准图像。
10.其中，所述服务器基于尺度不变性的特征提取方法对所述目标设备进行离线标定
计算每个所述焦距参考值对应的配准参数，包括：
11.所述服务器标定所述目标设备对应的焦距参考值，并在标准环境下采集每个所述焦距参考值对应的标准参考图像和标准待配准图像；
12.所述服务器利用尺度不变性的特征提取方法对所述标准参考图像和所述标准待配准图像进行特征点检测和描述子计算，得到所述标准参考图像对应的第一参考特征点集和所述标准待配准图像对应的第一待配准特征点集；其中，所述第一参考特征点集和所述第一待配准特征点集均包括多个第一特征点的坐标信息和每个所述第一特征点对应的第一描述子；
13.所述服务器基于所述第一描述子利用最近邻匹配法在所述标准参考图像和所述标准待配准图像之间进行特征点匹配得到第一匹配点对，基于所述第一匹配点对的坐标信息计算所述焦距参考值对应的配准参数。
14.其中，所述服务器标定所述目标设备对应的焦距参考值，包括：
15.所述服务器获取不同环境、不同焦距下的多组目标参考图像和对应的目标待配准图像，基于尺度不变性的特征提取方法计算每组所述目标参考图像和所述目标待配准图像之间的目标配准参数；
16.所述服务器对所述目标配准参数与所述焦距的分布关系进行分段线性拟合得到最佳分段线性函数，并将所述最佳分段线性函数中的分段点确定为所述目标设备对应的焦距参考值。
17.其中，所述服务器对所述目标配准参数与所述焦距的分布关系进行分段线性拟合得到最佳分段线性函数，包括：
18.所述服务器统计所述目标配准参数中每个元素与所述焦距的中间分布关系，以拟合误差最小为原则对所有所述中间分布关系进行分段线性拟合得到所述最佳分段线性函数。
19.其中，所述服务器对所述目标配准参数与所述焦距的分布关系进行分段线性拟合得到最佳分段线性函数，包括：
20.所述服务器从所述目标配准参数中提取关键参数，以拟合误差最小为原则对所述关键参数与所述焦距的分布关系进行分段线性拟合得到所述最佳分段线性函数。
21.其中，所述基于非尺度不变性的特征提取方法计算所述参考图像与所述离线配准图像之间的在线配准参数，包括：
22.利用fast法对所述参考图像和所述离线配准图像进行特征点检测，利用brief法计算对所述参考图像和所述离线配准图像进行描述子计算，得到所述参考图像对应的第二参考特征点集和所述离线配准图像对应的第二待配准特征点集；其中，所述第二参考特征点集和所述第二待配准特征点集均包括多个第二特征点的坐标信息和每个所述第二特征点对应的第二描述子；
23.基于所述第二描述子利用最近邻匹配法在所述参考图像和所述离线配准图像之间进行特征点匹配得到第二匹配点对，基于所述第二匹配点对的坐标信息计算所述参考图像与所述离线配准图像之间的在线配准参数。
24.其中，所述利用所述在线配准参数对所述离线配准图像进行配准生效得到在线配准图像之后，还包括：
25.计算所述离线配准图像与所述参考图像之间的第一配准度度量值和所述在线配准图像与所述参考图像之间的第二配准度度量值；
26.判断所述第一配准度度量值是否大于所述第二配准度度量值；
27.若是，则将所述离线配准图像确定为最终配准生效结果；
28.若否，则将所述在线配准图像确定为所述最终配准生效结果。
29.为实现上述目的，本技术提供了一种图像配准装置，应用于目标设备，包括：
30.接收模块，用于接收服务器发送的所述目标设备对应的焦距参考值和每个所述焦距参考值对应的配准参数；其中，所述服务器基于尺度不变性的特征提取方法对所述目标设备进行离线标定计算每个所述焦距参考值对应的配准参数；
31.离线配准模块，用于获取参考图像、待配准图像和当前焦距值，基于所述焦距参考值和所述配准参数的对应关系确定所述当前焦距值对应的离线配准参数，并利用所述离线配准参数对所述待配准图像进行配准生效得到离线配准图像；
32.在线配准模块，用于基于非尺度不变性的特征提取方法计算所述参考图像与所述离线配准图像之间的在线配准参数，并利用所述在线配准参数对所述离线配准图像进行配准生效得到在线配准图像。
33.为实现上述目的，本技术提供了一种电子设备，包括：
34.存储器，用于存储计算机程序；
35.处理器，用于执行所述计算机程序时实现如上述图像配准方法的步骤。
36.为实现上述目的，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述图像配准方法的步骤。
37.通过以上方案可知，本技术提供的一种图像配准方法，包括：接收服务器发送的所述目标设备对应的焦距参考值和每个所述焦距参考值对应的配准参数；其中，所述服务器基于尺度不变性的特征提取方法对所述目标设备进行离线标定计算每个所述焦距参考值对应的配准参数；获取参考图像、待配准图像和当前焦距值，基于所述焦距参考值和所述配准参数的对应关系确定所述当前焦距值对应的离线配准参数，并利用所述离线配准参数对所述待配准图像进行配准生效得到离线配准图像；基于非尺度不变性的特征提取方法计算所述参考图像与所述离线配准图像之间的在线配准参数，并利用所述在线配准参数对所述离线配准图像进行配准生效得到在线配准图像。
38.本技术提供的图像配准方法，分为离线配准部分和在线配准部分，离线配准在计算配准参数时采用了计算复杂度高的具备尺度不变性的特征提取方法，可以高精度地校正包括尺度系数变化在内的与场景不相关的配准偏差；在线配准在计算配准参数时采用了计算复杂度低的非尺度不变性的特征提取方法，可以在设备端实时校正与场景相关的配准偏差。通过离线配准与在线配准的结合，一方面保证了图像配准的精度，另一方面，将复杂度高的具备尺度不变性的特征提取运算放在离线端的主机或服务器上完成，有效地降低了设备端的运算复杂度，有利于设备端实时性。由此可见，本技术提供的图像配准方法，在保证配准精度的同时，提高了场景适应性。本技术还公开了一种图像配准装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
39.应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本
申请。
附图说明
40.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
41.图1为根据一示例性实施例示出的一种图像配准方法的流程图；
42.图2为根据一示例性实施例示出的另一种图像配准方法的流程图；
43.图3为根据一示例性实施例示出的尺度系数s与焦距值f之间的统计关系及分段线性拟合结果示例图；
44.图4为根据一示例性实施例示出的又一种图像配准方法的流程图；
45.图5为根据一示例性实施例示出的一种图像配准装置的结构图；
46.图6为根据一示例性实施例示出的一种电子设备的结构图。
具体实施方式
47.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
48.本技术实施例公开了一种图像配准方法，在保证配准精度的同时，提高了场景适应性。
49.参见图1，根据一示例性实施例示出的一种图像配准方法的流程图，如图1所示，包括：
50.s101：接收服务器发送的所述目标设备对应的焦距参考值和每个所述焦距参考值对应的配准参数；其中，所述服务器基于尺度不变性的特征提取方法对所述目标设备进行离线标定计算每个所述焦距参考值对应的配准参数；
51.本实施例的执行主体为目标设备，本步骤的目的在于获取自身的镜头型号对应的的焦距参考值和每个焦距参考值对应的配准参数。在具体实施中，服务器在离线条件下对各型号的镜头进行预标定得到每个镜头型号的若干个焦距参考值，分别计算设备在上述焦距参考值下的配准参数。采用具备尺度不变性的特征提取方法计算待配准图像与参考图像之间的配准参数，即当两幅图像之间存在明显的尺度缩放差异时，仍然能够有效进行特征提取、匹配的能力。本实施例不对具体的基于尺度不变性的特征提取方法进行限定，例如sift、surf、kaze、akaze、orb等。
52.s102：获取参考图像、待配准图像和当前焦距值，基于所述焦距参考值和所述配准参数的对应关系确定所述当前焦距值对应的离线配准参数，并利用所述离线配准参数对所述待配准图像进行配准生效得到离线配准图像；
53.本步骤旨在对参考图像与待配准图像进行离线配准。其中，可以定义可见光图像为参考图像、红外图像为待配准图像，也可以定义红外图像为参考图像、可见光图像为待配准图像，在此不进行具体限定。
54.在具体实施中，目标设备获取当前焦距值，基于上一步骤获取的焦距参考值f
1-f
n
和每个焦距参考值对应的配准参数m
1-m
n
计算得到当前的离线配准参数，并对当前待配准图像i1进行配准生效，得到离线配准结果i2。若当前焦距值为f
x
，且满足f
i
<f
x
<f
i+1
(i＝1,2,
…
,n-1)，则当前的离线配准参数m
x
由下式计算：
[0055][0056]
配准生效可以采用下述公式及双线性插值等插值方法，得到i2在整数像素位置处的像素值：
[0057]
其中，为离线配准参数mx，为待配准图像中某一像素的坐标位置，为对应像素在离线配准图像中的坐标位置。
[0058]
s103：基于非尺度不变性的特征提取方法计算所述参考图像与所述离线配准图像之间的在线配准参数，并利用所述在线配准参数对所述离线配准图像进行配准生效得到在线配准图像。
[0059]
本步骤旨在对参考图像与待配准图像进行在线配准，在线配准的目的是消除与场景相关的配准偏差。可以理解的是，在影响图像配准的各个因素中，由尺度系数变化引起的图像配准偏差与场景关系不大，可以通过上述离线配准操作有效地消除。因此，在线配准阶段，尺度相关因素可以无需考虑，图像配准参数的计算可以采用更简单高效的基于非尺度不变性的特征提取方法实现，即特征提取方法无需具备尺度不变性，可以避免尺度空间的构造以及在尺度空间内的特征点检测等过程，因此可以大大降低算法的复杂度及耗时。
[0060]
在具体实施中，采用非尺度不变性的特征提取方法，实时计算当前的参考图像与离线配准图像i2之间的在线配准参数。此处不对非尺度不变性的特征提取方法进行限定，作为一种可行的实施方式，所述基于非尺度不变性的特征提取方法计算所述参考图像与所述离线配准图像之间的在线配准参数的步骤可以包括：利用fast法对所述参考图像和所述离线配准图像进行特征点检测，利用brief法计算对所述参考图像和所述离线配准图像进行描述子计算，得到所述参考图像对应的第二参考特征点集和所述离线配准图像对应的第二待配准特征点集；其中，所述第二参考特征点集和所述第二待配准特征点集均包括多个第二特征点的坐标信息和每个所述第二特征点对应的第二描述子；基于所述第二描述子利用最近邻匹配法在所述参考图像和所述离线配准图像之间进行特征点匹配得到第二匹配点对，基于所述第二匹配点对的坐标信息计算所述参考图像与所述离线配准图像之间的在线配准参数。在具体实施中，采用fast法，分别对参考图像、离线配准图像i2进行特征点检测，得到两图各自的特征点集(仅包含每个特征点的坐标信息)；其次，采用brief法，计算所
有特征点的描述子，得到两图各自的完整特征点集(包括每个特征点的坐标信息、描述子向量等信息)；结合特征点描述子及最近邻匹配法，在两图之间进行特征点匹配，得到匹配点对；然后基于匹配点对的坐标信息，结合最小二乘法或者随机抽样一致性法，计算在线配准参数。
[0061]
基于在线配准参数，对离线配准图像i2进行配准生效，得到当前的在线配准结果图像i3。其中，对离线配准结果图像i2的配准生效过程，与前述基于离线配准参数对待配准图像i1的配准生效过程一致，此处不再赘述。
[0062]
本技术实施例提供的图像配准方法，分为离线配准部分和在线配准部分，离线配准在计算配准参数时采用了计算复杂度高的具备尺度不变性的特征提取方法，可以高精度地校正包括尺度系数变化在内的与场景不相关的配准偏差；在线配准在计算配准参数时采用了计算复杂度低的非尺度不变性的特征提取方法，可以在设备端实时校正与场景相关的配准偏差。通过离线配准与在线配准的结合，一方面保证了图像配准的精度，另一方面，将复杂度高的具备尺度不变性的特征提取运算放在离线端的主机或服务器上完成，有效地降低了设备端的运算复杂度，有利于设备端实时性。由此可见，本技术实施例提供的图像配准方法，在保证配准精度的同时，提高了场景适应性。
[0063]
下面对服务器离线标定焦距参考值及其对应的配准参数的过程进行介绍。具体的，
[0064]
参见图2，根据一示例性实施例示出的另一种图像配准方法的流程图，如图2所示，包括：
[0065]
s201：标定所述目标设备对应的焦距参考值，并在标准环境下采集每个所述焦距参考值对应的标准参考图像和标准待配准图像；
[0066]
本实施例的执行主体为服务器，首先对每一款设备，首先进行一次预标定，得到n个镜头焦距参考值f
1-f
n
。其中n的大小可以由用户进行灵活设定，n越大，离线标定的精度越高，同时离线标定的工作量越大，因此需要兼顾平衡。其次，对于各镜头型号的设备，在实验室环境下，采集焦距值分别为f1-fn的n组图像素材，每组图像包含一张参考图像与一张待配准图像。
[0067]
对于变焦镜头，离线标定往往需要在多个不同焦距下进行，标定选取的焦距值越多越密集，离线标定的精度往往越高，同时其工作量与复杂度也越高。预标定的目的，就是为了保证离线标定的精度的前提下，尽可能地简化离线标定操作的工作量。通过采集不同场景的素材，进行统计分析，结合优化方法进行分段线性拟合，得到少量且有效的焦距参考值，离线标定只需在这些少量的焦距参考值下进行即可，从而兼顾了离线标定的精度和操作的精简性。
[0068]
作为一种优选实施方式，所述标定所述目标设备对应的焦距参考值的步骤可以包括：获取不同环境、不同焦距下的多组目标参考图像和对应的目标待配准图像，基于尺度不变性的特征提取方法计算每组所述目标参考图像和所述目标待配准图像之间的目标配准参数；对所述目标配准参数与所述焦距的分布关系进行分段线性拟合得到最佳分段线性函数，并将所述最佳分段线性函数中的分段点确定为所述目标设备对应的焦距参考值。在具体实施中，随机选择若干个不同的场景，例如室内、室外不同物距的场景，利用双光融合相机分别采集不同镜头焦距下的多组图像素材，其中每组图像包含相同场景及镜头焦距下的
一张参考图像与一张待配准图像。采用具备尺度不变性的特征提取方法，离线计算参考图像与待配准图像之间的配准参数。统计配准参数m与镜头焦距f之间的分布关系，针对该统计关系，通过分段线性拟合计算，得到若干个焦距参考值f
1-f
n
，n为焦距参考值的个数。
[0069]
在分段拟合配准参数m与镜头焦距f之间的分布关系的过程中，作为一种可行的实施方式，可以直接基于配准参数m与焦距f之间的统计关系的分段线性拟合，求取焦距参考值。即对所述目标配准参数与所述焦距的分布关系进行分段线性拟合得到最佳分段线性函数的步骤可以包括：统计所述目标配准参数中每个元素与所述焦距的中间分布关系，以拟合误差最小为原则对所有所述中间分布关系进行分段线性拟合得到所述最佳分段线性函数。在具体实施中，配准参数m是一个3
×
3的矩阵，包含了9个元素，因此可以分别得到这9个元素与镜头焦距f之间的统计关系，基于这些统计关系进行分段线性拟合，以拟合误差最小化为原则，得到最佳的分段线性函数关系，而该分段线性函数的分段点(设有n个)对应的焦距值，即所求的焦距参考值f1,f2,
…
,f
n
。其中，拟合误差可以由下式计算：
[0070][0071]
其中，lf()为分段线性函数，其自变量是焦距值f，m(i)为配准参数矩阵第i个参数，i＝1,2,
…
,9，m为图像素材的组数，mk、fk分别为第k组素材的配准参数及焦距值。通过常规的优化算法可以得到上式达到最小时对应的分段线性函数lf(f)，即为最佳的分段线性函数，最后得到最佳分段线性函数的分段点对应的焦距值，即所求的焦距参考值f1,f2,
…
,f
n
。
[0072]
作为一种可行的实施方式，可以从配准参数矩阵m中提取出一个或多个关键参数，基于这些关键参数与焦距f之间的统计关系的分段线性拟合，求取焦距参考值。该实施方式计算量相对较小，而且可以更好地保证配准的关键参数的离线标定精度。即对所述目标配准参数与所述焦距的分布关系进行分段线性拟合得到最佳分段线性函数的步骤可以包括：从所述目标配准参数中提取关键参数，以拟合误差最小为原则对所述关键参数与所述焦距的分布关系进行分段线性拟合得到所述最佳分段线性函数。例如，可以从配准参数矩阵m中提取尺度系数s，计算公式如下：
[0073][0074]
基于尺度系数s与焦距值f之间的统计关系，进行分段线性拟合。以最小化拟合误差为目标，得到最佳的分段线性函数。其中，拟合误差可以由下式计算：
[0075][0076]
如图3所示，为尺度系数s与焦距值f之间的统计关系及分段线性拟合结果示例，其中分段点个数n＝4，得到的分段点依次为p1、p2、p3、p4，这些分段点对应的焦距值(图中横坐标值)即为所求的焦距参考值。
[0077]
s202：利用尺度不变性的特征提取方法对所述标准参考图像和所述标准待配准图像进行特征点检测和描述子计算，得到所述标准参考图像对应的第一参考特征点集和所述标准待配准图像对应的第一待配准特征点集；其中，所述第一参考特征点集和所述第一待配准特征点集均包括多个第一特征点的坐标信息和每个所述第一特征点对应的第一描述
子；
[0078]
s203：基于所述第一描述子利用最近邻匹配法在所述标准参考图像和所述标准待配准图像之间进行特征点匹配得到第一匹配点对，基于所述第一匹配点对的坐标信息计算所述焦距参考值对应的配准参数。
[0079]
在本实施例中，基于尺度不变性的特征提取方法，分别对参考图像、待配准图像进行特征点检测及描述子计算，得到两图各自的特征点集(每个特征点包含其坐标信息、以及一个描述子)，结合特征点描述子及最近邻匹配法，在两图之间进行特征点匹配，得到匹配点对，然后基于匹配点对的坐标信息，结合最小二乘法或者随机抽样一致性法，计算得到配准参数m。
[0080][0081]
由此可见，本实施例在离线标定的过程中引入预标定操作，即对同型号镜头的一款设备，通过一次预标定获取少量有效的焦距参考值，兼顾了离线标定的精度和操作的精简性。
[0082]
本技术实施例公开了一种图像配准方法，相对于第一个实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
[0083]
参见图4，根据一示例性实施例示出的又一种图像配准方法的流程图，如图4所示，包括：
[0084]
s301：接收服务器发送的所述目标设备对应的焦距参考值和每个所述焦距参考值对应的配准参数；其中，所述服务器基于尺度不变性的特征提取方法对所述目标设备进行离线标定计算每个所述焦距参考值对应的配准参数；
[0085]
s302：获取参考图像、待配准图像和当前焦距值，基于所述焦距参考值和所述配准参数的对应关系确定所述当前焦距值对应的离线配准参数，并利用所述离线配准参数对所述待配准图像进行配准生效得到离线配准图像；
[0086]
s303：基于非尺度不变性的特征提取方法计算所述参考图像与所述离线配准图像之间的在线配准参数，并利用所述在线配准参数对所述离线配准图像进行配准生效得到在线配准图像。
[0087]
s304：计算所述离线配准图像与所述参考图像之间的第一配准度度量值和所述在线配准图像与所述参考图像之间的第二配准度度量值；
[0088]
s305：判断所述第一配准度度量值是否大于所述第二配准度度量值；若是，则将所述离线配准图像确定为最终配准生效结果；若否，则将所述在线配准图像确定为所述最终配准生效结果。
[0089]
需要说明的是，在线配准过程虽然可以消除离线标定配准过程中无法消除的与场景相关的配准偏差，但是存在一定风险。若当前场景的边缘、纹理等细节强度过低时，会导致在线配准过程中的图像特征点的数量、质量的下降，进而会增大在线配准参数的计算误差，导致在线配准精度的下降。在某些情况下，可能出现在线配准精度低于离线配准精度的情况。
[0090]
因此本实施例在离线配准和在线配准的基础上，增加了配准生效步骤，即基于配
准度的量化度量，分别计算第一步离线配准结果和第二步在线配准结果的配准度值，选择配准度值高的配准结果作为最终的配准结果。
[0091]
在具体实施中，分别计算离线配准结果图像i2与参考图像之间的配准度度量值r1、以及在线配准结果图像i3与参考图像之间的配准度度量值r2。当r1>r2，则选择离线配准结果图像i2作为最终配准生效结果；否则，选择在线配准结果图像i3作为最终配准生效结果。
[0092]
本实施例不对图像配准度的量化度量方法进行限定，例如可以采用结构相似度(ssim)、互信息、互相关、序贯相似检测(ssda)等，若采用ssim作为图像配准度度量，ssim介于0到1之间，该值越大，说明图像之间配准度越高。
[0093]
由此可见，本实施例在离线配准和在线配准的基础上，增加了配准生效步骤，引入图像配准度的量化度量，保证最终生效的配准结果的精度及稳定性。
[0094]
下面对本技术实施例提供的一种图像配准装置进行介绍，下文描述的一种图像配准装置与上文描述的一种图像配准方法可以相互参照。
[0095]
参见图5，根据一示例性实施例示出的一种图像配准装置的结构图，如图5所示，包括：
[0096]
接收模块501，用于接收服务器发送的所述目标设备对应的焦距参考值和每个所述焦距参考值对应的配准参数；其中，所述服务器基于尺度不变性的特征提取方法对所述目标设备进行离线标定计算每个所述焦距参考值对应的配准参数；
[0097]
离线配准模块502，用于获取参考图像、待配准图像和当前焦距值，基于所述焦距参考值和所述配准参数的对应关系确定所述当前焦距值对应的离线配准参数，并利用所述离线配准参数对所述待配准图像进行配准生效得到离线配准图像；
[0098]
在线配准模块503，用于基于非尺度不变性的特征提取方法计算所述参考图像与所述离线配准图像之间的在线配准参数，并利用所述在线配准参数对所述离线配准图像进行配准生效得到在线配准图像。
[0099]
本技术实施例提供的图像配准装置，分为离线配准部分和在线配准部分，离线配准在计算配准参数时采用了计算复杂度高的具备尺度不变性的特征提取方法，可以高精度地校正包括尺度系数变化在内的与场景不相关的配准偏差；在线配准在计算配准参数时采用了计算复杂度低的非尺度不变性的特征提取方法，可以在设备端实时校正与场景相关的配准偏差。通过离线配准与在线配准的结合，一方面保证了图像配准的精度，另一方面，将复杂度高的具备尺度不变性的特征提取运算放在离线端的主机或服务器上完成，有效地降低了设备端的运算复杂度，有利于设备端实时性。由此可见，本技术实施例提供的图像配准装置，在保证配准精度的同时，提高了场景适应性。
[0100]
在上述实施例的基础上，作为一种优选实施方式，所述离线配准模块502包括：
[0101]
获取单元，用于获取参考图像、待配准图像和当前焦距值；
[0102]
第一确定单元，用于利用fast法对所述参考图像和所述离线配准图像进行特征点检测，利用brief法计算对所述参考图像和所述离线配准图像进行描述子计算，得到所述参考图像对应的第二参考特征点集和所述离线配准图像对应的第二待配准特征点集；其中，所述第二参考特征点集和所述第二待配准特征点集均包括多个第二特征点的坐标信息和每个所述第二特征点对应的第二描述子；
[0103]
第一计算单元，用于基于所述第二描述子利用最近邻匹配法在所述参考图像和所述离线配准图像之间进行特征点匹配得到第二匹配点对，基于所述第二匹配点对的坐标信息计算所述参考图像与所述离线配准图像之间的在线配准参数；
[0104]
配准生效单元，用于利用所述离线配准参数对所述待配准图像进行配准生效得到离线配准图像。
[0105]
在上述实施例的基础上，作为一种优选实施方式，还包括：
[0106]
计算模块，用于计算所述离线配准图像与所述参考图像之间的第一配准度度量值和所述在线配准图像与所述参考图像之间的第二配准度度量值；
[0107]
第一确定模块，用于判断所述第一配准度度量值是否大于所述第二配准度度量值；若是，则将所述离线配准图像确定为最终配准生效结果；若否，则将所述在线配准图像确定为所述最终配准生效结果。
[0108]
在上述实施例的基础上，作为一种优选实施方式，所述服务器包括：
[0109]
标定模块，用于标定所述目标设备对应的焦距参考值，并在标准环境下采集每个所述焦距参考值对应的标准参考图像和标准待配准图像；
[0110]
第二确定模块，用于利用尺度不变性的特征提取方法对所述标准参考图像和所述标准待配准图像进行特征点检测和描述子计算，得到所述标准参考图像对应的第一参考特征点集和所述标准待配准图像对应的第一待配准特征点集；其中，所述第一参考特征点集和所述第一待配准特征点集均包括多个第一特征点的坐标信息和每个所述第一特征点对应的第一描述子；
[0111]
计算模块，用于基于所述第一描述子利用最近邻匹配法在所述标准参考图像和所述标准待配准图像之间进行特征点匹配得到第一匹配点对，基于所述第一匹配点对的坐标信息计算所述焦距参考值对应的配准参数。
[0112]
在上述实施例的基础上，作为一种优选实施方式，所述标定模块包括：
[0113]
第二计算单元，用于获取不同环境、不同焦距下的多组目标参考图像和对应的目标待配准图像，基于尺度不变性的特征提取方法计算每组所述目标参考图像和所述目标待配准图像之间的目标配准参数；
[0114]
第二确定单元，用于对所述目标配准参数与所述焦距的分布关系进行分段线性拟合得到最佳分段线性函数，并将所述最佳分段线性函数中的分段点确定为所述目标设备对应的焦距参考值；
[0115]
采集单元，用于在标准环境下采集每个所述焦距参考值对应的标准参考图像和标准待配准图像。
[0116]
在上述实施例的基础上，作为一种优选实施方式，所述第二确定单元具体为统计所述目标配准参数中每个元素与所述焦距的中间分布关系，以拟合误差最小为原则对所有所述中间分布关系进行分段线性拟合得到所述最佳分段线性函数，并将所述最佳分段线性函数中的分段点确定为所述目标设备对应的焦距参考值的单元。
[0117]
在上述实施例的基础上，作为一种优选实施方式，所述第二确定单元具体为从所述目标配准参数中提取关键参数，以拟合误差最小为原则对所述关键参数与所述焦距的分布关系进行分段线性拟合得到所述最佳分段线性函数，并将所述最佳分段线性函数中的分段点确定为所述目标设备对应的焦距参考值的单元。
[0118]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0119]
本技术还提供了一种电子设备，参见图6，本技术实施例提供的一种电子设备600的结构图，如图6所示，可以包括处理器11和存储器12。该电子设备600还可以包括多媒体组件13，输入/输出(i/o)接口14，以及通信组件15中的一者或多者。
[0120]
其中，处理器11用于控制该电子设备600的整体操作，以完成上述的图像配准方法中的全部或部分步骤。存储器12用于存储各种类型的数据以支持在该电子设备600的操作，这些数据例如可以包括用于在该电子设备600上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件13可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器12或通过通信组件15发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口14为处理器11和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件15用于该电子设备600与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(near field communication，简称nfc)，2g、3g或4g，或它们中的一种或几种的组合，因此相应的该通信组件15可以包括：wi-fi模块，蓝牙模块，nfc模块。
[0121]
在一示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像配准方法。
[0122]
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述图像配准方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器12，上述程序指令可由电子设备600的处理器11执行以完成上述的图像配准方法。
[0123]
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
[0124]
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。