一种图像配准方法和装置与流程

本发明涉及图像处理
技术领域：
，具体而言，涉及一种图像配准方法和装置。
背景技术：
：目前，图像配准技术又称为图像稳定化技术，图像配准的目的在于比较或融合针对同一对象在不同的采集设备、取自不同的时间以及不同的拍摄视角等不同条件下的图像，对于一组图像数据集中的两幅图像，通过寻找一种空间变换的方法，把两幅图像中的一幅图像映射到另一幅图像，使得两幅图像中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。图像配准技术在图像视频拼接、医学图像配准、目标跟踪、图像超分辨和人脸编码等计图像处理
技术领域：
有着广泛的应用。现有技术中，通常采用正向合成、反向合成和反向叠加等配准算法对图像进行配准操作，会先通过平移、缩放、仿射或者透视变形等方式逐一求取各待配准图像和模板图像之间的形变参数，然后根据求取到的各待配准图像的形变参数，将各待配准图像与模板图像进行配准操作。在实现本发明过程中，发明人发现现有技术中至少存在如下问题：在现有的图像配准操作的过程中，由于需要逐一求取各待配准图像和模板图像之间的形变参数，如果待配准图像较多，会大大延长图像配准操作的时间，降低图像配准操作的执行效率。技术实现要素：有鉴于此，本发明实施例的目的在于提供一种图像配准方法和装置，以减少图像配准操作的时间。第一方面，本发明实施例提供了一种图像配准方法，包括：获取序列图像，并从所述序列图像中确定模板图像和多个待配准图像；获取用户从所述模板图像中选择的配准区域；计算所述配准区域的模板向量和所述多个待配准图像中各待配准图像对应的待配准向量；根据所述模板向量和所述各待配准图像对应的待配准向量，确定所述多个待配准图像的形变参数；根据得到的所述形变参数，对所述多个待配准图像进行图像配准操作。结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中：通过以下公式计算所述配准区域的模板向量：模板向量其中，X为所述配准区域的水平方向坐标和垂直方向坐标组合的矩阵，x表示像素点的横坐标，表示所述模板图像在水平方向和垂直方向的梯度。结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中：通过以下公式计算所述各待配准图像对应的待配准向量：待配准向量其中，X为配准区域的水平方向坐标和垂直方向坐标组合的矩阵，表示模板图像在水平方向和垂直方向的梯度，z表示像素点的坐标，T(z)表示模板图像中坐标为z的像素点的像素值，I(z)表示待配准图像中坐标为z的像素点的像素值。结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中：通过得到的模板向量和各待配准图像对应的待配准向量，确定所述多个待配准图像的形变参数，包括：通过得到的各待配准图像对应的待配准向量组成待配准向量矩阵；对待配准向量矩阵进行分解，并对分解后的待配准向量矩阵进行降维操作，得到求取形变参数矩阵；通过公式P＝C-1B-，计算形变参数；其中，C-1表示模板向量的逆矩阵，B-表示求取形变参数矩阵，P表示形变参数。结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中：对待配准向量矩阵进行分解，并对分解后的待配准向量矩阵进行降维操作，得到求取形变参数矩阵，包括：对待配准向量矩阵进行分解，得到分解后的待配准向量矩阵svd(B)＝[u,s,v]；对分解后的矩阵svd(B)＝[u,s,v]进行降维操作，得到求取形变参数矩阵B-＝u*S*v；其中，u表示降维后得到的左奇异向量矩阵，s表示降维后得到的奇异值对角矩阵，v表示降维后得到的右奇异向量矩阵，S表示对s取关键值后的矩阵。第二方面，本发明实施例一种图像配准装置，包括：图像获取模块，用于获取序列图像，并从所述序列图像中确定模板图像和多个待配准图像；配准区域获取模块，用于获取用户从所述模板图像中选择的配准区域；向量计算模块，用于计算所述配准区域的模板向量和所述多个待配准图像中各待配准图像对应的待配准向量；形变参数确定模块，用于根据所述模板向量和所述各待配准图像对应的待配准向量，确定所述多个待配准图像的形变参数；配准模块，用于根据得到的所述形变参数，对所述多个待配准图像进行图像配准操作。结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中：所述向量计算模块，包括：模板向量计算单元；所述模板向量计算单元，用于通过以下公式计算所述配准区域的模板向量：模板向量其中，X为所述配准区域的水平方向坐标和垂直方向坐标组合的矩阵，x表示像素点的横坐标，表示所述模板图像在水平方向和垂直方向的梯度。结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中：所述向量计算模块，包括：待配准向量计算单元；所述待配准向量计算单元，用于通过以下公式计算所述各待配准图像对应的待配准向量：待配准向量其中，X为配准区域的水平方向坐标和垂直方向坐标组合的矩阵，表示模板图像在水平方向和垂直方向的梯度，z表示像素点的坐标，T(z)表示模板图像中坐标为z的像素点的像素值，I(z)表示待配准图像中坐标为z的像素点的像素值。结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中：所述形变参数确定模块，包括：矩阵形成单元，用于通过得到的各待配准图像对应的待配准向量组成待配准向量矩阵；降维单元，用于对待配准向量矩阵进行分解，并对分解后的待配准向量矩阵进行降维操作，得到求取形变参数矩阵；计算单元，用于通过公式P＝C-1B-，计算形变参数；其中，C-1表示模板向量的逆矩阵，B-表示求取形变参数矩阵，P表示形变参数。结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中：所述降维单元，包括：分解子单元，用于对待配准向量矩阵进行分解，得到分解后的待配准向量矩阵svd(B)＝[u,s,v]；降维子单元，用于对分解后的矩阵svd(B)＝[u,s,v]进行降维操作，得到求取形变参数矩阵B-＝u*S*v；其中，u表示降维后得到的左奇异向量矩阵，s表示降维后得到的奇异值对角矩阵，v表示降维后得到的右奇异向量矩阵，S表示对s取关键值后的矩阵。本发明实施例提供的一种图像配准方法和装置，通过计算用户从模板图像中选择的配准区域的模板向量和多个待配准图像中各待配准图像对应的待配准向量，确定多个待配准图像的形变参数，并根据得到的形变参数进行图像配准操作，与现有技术中需要逐一求取各待配准图像和模板图像之间的形变参数的过程相比，即使待配准图像数量再多，也可以一次性求取出多个待配准图像的形变参数，在图像配准操作过程中，可以直接根据求取出的形变参数对多个待配准图像进行图像配准操作，从而大大减少图像配准操作的时间，提高了图像配准操作的执行效率。为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本发明实施例1所提供的一种图像配准方法的流程图；图2示出了本发明实施例2所提供的一种图像配准装置的结构示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。目前，在现有的图像配准操作的过程中，由于需要逐一求取各待配准图像和模板图像之间的形变参数，如果待配准图像较多，会大大延长图像配准操作的时间，降低图像配准操作的执行效率。基于此，本申请提供的一种图像配准方法和装置。实施例1：为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像配准方法进行详细介绍。本实施例所公开的一种图像配准方法，执行主题是计算设备，该计算设备通过计算用户从模板图像中选择的配准区域的模板向量和多个待配准图像中各待配准图像对应的待配准向量，确定多个待配准图像的形变参数，并根据得到的形变参数进行图像配准操作。计算设备，可以采用现有的任何计算机和服务器进行图像配准操作，这里不再一一赘述。参见图1，本实施例提供一种图像配准方法，包括以下具体步骤：步骤100、获取序列图像，并从序列图像中确定模板图像和多个待配准图像。上述序列图像，是从与计算设备连接的摄像设备中所获取的视频数据中截取出的多个连续视频帧所对应的图像。上述模板图像，是用户通过计算设备的输入设备，在序列图像中所选择的一张图像，作为图像配准操作过程中的模板图像。上述摄像设备，可以是现有的任何摄像机、录像机等可以拍摄视频数据的设备，这里不再一一赘述。上述计算设备的输入设备，可以是现有的任何鼠标、键盘等用户可以操作从而确定模板图像的输入设备，这里不再一一赘述。步骤102、获取用户从模板图像中选择的配准区域。上述配准区域，可以是用户在模板图像中所选择的包含某个需要观察的物体的区域，比如：在具有汽车的序列图像中，如果用户想要观察图像中汽车的位移情况，那么用户就可以通过计算设备的输入设备，选择模板图像中车辆所在区域为用于图像配准的配准区域，使得序列图像中的待配准图像根据车辆所在区域为基准，进行图像批准操作。步骤104、计算配准区域的模板向量和多个待配准图像中各待配准图像对应的待配准向量。相关技术中，如果图像配准操作过程中形变操作比较复杂，那么可以通过上一次计算得到的形变参数作为下一次求取形变参数的初始值，来对待配准图像的形变参数进行多次计算，以对待配准图像进行多次形变，从而提升计算得到的形变参数的精度，削弱复杂形变的影响。但是多次计算形变参数会进一步增加图像配准操作的计算量，延长图像配准的时间。为了减少图像配准操作的计算量，在上述步骤104中，通过以下公式计算配准区域的模板向量：模板向量其中，X为配准区域的水平方向坐标和垂直方向坐标组合的矩阵，x表示像素点的横坐标，表示模板图像在水平方向和垂直方向的梯度。上述X是在用户选择配准区域后，计算设备会获取配准区域中各像素点的坐标，并根据获取到的配准区域中各像素点的坐标形成X。X=1xy000x2xy0001xyxyy2]]>其中，x和y分别表示配准区域中各像素点的横坐标和纵坐标。上述是计算设备获取到模板图像后，获取模板图像中各像素点的像素值和坐标，并根据获取到的模板图像中各像素点的像素值和坐标，分别计算模板图像在水平方向和垂直方向上的梯度在上述计算的过程中，可以采用现有的任何图像梯度算法，来对进行计算，这里不再一一赘述。通过上面计算配准区域的模板向量的过程可以看出，计算模板向量到待配准向量的形变参数，由于我们在模板图像上已经确定了配准区域，所以在每次配准时，都以模板图像的配准区域为基准，对多个待配准图像进行配准操作，使得模板向量C仅需一次计算，就可以得到可以对待配准图像进行多次形变的形变参数，从而在满足图像配准精度的同时，降低了图像配准操作的计算量，进一步减少了图像配准所花费的时间。进一步地，在步骤104中，可以通过以下公式计算各待配准图像对应的待配准向量：待配准向量其中，X为配准区域的水平方向坐标和垂直方向坐标组合的矩阵，表示模板图像在水平方向和垂直方向的梯度，z表示像素点的坐标，T(z)表示模板图像中坐标为z的像素点的像素值，I(z)表示待配准图像中坐标为z的像素点的像素值。上述z，包括直角坐标系中像素点的横坐标和纵坐标，用于表示像素点的所在位置。通过上述步骤104计算得到模板向量和待配准向量之后，可以继续通过下述步骤106对多个待配准图像的形变参数进行计算。步骤106、根据模板向量和各待配准图像对应的待配准向量，确定多个待配准图像的形变参数。步骤108、根据得到的形变参数，对多个待配准图像进行图像配准操作。综上所述，本实施例提供的一种图像配准方法，通过计算用户从模板图像中选择的配准区域的模板向量和多个待配准图像中各待配准图像对应的待配准向量，确定多个待配准图像的形变参数，并根据得到的形变参数进行图像配准操作，与现有技术中需要逐一求取各待配准图像和模板图像之间的形变参数的过程相比，即使待配准图像数量再多，也可以一次性求取出多个待配准图像的形变参数，在图像配准操作过程中，可以直接根据求取出的形变参数对多个待配准图像进行图像配准操作，从而大大减少图像配准操作的时间，提高了图像配准操作的执行效率。相关技术中，通过如正向合成、反向合成和反向叠加等配准算法对图像进行配准操作的过程中，需要通过平移、缩放、仿射或者透视变形等方式逐帧对图像进行配准，但当在配准含有较强噪声干扰或者较复杂形变的待配准图像时，现有的图像配准方法就不能完成对图像进行配准或者配准后的效果偏差较大。为了对有较强噪声干扰或者较复杂形变的待配准图像成功进行图像配准操作，上述通过得到的模板向量和各待配准图像对应的待配准向量，确定多个待配准图像的形变参数，包括以下步骤(1)至步骤(3)：(1)通过得到的各待配准图像对应的待配准向量组成待配准向量矩阵；(2)对待配准向量矩阵进行分解，并对分解后的待配准向量矩阵进行降维操作，得到求取形变参数矩阵；(3)通过公式P＝C-1B-，计算形变参数；其中，C-1表示模板向量的逆矩阵，B-表示求取形变参数矩阵，P表示形变参数。在上述步骤(2)中，对待配准向量矩阵进行分解，并对分解后的待配准向量矩阵进行降维操作，得到求取形变参数矩阵，包括以下步骤(21)至步骤(22)：(21)对待配准向量矩阵进行分解，得到分解后的待配准向量矩阵svd(B)＝[u,s,v]；(22)对分解后的矩阵svd(B)＝[u,s,v]进行降维操作，得到求取形变参数矩阵B-＝u*S*v；其中，u表示降维后得到的左奇异向量矩阵，s表示降维后得到的奇异值对角矩阵，v表示降维后得到的右奇异向量矩阵，S表示对s取关键值后的矩阵。在上述步骤(21)中，svd是英文singularvaluedecomposition的缩写，中文全称是奇异值分解，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些更小的矩阵描述的是矩阵的重要特性。所以，在利用svd方法对矩阵进行分解的目的在于提取矩阵的特征，假设B是一个N*M的矩阵，那么得到的u是一个N*N的矩阵，里面的向量是正交的，u里面的向量称为左奇异向量，u可以称为左奇异向量矩阵，s是一个N*M的对角矩阵(即s是一个除了对角线的元素都是0，对角线上的元素称为奇异值的矩阵)，v是一个M*M的矩阵，里面的向量也是正交的，v里面的向量称为右奇异向量，v可以称为左奇异向量矩阵。奇异值跟特征值类似，在矩阵s中也是从大到小排列，而且奇异值的减少特别的快，在很多情况下，矩阵s中前10％甚至1％的奇异值之和就占了矩阵s全部奇异值之和的99％以上了。也就是说，可以利用矩阵s中前面较大的奇异值来近似描述矩阵svd(B)，这就是降维的操作，也是进行svd分解的目的。在上述步骤(3)中，形变参数P＝[p0,p1,p2,p3,p4,p5,p6,p7]T；其中，p0,p1,p2,p3,p4,p5,p6和p7分别表示各待配准图像的形变参数。通过以上确定多个待配准图像的形变参数的过程可以看出，通过对分解后的矩阵svd(B)＝[u,s,v]进行降维操作，得到求取形变参数矩阵，通过降维操作的方式，降低各待配准图像间噪声相关性的影响，降低了图像配准过程中较强噪声对各待配准图像的干扰，并且提高了较复杂形变的待配准图像的图像配准成功率。实施例2参见图2，本实施例提供一种图像配准装置，用于执行上述图像配准方法，上述图像配准装置，包括：图像获取模块200，用于获取序列图像，并从序列图像中确定模板图像和多个待配准图像；配准区域获取模块202，用于获取用户从模板图像中选择的配准区域；向量计算模块204，用于计算配准区域的模板向量和多个待配准图像中各待配准图像对应的待配准向量；形变参数确定模块206，用于根据模板向量和各待配准图像对应的待配准向量，确定多个待配准图像的形变参数；配准模块208，用于根据得到的形变参数，对多个待配准图像进行图像配准操作。综上所述，本实施例提供的一种图像配准装置，通过计算用户从模板图像中选择的配准区域的模板向量和多个待配准图像中各待配准图像对应的待配准向量，确定多个待配准图像的形变参数，并根据得到的形变参数进行图像配准操作，与现有技术中需要逐一求取各待配准图像和模板图像之间的形变参数的过程相比，即使待配准图像数量再多，也可以一次性求取出多个待配准图像的形变参数，在图像配准操作过程中，可以直接根据求取出的形变参数对多个待配准图像进行图像配准操作，从而大大减少图像配准操作的时间，提高了图像配准操作的执行效率。相关技术中，如果图像配准操作过程中形变操作比较复杂，那么可以通过上一次计算得到的形变参数作为下一次求取形变参数的初始值，来对待配准图像的形变参数进行多次计算，以对待配准图像进行多次形变，从而提升计算得到的形变参数的精度，削弱复杂形变的影响。但是多次计算形变参数会进一步增加图像配准操作的计算量，延长图像配准的时间。为了减少图像配准操作的计算量，上述向量计算模块，包括：模板向量计算单元；上述模板向量计算单元，用于通过以下公式计算配准区域的模板向量：模板向量其中，X为配准区域的水平方向坐标和垂直方向坐标组合的矩阵，x表示像素点的横坐标，表示模板图像在水平方向和垂直方向的梯度。通过上面模板向量计算单元计算配准区域的模板向量的过程可以看出，计算模板向量到待配准向量的形变参数，由于我们在模板图像上已经确定了配准区域，所以在每次配准时，都以模板图像的配准区域为基准，对多个待配准图像进行配准操作，使得模板向量C仅需一次计算，就可以得到可以对待配准图像进行多次形变的形变参数，从而在满足图像配准精度的同时，降低了图像配准操作的计算量，进一步减少了图像配准所花费的时间。进一步地，上述向量计算模块，还包括：待配准向量计算单元；待配准向量计算单元，用于通过以下公式计算各待配准图像对应的待配准向量：待配准向量其中，X为配准区域的水平方向坐标和垂直方向坐标组合的矩阵，表示模板图像在水平方向和垂直方向的梯度，z表示像素点的坐标，T(z)表示模板图像中坐标为z的像素点的像素值，I(z)表示待配准图像中坐标为z的像素点的像素值。相关技术中，通过如正向合成、反向合成和反向叠加等配准算法对图像进行配准操作的过程中，需要通过平移、缩放、仿射或者透视变形等方式逐帧对图像进行配准，但当在配准含有较强噪声干扰或者较复杂形变的待配准图像时，现有的图像配准方法就不能完成对图像进行配准或者配准后的效果偏差较大。为了对有较强噪声干扰或者较复杂形变的待配准图像成功进行图像配准操作，上述形变参数确定模块，包括：矩阵形成单元，用于通过得到的各待配准图像对应的待配准向量组成待配准向量矩阵；降维单元，用于对待配准向量矩阵进行分解，并对分解后的待配准向量矩阵进行降维操作，得到求取形变参数矩阵；计算单元，用于通过公式P＝C-1B-，计算形变参数；其中，C-1表示模板向量的逆矩阵，B-表示求取形变参数矩阵，P表示形变参数。上述降维单元，为了得到求取形变参数矩阵，上述降维单元包括：分解子单元，用于对待配准向量矩阵进行分解，得到分解后的待配准向量矩阵svd(B)＝[u,s,v]；降维子单元，用于对分解后的矩阵svd(B)＝[u,s,v]进行降维操作，得到求取形变参数矩阵B-＝u*S*v；其中，u表示降维后得到的左奇异向量矩阵，s表示降维后得到的奇异值对角矩阵，v表示降维后得到的右奇异向量矩阵，S表示对s取关键值后的矩阵。通过以上确定多个待配准图像的形变参数的过程可以看出，通过对分解后的矩阵svd(B)＝[u,s,v]进行降维操作，得到求取形变参数矩阵，通过降维操作的方式，降低各待配准图像间噪声相关性的影响，降低了图像配准过程中较强噪声对各待配准图像的干扰，并且提高了较复杂形变的待配准图像的图像配准成功率。本发明实施例所提供的进行图像配准方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本
技术领域：
的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。当前第1页1 2 3