图像配准方法及装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理领域，尤其涉及一种图像配准方法及装置。
【背景技术】
[0002] 图像配准是计算机图形学和计算机视觉中重要的研究问题，是图像拼接和融合中 的关键技术。图像配准就是将不同时间、不同传感器或不同条件下获取的两幅或多幅图像 进行匹配、叠加的过程。例如，待配准的图像是同一相机围绕着焦点在一个方向上进行旋转 后拍摄所得，通过对重合区域的特征点进行匹配，使用投影变换可以近似地将这些图像变 换到同一个成像平面。而在一般的情况下，当相机的位置和拍摄角度任意变换的时，只有当 场景中所有物体位于同一个平面内才可以用投影变换来表示他们之间的位置关系。因此， 对于一般场景在不同位置和角度拍摄的图像，投影变换已经不能对他们的位置关系进行表 不。
[0003] 在实际应用中，对同一场景的拍摄通常是不同相机在不同角度和位置进行拍摄， 这就使得新拍摄的图像与之前拍摄的图像相比，可能存在相机设置参数不同，场景中物体 深度不一致等情况，当然也就无法用一个投影变换进行配准。因此，如何对同一场景在不同 设备、不同位置及不同角度拍摄的图像进行高配准率的配准成为一个亟待解决的问题。
【发明内容】
[0004] 针对现有技术中的缺陷，本发明提供一种图像配准方法及装置，有效地提高了图 像配准的配准率。
[0005] 第一方面，本发明提供一种图像配准方法，所述方法包括：
[0006] 提取源图像与待配准图像中的特征点，并对所述特征点进行匹配，得到所述源图 像与待配准图像的匹配特征点；
[0007] 提取所述源图像与待配准图像中的直线段，并对所述直线段进行匹配，得到所述 源图像与待配准图像的匹配直线段；
[0008] 以所述匹配特征点及所述匹配直线段为约束条件对所述待配准图像进行变形处 理，以使变形处理后的图像和所述源图像的匹配特征点的位置一致及匹配直线段的方向一 致；
[0009] 将所述变形处理后的图像作为对所述待配准图像进行配准后的图像。
[0010] 可选地，所述提取源图像与待配准图像中的特征点，并对所述特征点进行匹配，得 到所述源图像与待配准图像的匹配特征点，具体包括：
[0011] 提取所述源图像与待配准图像的SIFT特征点，并确定所述SIFT特征点的特征描 述子；
[0012] 根据所述SIFT特征点的特征描述子，确定所述源图像与待配准图像的匹配特征 点。
[0013] 可选地，所述提取所述源图像与待配准图像中的直线段，并对所述直线段进行匹 配，得到所述源图像与待配准图像的匹配直线段，具体包括：
[0014] 采用LSD直线提取方式提取所述源图像与待配准图像中的直线段；
[0015] 采用MSLD方式对提取出的直线段进行匹配，得到所述源图像与待配准图像的匹 配直线段。
[0016] 可选地，所述以所述匹配特征点及所述匹配直线段为约束条件对所述待配准图像 进行变形处理，以使变形处理后的图像和所述源图像的匹配特征点的位置一致及匹配直线 段的方向一致，具体包括：
[0017] 对所述待配准图像进行网格化处理；
[0018] 以所述匹配特征点及所述匹配直线段为约束条件，建立关于网格顶点位置的能量 方程；
[0019] 将所述能量方程按照最小化进行求解，以获得与最小化能量方程对应的网格的顶 点位置；
[0020] 将待配准图像网格与所述与最小化能量方程对应的网格进行纹理映射，得到变形 处理后的图像。
[0021] 可选地，所述以所述匹配特征点及所述匹配直线段为约束条件对所述待配准图像 进行变形处理，以使变形处理后的图像和所述源图像的匹配特征点的位置一致及匹配直线 段的方向一致，进一步包括：
[0022] 以所述匹配特征点、所述匹配直线段、所述待配准图像中的直线段及局部图像为 约束条件对所述待配准图像进行变形处理，以使变形处理后的图像和所述源图像的匹配特 征点的位置一致及匹配直线段的方向一致，并且所述变形处理后的图像和所述源图像中的 直线段及局部图像的形状一致。
[0023] 第二方面，本发明提供一种图像配准装置，所述装置包括：
[0024] 特征点匹配单元，用于提取源图像与待配准图像中的特征点，并对所述特征点进 行匹配，得到所述源图像与待配准图像的匹配特征点；
[0025] 直线段匹配单元，用于提取所述源图像与待配准图像中的直线段，并对所述直线 段进行匹配，得到所述源图像与待配准图像的匹配直线段；
[0026] 配准单元，用于以所述匹配特征点及所述匹配直线段为约束条件对所述待配准图 像进行变形处理，以使变形处理后的图像和所述源图像的匹配特征点的位置一致及匹配直 线段的方向一致；
[0027] 配准后图像获取单元，用于将所述变形处理后的图像作为对所述待配准图像进行 配准后的图像。
[0028] 可选地，所述特征点匹配单元，具体用于提取所述源图像与待配准图像的SIFT特 征点，并确定所述SIFT特征点的特征描述子；根据所述SIFT特征点的特征描述子，确定所 述源图像与待配准图像的匹配特征点。
[0029] 可选地，所述直线段匹配单元，具体用于采用LSD直线提取方式提取所述源图像 与待配准图像中的直线段；采用MSLD方式对提取出的直线段进行匹配，得到所述源图像与 待配准图像的匹配直线段。
[0030] 可选地，所述配准单元，具体用于对所述待配准图像进行网格化处理；以所述匹配 特征点及所述匹配直线段为约束条件，建立关于网格顶点位置的能量方程；将所述能量方 程按照最小化进行求解，以获得与最小化能量方程对应的网格的顶点位置；将待配准图像 网格与所述与最小化能量方程对应的网格进行纹理映射，得到变形处理后的图像。
[0031] 可选地，所述配准单元，还用于以所述匹配特征点、所述匹配直线段、所述待配准 图像中的直线段及局部图像为约束条件对所述待配准图像进行变形处理，以使变形处理后 的图像和所述源图像的匹配特征点的位置一致及匹配直线段的方向一致，并且所述变形处 理后的图像和所述源图像中的直线段及局部图像的形状一致。
[0032] 由上述技术方案可知，本发明的图像配准方法及装置，通过获取源图像和待配准 图像的匹配特征点与匹配直线段，以所述匹配特征点及所述匹配直线段为约束条件对所 述待配准图像进行变形处理，以使变形处理后的图像和所述源图像的匹配特征点的位置一 致，匹配直线段的方向一致，并将所述变形处理后的图像作为配准后图像。由此，有效地提 高了图像配准的配准率。
【附图说明】
[0033] 图1为本发明一实施例提供的图像配准方法的流程示意图；
[0034] 图2为本发明另一实施例提供的图像配准方法的流程示意图；
[0035] 图3为本发明一实施例提供的图像配准装置的结构示意图；
[0036] 图4a为本发明一实施例提供的源图像的效果图；
[0037] 图4b为本发明一实施例提供的网格化处理后的待配准图像的效果图；
[0038] 图4c为图4b变形处理后的图像效果图。
【具体实施方式】
[0039] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅 仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人 员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。
[0040] 图1示出了本发明一实施例提供的图像配准方法的流程示意图，如图1所示，本实 施例的图像配准方法如下所述。
[0041] 101、提取源图像与待配准图像中的特征点，并对所述特征点进行匹配，得到所述 源图像与待配准图像的匹配特征点。
[0042] 举例来说，本实施例的特征点可为反映图像内容中特殊位置或内容的点，可包括 图像的顶点、交叉点和拐点，当然可根据实际需要提取相应的特征点，本实施例不对特征点 的类型进行限定。
[0043] 在一种可实施的方式中，上述的步骤101包括图像中未示出的子步骤1011和子步 骤 1012。
[0044] 1011、提取所述源图像与待配准图像的SIFT特征点，并确定所述SIFT特征点的特 征描述子。
[0045] 本实施例提取了源图像与待配准图像的SIFT特征点，但不对其它特征点提取方 式进行限定。
[0046] 1012、根据所述SIFT特征点的特征描述子，确定所述源图像与待配准图像的匹配 特征点。