一种自适应的重叠图像旋转方法

本发明涉及图像处理技术领域，尤其涉及一种自适应的重叠图像旋转方法。

背景技术：

图像拼接技术是图像处理领域的研究热点，被广泛应用在三维重建、医学图像分析、遥感图像等领域。目前大部分图像拼接技术研究的对象都是有序图像，而对于无序图像拼接的研究则非常少，尤其是对于不同拍摄角度下的无序图像的拼接，几乎没有相关技术的研究。在无人机航拍过程中，由于无人机本身的移动加旋转，会导致拍摄的同一场景下的多幅图像之间的重叠区域发生相对旋转，对于这类图像的拼接也称为旋转图像的拼接。要实现旋转图像的拼接，关键在于研究如何将图像进行旋转，使两幅图像的重叠区域之间互相平行。图像配准是解决图像旋转的关键技术，特征点提取和匹配是目前应用于图像拼接最多的配准方法，大部分研究都是在整幅图像上进行操作。由于对整幅图像进行配准，对于高分辨率图像会消耗大量的计算时间，并且会影响导致匹配的精度；同时对于拍摄角度不同，即重叠区域发生旋转的图像，无法实现有效的旋转。

技术实现要素：

本发明的目的在于提供一种自适应的重叠图像旋转方法，实现任意拍摄角度下的图像自适应的旋转。

为实现上述目的，本发明提供了一种自适应的重叠图像旋转方法，包括以下步骤：

对获取的两幅图像进行特征提取和匹配，通过计算得到的特征匹配对的位置是否交叉来判断两幅图像之间是否存在相对旋转；

使用分区匹配法选取待旋转图像和参考图像的限定区域，然后对所述限定区域进行特征提取和匹配，同时记录每个所述限定区域的匹配对数量；

基于所述匹配对数量达到阈值的所述限定区域，获取对应的初始旋转角度，并将所述待旋转图像按照所述初始旋转角度进行顺时针旋转；

将初步旋转后的所述待旋转图像再次与所述参考图像进行限定区域的特征提取和匹配，并判断匹配对是否存在交叉现象；

若存在交叉现象，则将初步旋转后的图像以15°为间隔进行旋转角度的调整，直到两幅图像不存在相对旋转，则认定该图像旋转完成。

其中，所述方法还包括：

将调整后的所述待旋转图像作为最终结果图像进行输出。

其中，对获取的两幅图像进行特征提取和匹配，通过计算得到的特征匹配对的位置是否交叉来判断两幅图像之间是否存在相对旋转，包括：

获取待旋转图像和参考图像上的两对匹配的特征点，将两对匹配的所述特征点对应的纵坐标相减，得到的差值相乘后，得到交叉值，并记录交叉值小于0的次数；

当所述交叉值小于0的记录次数大于或等于特征匹配对总数的三分之一，则判断所述待旋转图像和所述参考图像存在相对旋转。

其中，使用分区匹配法选取待旋转图像和参考图像的限定区域，然后对所述限定区域进行特征提取和匹配，同时记录每个所述限定区域的匹配对数量，包括：

分别选取待旋转图像的上半部分、下半部分、左半部分和右半部分区域，依次与参考图像的右半部分区域进行特征提取和特征匹配，并记录每个区域配准得到的特征匹配对的数量。

其中，基于所述匹配对数量达到阈值的所述限定区域，获取对应的初始旋转角度，并将所述待旋转图像按照所述初始旋转角度进行顺时针旋转，包括：

基于所述待旋转图像的多个所述限定区域，设定对应的初始旋转角度；

基于所述匹配对数量达到阈值的所述限定区域，获取对应的所述初始旋转角度，并根据三角函数关系计算出旋转后的所述待旋转图像。

其中，将初步旋转后的所述待旋转图像再次与所述参考图像进行限定区域的特征提取和匹配，并判断匹配对是否存在交叉现象，包括：

将所述参考图像的右半部分区域和初步旋转后的所述待旋转图像的左半部分区域进行特征提取和匹配得到特征匹配对；

再次通过计算得到的所述特征匹配对的位置是否交叉来判断两幅图像之间是否存在相对旋转。

本发明的一种自适应的重叠图像旋转方法，对获取的两幅图像进行特征提取和匹配，通过计算得到的特征匹配对的位置是否交叉来判断两幅图像之间是否存在相对旋转；使用分区匹配法选取待旋转图像和参考图像的限定区域，然后对所述限定区域进行特征提取和匹配，同时记录每个所述限定区域的匹配对数量；基于所述匹配对数量达到阈值的所述限定区域，获取对应的初始旋转角度，并将所述待旋转图像按照所述初始旋转角度进行顺时针旋转；将初步旋转后的所述待旋转图像再次与所述参考图像进行限定区域的特征提取和匹配，并判断匹配对是否存在交叉现象；若存在交叉现象，则将初步旋转后的图像以15°为间隔进行旋转角度的调整，直到两幅图像不存在相对旋转，则认定该图像旋转完成，实现任意拍摄角度下的图像自适应的旋转。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种自适应的重叠图像旋转方法的步骤示意图。

图2是本发明提供的四对待拼接图像。

图3是本发明提供的四对图像配准后的结果。

图4是本发明提供的两幅图像配准后的匹配对方向。

图5是本发明提供的待旋转图像四个区域与参考图像配准结果。

图6是本发明提供的初始旋转以及配准结果。

图7是本发明提供的调整后的旋转以及配准结果。

图8是本发明提供的本发明提出的方法的实验结果。

图9是本发明提供的三种方法提取特征点所需时间对比。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1，本发明提供一种自适应的重叠图像旋转方法，包括以下步骤：

s101、对获取的两幅图像进行特征提取和匹配，通过计算得到的特征匹配对的位置是否交叉来判断两幅图像之间是否存在相对旋转。

具体的，获取对应的两幅图像，选取右图作为待旋转图像，左图作为参考图像，首先需要判断两幅图像的重叠区域是否发生相对旋转，也就是检测两幅图像的特征匹配对之间是否交叉。通过图3的配准结果可以看到，前三对旋转图像的特征匹配对之间存在大量的交叉现象，这说明每一对图像之间都存在重叠区域，只不过发生了相对旋转。通过观察每一对旋转图像的匹配对可以发现，当两个特征匹配对发生交叉时，这两个匹配对对应的四个特征点的位置与发生平行时的位置有明显的区别，如图4所示。

图4(a)中是两幅旋转图像，它们的特征匹配对存在交叉现象，通过观察其中交叉的两对(x1,y1)和(x1′,y1′)，(x2,y2)和(x′2,y′2)可以发现，在左边参考图像中，第一对的特征点(x1,y1)位于第二对的特征点(x2,y2)上方，而在右边的待旋转图像中，第一对的特征点(x1′,y1′)位于第二对的特征点(x′2,y′2)下方，因此导致了这两对匹配对交叉。而从图4(b)中可以观察到，平行下的匹配对位置状态与交叉下正好相反。因此可以通过判断每两对特征匹配对的左右特征点的上下位置来判断匹配对是否交叉，从而判断两幅图像是否为旋转图像，具体计算如公式(1)所示：

fi＝(yi-yj)(yi′-yj′)(1)

其中，yi是左边参考图像中坐标为(xi,yi)的特征点的纵坐标，yj是坐标为(xj,yj)的特征点的纵坐标，yi′和yj′则是右边待旋转图像中与参考图像对应的点匹配的特征点。fi是用来判断这两对匹配对是交叉还是平行的，当fi＜0时表示交叉，fi＞0则表示平行。当找到两对匹配对交叉后，记录为一次，然后从剩余的匹配对中继续选取两对匹配对进行判断。经过大量实验得到，当记录的次数超过两幅图像特征匹配对总数的1/3时，则认定这两幅图像的重叠区域存在相对旋转。

s102、使用分区匹配法选取待旋转图像和参考图像的限定区域，然后对所述限定区域进行特征提取和匹配，同时记录每个所述限定区域的匹配对数量。

具体的，由于对整幅图像进行配准不仅耗费大量时间，而且无法判断图像相对旋转的角度，因此本发明提出一个分区匹配方法：依次取待旋转图像的上半部分、下半部分、左半部分和右半部分，分别与参考图像的右半部分进行特征提取和匹配。得到的配准结果如图5所示。通过比较每次配准得到的匹配对数量可以得到，参考图像右半部分与待旋转图像的下半部分匹配对数最多。

s103、基于所述匹配对数量达到阈值的所述限定区域，获取对应的初始旋转角度，并将所述待旋转图像按照所述初始旋转角度进行顺时针旋转。

具体的，本发明通过对多对不同旋转角度下的图像按照上述方法进行配准得出，待旋转图像的四个区域正好对应0°到360°之间4个旋转角度范围：当匹配对数最多的是上半部分区域时，待旋转图像的实际旋转(逆时针)范围在225°到315°之间；当匹配对数最多的是上半部分区域时，范围在45°到135°之间；当匹配对数最多的是左半部分区域时，范围在-45°到45°之间；当匹配对数最多的是右半部分区域时，范围在135°到225°之间。

确定好区域之后，本发明根据4个限定区域对应的旋转角度范围设置了对应的4个初始旋转角度，具体如公式(2)所示：

其中，α是当前待旋转图像相对参考图像实际旋转的角度，θ是待旋转图像将要初步旋转回去的角度。找到待旋转图像中与参考图像配准后得到的匹配对数量最多(达到阈值)的限定区域，然后将待旋转图像按区域对应的初始旋转角度进行顺时针旋转，得到初步旋转的图像。图像旋转过程如公式(3)所示:

其中，(x′,y′)是待旋转图像中位于(x,y)处的像素点旋转后对应的位置，θ是旋转的角度。将待旋转图像中的所有像素按照该公式旋转后得到的像素集合组成的图像即为旋转后的图像，如图6(a)所示。

s104、将初步旋转后的所述待旋转图像再次与所述参考图像进行限定区域的特征提取和匹配，并判断匹配对是否存在交叉现象。

具体的，由于一般的有序图像重叠区域都是分布在左图的右半部分和右图的左半部分，因此为了减少配准的时间以及方便后续的调整，初步旋转后以及后续调整后的待旋转图像与参考图像的配准都是限定在如图6(b)所示的左、右半部分区域中进行，取参考图像的右半部分区域和初步旋转的图像的左半部分区域进行特征提取和匹配得到特征匹配对，然后按照步骤s101中的方法来判断匹配对之间出现交叉的次数是否超过两幅图像特征匹配对总数的1/3，即两幅图像的重叠区域是否仍然存在相对旋转。若仍然存在相对旋转，则进行调整角度；若不存在，则直接输出初步旋转后的图像为最终结果。

与图3(a)进行比较可以看出，初步旋转后的图像与参考图像的重叠区域已经接近于平行的状态，但是依然存在交叉现象，也就是说待旋转图像的旋转角度还需进一步调整。

s105、若存在交叉现象，则将初步旋转后的图像以15°为间隔进行旋转角度的调整，直到两幅图像不存在相对旋转，则认定该图像旋转完成。

具体的，根据公式(2)可得图2(b)的实际旋转角度在45°到135°之间，而图2(b)初始旋转了90°，处于这个范围中间，所以本发明将初步旋转后的待旋转图像以±15°为间隔调整进行顺时针旋转，每一次旋转后得到的图像与参考图像都按照s101中的方法进行匹配对的交叉判断。如果这两幅图像的重叠区域仍然存在相对旋转，则继续旋转15°，直到两幅图像的匹配对出现交叉的次数不足1/3，则认定待旋转图像旋转完成。

按照上述步骤对图6(a)进行操作，最终得到在旋转-15°，也就是将其逆时针旋转15°后得到的图像与参考图像的重叠区域是相对平行的，旋转后的图像与参考图像的配准结果如图7所示。可以看到，经过调整后，两幅图像的匹配对之间基本都是平行的，符合后续进行拼接的条件。也就是说，待旋转图像2(b)相对参考图像2(a)的实际逆时针旋转角度近似等于75°，符合公式(2)中45°到135°之间的范围。

为了验证本发明提出的方法可以实现任意旋转角度下的重叠图像自适应的旋转，得到可以进行拼接的有序图像，本发明使用了图2中前三对旋转图像进行了自适应的旋转，并且将旋转后的图像与参考图像进行了拼接，实验结果如图8所示，(a)表示待旋转图像，(b)表示旋转的结果，(c)表示拼接的结果。

从图8的实验结果中可以看出，本发明对于三对任意旋转角度下的图像都能有效地实现自适应的旋转，并且旋转后的图像可以直接用于后续的拼接，并且拼接的结果满足人们视觉上的需求，重叠部分没有出现明显的拼接误差，因此验证了本发明提出的方法的有效性。由于现有的图像拼接技术没有针对旋转图像的拼接进行相关研究，因此无法进行相关实验的对比。

为了对提出的方法性能进一步的分析，本发明对比了sifi、a-kaze算法在整幅图像上提取特征点，以及本发明使用a-kaze算法在限定区域下提取特征点所需的时间，如图9所示。

图9中对比三种方法对图2中的四对图像提取特征点所消耗的时间进行了对比，前两种方法因为是在整幅图像上提取特征点，因此会消耗大量的时间。而本发明仅选取每幅图像包含重叠区域的半部分区域进行特征提取，因此可以节省大量不必要的计算时间。由于匹配的特征点基本都是分布在重叠区域内，因此本方法也不会影响配准的精度。所以本发明提出的方法不仅能有效实现任意旋转角度下的重叠图像自适应的旋转，还能够在保证精度的情况下提供图像配准的效率。

本发明的一种自适应的重叠图像旋转方法，对获取的两幅图像进行特征提取和匹配，通过计算得到的特征匹配对的位置是否交叉来判断两幅图像之间是否存在相对旋转；使用分区匹配法选取待旋转图像和参考图像的限定区域，然后对所述限定区域进行特征提取和匹配，同时记录每个所述限定区域的匹配对数量；基于所述匹配对数量达到阈值的所述限定区域，获取对应的初始旋转角度，并将所述待旋转图像按照所述初始旋转角度进行顺时针旋转；将初步旋转后的所述待旋转图像再次与所述参考图像进行限定区域的特征提取和匹配，并判断匹配对是否存在交叉现象；若存在交叉现象，则将初步旋转后的图像以15°为间隔进行旋转角度的调整，直到两幅图像不存在相对旋转，则认定该图像旋转完成，实现任意拍摄角度下的图像自适应的旋转。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。