一种复眼相机图像融合方法

本发明属于图像融合，具体涉及一种复眼相机图像融合方法。

背景技术：

1、图像拼接技术是指将两幅或者多幅具有重叠区域的图像进行拼接，形成一幅具有超宽视野的高分辨率图像。随着社会与科技不断发展进步，人们对于大视场高分辨图像的需求也越来越多，复眼相机的应用越来越多，在交通监控、医学成像、军事领域以及虚拟现实领域应用广泛。主流的图像拼接方法可以大致分为特征提取、图像配准、图像融合三个步骤。根据不同步骤处理思想的不同，图像拼接可以分为三个方向：全局对齐方法、空域变化绘制方法、缝合线主导方法。

2、全局对齐方法：以一个单应性矩阵将图像对齐，这种方法要求重叠区域场景中没有深度变化，适合没有视差或者极小视差的场景。空域变化绘制方法：将图像划分为密集网格，每个网格都用一个单应性矩阵对齐，用网格优化来解决图像拼接问题，等价于每个局部单应性矩阵互相独立单独优化，具有更大的自由度，适合场景视差较小的情况。缝合线主导方法：以缝合线为主导，在待拼接图像的重叠区域，根据动态规划思想获得最佳缝合线，不用严格对齐整个重叠区域，而是仅对齐缝合线附近的区域，这类方法可以拼接大视差场景。

3、与此同时由于拼接使用的子图像是由多个图像传感器获得的，而子相机的位置和角度不同，因此导致所获得的子图像的亮度及色彩均存在差异性，需要考虑亮度和颜色的差异性对多幅子图像融合效果的影响。现有常用的色差及亮度校正主要分为全局校正和局部校正两种。全局校正，即对图像整体设定一个全局的校正系数，使图像各部分根据此系数对色彩和亮度进行调整，得到整体较为接近的图像。但该方法对所有的子图像进行同等程度的色彩调整，校正的细粒度较低，仅使用一个全局参数无法准确描述各子图像间不均匀的颜色差异，只适用于子图像色差不明显的情况，当色差较大时容易造成色彩失真。局部校正，则是将拼接后的图像再分为不同的子块，对每一个子块设定一个校正系数进行局部调整，该方法能够克服全局方法中不同子图像以同等程度校正的缺点，细粒度较高，能够在重叠区域取得较好的融合效果，但对于非重叠区域却不做校正，导致重叠区域与非重叠区域过渡不自然。

技术实现思路

1、为了解决现有技术中所存在的上述问题，本发明提供了一种复眼相机图像融合方法。

2、本发明要解决的技术问题通过以下技术方案实现：

3、一种复眼相机图像融合方法，所述复眼相机图像融合方法包括：

4、获取全局相机图像和多幅子相机图像，所述子相机图像和所述全局相机图像对应区域具有相同大小的分辨率；

5、将所述全局相机图像进行插值放大，得到放大后的全局相机图像；

6、将所述放大后的全局相机图像进行区域划分，获取与所述子相机图像相对应的多个局部区域，并得到每个所述局部区域的坐标范围；

7、将所述多幅子相机图像与所述放大后的全局相机图像对应的局部区域进行图像特征提取和匹配，得到最终的匹配点对；

8、基于所述最终的匹配点对构成的单应性矩阵配准各幅所述子相机图像和对应的所述局部区域，得到配准后的子相机图像，之后还原所述配准后的子相机图像的坐标到所述放大后的全局相机图像的坐标系下，得到所有所述配准后的子相机图像组成的还原图像；

9、基于梯度拟合的融合算法对所述还原图像进行色彩校正，以将所述还原图像融合到所述放大后的全局相机图像中，得到最终的融合图像。

10、可选地，将所述全局相机图像进行插值放大，得到放大后的全局相机图像，包括：

11、基于全局相机图像放大系数k，利用双线性插值法或双三次插值法对所述全局相机图像进行插值放大，得到所述放大后的全局相机图像，其中，所述全局相机图像放大系数k为sg为所述全局相机图像的分辨率大小，sl为所述子相机图像在所述全局相机图像对应所在区域的分辨率大小。

12、可选地，将所述放大后的全局相机图像进行区域划分，获取多个划分区域，并得到每个所述划分区域的坐标范围，包括：

13、计算所述子相机图像的长度和宽度所占整个所述放大后的全局相机图像的长度比值rh和宽度比值rw；

14、基于所述长度比值rh、所述宽度比值rw和相邻两幅所述子相机图像之间的重叠率得到相邻两幅所述子相机图像的宽度方向重叠区域和长度方向重叠区域；

15、根据所述长度比值rh、所述宽度比值rw和相邻两幅所述子相机图像的宽度方向重叠区域和长度方向重叠区域，将所述放大后的全局相机图像划分为与所述子相机图像相对应的多个局部区域，并得到每个所述局部区域的坐标范围。

16、可选地，将所述多幅子相机图像与所述放大后的全局相机图像对应的局部区域进行图像特征提取和匹配，得到最终的匹配点对，包括：

17、通过尺度不变特征变换sift算法提取每幅所述子相机图像和所述放大后的全局相机图像对应的多个局部区域的图像特征点；

18、利用k邻近匹配方法对所提取的所述子相机图像对应的图像特征点和所述局部区域的图像特征点进行初步的特征点匹配，得到初步的匹配点对；

19、采用网格运动统计算法对所述初步的匹配点对进行过滤，保留正确匹配点，滤除错误匹配点，以得到最终的匹配点对。

20、可选地，基于所述最终的匹配点对构成的单应性矩阵配准各幅所述子相机图像和对应的所述局部区域，得到配准后的子相机图像，之后还原所述配准后的子相机图像的坐标到所述放大后的全局相机图像的坐标系下，得到所有所述配准后的子相机图像组成的还原图像，包括：

21、基于随机抽样一致性算法，根据所述最终的匹配点对的坐标对应关系，计算所述子相机图像和对应的所述局部区域之间图的单应性矩阵；

22、根据所述单应性矩阵对所述子相机图像进行单应性变换，得到变换后的子相机图像，其中，所述变换后的子相机图像与对应的所述局部区域所在平面处于同一坐标系下；

23、利用插值技术将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像；

24、将全部所述配准后的子相机图像进行坐标还原，将所述配准后的子相机图像映射到与所述放大后的全局相机图像相同尺寸大小的画布中，使所述配准后的子相机图像的坐标还原到所述放大后的全局相机图像的坐标系下，以得到所有配准后的子相机图像组成的还原图像。

25、可选地，利用插值技术将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像，包括：

26、利用向后映射将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像。

27、可选地，基于梯度拟合的融合算法对所述还原图像进行色彩校正，以将所述还原图像融合到所述放大后的全局相机图像中，得到最终的融合图像，包括：

28、根据所述放大后的全局相机图像中预处理区域的四个角的像素和所述还原图像中对应所述预处理区域的四个角的像素、所述还原图像中对应的待融合像素位置处的像素，对所述放大后的全局相机图像中处于所述预处理区域的第一行、最后一行、第一列和最后一列中除位于四个角的待融合像素进行融合，得到融合后的第一像素，其中，每个所述预处理区域在行方向和列方向上的两个角的像素之间的宽度为n、间隔为n-2，每个所述预处理区域按照在所述放大后的全局相机图像先从左到右、再从上到下的顺序进行移动得到，每次移动n-1个像素；

29、根据所述融合后的第一像素、所述还原图像中对应所述融合后的第一像素位置处的像素对所述放大后的全局相机图像中所述预处理区域的内部像素进行融合，以获取融合后的第二像素，从而得到最终的融合图像。

30、可选地，所述融合后的第一像素的计算公式为：

31、

32、

33、

34、

35、其中，g1m为所述放大后的全局相机图像中所述预处理区域的第1行第m列的融合后的第一像素，gm1为所述放大后的全局相机图像中所述预处理区域的第m行第1列的融合后的第一像素，gnm为所述放大后的全局相机图像中所述预处理区域的第n行第m列的融合后的第一像素，gmn为所述放大后的全局相机图像中所述预处理区域的第m行第n列的融合后的第一像素，s1m为所述还原图像中对应所述预处理区域的第1行第m列的像素，sm1为所述还原图像中对应所述预处理区域的第m行第1列的像素，snm为所述还原图像中对应所述预处理区域的第n行第m列的像素，smn为所述还原图像中对应所述预处理区域的第m行第n列的像素，ga为所述放大后的全局相机图像中所述预处理区域的第1行第1列的原始像素，gb为所述放大后的全局相机图像中所述预处理区域的第1行第n列的原始像素，gc为所述放大后的全局相机图像中所述预处理区域的第n行第1列的原始像素，gd为所述放大后的全局相机图像中所述预处理区域的第n行第n列的原始像素，sa为所述还原图像中对应所述预处理区域的第1行第1列的像素，sb为所述还原图像中对应所述预处理区域的第1行第n列的像素，sc为所述还原图像中对应所述预处理区域的第n行第1列的像素，sd为所述还原图像中对应所述预处理区域的第n行第n列的像素；

36、其中，这里，t对应取s1m、sm1、snm或smn，a对应取ga、gb、gc或gd，b对应取sa、sb、sc或sd。

37、可选地，根据所述融合后的第一像素、所述还原图像中对应所述融合后的第一像素位置处的像素对所述放大后的全局相机图像中所述预处理区域的内部像素进行融合，以获取融合后的第二像素，包括：

38、基于行优先的方式、列优先的方式或者行优先与列优先加权的方式，根据所述融合后的第一像素、所述还原图像中对应所述融合后的第一像素位置处的像素对所述放大后的全局相机图像中所述预处理区域的内部像素进行融合，以获取融合后的第二像素。

39、可选地，对于所述行优先的方式，融合后的第二像素的计算公式为：

40、

41、对于所述列优先的方式，融合后的第二像素的计算公式为：

42、

43、其中，gmx为所述放大后的全局相机图像中所述预处理区域的第m行第x列的融合后的第二像素，gym为所述放大后的全局相机图像中所述预处理区域的第y行第m列的融合后的第二像素，gm1为所述放大后的全局相机图像中所述预处理区域的第m行第1列的融合后的第一像素，gmn为所述放大后的全局相机图像中所述预处理区域的第m行第n列的融合后的第一像素，g1m为所述放大后的全局相机图像中所述预处理区域的第1行第m列的融合后的第一像素，gnm为所述放大后的全局相机图像中所述预处理区域的第n行第m列的融合后的第一像素，smx为所述还原图像中对应所述预处理区域的第m行第x列的像素，sm1为所述还原图像中对应所述预处理区域的第m行第1列的像素，sym为所述还原图像中对应所述预处理区域的第y行第m列的像素，smn为所述还原图像中对应所述预处理区域的第m行第n列的像素，s1m为所述还原图像中对应所述预处理区域的第1行第m列的像素，sym为所述还原图像中对应所述预处理区域的第y行第m列的像素，snm为所述还原图像中对应所述预处理区域的第n行第m列的像素，x＝2,...,n-1，y＝2,...,n-1；

44、其中，这里，t对应取smx或sym，a对应取gm1、gmn、g1m或gnm，b对应取sm1、smn、s1m或snm。

45、与现有技术相比，本发明的有益效果：

46、本发明首先对全局相机图像进行插值放大，子相机图像与放大后的全局相机图像经划分的局部区域进行配准，计算单应性矩阵后，之后使配准后的子相机图像与全局相机图像同一坐标点的像素一一对应，再利用梯度拟合的融合算法将全局相机图像中的整数点坐标像素值与对应的子相机图像的像素值进行计算，重新生成该点的像素融合值，替换相应全局相机图像中由插值算法得到的像素点值，从而实现子相机图像亮度和色度的调整，并融合到全局相机图像中，以得到高分辨率、画面一致性好、细节信息丰富的宽视野全景图像。

47、本发明以具有全局相机和子相机架构的复眼相机照片为素材，采用图像配准、像素融合的方法完成图像拼接，对重叠区域小、拍照参数不一致的子相机图像拼接成画面一致性好、分辨率高、细节信息丰富的照片，解决了传统多图拼接算法拼接流程繁琐，图像画面拉伸畸变、照片亮度色度不一致的问题。

48、以下将结合附图及对本发明做进一步详细说明。