一种实时红外双目图像拼接方法及系统与流程

1.本发明涉及红外图像处理技术领域，尤其涉及一种实时红外双目图像拼接方法及系统。


背景技术：

2.图像拼接技术是基于获取图像场景的大小和成像器件的分辨率两者之间的矛盾上产生的。当人们需要获取最大视野的图像时，就必须要调节成像器件的镜头焦距。由于成像器件的分辨率是一定的，获得的视野越大分辨率越低，反之，分辨率越高则获得的视野也越小。在人们既要求高分辨率又要求大视野的场景图像的需求下，图像拼接技术产生了。随着图像拼接相关理论的不断完善和计算机应用的不断发展，图像拼接技术日益成为图像处理的热点之一。
3.红外图像拼接技术就是保证分辨率不变，将两幅或者多幅小视野的场景图像拼接成一幅宽视野的无缝目标图像的过程。拼接的过程不仅减少了图像间存在的冗余，而且宽视野的场景图像可以让观察者在稳定的图像分辨率下观察到更丰富的场景信息。红外拼接技术可以应用于红外预警、周视扫描、目标识别和探视中。
4.现有的红外双目拼接技术主要包含以下技术模块：特征提取、匹配、提纯、单应矩阵求取、融合。
5.针对特征提取、匹配、提纯模块，按特征类型分类，可分为基于点特征、线特征两类。其中：基于点特征：包含特征点定位、特征表示、特征点对匹配、提纯。其中，orb+大小关系特征表示+暴力匹配+ransac/边佳旺版gms提纯是常用的、计算效率高、耗时小的方法；surf点+梯度特征表示+近邻距离匹配+ransac提纯是特征点性能较好、配准效果较稳定、但耗时较多的方法；基于线特征：lcd/lsd直线段检测、边缘提取方法(canny等)是线段提取的常用方法。
6.单应矩阵求取：针对点特征提纯后的点对坐标，单应矩阵按数学计算方法分为：最小二乘法、网格邻域dlt等方法。其中dlt比最小二乘法更抗噪声影响。单应矩阵按是否全局可划分为全局单应矩阵、分块单应矩阵。其中，全局单应矩阵是使用所有的点对求得一个h；分块单应矩阵求取是在图像分块基础上、计算各块的h，各块的h在全图上渐变；针对线特征提取所得，常使用傅里叶梅林变换匹配：在频域+对数极数坐标系下获得两幅图像线段之间的变换关系。相比点特征直接求得h各元素，傅里叶梅林变换是获得旋转、比例、平移信息，继而构成h。同时也表明点特征所得h可以包含除旋转、比例、平移外更多的信息。
7.融合：按融合方式分为直接融合、渐入渐出融合、分割线融合等，重影抑制能力、耗时依次递增。
8.实时红外双目拼接技术难点在于拼接准确性、实时性及帧间稳定性的兼顾。点特征提取及匹配算法中，orb速度快，但位于角点、边缘上的点数少；surf特征点速度慢，但位于角点、边缘上的点多。另外，在场景目标不丰富的红外图像上，特征点数量稀少，容易造成错误匹配。线特征提取及匹配算中，lsd区域生长方法耗时，不利于硬件实现；边缘提取方法
容易忽略弱边缘信息、容易受噪声干扰；受参与计算边缘特征影响，傅里叶梅林变换所得结果鲁棒性不足、且所得结果是全局单应矩阵不利于图像各区域对齐。同时，多次傅里叶变换、复数计算对内存开销较大；全局单应矩阵遵循整体匹配误差最小，故存在较大的局部匹配误差；而分块单应矩阵可适应图像不同景深处的不同变换关系，容易满足各处的匹配对齐，但计算耗时。单帧所得配准结果，如何在连续多帧的配准结果呈现视觉稳定是实时拼接处理中的难点。受场景内容变化影响：景深、特征点对位置、单应矩阵都有变化，配准结果在帧间出现抖动。有学者提出先拼接再防抖，或先防抖再拼接、或利用视频上下文边拼接边防抖，无疑都增加了拼接复杂度，降低实时性。


技术实现要素：

9.本发明的第一个目的在于提供一种实时红外双目图像拼接方法，以解决现有红外双目图像拼接方法拼接准确性较低，实时性及帧间稳定性较差的技术问题。
10.本发明的第一个目的是采用以下技术方案实现的：一种实时红外双目图像拼接方法，包括如下步骤：
11.步骤a：预拼接，获取连续n帧图像数据的拼接信息，所述n帧图像记为其中，分别为左右相机所得第i帧图像数据；
12.步骤b：计算当前帧拼接信息，获取当前帧特征点的坐标框信息rect
convas
以及外界矩形框
13.步骤c：计算重叠区域内外单应矩阵{h
ij
},i＝1,...,c1,j＝1,...,c2，其中，c1、c2是纵向、横向分块数目；
14.步骤d：融合得到拼接结果图像。
15.进一步的，所述步骤a包括如下子步骤：
16.步骤a1：对每帧图像进行特征点提取、匹配并提纯；
17.步骤a2：对n帧图像的特征点进行提纯；
18.步骤a3：通过步骤a2所得的特征点计算全局单应矩阵hg
last
、历史重叠区域、历史特征点对kpt
last
。
19.进一步的，所述步骤a1中对每帧图像进行特征点提取的方法包括orb，匹配方法包括暴力匹配，提纯方法包括ransac方法。
20.进一步的，所述步骤a2包括如下子步骤：
21.步骤a21：融合n帧提纯后特征点对信息；
22.步骤a22：对步骤a21所得特征点对进行提纯。
23.进一步的，所述步骤a3包括如下子步骤：
24.步骤a31：由步骤a2所得特征点对kpt2，计算全局单应矩阵hg
last
；
25.步骤a32：由步骤a31所得全局单应矩阵hg
last
得到重叠区域在左图的坐标框信息
26.步骤a33：由步骤a31所得hg
last
和步骤a32所得重叠区域在左图的坐标框生成历史特征点对kpt
last
。
27.进一步的，所述步骤b包括如下子步骤：
28.步骤b1：获取当前帧特征点对kpt
cur
；
29.步骤b2：由当前帧特征点对kpt
cur
计算当前全局单应矩阵hg
cur
；
30.步骤b3：获取重叠区域拼接结果图的坐标框信息rect
convas
；
31.步骤b4：获取当前特征点对kpt
cur
在左图的外界矩形框
32.进一步的，所述步骤c包括如下子步骤：
33.步骤c1：筛选历史特征点对，得到历史坐标框内、当前坐标框外特征点对
34.步骤c2：由步骤c1所得和当前帧特征点对kpt
cur
融合，得到融合特征点对
35.步骤c3：由步骤c2所得按照重叠区域内外，计算各块的单应矩阵{h
ij
},i＝1,...,c1,j＝1,...,c2。
36.进一步的，所述步骤d包括如下子步骤：
37.步骤d1：左图y
l
按照进行映射，得到映射图右图yr按照进行映射，得到映射图
38.步骤d2：与融合得到拼接结果图像。
39.本发明的第二个目的在于提供一种实时红外双目图像拼接系统，以解决现有红外双目图像拼接方法拼接准确性较低，实时性及帧间稳定性较差的技术问题。
40.本发明的第二个目的是通过以下技术手段来实现的：一种实时红外双目图像拼接系统，用以实现上述的一种实时红外双目图像拼接方法，包括预处理模块、拼接信息计算模块、重叠区域内外单应矩阵计算模块和融合模块，所述预处理模块用以获取连续n帧图像数据的拼接信息，所述n帧图像记为其中，分别为左右相机所得第i帧图像数据；所述拼接信息计算模块用以计算当前帧拼接信息，获取当前帧特征点的坐标框信息rect
convas
以及外界矩形框所述重叠区域内外单应矩阵计算模块用以计算重叠区域内外单应矩阵{h
ij
},i＝1,...,c1,j＝1,...,c2，其中，c1、c2是纵向、横向分块数目；所述融合模块用以融合得到拼接结果图像。
41.本发明的有益效果在于：本发明通过“重叠区域内分块、重叠区域外稳定”、“借助历史点特征、当前点特征实现重叠区域内外渐变过渡”的方式兼顾重叠区域内目标对齐、重叠区域外帧间稳定，是全局单应矩阵与分块单应矩阵的一种融合，发挥了全局单应矩阵的快速、稳定，同时也发挥分块单应矩阵保证重叠区内目标对齐，历史特征点的使用也补足红外图像某些场景下特征点不足的缺点；本发明极大程度上提升了时红外双目图像拼接的准确性、实时性及帧间稳定性。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
43.图1为本发明整体流程图；
44.图2为预拼接流程图；
45.图3为每帧图像进行特征提取、匹配、提纯流程图；
46.图4为n帧图像特征点对提纯流程图；
47.图5为特征点对去重融合流程图；
48.图6为全局单应矩阵、重叠区域、历史特征计算流程图；
49.图7为重叠区域在左图的坐标框计算流程图；
50.图8为历史特征点对生成流程图；
51.图9为当前帧拼接信息获取流程图；
52.图10为重叠区在拼接结果图像的坐标框信息获取流程图；
53.图11为重叠区域内外单应矩阵计算流程图；
54.图12为各块单应矩阵计算流程图；
55.图13为块中点位于重叠区域内的单应矩阵求取流程图；
56.图14为图像融合流程图；
57.图15为本发明系统框图。
具体实施方式
58.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
59.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
60.下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
61.实施例1：
62.参阅图1，一种实时红外双目图像拼接方法，包括如下步骤：
63.步骤a：预拼接，获取连续n帧图像数据的拼接信息，所述n帧图像记为其中，分别为左右相机所得第i帧图像数据；
64.步骤b：计算当前帧拼接信息，获取当前帧特征点的坐标框信息rect
convas
以及外界矩形框
65.步骤c：计算重叠区域内外单应矩阵{h
ij
},i＝1,...,c1,j＝1,...,c2，其中，c1、c2是纵向、横向分块数目；
66.步骤d：融合得到拼接结果图像。
67.参阅图2，步骤a中，预拼接：获取连续n帧图像数据的拼接信息，n帧图像记为
其中，分别为左右相机所得第i帧图像数据，左右相机同时采集数据、且视场有一定重合，图像同尺寸，高宽记为h
×
w，进一步的，所述步骤a包括如下子步骤：
68.步骤a1：对每帧图像进行特征点提取、匹配并提纯；
69.步骤a2：对n帧图像的特征点进行提纯，进一步的，n可为4；
70.步骤a3：通过步骤a2所得的特征点计算全局单应矩阵hg
last
、历史重叠区域、历史特征点对kpt
last
。
71.进一步的，参阅图3，所述步骤a1具体包括如下子步骤：
72.步骤a11，对进行点特征提取，得到特征点每个特征点包含位置信息x、y及特征描述子descriptor；
73.步骤a12，对进行点特征提取，得到特征点每个特征点包含位置信息x、y及特征描述子descriptor；
74.步骤a13，对步骤a11、a12所得左右相机第i帧图像所得特征点步骤a13，对步骤a11、a12所得左右相机第i帧图像所得特征点进行初匹配，得到特征匹配点对每个匹配点对包含点对在左右两图像中的坐标信息[x
l
,y
l
,xr,yr]；
[0075]
步骤a14，对步骤a13所得左右相机第i帧图像匹配点对进行提纯，去掉错误匹配点对，得到其中，步骤a11、a12所述特征点提取方法可以是但不限于orb；步骤a13所述初匹配方法可以是但不限于暴力匹配；步骤a14所述特征点对提纯方法可以是但不限于ransac方法。
[0076]
在本实施例当中，参阅图4，所述步骤a2包括如下子步骤：
[0077]
步骤a21：融合n帧提纯后特征点对信息，记为kpt＝{{kpti}},i＝1,...n，kpt是长度为ne数组，其中，ne是特征点对个数，每个数组元素包含点对在左右两图像中的坐标信息[x
l
,y
l
,xr,yr]；
[0078]
步骤a22：对步骤a21所得特征点对进行提纯，所述提纯方法可以是但不限于ransac方法，得到点对kpt2，kpt2长度为nf，其中，nf是特征点对个数，每个数组元素包含点对在左右两图像中的坐标信息[x
l
,y
l
,xr,yr]。
[0079]
在本实施例当中，参阅图5，所述步骤a21还包括如下子步骤：
[0080]
步骤a21融合方式可以是但不限于去重融合，去重融合过程为：
[0081]
步骤a211，计算点对与kpt中各点对的距离dist；
[0082]
步骤a212，依据距离判断该点对是否被kpt采纳：
[0083]
若出现距离小于阈值thr_dist，则该点对被视为重合点，不予采纳；反之，该点对被采纳，放入kpt数组中。
[0084]
在本实施例当中，参阅图6，所述步骤a3包括如下子步骤：
[0085]
步骤a31：由步骤a2所得特征点对kpt2，，使用但不限于dlt方法，计算全局单应矩阵hg
last
，hg
last
为3
×
3矩阵，hg
last
表示：左图特征点坐标(x
l
,y
l
)到右图特征点坐标(xr,yr)
的关系：hg
last
*[x
l
,y
l
,1]
t
＝[xr,yr,1]
t
；
[0086]
步骤a32：由步骤a31所得hg
last
、图像尺寸h、w得到重叠区域在左图的坐标框信息坐标框包含[rect_x,rect_y,rect_w,rect_h]，其中rect_x、rect_y为左上顶点横坐标、纵坐标，rect_w、rect_h为框宽、框高；
[0087]
步骤a33：由步骤a31所得hg
last
和步骤a32所得重叠区域在左图的坐标框生成历史特征点对kpt
last
。
[0088]
进一步的，参阅图7，所述步骤a32还包括如下子步骤：
[0089]
步骤a321：初始化可初始化为[1,1,w,h]；
[0090]
步骤a322：遍历左图像素坐标(x,y)，x∈[1,w]，y∈[1,h]，计算映射点坐标(u,v)：
[0091][0092]
若(u,v)在右图坐标范围内，则更新
[0093][0094]
步骤a323，步骤a322遍历完成后，更新坐标框的高、宽：
[0095]
rect_h＝rect_h-rect_y+1；
[0096]
rect_w＝rect_w-rect_x+1。
[0097]
进一步的，参阅图8，所述步骤a33还包括如下子步骤：
[0098]
步骤a331，获得坐标框外拓信息，nx、ny分别是横向、纵向拓展量，nx、ny可取60：
[0099]
x0＝rect_x-nx；
[0100]
x1＝rect_x+rect_w-1+nx+nx；
[0101]
y0＝rect_y-ny；
[0102]
y1＝rect_y+rect_h-1+ny+ny；
[0103]
步骤a332，生成采样点坐标x、y:
[0104]
在[x0,x1]区间，等间距xstep，生成x＝x0:xstep:x1；
[0105]
在[y0,y1]区间，等间距ystep，生成y＝y0:ystep:y1；其中，间距xstep、ystep可取10；
[0106]
步骤a333，遍历x、y所组成的点，使用hg
last
，得到该点在右图对应点的坐标，并加入历史特征点对kpt
last
，历史特征点对中每个元素包含[xi,yi,ui,vi]，计算过程如下：
[0107]
ui＝(xi×h11
+yi×h12
+h
13
)/s
[0108]
vi＝(xi×h21
+yi×h22
+h
23
)/s
[0109]
s＝xi×h31
+yi×h32
+h
33
；
[0110]
其中，{xi,yi}为x、y所组成的点，{ui,vi}为{xi,yi}经hg
last
映射后的点，
[0111]
hij为hg
last
矩阵第i行、第j列元素。
[0112]
在本实施例当中，参阅图9，所述步骤b：计算当前帧拼接信息，包括获取当前帧特征点对kpt
cur
、全局映射矩阵hg
cur
、重叠区域在拼接结果图的坐标框信息rect
convas
、当前特征点对kpt
cur
在左图位置分布的外界矩形框进一步的，所述步骤b包括如下子步骤：
[0113]
步骤b1：获取当前帧特征点对kpt
cur
；同步骤a1所述，对当前帧图像{y
l
,yr}获取特征点对，记所得提纯后的点对为kpt
cur
＝{kptj},j＝1,...,nd，其中，nd是特征点对个数，每个数组元素包含点对在左右两图像中的坐标信息[x
l
,y
l
,xr,yr]。当前帧图像{y
l
,yr}为n帧预拼接数据之后的实时图像数据；
[0114]
步骤b2：同步骤a31所述，由当前帧特征点对kpt
cur
计算当前全局单应矩阵hg
cur
；
[0115]
步骤b3：获取重叠区域拼接结果图的坐标框信息rect
convas
；
[0116]
步骤b4：获取当前特征点对kpt
cur
在左图的外界矩形框具体方法为遍历kpt
cur
的左图坐标点[x
l
,y
l
]，统计横、纵坐标的范围，构成
[0117]
进一步的，参阅图10，所述步骤b3还包括如下子步骤：
[0118]
步骤b31，由hg
cur
计算拼接图像尺寸，nh_com，nw_com；
[0119]
左图像四边界点经hg
cur
映射后，nw_com为映射结果最大横坐标与最小横坐标的差，nh_com为映射结果最大纵坐标与最小纵坐标的差；
[0120]
步骤b32，遍历拼接图像坐标(i，j)，i∈[min(1,映射结果最小纵坐标)，max(1，映射结果最大纵坐标)]，j∈[min(1，映射结果最小横坐标)，max(1，映射结果最大横坐标)]，若同时满足如下两条件，则(i,j)为坐标框信息rect
convas
内一点，并更新rect
convas
信息：
[0121]
条件1：i∈[1，h]且j∈[1,w]；
[0122]
条件2：u∈[1，h]且v∈[1,w]，(u，v)为(i，j)经映射后的坐标。
[0123]
在本实施例当中，参阅图11，所述步骤c计算重叠区域内外单应矩阵{h
ij
},i＝1,...,c1,j＝1,...,c2，c1、c2是纵向、横向分块数目，c1、c2可取4～10内的整数，具体包括如下子步骤：
[0124]
步骤c1：筛选历史特征点对，得到历史坐标框内、当前坐标框外特征点对具体方法为：遍历历史特征点对kpt
last
的左图点坐标[x
l
,y
l
]，若其位于框外，则该点对加入至
[0125]
步骤c2：由步骤c1所得和当前帧特征点对kpt
cur
融合，得到融合特征点对
[0126]
步骤c3：由步骤c2所得按照重叠区域内外，计算各块的单应矩阵{h
ij
},i＝1,...,c1,j＝1,...,c2，进一步的，计算重叠区域rect
convas
内各块单应矩阵，并与历史全局单应矩阵线性融合，重叠区域外的单应矩阵取历史全局单应矩阵(重叠区域rect
convas
有拓边)。所述分块算法可以是但不限于aanap，出于提速考虑，本发明在分块算法aanap基础上
做出改进，依据块中点位于rect
convas
内外，分情况计算该块对应的
[0127]
进一步的，参阅图12，所述步骤c3还包括如下子步骤：
[0128]
步骤c31，若块中点位于rect
convas
外，则该块左图为单位阵、右图为hg
last
；
[0129]
步骤c32，若块中点位于rect
convas
内，则进行如下子步骤(参阅图13)：
[0130]
步骤c321，计算块顶点(x,y)与特征点形成权重矩阵w、坐标矩阵a；
[0131]
按权重值排序，选取权重值较大的前q个数据构成w、对应坐标构成a矩阵；
[0132]
步骤c322，可以由但不限于权重svd求解单应矩阵hl；
[0133]
步骤c323，按照aanap算法思想，计算hl在非重叠区的hl_linear、hl与hl_linear的线性组合，组合结果更新至hl；
[0134]
步骤c324，按照aanap算法思想，计算hl与hg
last
的线性组合，作为该块右图的左图
[0135]
在本实施例当中，参阅图14，所述步骤d融合，包括如下子步骤：
[0136]
步骤d1：左图y
l
按照进行映射，得到映射图右图yr按照进行映射，得到映射图
[0137]
步骤d2：与融合得到拼接结果图像，融合方法可以是但不限于渐进渐出融合。
[0138]
参阅图15，基于同一发明构思，为了实现上述实时红外双目图像拼接方法，本发明还提出了一种实时红外双目图像拼接系统，该系统包括预处理模块、拼接信息计算模块、重叠区域内外单应矩阵计算模块和融合模块，所述预处理模块用以获取连续n帧图像数据的拼接信息，所述n帧图像记为其中，分别为左右相机所得第i帧图像数据；所述拼接信息计算模块用以计算当前帧拼接信息，获取当前帧特征点的坐标框信息rect
convas
以及外界矩形框所述重叠区域内外单应矩阵计算模块用以计算重叠区域内外单应矩阵{h
ij
},i＝1,...,c1,j＝1,...,c2，其中，c1、c2是纵向、横向分块数目；所述融合模块用以融合得到拼接结果图像。
[0139]
本发明通过“重叠区域内分块、重叠区域外稳定”、“借助历史点特征、当前点特征实现重叠区域内外渐变过渡”方式兼顾重叠区域内目标对齐、重叠区域外帧间稳定，是全局单应矩阵与分块单应矩阵的一种融合，发挥全局单应矩阵的快速、稳定，同时发挥分块单应矩阵保证重叠区内目标对齐，历史特征点的使用也补足红外图像某些场景下特征点不足的缺点。最后说明，本发明是一种“重叠区域内分块、重叠区域外稳定”、“借助历史点特征、当前点特征实现重叠区域内外渐变过渡”的拼接算法。在重叠区域内分块、外稳定的框架下，使用点特征或其他特征都属于本发明的保护范围。
[0140]
需要说明的是，对于前述的实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例属于优选实施例，所涉及的动作并不一定是本技术所必须的。
[0141]
上述实施例中，描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。