一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法的制作方法

本发明涉及计算机视觉领域，特指一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法。

背景技术：

在日常生活中，时常需要获取宽视角、大场景的全景图像，但是由于摄像设备中物理因素的限制一般只能得到大场景中的局部图像。一些硬件设备，如鱼眼摄像机和广角镜头虽然可以得到全景图像，但成本较高，不适合广泛使用。为了获取实时全局大尺度图像信息，在机场、码头、广场交通路口等视野开阔的大型场景中，通常需要布设多台网络摄像机。这种方法虽然可以获得更多的监控范围，但是场景的显示被分割成多个子窗口，不能够自然全面地直接反映真实的场景。视频拼接是基于图像拼接的一种获取实时视频流的技术。为了满足视频拼接中实时性的要求，必须针对视频流中每帧图像的拼接步骤进行优化。

随着数字图像处理和微电子技术的不断发展，图像拼接已经应用在虚拟现实、计算机视觉、航空航天、医学图像分析、遥感图像等多个领域。图像的拼接主要步骤包括图像配准与融合。传统的图像配准算法普遍存在各种不足：如大部分算法因为计算复杂且计算量大，难以满足实时性的要求，或者无法滤出图像融合中产生的鬼影等问题。

因此需要针对目前的多路实时视频拼接场景，克服以上现有算法的一些弊端，发明一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法。

技术实现要素：

本发明针对全景监控系统中多路实时视频拼接这个特定问题，为了使监控视频便于观察，提升全景视频的效果，并使其满足实时性需求，提出一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法。

本发明采取的技术方案具体如下：

一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法，具体包括如下步骤：

步骤S1，建立基于自适应的图像配准模型，通过自适应计算出最佳的图像平移参数；

步骤S2，根据步骤S1中最佳的图像平移参数，基于渐入渐出的加权平均法对两帧图像重合区域分别进行图像融合处理，使两幅目标图像融合拼接成一幅全景图像，实现对于目标视频的拼接；

步骤S3，采用双边滤波器对步骤S2所得的全景图像进行去噪处理后，输出高质量清晰的拼接图像。

作为本发明技术方案的改进，所述步骤S1中，对于任意两帧实时拼接图像，采用基于积分图像的SURF算法进行匹配，对于进行过SURF算法的特征点匹配后得到的匹配点用RANSAC算法进行过滤，得到平移参数；根据两张待融合图像的灰度直方图，得到巴氏距离，不断自适应调节，得到最佳的平移参数；在匹配度计算中，巴氏距离d_{Bhattac haryya}的计算公式如下式所示：

式中，H₁(i)，H₂(i)是两个图像的灰度直方图。

作为本发明技术方案的改进，所述步骤S2包括：在重叠部分由前一幅图像慢慢过渡到第二幅图像，即将图像重叠区域的像素值按一定的权值相加合成新的图像，并裁剪去垂直方向错开的图像部分，记对应的前后两幅图像重叠部分的对应像素点的RGB分量值分别为(R₁,G₁,B₁)和(R₂,G₂,B₂)，则融合后的图像中对应像素点的RGB分量值(R₃,G₃,B₃)可以通过下列计算得到：

R₃＝d*R₁+(1-d)*R₂ (1)

G₃＝d*G₁+(1-d)*G₂ (2)

B₃＝d*B₁+(1-d)*B₂ (3)

上式中的参数d是渐变因子，用来调和相邻图像的颜色，产生加权平均的作用，其取值范围限制在(0,1)之间；

同时在图像融合计算中，基于渐入渐出的加权平均，对于两幅图像重叠中的对应的两个点I₁(x,y)和I₂(x,y)，给予两个权重系数W₁，W₂，其中权重系数值与该点的位置有关，如下式所示：

其中，

式中，x_R和x_L分别为图像I₁(x,y)和I₂(x,y)重叠区域的左右边界，I(x,y)表示融合后的图像；

根据以上原理使两幅目标图像融合拼接成一幅全景图像，实现对于目标视频的拼接。

作为本发明技术方案的改进，所述步骤S1中自适应调节流程具体包括如下步骤：

(S1.1)根据用RANSAC算法过滤得到的平移参数，计算两幅图像的匹配度，该匹配度为第一匹配度；

(S1.2)增加平移参数，当增加方向匹配连续增加两次，停止增加，保存增加方向最佳匹配度和其对应的平移参数，该增加方向最佳匹配度为第二匹配度。

(S1.3)减小平移参数，当减小方向匹配连续减小两次，停止减小，保存减小方向最佳匹配度和其对应的平移参数，该减小方向最佳匹配度为第三匹配度。

(S1.4)比较第一匹配度、第二匹配度和第三匹配度的匹配度，从三个匹配度中选取最佳匹配度，并保存其相应的平移参数。

与现有技术相比，本发明具有以下有益效果：

提出一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法，计算效率高且计算量小，充分满足实时性的要求，有效克服无法滤出图像融合中产生的鬼影等问题。

附图说明：

图1是本算法所述算法整体流程图。

图2是本算法所述渐入渐出拼接方法原理图。

图3是现有加权平均算法处理效果示意图。

图4是本算法所述算法处理效果示意图。

具体实施方式：

以普通ORB算法的图像配准和图像融合并行的多路视频快速拼接为例，结合附图对本发明具体实施例做进一步详细说明。

图像融合效果评估较为复杂，涉及到评估准则、指标体系和评估方法。评估方法目前分为两大类，即主观评估方法和客观评估方法。主观评估方法是采用目测方法，评价重复性差，带有较强的片面性；客观评价方法是计算两幅图像的灰度直方图，根据两幅图像的灰度直方图，通过巴氏距离计算两幅图像的匹配度，匹配度范围是0～1，其中0表示匹配度最小，1表示匹配度最大。

灰度直方图是灰度级的函数，它表示图像中具有某种灰度级的像素的个数，反映了图像中某种灰度出现的频率。

本实施例具体包括以下步骤：

步骤S1：建立基于自适应的图像配准模型，通过自适应计算出最佳的图像平移参数；

对于任意两帧实时拼接图像，当系统启动时，先基于积分图像的SURF(Speeded Up Robust Features快速鲁棒特征)算法，通过基于积分图像的方形滤波器来近似高斯-拉普拉斯算子，匹配精度较高，适合实时视频拼接的运算速度要求。对于进行过SURF算法的特征点匹配后得到的匹配点用RANSAC(随机抽样一致性)算法进行过滤，此算法应用广泛，在失配率高的情况下还能保持有效，能有效剔除误匹配点，得到平移参数。根据两张待融合图像的灰度直方图，得到巴氏距离，不断自适应调节，得到最佳的平移参数。自适应调节具体流程如下：

1)根据用RANSAC算法过滤得到的平移参数，计算两幅图像的匹配度，该匹配度为第一匹配度；

2)增加平移参数，当增加方向匹配连续增加两次，停止增加，保存增加方向最佳匹配度和其对应的平移参数，该增加方向最佳匹配度为第二匹配度。

3)减小平移参数，当减小方向匹配连续减小两次，停止减小，保存减小方向最佳匹配度和其对应的平移参数，该减小方向最佳匹配度为第三匹配度。

4)比较第一匹配度、第二匹配度和第三匹配度的匹配度，从三个匹配度中得到最佳匹配度，并保存其相应的平移参数。

图1为自适应模型的整体流程图。流程图清楚地表述了本实施例步骤S1中所述的自适应算法模型。

在匹配度计算中，巴氏距离d_{Bhattac haryya}的计算公式如下式所示：

式中，H₁(i)，H₂(i)是两个图像的灰度直方图。

S2根据平移参数，基于渐入渐出的加权平均法对两帧图像重合区域分别进行图像融合处理；

对于渐入渐出的加权平均法主要可以消除图像光强或者色彩的不连续性。

其主要思想是：在重叠部分由前一幅图像慢慢过渡到第二幅图像，即将图像重叠区域的像素值按一定的权值相加合成新的图像，并裁剪去垂直方向错开的图像部分。记对应的前后两幅图像重叠部分的对应像素点的RGB(红，绿，蓝)分量值分别为(R₁,G₁,B₁)和(R₂,G₂,B₂)，则融合后的图像中对应像素点的RGB分量值(R₃,G₃,B₃)可以通过下列计算得到：

R₃＝d*R₁+(1-d)*R₂

G₃＝d*G₁+(1-d)*G₂

B₃＝d*B₁+(1-d)*B₂

上式中的参数d是渐变因子，用来调和相邻图像的颜色，产生加权平均的作用，其取值范围限制在(0,1)之间。

同时在图像融合计算中，基于渐入渐出的加权平均，对于两幅图像重叠中的对应的两个点I₁(x,y)和I₂(x,y)，给予两个权重系数W₁，W₂，其中权重系数值与该点的位置有关，如下式所示：

其中，

式中，x_R和x_L分别为图像I₁(x,y)和I₂(x,y)重叠区域的左右边界，I(x,y)表示融合后的图像。

最后，根据以上原理使两幅目标图像融合拼接成一幅全景图像，实现对于目标视频的拼接。渐入渐出拼接方法的大致原理示意图如图2所示。

S3：对待处理图像进行滤波去噪：基于双边滤波器进行滤波去噪处理。

采用现行通用的双边滤波器，对待输出的拼接后的图像进行进一步滤波去噪处理，最后输出高质量清晰的拼接图像。图3～4为不同算法处理后的图像对比图，可以发现本发明算法在增强图像对比度的同时更多的保留了场景细节信息，显示效果更好。

本发明中提出的方法实际上可嵌入FPGA实现，开发具有实时视频拼接的系统。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。