一种视频图像拼接方法及装置与流程

本发明涉及图像处理技术领域，特别涉及一种视频图像拼接方法和装置。

背景技术：

航空遥感作为对地观测的重要手段，在目标侦察、国土监测等领域具有重要应用，如何快速处理航空遥感获取的大量数据已经成为目前研究的热点，其中以航空视频拼接最受关注。其原因在于：1)航空视频一般像幅较小，单帧视频图像显示的地面场景范围有限，难以实现大目标区域的全景观测，亟需一种视频拼接手段将多帧图像拼接起来形成大视场、宽视角的全景高分辨图像；2)航空视频帧频高，帧间重叠度大且重叠区域不规则(飞行姿态、速度变化造成)，使得图像数据量大，实时准确拼接难度高。

技术实现要素：

本发明的目的旨在至少解决上述的技术缺陷之一。

为此，本发明的第一个目的在于提出一种视频图像拼接方法。

所述视频图像拼接方法包括以下步骤：获取视频图像；采用FFT-Mellin变换判断视频图像相邻帧的重叠度，并根据重叠度选取关键帧；对相邻关键帧进行图像配准；将进行图像配准的关键帧拼接为全景图。

在一些实施例中，若当前帧与上一关键帧重叠度低于50％，则将当前帧作为当前关键帧。

在一些实施例中，所述步骤：对相邻关键帧进行图像配准包括：提取两关键帧的重叠区域进行快速SIFT匹配，并利用RANSAC算法及最小二乘法计算当前关键帧相对上一关键帧的变换矩阵。

在一些实施例中，所述提取两关键帧的重叠区域进行快速SIFT匹配包括以下步骤：对相邻关键帧进行粗匹配获取初始匹配点对；从初始匹配结果中选取分布在重叠区四周的2～4个匹配点对并计算出其对应的原始图像像素位置；以该像素位置为中心在原始图像对上选取大小为128×128像素的2～4个图像块；对选取的图像块进行精匹配获得最终匹配点对。

在一些实施例中，在步骤：获取视频图像之前还包括步骤：设定固定大小的图像块。

在一些实施例中，所述利用RANSAC算法及最小二乘法计算当前关键帧相对上一关键帧的变换矩阵包括以下步骤：若当前两帧为初始拼接帧，则直接对当前关键帧进行变换，并将当前变换矩阵存储为累积变换矩阵；反之，则将当前变换乘以累积变换矩阵作为当前关键帧的变换矩阵，然后对其进行变换，并将该变换矩阵存储为累积变换矩阵。

在一些实施例中，所述步骤：将进行图像配准的关键帧拼接为全景图包括：根据变换矩阵中的平移量判断拼接完当前关键帧的全景图像的尺寸。

根据本发明提出的视频图像拼接方法，采用FFT-Mellin变换快速计算视频相邻帧的重叠度，根据重叠度选取关键帧，去除冗余数据；然后进行图像配准，将关键帧拼接为全景图，在保证拼接精度的前提下提高了拼接效率。

为达到上述目的，本发明的另一目的在于提出一种视频图像拼接装置。

所述视频图像拼接装置包括：图像获取单元，关键帧选取单元，图像配准单元，和拼接单元。

所述图像获取单元用于获取视频图像。所述关键帧选取单元采用FFT-Mellin变换判断视频图像相邻帧的重叠度，并根据重叠度选取关键帧。所述图像配准单元对相邻关键帧进行图像配准。所述拼接单元将进行图像配准的关键帧拼接为全景图。

在一些实施例中，所述视频图像拼接装置，还包括：图像块设定单元，所述图像块设定单元将所述视频图像设定为固定大小的图像块。

在一些实施例中，若当前帧与上一关键帧重叠度低于50％，则将当前帧作为当前关键帧。

根据本发明提出的视频图像拼接装置，通过关键帧选取单元采用FFT-Mellin变换快速计算视频相邻帧的重叠度，根据重叠度选取关键帧，去除冗余数据；然后采用图像配准单元进行图像配准，将关键帧拼接为全景图，在保证拼接精度的前提下提高了拼接效率。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的视频图像拼接方法的流程图；

图2为根据本发明一个实施例的视频图像拼接装置的结构框图；

图3为根据本发明一个实施例的获取的待处理视频图像；

图4为根据本发明一个实施例的拼接后的视频图像。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的可应用于性和/或其他材料的使用。另外，以下描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例，也可以包括另外的特征形成在第一和第二特征之间的实施例，这样第一和第二特征可能不是直接接触。

在本发明的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

下面参照图1-图4对本发明实施例提出的视频图像拼接方法和装置进行详细描述。

如图1所示，为本发明一个实施例的视频图像拼接方法，所述方法包括以下步骤：

S1，获取视频图像；

S2，采用FFT-Mellin变换判断视频图像相邻帧的重叠度，并根据重叠度选取关键帧；

S3，对相邻关键帧进行图像配准；

S4，将进行图像配准的关键帧拼接为全景图。

在一些实施例中，若当前帧与上一关键帧重叠度低于50％，则将当前帧作为当前关键帧。

航空视频帧间重叠度一般在80％以上，为了提高拼接效率，只需对视频中的部分关键帧进行处理。Fourier-Mellin变换利用图像的幅频特性，以幅度谱零点为坐标原点建立对数极坐标系，具有很强的鲁棒性。对于两帧相邻图像f₁(x,y)和f₂(x,y)，其中f₂(x,y)是f₁(x,y)经过平移、旋转和一致尺度缩放(横纵轴方向尺度变换因子相等)变换后的图像，即：

f₂(x,y)＝f₁[σ(xcosα+ysinα)-x₀,σ(-xsinα+ycosα)-y₀]

那么f₁(x,y)和f₂(x,y)对应的Fourier变换F₁(u,v)和F₂(u,v)之间满足：

|F₂(u,v)|＝σ^-2|F₁[σ^-1(ucosα+vsinα),σ^-1(-usinα+vcosα)]|

其中，|*|表示频谱幅度，从式中可以看出，旋转角度α和缩放因子σ可以和平移量x₀和y₀进行分离计算，频谱幅度仅与旋转角α和缩放因子σ有关，而与平移量x₀和y₀无关，因此，可以根据这个性质选择平移无关的原点进行对数极坐标变换。对傅立叶幅度谱进行象限变换，将频率零点移至图像的中心。然后以频率零点为原点建立对数极坐标：θ＝arctan(v/u)，利用对数极坐标的性质可以得出：

F₂(θ,logρ)＝F₁(θ-α,logρ-logσ)

其中α为两幅图像之间的旋转角，σ为缩放因子。得到旋转和缩放参数后对f₂(x,y)进行旋转、缩放变换，此时f₂(x,y)相对于f₁(x,y)只有平移变换。接着采用相位相关法计算平移量x₀和y₀。通过平移量即可计算两帧图像的重叠度：横向重叠度为纵向重叠度为其中w,h分别为视频图像的宽与高。当横向或纵向重叠度任一个小于50％时，则将当前帧选为关键帧。由于Fourier-Mellin变换在频域进行，与图像空间分辨率无关，因此可对原始帧进行降采样操作，以减少计算量，提高拼接效率。

在一些实施例中，所述步骤S3，：对相邻关键帧进行图像配准包括：提取两关键帧的重叠区域进行快速SIFT匹配，并利用RANSAC算法及最小二乘法计算当前关键帧相对上一关键帧的变换矩阵。

在一些实施例中，SIFT算法采取由粗到精的匹配策略。所述提取两关键帧的重叠区域进行快速SIFT匹配包括以下步骤：对相邻关键帧进行粗匹配获取初始匹配点对；从初始匹配结果中选取分布在重叠区四周的2～4个匹配点对并计算出其对应的原始图像像素位置；以该像素位置为中心在原始图像对上选取大小为128×128像素的2～4个图像块；对选取的图像块进行精匹配获得最终匹配点对。

在一些实施例中，在步骤S1：获取视频图像之前还包括步骤：设定固定大小的图像块。

在一些实施例中，所述利用RANSAC算法及最小二乘法计算当前关键帧相对上一关键帧的变换矩阵包括以下步骤：若当前两帧为初始拼接帧，则直接对当前关键帧进行变换，并将当前变换矩阵存储为累积变换矩阵；

反之，则将当前变换乘以累积变换矩阵作为当前关键帧的变换矩阵，然后对其进行变换，并将该变换矩阵存储为累积变换矩阵。

在一些实施例中，所述步骤：将进行图像配准的关键帧拼接为全景图包括：根据变换矩阵中的平移量判断拼接完当前关键帧的全景图像的尺寸。在此过程中，考虑到当已拼接完成的全景图较大时，对其像素重新赋值需花费较长时间，本发明在拼接开始时即设定固定大小的图像块(20480×20480或更大)供后续拼接使用，当实际拼接图的高或宽超过预设值即将当前全景图进行存储，然后重新开始拼接。

根据本发明提出的视频图像拼接方法，采用FFT-Mellin变换快速计算视频相邻帧的重叠度，根据重叠度选取关键帧，去除冗余数据；然后进行图像配准，将关键帧拼接为全景图，在保证拼接精度的前提下提高了拼接效率。

本发明的另一个实施例还提出了一种视频图像拼接装置100，如图2所示，所述视频图像拼接装置100包括：图像获取单元10，关键帧选取单元20，图像配准单元30，和拼接单元40。

所述图像获取单元10用于获取视频图像。所述关键帧选取单元20采用FFT-Mellin变换判断视频图像相邻帧的重叠度，并根据重叠度选取关键帧。所述图像配准单元30对相邻关键帧进行图像配准。所述拼接单元40将进行图像配准的关键帧拼接为全景图。

在一些实施例中，所述视频图像拼接装置100，还包括：图像块设定单元50，所述图像块设定单元50将所述视频图像设定为固定大小的图像块。

在一些实施例中，若当前帧与上一关键帧重叠度低于50％，则将当前帧作为当前关键帧。

根据本发明提出的视频图像拼接装置，通过关键帧选取单元采用FFT-Mellin变换快速计算视频相邻帧的重叠度，根据重叠度选取关键帧，去除冗余数据；然后采用图像配准单元进行图像配准，将关键帧拼接为全景图，在保证拼接精度的前提下提高了拼接效率。

以下对本发明的实施过程做进一步的说明：

1)根据具体应用设定固定大小的图像块。

2)获取视频图像，将第一帧设为关键帧，并读取下一帧数据，进行FFT-Mellin变换，判断两帧的重叠度。

3)若当前帧与上一关键帧重叠度低于50％，则将当前帧作为当前关键帧。

4)根据重叠度提取两关键帧的重叠区域进行快速SIFT匹配，并利用RANSAC算法及最小二乘法计算当前关键帧相对上一关键帧的变换矩阵。

5)若当前两帧为初始拼接帧，则直接对当前关键帧进行变换，并将当前变换矩阵存储为累积变换矩阵；反之，则将当前变换乘以累积变换矩阵作为当前关键帧的变换矩阵，然后对其进行变换，并将该变换矩阵存储为累积变换矩阵。

6)根据变换矩阵中的平移量判断拼接完当前关键帧的全景图像的尺寸，若在预设范围内，则将变换后的当前关键帧填充到全景图中；反之，则将当前全景图像进行存储，然后清空全景图像数据块，同时清零累积变换矩阵，并将当前关键帧设为上一关键帧。

7)获取下一帧数据，重复2)～5)步骤，直到拼接结束。获取的待处理视频图像如图3所示，实际拼接结果如图4所示。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。