一种视频图像拼接方法及装置制造方法
【专利摘要】本发明实施例公开了一种视频图像拼接方法及装置，方法包括：获取摄像机拍摄相邻两个视频帧时的相对运动关系；根据所述相对运动关系对所述相邻两个视频帧进行特征提取；根据所提取的特征对所述相邻两个视频帧进行特征匹配；根据匹配结果对所述相邻两个视频帧进行拼接与融合，能够使视频图像拼接的效率更高。
【专利说明】一种视频图像拼接方法及装置
【技术领域】
[0001] 本发明涉及图像处理【技术领域】，具体涉及视频图像处理技术，尤其涉及一种视频 图像拼接方法及装置。
【背景技术】
[0002] 现有技术中，目前常用的视频图像拼接方法主要有基于区域的图像拼接方法和基 于特征的图像拼接方法。基于区域的图像拼接方法又可分为基于空间像素匹配的拼接算法 和基于频域的拼接算法；基于特征的拼接方法主要根据采取采集特征的不同进行区分，t匕 如早期的轮廓特征以及后来出现的SIFT特征、SURF特征、0RB特征等。
[0003] 基于区域的图像拼接方法中，基于像素匹配的拼接算法，主要通过两幅图像像素 间的灰度关系来确定图像间的变化参数。早期的匹配方法是通过在相邻重叠部分进行平 移，然后比较两幅图像的匹配度，需要测试所有的平移情况。这种方法运算量极大，而且不 能解决旋转和尺度变换问题。还有采用基于金字塔结构的多分辨率匹配进行最优匹配搜 索，可以在一定程度上解决尺度变换问题，但是对于旋转问题解决的不理想。基于频域的拼 接方法，是通过对两幅图像做二维离散傅里叶变换，通过频域内的相关关系反变换得到空 间域的相关关系。
[0004] 基于特征的图像拼接方法，这种方法不是利用图像的全部信息，而是首先在图像 中提取特征，通过比较两幅图像的特征得到图像间的变化关系。采用轮廓提取的方法，首先 对图像进行卷积增强，检测图像中像素符号变化的点（过零点）作为边界点，提取轮廓后 进行特征描述。米用SIFT (Scale Invariant and Feature Transform)，这种方法首先通过 建立拉普拉斯金字塔来消除尺度变化的影响，然后在尺度空间内进行特征检测，并根据关 键点邻域的梯度方向确定特征点的方向，进而解决尺度及旋转问题。对于基于特征点的图 像拼接算法，对拼接质量及速度影响最大的主要在与特征选取，随后出现的SURF特征、0RB 特征等都在保证一定质量的情况下更加侧重速度的提升。
[0005] 目前视频图像拼接普遍依赖于无人机遥测数据的解析，例如经纬度、高度、速度、 俯仰、横滚等信息，需要参考这些数据来执行图像匹配操作，而实际飞行中遥测数据可能与 视频不同步，或出现某些无人机遥测数据无法获取的情况，导致传统的视频图像拼接方法 无法实现真正的实时拼接。因此，现有技术在追求拼接精度时很难达到实时的效果，而在追 求实时的情况下对于上述复杂情况考虑不周全，难以兼顾精度和速度。
[0006] 以无人机领域为例，我国目前无人机应用发展迅速，无论是军用还是民用领域，无 人机的行业应用日益扩展和深入发展，比如军事目标搜寻、石油管道监测、电力巡线、林业 防火预警、农业调查等。在这些行业应用中，无人机作为一种遥感应用的延伸平台，视频数 据采集及视频数据处理是遥感数据分析的基础，而能够得到实时拼接的视频信息将非常有 助于数据实时分析。
[0007] 虽然技术人员已经从多种不同的方向对视频图像拼接技术进行了不同程度的改 进与优化，但是，目前的视频图像拼接方法仍然普遍存在如下问题：
[0008] 无人机在飞行过程中由于自身运动导致所拍摄的视频图像可能会出现平移、旋 转、尺度变化等多种运动，所拍摄的视频图像的背景可能是海洋、草地、沙漠等特征非常不 明显的区域，现有方法没有充分考虑无人机获取视频数据过程中这种复杂状况对后续拼接 所造成的影响，而且现有方法大多利用一种特征对无人机获取的视频图像进行拼接，导致 在上述复杂条件下的拼接结果不够理想。
【发明内容】
[0009] 有鉴于此，本发明实施例提供一种视频图像拼接方法及装置，以实现对视频帧进 行实时、准确、高效地拼接。
[0010] 本发明实施例采用以下技术方案：
[0011] 第一方面，本发明实施例提供了一种视频图像拼接方法，包括：
[0012] 获取摄像机拍摄相邻两个视频巾贞时的相对运动关系；
[0013] 根据所述相对运动关系对所述相邻两个视频帧进行特征提取；
[0014] 根据所提取的特征对所述相邻两个视频帧进行特征匹配；
[0015] 根据匹配结果对所述相邻两个视频帧进行拼接与融合。
[0016] 第二方面，本发明实施例还提供了一种视频图像拼接装置，包括：
[0017] 运动关系获取单兀，用于获取摄像机拍摄相邻两个视频巾贞时的相对运动关系；
[0018] 特征提取单元，用于根据所述相对运动关系对所述相邻两个视频帧进行特征提 取；
[0019] 特征匹配单元，用于根据所提取的特征对所述相邻两个视频帧进行特征匹配；
[0020] 视频帧拼接单元，用于根据匹配结果对所述相邻两个视频帧进行拼接与融合。
[0021] 本发明实施例提出的技术方案的有益技术效果是：
[0022] 本发明实施例的技术方案通过获取摄像机拍摄相邻两个视频帧时的相对运动关 系，根据所述相对运动关系对所述相邻两个视频帧进行特征提取和特征匹配，根据所述视 频图像特征匹配装置获取的匹配结果对所述相邻两个视频帧进行拼接与融合能达到实时、 准确、高效。
【专利附图】
【附图说明】
[0023] 为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所 需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施 例的内容和这些附图获得其他的附图。
[0024] 图1是本发明具体实施例一所述的视频图像拼接方法流程图；
[0025] 图2是本发明具体实施例二所述的视频图像拼接方法流程图；
[0026] 图3是本发明具体实施例三所述的视频图像拼接方法流程图；
[0027] 图4是本发明具体实施例三中采用的FREAK算子的采样结构示意图；
[0028] 图5是本发明具体实施例四所述的视频图像拼接装置的结构框图。
【具体实施方式】
[0029] 为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面 将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅 是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在 没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0030] 下面结合附图并通过【具体实施方式】来进一步说明本发明的技术方案。
[0031] 实施例一
[0032] 图1是本实施例所述的视频图像拼接方法流程图，本实施例可适用于对摄像机拍 摄相邻两个视频帧进行图像拼接的情况，该方法可以由视频图像拼接装置来执行，如图1 所示，本实施例所述的视频图像拼接方法包括：
[0033] 步骤S101、获取摄像机拍摄相邻两个视频巾贞时的相对运动关系。
[0034] 本实施例所称的运动关系用于表征所述摄像机在拍摄所述相邻两个视频帧的过 程中是否发生了较大的偏转，简而言之即所述摄像机在拍摄所述相邻两个视频帧的过程中 是否进行了旋转。
[0035] 获取摄像机拍摄相邻两个视频帧时的相对运动关系的方法包括多种，例如对所述 相邻两个视频帧进行分析获取摄像机拍摄所述相邻两个视频帧时的相对运动关系，又如在 摄像机或摄像机所在的运动载体上安装传感器，根据所述传感器获取摄像机拍摄所述相邻 两个视频巾贞时的相对运动关系。
[0036] 其中，对所述相邻两个视频帧进行分析获取摄像机拍摄所述相邻两个视频帧时的 相对运动关系，还可进一步包括对所述相邻两个视频帧进行运动估计分析获取摄像机拍摄 所述相邻两个视频帧时的相对运动关系。
[0037] 作为优选，所述运动估计的具体方法优选光流法，S卩，对所述相邻两个视频帧进行 基于光流算法的运动估计分析，从而获取摄像机拍摄所述相邻两个视频帧时的相对运动关 系。
[0038] 当然，此处所使用的光流法仅仅是示例性的一种优选方法，本领域技术人员需要 明确的是，还可以采用其他运动估计方法来实现这一目的。
[0039] 步骤S102、根据所述相对运动关系对所述相邻两个视频帧进行特征提取。
[0040] 获取摄像机拍摄相邻两个视频帧时的相对运动关系之后，可根据所述相对运动关 系选择合适的特征提取方式（例如特征提取算法）。例如可预先对不同运动关系采用的特 征提取方式进行预先设定，以针对不同的运动关系选择不同的特征提取方式，能增加视频 图像拼接的灵活性。
[0041] 进一步地，根据所述相对运动关系可以选择对所述相邻两个视频帧进行特征提取 的具体算法。
[0042] 例如，如果所述相对运动关系为旋转关系，则使用SIFT特征提取算法对所述相邻 两个视频帧进行特征提取；
[0043] 如果所述相对运动关系为平移关系，则使用FREAK特征提取算法对所述相邻两 个视频帧进行特征提取。
[0044] 如果所述相对运动关系为旋转关系，说明摄像机存在较大的偏转，而SIFT特征提 取算法对于这种情况下所拍摄的图像能够提取到更好的特征，此时采用SIFT算法来处理 旋转运动下的图像具有较佳的特征提取效果。
[0045] 如果所述相对运动关系为平移关系，说明摄像机平稳运动而未发生较大的偏转， 可以选择例如SURF、0RB或FREAK等特征提取算法。需要说明的是，SURF、0RB和FREAK这 些特征提取算法处理速度较高，而根据实际应用的情况得知，相比于SURF、ORB算法，FREAK 算法具有更高的处理速度。因此，如果所述相对运动关系为平移关系，优选使用FREAK算法 来对所述相邻两个视频帧进行特征提取。
[0046] 但是，本领域的技术人员需要明确的是，由于FREAK算法仍然存在一定的不足， 例如，FREAK算法必须提取出较大数目的特征才能保证后续特征匹配的准确性，也就是说， FREAK算法更加适用于处理特征数量比较大的情况，只有这样才能在提高处理速度的同时 保证所提取特征具有较高的质量。而SIFT特征提取算法则比较适合特征数量比较少的情 况，如果特征数量较大，则SIFT算法的性能会急速下降。这两种方法存在一种互补效应。
[0047] 因此，本实施例的技术方案还可设定一个阈值（以下称为第一阈值），用于当相对 运动关系为平移关系时，首先使用FREAK特征提取算法对所述相邻两个视频帧进行特征提 取，如果提取的特征数量小于预设第一阈值，再重新使用SIFT特征提取算法对所述相邻两 个视频帧进行特征提取使用这种方式能对FREAK特征提取算法和SIFT特征提取算法进行 自适应选择，能够兼顾特征提取速度和特征提取效果两个方面。
[0048] 步骤S103、根据所提取的特征对所述相邻两个视频帧进行特征匹配。
[0049] 步骤S104、根据所述视频图像特征匹配装置获取的匹配结果对所述相邻两个视频 帧进行拼接与融合。
[0050] 本实施例的技术方案通过获取摄像机拍摄相邻两个视频帧时的相对运动关系，根 据所述相对运动关系对所述相邻两个视频帧进行特征提取和特征匹配，能够使视频图像拼 接的效率更高。
[0051] 实施例二
[0052] 图2是本实施例所述的视频图像拼接方法流程图，如图2所示，本实施例所述的视 频图像拼接方法包括：
[0053] 步骤S201、读取当前视频中贞。
[0054] 步骤S202、获取当前视频帧与上一帧之间的相对运动关系。
[0055] 作为优选，可将摄像机在拍摄两帧视频帧之间的相对运动关系主要划分为旋转关 系和平移关系。旋转和平移是最基本的两种运动方式，其他复杂的复合运动方式大都可分 解成这两种运动。由于摄像机不同的运动方式会导致所拍摄的视频帧相应地具有不同的特 点，为了从所拍摄到的视频帧中提取到能更好地表示其特点的特征，本实施例优选为，根据 前视频帧与上一帧之间的相对运动关系针对性地采用不同的特征提取算法，以从摄像机所 拍摄到的视频帧中高效地提取更有代表性的特征。
[0056] 步骤S203、判断相对运动关系是否是平移关系，若是则执行操作S204,否则执行 操作S207。
[0057] 步骤S204、进行匹配区域计算。
[0058] 本实施例中，本操作为非必要操作，用于去除掉一些没用的区域对。例如通过 BRISK描述子中引进的空间距离策略去除一些没用的区域。
[0059] 步骤S205、进行FREAK特征提取。
[0060] 通过FREAK算法提取所述当前视频帧与所述当前视频帧的上一视频帧（邻两个视 频帧）进行特征提取。
[0061] 步骤S206、判断特征量是否小于预设第一阈值，若是则执行操作S207,否则执行 操作S208。
[0062] 所述预设第一阈值可基于所述摄像机的分辨率来确定，所述预设第一阈值优选为 不小于90且不大于110。
[0063] 例如，在摄像机所拍摄的图像为标清图像（即分辨率为768*576)的情况下，可以 将所述第一阈值的取值范围设为不小于90且不大于110,例如取值100。可通过实验来确 定比较合适的实际取值。
[0064] 步骤S207、进行SIFT特征提取。
[0065] 通过FREAK算法提取所述当前视频帧与所述当前视频帧的上一视频帧（邻两个视 频帧）进行特征提取。
[0066] 步骤S208、进行特征匹配。
[0067] 步骤S209、进行视频帧拼接与融合，结束。
[0068] 本实施例的技术方案通过设定预设第一阈值，用于当相对运动关系为平移关系 时，首先使用FREAK特征提取算法进行特征提取，如果提取的特征数量小于所述预设第一 阈值，则重新使用SIFT特征提取算法对所述相邻两个视频帧进行特征提取。通过对FREAK 特征提取算法和SIFT特征提取算法进行自适应选择，能够兼顾特征提取速度和特征提取 效果两个方面。
[0069] 实施例三
[0070] 本实施例以无人机对地观测数据经过链路传至地面控制站，经过基于视频内容的 运动估计与图像特征提取，根据匹配策略对当前帧与保存帧进行特征匹配为例，公开了一 种无人机对地观测数据视频图像拼接方法，图3是本实施例的述的方法的流程图，过程如 下：
[0071] 步骤S301、将无人机视频信息通过通信链路传输到地面控制站。
[0072] 本操作中，所述视频信息即为包括多个视频帧的视频流。目前一般民用无人机本 地的计算能力有限，可在地面控制站进行实时处理。
[0073] 步骤S302、对第一个视频帧进行定位和初始化。
[0074] 视频的第一个视频帧到来时，可定义为初始帧，将该视频帧初始化到地理信息基 准的原点上，作为缓存帧。
[0075] 步骤S303、犾取摄像机拍摄相邻两个视频巾贞时的相对运动关系。
[0076] 根据相邻两个视频帧对摄像机进行运动估计。需要说明的是，此时摄像机与无人 机同步运动，对摄像机进行运动估计亦即是对无人机进行运动估计。如果不是传输得到的 第一帧视频帧，那么以该视频帧之前的视频帧为基准视频帧，根据该视频帧之前的视频帧 以及该视频帧的图像信息，运用基于局部-全局混合的光流算法来获取摄像机（亦即无人 机）在由拍摄当前视频帧之前到拍摄该当前视频帧时
[0077] 的运动状态是否存在较大的偏转，即拍摄这两个视频帧时的相对运动关系），例如 获取拍摄这两帧之间的偏转角度。
[0078] 将该视频帧的图像信息作为待匹配缓存图像。
[0079] 步骤S304、进行特征点提取。
[0080] 若相对运动关系的结果表明无人机存在较大的偏转则对基准视频帧以及当前帧 的图像进行SIFT特征点的提取，若运动估计结果表明无人机不存在较大的偏转，则对当前 帧的图像提取进行FREAK特征点的提取和描述子的提取。可设定一个阈值（以下称为第一 阈值），获取的特征数目为N，若N大于所述第一阈值则对基准视频帧以及当前视频帧的图 像进行SIFT特征点的提取。
[0081] FREAK特征点及描述子提取方法：
[0082] (1)关键点检测子：
[0083] 这里采用BRISK中提出的多尺度AGAST检测子。
[0084] 本发明中采用的是BRISK检测算法中提出的多尺度AGAST检测子，具体过程如 下；
[0085] 1)进行尺度空间金字塔结构的构造。
[0086] 和SIFT算法类似，尺度空间金字塔是由不同的尺度构成，相互连续的两个尺度之 间由 OCTAVE (Operationally Critical Treat, Asset, and Vulnerability Evaluation,可 操作的关键威胁、资产和薄弱点评估）构成。
[0087] 2)通过阈值选取合适的关键点。
[0088] 3)去除不符合条件的关键点。
[0089] (2)二进制描述子的构建：
[0090] 图4是采用的FREAK算子的采样结构示意图，FREAK特征采样模式类似视网膜神 经细胞接受区域的分布，每个圆圈代表一个可接受区域，通过如图4所示的几十个可接受 区域，得到上千对区域对就可以构建一个高维描述子。通过BRISK描述子中引进的空间距 离策略去除一些没用的区域对。通过这种方法得到的区域对可能高相关缺少区分度。这里 采用0RB中描述的方法，通过训练数据去获取最好的区域对，具体方法如下所示：
[0091] a.将提取的关键点用来建立矩阵。每行对应一个关键点，描述子是通过在图2中 的视网膜的采样模式中选取所有可能的采样对。
[0092] b.计算每列的均值。变化程度较大的特征有认为是有区分度的特征，变化最大的 二进制分布均值为0.5。
[0093] c.根据变化量对列进行排序。
[0094] d.保留最好的列（例如均值0. 5)，将选择的列反复的加在剩下的低相关的列上。
[0095] 在得到的最佳接收区域对的基础上，通过阈值化接收区域对应的高斯核得到二进 制描述子F :
[0096]
【权利要求】
1. 一种视频图像拼接方法，其特征在于，包括： 获取摄像机拍摄相邻两个视频巾贞时的相对运动关系； 根据所述相对运动关系对所述相邻两个视频帧进行特征提取； 根据所提取的特征对所述相邻两个视频帧进行特征匹配； 根据匹配结果对所述相邻两个视频帧进行拼接与融合。
2. 如权利要求1所述的方法，其特征在于，获取摄像机拍摄相邻两个视频帧时的相对 运动关系的操作包括：对所述相邻两个视频帧进行运动估计分析获取摄像机拍摄所述相邻 两个视频巾贞时的相对运动关系。
3. 如权利要求2所述的方法，其特征在于，对所述相邻两个视频帧进行运动估计分析 获取摄像机拍摄所述相邻两个视频帧时的相对运动关系的操作包括：对所述相邻两个视频 帧进行基于光流算法的运动估计分析获取摄像机拍摄所述相邻两个视频帧时的相对运动 关系。
4. 如权利要求1所述的方法，其特征在于，所述相对运动关系包括旋转关系和平移关 系。
5. 如权利要求4所述的方法，其特征在于，根据所述相对运动关系对所述相邻两个视 频帧进行特征提取的操作具体包括： 如果所述相对运动关系为旋转关系，则使用SIFT特征提取算法对所述相邻两个视频 帧进行特征提取；和/或 如果所述相对运动关系为平移关系，则使用FREAK特征提取算法对所述相邻两个视频 帧进行特征提取。
6. 如权利要求4所述的方法，其特征在于，根据所述相对运动关系对所述相邻两个视 频帧进行特征提取的操作具体包括： 如果所述相对运动关系为平移关系，则使用FREAK特征提取算法对所述相邻两个视频 帧进行特征提取，如果提取的特征数量小于预设第一阈值，则重新使用SIFT特征提取算法 对所述相邻两个视频帧进行特征提取。
7. 如权利要求6所述的方法，其特征在于，所述预设第一阈值基于所述摄像机的分辨 率来确定。
8. 如权利要求6或7所述的方法，其特征在于，所述预设第一阈值不小于90且不大于 110。
9. 一种视频图像拼接装置，其特征在于，包括： 运动关系获取单兀，用于获取摄像机拍摄相邻两个视频巾贞时的相对运动关系； 特征提取单元，用于根据所述相对运动关系对所述相邻两个视频帧进行特征提取； 特征匹配单元，用于根据所提取的特征对所述相邻两个视频帧进行特征匹配； 视频帧拼接单元，用于根据匹配结果对所述相邻两个视频帧进行拼接与融合。
10. 如权利要求9所述的装置，其特征在于，所述运动关系获取单元用于：对所述相邻 两个视频帧进行运动估计分析获取摄像机拍摄所述相邻两个视频帧时的相对运动关系。
11. 如权利要求10所述的装置，其特征在于，所述运动关系获取单元用于：对所述相邻 两个视频帧进行基于光流算法的运动估计分析获取摄像机拍摄所述相邻两个视频帧时的 相对运动关系。
12. 如权利要求9所述的装置，其特征在于，所述相对运动关系包括旋转关系和平移关 系。
13. 如权利要求12所述的装置，其特征在于，所述特征提取单元用于： 如果所述相对运动关系为旋转关系，则使用SIFT特征提取算法对所述相邻两个视频 帧进行特征提取；和/或 如果所述相对运动关系为平移关系，则使用FREAK特征提取算法对所述相邻两个视频 帧进行特征提取。
14. 如权利要求12所述的装置，其特征在于，所述特征提取单元用于： 如果所述相对运动关系为平移关系，则使用FREAK特征提取算法对所述相邻两个视频 帧进行特征提取，如果提取的特征数量小于预设第一阈值，则重新使用SIFT特征提取算法 对所述相邻两个视频帧进行特征提取。
15. 如权利要求14所述的装置，其特征在于，所述预设第一阈值基于所述摄像机的分 辨率来确定；或 所述预设第一阈值不小于90且不大于110。
【文档编号】G06T5/50GK104301630SQ201410458065
【公开日】2015年1月21日 申请日期:2014年9月10日 优先权日:2014年9月10日
【发明者】赵恩伟, 王诗奎, 伍小洁, 杨鹤猛, 李成龙, 张增, 王森, 张娟, 刘金玉 申请人:天津航天中为数据系统科技有限公司