低空飞行场景的无人机视频稳定方法和装置与流程
本发明涉及通信技术领域，尤其涉及一种低空飞行场景的无人机视频稳定方法和装置。
背景技术：
无人机视频稳定技术，主要是为解决大气湍流、旋桨震动和姿态变换等原因造成的无人机视频画面抖动问题。该技术可仅根据无人机拍摄视频中的图像信息，通过计算机图形变换，还原出稳定的观察视野，对增强无人机拍摄视频可用性具有重大意义。
当前无人机视频稳定方法中，主要以估计图像序列间的变换矩阵为基础，将某一帧作为基准对所有帧进行补偿，使所有帧的视角接近所选帧，也可以对变换矩阵进行平滑，从而得到一系列相对稳定的图像。由于这类方法对每帧只采用线性变换，因而算法健壮性好、处理速度快，适合在高空中以及视频内容稳定时使用。然而，在低空拍摄场景中，当前无人机视频稳定方法仍有不足，一方面不能解决低空中场景的视差问题，另一方面也易受到卷帘效应的影响。
技术实现要素：
本发明提供一种低空飞行场景的无人机视频稳定方法和装置，用于解决现有无人机视频稳定技术中低空飞行场景可用性差的问题，。
本发明的第一个方面是提供一种低空飞行场景的无人机视频稳定方法，包括：
提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹以及轨迹长度；
将特征点的轨迹长度与特征点轨迹长度阈值进行比较，分别获取特征点长轨迹和特征点短轨迹；
对特征点长轨迹的坐标值采用低通滤波进行平滑处理，得到平滑后的特征点长轨迹；
对特征点长轨迹以及平滑后的特征点长轨迹进行多平面优化计算，得到每帧图片对应的全局变换矩阵；
采用全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换以及平滑处理，得到平滑后的特征点短轨迹；
对所述平滑后的特征点长轨迹与平滑后的特征点短轨迹进行合并得到特征点平滑轨迹，采用多平面优化方法对各个特征点轨迹和特征点平滑轨迹进行计算，得到每帧图片对应的目标变换矩阵；
依次对待稳定视频每帧图片中的每个像素采用对应的目标变换矩阵进行坐标变换，得到稳定的无人机视频。
进一步地，所述对特征点长轨迹以及平滑后的特征点长轨迹进行多平面优化计算，得到每帧图片对应的全局变换矩阵，包括：
针对每帧图片，获取各个特征点长轨迹中所述图片对应的各个特征点的坐标；
获取平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标；
采用多平面优化方法对各个特征点长轨迹中所述图片对应的各个特征点的坐标，以及平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标进行计算，得到所述图片对应的全局变换矩阵。
进一步地，所述采用全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换以及平滑处理，得到平滑后的特征点短轨迹，包括：
采用各帧图片对应的全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换，得到特征点短轨迹中各个特征点变换后的坐标；
对特征点短轨迹中各个特征点变换后的坐标进行组合，得到预稳定的特征点短轨迹；
对所述预稳定的特征点短轨迹进行b样条曲线拟合，得到平滑后的特征点短轨迹。
进一步地，所述b样条曲线拟合函数为
进一步地，b样条基函数为
其中k为b样条幂次，u为节点，i为b样条的序列帧号。
本发明中，通过提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹以及轨迹长度，并结合特征点轨迹长度阈值进行分类，得到特征点长轨迹和特征点短轨迹，基于特征点长轨迹和经低通滤波处理得到的平滑后的特征点长轨迹，计算得到每帧图片对应的全局变换矩阵，结合每帧图片对应的全局变换矩阵、特征点短轨迹以及平滑处理手段，得到平滑后的短轨迹，采用多平面优化方法对各个特征点轨迹以及特征点平滑轨迹进行计算，得到每帧图片对应的目标变换矩阵，依次对待稳定视频每帧图片中的每个像素采用对应的目标变换矩阵进行坐标变换，得到稳定的无人机视频，本发明对特征点的轨迹的分类，对每帧图片对应的全局变换矩阵的计算，使得每帧图片可以采用不同的变换规则描述其运动，能够精确地描述不同区域的运动，本发明结合多平面优化方法的使用，能够一定程度解决无人机低空飞行场景卷帘效应，以及cmos相机高频振动场景对视频的影响，从而提高无人机视频的稳定效果，提高无人机视频的可用性。
本发明的第二个方面是提供一种低空飞行场景的无人机视频稳定装置，包括：
提取模块，用于提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹以及轨迹长度；
比较模块，用于将特征点的轨迹长度与特征点轨迹长度阈值进行比较，分别获取特征点长轨迹和特征点短轨迹；
滤波处理模块，用于对特征点长轨迹的坐标值采用低通滤波进行平滑处理，得到平滑后的特征点长轨迹；
第一计算模块，用于对特征点长轨迹以及平滑后的特征点长轨迹进行多平面优化计算，得到每帧图片对应的全局变换矩阵；
变换模块，用于采用全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换以及平滑处理，得到平滑后的特征点短轨迹；
第二计算模块，用于对所述平滑后的特征点长轨迹与平滑后的特征点短轨迹进行合并得到特征点平滑轨迹，采用多平面优化方法对各个特征点轨迹和特征点平滑轨迹进行计算，得到每帧图片对应的目标变换矩阵；
位移补偿模块，用于依次对待稳定视频每帧图片中的每个像素采用对应的目标变换矩阵进行坐标变换，得到稳定的无人机视频。
进一步地，所述第一计算模块包括：
第一获取单元，用于针对每帧图片，获取各个特征点长轨迹中所述图片对应的各个特征点的坐标；
第二获取单元，用于获取平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标；
计算单元，采用多平面优化方法对各个特征点长轨迹中所述图片对应的各个特征点的坐标，以及平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标进行计算，得到所述图片对应的全局变换矩阵。
进一步地，所述变换模块包括：
变换单元，用于采用各帧图片对应的全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换，得到特征点短轨迹中各个特征点变换后的坐标；
组合单元，用于对特征点短轨迹中各个特征点变换后的坐标进行组合，得到预稳定的特征点短轨迹；
曲线拟合单元，用于对所述预稳定的特征点短轨迹进行b样条曲线拟合，得到平滑后的特征点短轨迹。
进一步地，所述b样条曲线拟合函数为
进一步地，b样条基函数为
其中k为b样条幂次，u为节点，i为b样条的序列帧号。
本发明中，通过提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹，并结合特征点轨迹长度阈值进行分类，得到特征点长轨迹和特征点短轨迹，基于特征点长轨迹和经低通滤波处理得到的平滑后的特征点长轨迹，计算得到每帧图片对应的全局变换矩阵，结合每帧图片对应的全局变换矩阵、特征点短轨迹以及平滑处理手段，得到平滑后的短轨迹，采用多平面优化方法对各个特征点轨迹以及特征点平滑轨迹进行计算，得到每帧图片对应的目标变换矩阵，依次对待稳定视频每帧图片中的每个像素采用对应的目标变换矩阵进行坐标变换，得到稳定的无人机视频，本发明对特征点的轨迹的分类，对每帧图片对应的全局变换矩阵的计算，使得每帧图片可以采用不同的变换规则描述其运动，能够精确地描述不同区域的运动，本发明结合多平面优化方法的使用，能够一定程度解决无人机低空飞行场景卷帘效应，以及cmos相机高频振动场景对视频的影响，从而提高无人机视频的稳定效果，提高无人机视频的可用性。
附图说明
图1为本发明提供的低空飞行场景的无人机视频稳定方法一个实施例的流程图；
图2为本发明提供的低空飞行场景的无人机视频稳定方法又一个实施例的流程图；
图3为本发明提供的低空飞行场景的无人机视频稳定方法又一个实施例的流程图；
图4为本发明提供的低空飞行场景的无人机视频稳定装置一个实施例的结构示意图；
图5为本发明提供的低空飞行场景的无人机视频稳定装置又一个实施例的结构示意图；
图6为本发明提供的低空飞行场景的无人机视频稳定装置又一个实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的低空飞行场景的无人机视频稳定方法一个实施例的流程图，如图1所示，包括：
101、提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹以及轨迹长度。
具体地，可以采用角点跟踪方法，以帧间灰度差平方和为度量，得到待稳定视频中的特征点及其坐标信息，并将各帧图片中的相同特征点进行关联，得到各个特征点的轨迹以及轨迹长度。
102、将特征点的轨迹长度与特征点轨迹长度阈值进行比较，分别获取特征点长轨迹和特征点短轨迹。
具体地，将特征点的轨迹映射到x-y坐标系后，可以将轨迹长度大于特征点轨迹长度阈值τ的特征点轨迹确定为特征点长轨迹tl，将轨迹长度小于特征点轨迹长度阈值τ的特征点轨迹确定为特征点短轨迹ts。
103、对特征点长轨迹的坐标值采用低通滤波进行平滑处理，得到平滑后的特征点长轨迹。
具体地，可以采用一维高斯滤波器或者轨迹滤波器等对特征点长轨迹中特征点的横坐标轨迹和纵坐标轨迹分别进行一维低通滤波，通过估计特征点横坐标平滑轨迹的位置以及纵坐标平滑轨迹的位置，得到稳定的特征点长轨迹，将稳定的特征点长轨迹确定为平滑后的特征点长轨迹tl'。
104、对特征点长轨迹以及平滑后的特征点长轨迹进行多平面优化计算，得到每帧图片对应的全局变换矩阵。
其中，低空飞行场景的无人机视频稳定装置可以采用多平面优化方法将每帧图片划分为多个平面，并结合每个平面中的特征点坐标以及对应的平滑后的特征点坐标计算每一平面的变换矩阵，将变换矩阵集合确定为待稳定图片和目标图片之间的变换关系。
105、采用全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换以及平滑处理，得到平滑后的特征点短轨迹。
具体地，低空飞行场景的无人机视频稳定装置可以采用各帧图片对应的全局变换矩阵对特征点短轨迹中各帧图片所包含的特征点的坐标进行变换，得到预稳定的特征点短轨迹，然后采用曲线拟合的方法，将预稳定的特征点短轨迹拟合为平滑后的特征点短轨迹ts'。
106、对平滑后的特征点长轨迹与平滑后的特征点短轨迹进行合并得到特征点平滑轨迹，采用多平面优化方法对各个特征点的轨迹和特征点平滑轨迹进行计算，得到每帧图片对应的目标变换矩阵。
具体地，低空飞行场景的无人机视频稳定装置获取特征点长轨迹tl，平滑后的特征点长轨迹tl'，特征点短轨迹ts，平滑后的特征点短轨迹ts'之后，可以将特征点长轨迹tl和特征点短轨迹ts组合为特征点的轨迹tc，将平滑后的特征点长轨迹tl'和平滑后的特征点短轨迹ts'组合为平滑后的特征点轨迹tc'，采用多平面优化方法得到每帧图片对应的目标变换矩阵m'＝{h1',h2'...hk-1',hk'}，其中hk'为每一个平面的变换矩阵。
107、依次对待稳定视频每帧图片中的每个像素采用对应的目标变换矩阵进行坐标变换，得到稳定的无人机视频。
其中，设每帧图片中所有像素点的坐标为矩阵
则变换后所有像素点的坐标为p'＝m'p，将每个像素点按坐标p'映射到新的坐标系，得到一帧稳定后的图片。将待稳定视频中各帧图片依次进行上述变换，即可得到稳定后的图片序列；对稳定后的图片序列按序号进行拼接，即可得到稳定视频。
本实施例中，通过提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹以及轨迹长度，并结合特征点轨迹长度阈值进行分类，得到特征点长轨迹和特征点短轨迹，基于特征点长轨迹和经低通滤波处理得到的滤波平滑后的特征点长轨迹，计算得到每帧图片对应的全局变换矩阵，结合每帧图片对应的全局变换矩阵、特征点短轨迹以及曲线拟合手段，得到平滑后的短轨迹，采用多平面优化方法对各个特征点的轨迹以及平滑后的特征点轨迹进行计算，得到每帧图片对应的目标变换矩阵，采用每帧图片对应的目标变换矩阵对待稳定视频相应图片中各个像素点的坐标进行变换处理，得到稳定视频，本发明对特征点的轨迹的分类，对每帧图片对应的全局变换矩阵的计算，使得每帧图片可以采用不同的变换规则描述其运动，能够精确地描述其运动，本发明结合多平面优化方法的使用，能够一定程度解决无人机低空飞行场景卷帘效应，以及cmos相机高频振动场景对视频的影响，从而提高低空飞行场景无人机视频的稳定效果，提高无人机视频的可用性。
图2为本发明提供的无人机视频稳定方法又一个实施例的流程图，如图2所示，在图1所示实施例的基础上，步骤104具体可以包括：
1041、针对每帧图片，获取各个特征点长轨迹中图片对应的各个特征点的坐标。
1042、获取平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标。
1043、采用多平面优化方法对各个特征点长轨迹中所述图片对应的各个特征点的坐标，以及平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标进行计算，得到所述图片对应的全局变换矩阵。
具体地，低空飞行场景的无人机视频稳定装置具体可以先将每帧图片中的所有特征点pk,i，以每个网格四个角点vk的线性内插法来表示，四个角点的线性内插系数表示为ωk，其中k为栅格序号，i为该栅格中特征点序号，通过
其中k为栅格序号，i为该栅格特征点序号，vk”为第k个栅格中稳定后的角点坐标。使此能量项最小，可得到所有内插特征点与平滑特征点欧氏距离之和最小的vk”结果。
另外，每一个网格可以将其划分为两个三角形，每个三角形又可以用相似性来表达其形变。如果我们把
其中
e＝ed+γet，
其中γ为能量项的权重。通过最小化能量式，则可以得出每个网格的四个角点坐标vk'。
此时根据每个网格的原始角点坐标vk和稳定角点坐标vk'，根据单位变换矩阵规则p'＝hp，可计算出对应每个网格的变换矩阵集合m＝{h1,h2...hk-1,hk}，该集合即为全局变换矩阵。
图3为本发明提供的低空飞行场景的无人机视频稳定方法又一个实施例的流程图，如图3所示，在图1所示实施例的基础上，由于只有tl和tl'参与全局变换矩阵计算，该全局变换矩阵对于处理图像周边以及特征点稀疏位置仍不理想，可以采用特征点短轨迹进行补充。因此，步骤105具体可以包括：
1051、采用各帧图片对应的全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换，得到特征点短轨迹中各个特征点变换后的坐标。
具体地，得到各帧图片对应的全局变换矩阵后，可将特征点短轨迹ts中各帧图片包括的特征点的坐标代入各帧图片对应的全局变换矩阵。以p表示特征点坐标，则可得到特征点短轨迹中每个特征点稳定后的坐标p”＝m*p。
1052、对特征点短轨迹中各个特征点变换后的坐标进行组合，得到预稳定的特征点短轨迹。
其中，将各帧图片中的相同特征点稳定后的坐标p”以时间连接为特征点轨迹，则可以得到预稳定的特征点短轨迹，表示为ts”。
1053、对预稳定的特征点短轨迹进行b样条曲线拟合，得到平滑后的特征点短轨迹。
其中，对每个预稳定的特征点短轨迹ts”进行b样条曲线拟合，b样条曲线拟合函数为
其中，b样条基函数为
其中k为b样条幂次，u为节点，i为b样条的序列帧号。对平滑后的b样条曲线在整数帧进行采样，在每一帧得到的点连为平滑轨迹，即为特征点平滑短轨迹ts'。
本实施例中，通过提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹，并结合特征点轨迹长度阈值进行分类，得到特征点长轨迹和特征点短轨迹，针对每帧图片，获取各个特征点长轨迹中图片对应的各个特征点的坐标，获取平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标，采用多平面优化方法对各个特征点长轨迹中所述图片对应的各个特征点的坐标，以及平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标进行计算，得到所述图片对应的全局变换矩阵，采用各帧图片对应的全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换，得到特征点短轨迹中各个特征点变换后的坐标，对特征点短轨迹中各个特征点变换后的坐标进行组合，得到预稳定的特征点短轨迹，对预稳定的特征点短轨迹进行b样条曲线拟合，得到平滑后的特征点短轨迹，采用多平面优化方法对各个特征点轨迹以及特征点平滑轨迹进行计算，得到每帧图片对应的目标变换矩阵，依次对待稳定视频每帧图片中的每个像素采用对应的目标变换矩阵进行坐标变换，得到稳定的无人机视频，本发明对特征点的轨迹的分类，对每帧图片对应的全局变换矩阵的计算，使得每帧图片可以采用不同的变换规则描述其运动，能够精确地描述不同区域的运动，本发明结合多平面优化方法的使用，能够一定程度解决无人机低空飞行场景卷帘效应，以及cmos相机高频振动场景对视频的影响，从而提高无人机视频的稳定效果，提高无人机视频的可用性。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
图4为本发明提供的低空飞行场景的无人机视频稳定装置一个实施例的结构示意图，如图4所示，包括：
提取模块41，用于提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹以及轨迹长度；
比较模块42，用于将特征点的轨迹长度与特征点轨迹长度阈值进行比较，分别获取特征点长轨迹和特征点短轨迹；
滤波处理模块43，用于对特征点长轨迹的坐标值采用低通滤波进行平滑处理，得到平滑后的特征点长轨迹；
第一计算模块44，用于对特征点长轨迹以及平滑后的特征点长轨迹进行多平面优化计算，得到每帧图片对应的全局变换矩阵；
变换模块45，用于采用全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换以及平滑处理，得到平滑后的特征点短轨迹；
第二计算模块46，用于对平滑后的特征点长轨迹与平滑后的特征点短轨迹进行合并得到特征点平滑轨迹，采用多平面优化方法对各个特征点轨迹和特征点平滑轨迹进行计算，得到每帧图片对应的目标变换矩阵；
位移补偿模块47，用于依次对待稳定视频每帧图片中的每个像素采用对应的目标变换矩阵进行坐标变换，得到稳定的无人机视频。
本发明提供的低空飞行场景的无人机视频稳定装置可以为安装在无人机上的视频稳定器或者视频稳定软件，或者可以为安装在后台服务器上的视频稳定软件。
具体地，提取模块41可以采用角点跟踪方法，以帧间灰度差平方和为度量，得到待稳定视频中的特征点及其坐标信息，并将各帧图片中的相同特征点进行关联，得到各个特征点的轨迹。
比较模块42可以将特征点的轨迹映射到x-y坐标系后，将轨迹长度大于特征点轨迹长度阈值τ的特征点轨迹确定为特征点长轨迹tl，将轨迹长度小于特征点轨迹长度阈值τ的特征点轨迹确定为特征点短轨迹ts。
滤波处理模块43具体可以采用一维高斯滤波器或者长轨迹滤波器等对特征点长轨迹中特征点的横坐标轨迹和纵坐标轨迹分别进行一维低通滤波，通过估计特征点横坐标平滑轨迹的位置以及纵坐标平滑轨迹的位置，得到稳定的特征点长轨迹，将稳定的特征点长轨迹确定为平滑后的特征点长轨迹tl'。
第二计算模块46具体可以获取特征点长轨迹tl，平滑后的特征点长轨迹tl'，特征点短轨迹ts，平滑后的特征点短轨迹ts'之后，可以将特征点长轨迹tl和特征点短轨迹ts组合为特征点的轨迹tc，将平滑后的特征点长轨迹tl'和平滑后的特征点短轨迹ts'组合为平滑后的特征点轨迹tc'，采用多平面优化方法得到每帧图片对应的目标变换矩阵m'＝{h1',h2'...hk-1',hk'}。
需要进行说明的是，可以设每帧图片中所有像素点的坐标为矩阵
则变换后所有像素点的坐标为p'＝m'p，将每个像素点按坐标p'映射到新的坐标系，得到一帧稳定后的图片。将待稳定视频中各帧图片依次进行上述变换，即可得到稳定后的图片序列；对稳定后的图片序列按序号进行拼接，即可得到稳定视频。
本实施例中，通过提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹以及轨迹长度，并结合特征点轨迹长度阈值进行分类，得到特征点长轨迹和特征点短轨迹，基于特征点长轨迹和经低通滤波处理得到的滤波平滑后的特征点长轨迹，计算得到每帧图片对应的全局变换矩阵，结合每帧图片对应的全局变换矩阵、特征点短轨迹以及曲线拟合手段，得到平滑后的短轨迹，采用多平面优化方法对各个特征点的轨迹以及平滑后的特征点轨迹进行计算，得到每帧图片对应的目标变换矩阵，采用每帧图片对应的目标变换矩阵对待稳定视频相应图片中各个像素点的坐标进行变换处理，得到稳定视频，本发明对特征点的轨迹的分类，对每帧图片对应的全局变换矩阵的计算，使得每帧图片可以采用不同的变换规则描述其运动，能够精确地描述其运动，本发明结合多平面优化方法的使用，能够一定程度解决无人机低空飞行场景卷帘效应，以及cmos相机高频振动场景对视频的影响，从而提高低空飞行场景的无人机视频的稳定效果，提高无人机视频的可用性。
进一步地，在图4所示实施例的基础上，结合参考图5，所述第一计算模块44还可以包括：
第一获取单元441，用于针对每帧图片，获取各个特征点长轨迹中所述图片对应的各个特征点的坐标；
第二获取单元442，用于获取平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标；
计算单元443，用于采用多平面优化方法对各个特征点长轨迹中所述图片对应的各个特征点的坐标，以及平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标进行计算，得到所述图片对应的全局变换矩阵。
具体地，低空飞行场景的无人机视频稳定装置具体可以先将每帧图片中的所有特征点pk,i，以每个网格四个角点vk的线性内插法来表示，四个角点的线性内插系数表示为ωk，其中k为栅格序号，i为该栅格中特征点序号，通过
其中k为栅格序号，i为该栅格特征点序号，vk”为第k个栅格中稳定后的角点坐标。使此能量项最小，可得到所有内插特征点与平滑特征点欧氏距离之和最小的vk”结果。
另外，每一个网格可以将其划分为两个三角形，每个三角形又可以用相似性来表达其形变。如果我们把
其中s为分割后的所有三角形，联合两个能量项优化：
e＝ed+γet，
其中γ为两能量项的权重。通过最小化能量式，则可以得出每个网格的四个角点坐标vk'。
此时根据每个网格的原始角点坐标vk和稳定角点坐标vk'，根据单位变换矩阵规则p'＝hp，可计算出对应每个网格的变换矩阵集合m＝{h1,h2...hk-1,hk}，该集合即为全局变换矩阵。
进一步地，在图4所示实施例的基础上，结合参考图6，所述变换模块45还可以包括：
变换单元451，用于采用各帧图片对应的全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换，得到特征点短轨迹中各个特征点变换后的坐标；
组合单元452，用于对特征点短轨迹中各个特征点变换后的坐标进行组合，得到预稳定的特征点短轨迹；
曲线拟合单元453，用于对所述预稳定的特征点短轨迹进行b样条曲线拟合，得到平滑后的特征点短轨迹。
其中，得到各帧图片对应的全局变换矩阵后，变换单元451可将特征点短轨迹ts中各帧图片包括的特征点的坐标代入各帧图片对应的全局变换矩阵。以p表示特征点坐标，则可得到特征点短轨迹中每个特征点稳定后的坐标p”＝m*p。组合单元452将各帧图片中的相同特征点稳定后的坐标p”以时间连接为特征点轨迹，则可以得到预稳定的特征点短轨迹，表示为ts”。
其中，对每个预稳定的特征点短轨迹ts”进行b样条曲线拟合，b样条曲线拟合函数满足
其中，b样条基函数为
其中k为b样条幂次，u为节点，i为b样条的序列帧号。对平滑后的b样条曲线在整数帧进行采样，在每一帧得到的点连为平滑轨迹，即为特征点平滑短轨迹ts'。
本实施例中，通过提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹，并结合特征点轨迹长度阈值进行分类，得到特征点长轨迹和特征点短轨迹，针对每帧图片，获取各个特征点长轨迹中图片对应的各个特征点的坐标，获取平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标，采用多平面优化方法对各个特征点长轨迹中所述图片对应的各个特征点的坐标，以及平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标进行计算，得到所述图片对应的全局变换矩阵，采用各帧图片对应的全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换，得到特征点短轨迹中各个特征点变换后的坐标，对特征点短轨迹中各个特征点变换后的坐标进行组合，得到预稳定的特征点短轨迹，对预稳定的特征点短轨迹进行b样条曲线拟合，得到平滑后的特征点短轨迹，采用多平面优化方法对各个特征点轨迹以及特征点平滑轨迹进行计算，得到每帧图片对应的目标变换矩阵，依次对待稳定视频每帧图片中的每个像素采用对应的目标变换矩阵进行坐标变换，得到稳定的无人机视频，本发明对特征点的轨迹的分类，对每帧图片对应的全局变换矩阵的计算，使得每帧图片可以采用不同的变换规则描述其运动，能够精确地描述不同区域的运动，本发明结合多平面优化方法的使用，能够一定程度解决无人机低空飞行场景卷帘效应，以及cmos相机高频振动场景对视频的影响，从而提高无人机视频的稳定效果，提高无人机视频的可用性。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
- 还没有人留言评论。精彩留言会获得点赞！