本发明属于无人机控制视频编辑领域，具体涉及一种无人机航拍视频媒体的自动编辑方法与系统。
背景技术：
随着科技的进步及自动化、信息化进程的推进，使用无人机作为飞行平台，同时通过所搭载的数码照相机和数码摄像机等数字设备进行拍摄和记录，以获取低空高分辨率及高精度航拍影像为目的无人机航拍系统已广泛应用于国土监测、灾害勘察、城市规划、农林气象、军事国防、环境评测、个人摄影等诸多学科和领域。无人机航拍系统(Unmanned Aerial Vehicle Altitude Remote Sensing System，UAVRS)，利用先进的无人驾驶飞行器技术、航拍摄像技术、图像处理技术、通讯技术、GPS定位技术等，能够自动、智能、快速的获取航拍画面以及附加的地理位置等信息，从而满足各种实际应用，具有灵活机动、便捷经济的特点。
通过利用无人机航拍系统对目标区域的实际拍摄，可以在相当短的时间内获取特定区域的海量影像数据。目前，无人机航拍影像数据已逐渐进入到实际应用阶段，在各种应用领域当中，无人机视频图像都能够发挥重要的作用。
但在航拍视频媒体画面的处理与应用方面，尚存在一些问题及需要改进的地方。由于无人机航拍系统所获得的影像资料具有较高的拍摄角度以及较少的遮挡，且具备单帧图像数据量大、各帧图像重叠度高的特点，因此适合对具有相同场景的视频画面进行拼接显示，例如拼接为全景图像。为了获得大视场的全景图像，就必须开发出一套实时的无人机视频图像自动拼接方法，从而更及时准确的掌握目标区域的情况。为了符合人们的普遍观感并得到良好的拼接效果，我们必须对所获得的无人机航拍系统的图像信息进行几何校正。但由于在实际应用尤其是在一些突发的事件中，我们往往很难投入大量人力物力以获取地面控制点的信息。
技术实现要素：
本发明的目的在于提供一种自动识别由无人机航拍获得的媒体片段的特征，根据媒体画面的变化分析编辑的无人机航拍视频媒体，将无人机航拍视频画面进行拼接编辑，例如拼接为全景画面的自动编辑方法。
本发明的目的是这样实现的：
一种无人机航拍视频媒体的自动编辑方法，其特征在于，包括如下步骤：
步骤1，无人机视频媒体的原始图像进行图像预处理：
步骤2，对预处理的无人机视频媒体进行图像配准；
步骤3，对无人机视频媒体冗余图像进行图像融合处理；
步骤4，对融合后的无人机视频媒体进行图像拼接；
步骤5，对图像拼接的无人机视频媒体进行存储。
优选的是，所述步骤1中进行的图像预处理具体包括一下预处理：
(1.1)辐射校正，在视频图像获取时利用图像的像元灰度值，对不同时间获得的航拍图像建立彼此之间的校正标准，从而进行归一化处理；
(1.2)几何校正，对无人机视频媒体的图像进行几何校正，对成像过程中所产生的畸变进行校正，产生一幅符合地图投影或图形表达标准的新图像并且将变形的图像纠正，统一到建立的坐标系中。
优选的是，所述步骤2的图像配准是将无人机不同视角下拍摄的同一场景的两幅或多幅图像在空间上完成像素对准。
进一步优选的是，采用SIFT图像配准算法完成所述步骤(2)的无人机视频媒体的图像配准，具体包括：
(2.1)在多尺度空间完成兴趣点的搜索获取视频图像中具有尺度不变性的特征点，采用高斯函数对原始图像进行卷积运算，得到图像的不同尺度空间；
(2.2)寻找不同尺度空间的局部极值点初步确定其位置及所在尺度，从而定位特征点；
(2.3)利用特征点邻域像素的梯度方向分布特性，为每个特征点分配一个方向，从而使得特征描述子具有旋转不变性；
(2.4)将视频图像的坐标轴方向调整到与特征点方向一致，然后以特征点为中心，选取邻近的一个8×8的区域，将该8×8的区域分割为4×4大小的4个子邻域，并对这4个子邻域的梯度直方图进行统计；分别按0°到360°每45°为一方向分别统计每个像素点梯度的权值和方向，再求出累加值，形成一个特征点，共形成16个特征点，通过合并每个特征点的邻域方向性信息产生SIFT特征描述子；
(2.5)分别提取无人机预存的参考图像及待配准图像的SIFT特征描述子，估算重叠区域大小，确定感兴趣区域，对两幅图像的特征进行匹配，从而完成图像间的配准。
进一步优选的是，步骤(2.4)中所述的每个像素点梯度的权值的确定方法，包括：
(2.4.1)确定两幅待拼接图像的边界；
(2.4.2)确定两幅图像的重叠区域，并找到该区域的边界；
(2.4.3)求取重叠区域内任一点P到重叠区域边界及原图像边界的最近距离；
(2.4.4)取P到重叠区域边界及原图像边界的最近距离较小者作为分子，得到二者的比值，若该比值小于0.5，则将其定为P点权值。
优选的是，所述步骤3的无人机视频媒体冗余图像的图像融合是按相应规则对存在画面冗余的视频图像进行融合处理，提取冗余的视频图像的数据信息并综合成合成图像。
进一步优选的是，所述的步骤3的无人机视频媒体冗余图像的图像融合，具体包括：将两幅待拼接图像重叠区域中的像元灰度值进行叠加计算其平均值，平均值即得到的融合后图像在该区域的像元灰度值；将图像转换到频域并将其分为不同频域段，在已划分的各频域段中进行图像融合，最终将各频域段上的合成图像重构，得到一幅完整的合成图像。
优选的是，步骤4的图像拼接运用加权平均融合的方法实现两幅图像的无缝拼接，具体包括：
(4.1)利用无人机飞行状态参数中的姿态角及经纬度定位信息，通过将两幅图像建立到统一坐标系中确定二者的重叠区域；
(4.2)采用SIFT算法在重叠区域内进行特征提取；
(4.3)采用欧式距离作为相似度判定标准，并运用BBF算法在所建立的图像特征K-D树进行搜索，从而找到匹配特征；
(4.4)采用RANSAC算法对匹配特征进行筛选，从而确定两幅图像的变换矩阵，使得尽可能多的特征完成匹配，在匹配后，使用基于RGB值的直接覆盖拼接方法，即比较两幅图像每个像元的R、G、B三分量值之和的大小，取大者覆盖小者予以显示，从而完成两幅图像拼接。
进一步优选的是，所述的步骤(4)中对无人机航拍视频数据解码，按照视频数据的协议格式进行视频解码，获得无人机航拍视频序列中的每一帧图像，以及对应的无人机飞行状态参数。
本发明进而提供了一种无人机航拍视频媒体的自动编辑系统，其特征在于，包括：
预处理模块，用于对无人机视频媒体的原始图像进行图像预处理：
图像配准模块，用于对预处理的无人机视频媒体进行图像配准；
冗余图像融合模块，用于对无人机视频媒体冗余图像进行图像融合处理；
拼接模块，用于对融合后的无人机视频媒体进行图像拼接；
存储模块，用于对图像拼接的无人机视频媒体进行存储。
优选的是，所述预处理模块的图像预处理具体包括：在视频图像获取时利用图像的像元灰度值，对不同时间获得的航拍图像建立彼此之间的校正标准，从而进行归一化处理；对无人机视频媒体的图像进行几何校正，对成像过程中所产生的畸变进行校正，产生一幅符合地图投影或图形表达标准的新图像并且将变形的图像纠正，统一到建立的坐标系中。
优选的是，图像配准模块用于将无人机不同视角下拍摄的同一场景的两幅或多幅图像在空间上完成像素对准。
进一步优选的是，所述图像配准模块如下完成无人机视频媒体的图像配准：在多尺度空间完成兴趣点的搜索获取视频图像中具有尺度不变性的特征点，采用高斯函数对原始图像进行卷积运算，得到图像的不同尺度空间；寻找不同尺度空间的局部极值点初步确定其位置及所在尺度，从而定位特征点；利用特征点邻域像素的梯度方向分布特性，为每个特征点分配一个方向，从而使得特征描述子具有旋转不变性；将视频图像的坐标轴方向调整到与特征点方向一致，然后以特征点为中心，选取邻近的一个8×8的区域，将该8×8的区域分割为4×4大小的4个子邻域，并对这4个子邻域的梯度直方图进行统计；分别按0°到360°每45°为一方向分别统计每个像素点梯度的权值和方向，再求出累加值，形成一个特征点，共形成16个特征点，通过合并每个特征点的邻域方向性信息产生SIFT特征描述子；分别提取无人机预存的参考图像及待配准图像的SIFT特征描述子，估算重叠区域大小，确定感兴趣区域，对两幅图像的特征进行匹配，从而完成图像间的配准。
进一步优选的是，所述图像配准模块如下确定所述的每个像素点梯度的权值：确定两幅待拼接图像的边界；确定两幅图像的重叠区域，并找到该区域的边界；求取重叠区域内任一点P到重叠区域边界及原图像边界的最近距离；取P到重叠区域边界及原图像边界的最近距离较小者作为分子，得到二者的比值，若该比值小于0.5，则将其定为P点权值。
优选的是，冗余图像融合模块对无人机视频媒体冗余图像的图像融合是按相应规则对存在画面冗余的视频图像进行融合处理，提取冗余的视频图像的数据信息并综合成合成图像。
进一步优选的是，所述冗余图像融合模块如下进行无人机视频媒体冗余图像的图像融合：将两幅待拼接图像重叠区域中的像元灰度值进行叠加计算其平均值，平均值即得到的融合后图像在该区域的像元灰度值；将图像转换到频域并将其分为不同频域段，在已划分的各频域段中进行图像融合，最终将各频域段上的合成图像重构，得到一幅完整的合成图像。
优选的是，所述拼接模块如下实现两幅图像的无缝拼接：利用无人机飞行状态参数中的姿态角及经纬度定位信息，通过将两幅图像建立到统一坐标系中确定二者的重叠区域；采用SIFT算法在重叠区域内进行特征提取；采用欧式距离作为相似度判定标准，并运用BBF算法在所建立的图像特征K-D树进行搜索，从而找到匹配特征；采用RANSAC算法对匹配特征进行筛选，从而确定两幅图像的变换矩阵，使得尽可能多的特征完成匹配，在匹配后，使用基于RGB值的直接覆盖拼接方法，即比较两幅图像每个像元的R、G、B三分量值之和的大小，取大者覆盖小者予以显示，从而完成两幅图像拼接。
进一步优选的是，所述拼接模块按照视频数据的协议格式进行视频解码，获得无人机航拍视频序列中的每一帧图像，以及对应的无人机飞行状态参数。
本发明的有益效果在于：本发明提供了一种无人机航拍视频媒体的画面编辑方法与系统，可以适应无人机航拍画面的特点，有效利用重叠画面的信息冗余，将无人机航拍视频画面进行拼接编辑，例如拼接为全景画面，提升拼接后的画面质量；拼接画面可以用于高效、准确、视觉效果优异的航拍显示；本发明是一种自动的图像处理和编辑方法，可以自动实现画面的编辑处理，直接给使用者呈现编辑后的视频媒体。
附图说明
图1为本发明方法步骤图；
图2为本发明的系统结构图。
具体实施方式
下面结合附图对发明做进一步描述。
如图1所示，一种无人机航拍视频媒体的自动编辑方法，包括如下步骤：
(1)无人机视频媒体的图像预处理：
(1.1)辐射校正，在视频图像获取时利用图像的像元灰度值，对不同时间获得的航拍图像建立彼此之间的校正标准，从而进行归一化处理；辐射校正，在视频图像获取时利用图像的像元灰度值，对不同时间获得的航拍图像建立彼此之间的校正标准，从而进行归一化处理；。这种校正方法要求参考图像与原始图像由相同传感器获得，并且获取两幅图像时大气和光照条件相似。原始图像经辐射校正后，不同时间拍摄的相同地物影像就可以表现出相同的辐射信息，从而方便后续的航拍图像匹配和拼接。
(1.2)几何校正，对无人机视频媒体的图像进行几何校正，对成像过程中所产生的畸变进行校正，产生一幅符合地图投影或图形表达标准的新图像并且将变形的图像纠正，统一到建立的坐标系中。
(2)无人机视频媒体的图像配准：
将在不同时间、不同视角下拍摄的同一场景的两幅或多幅图像在空间上完成像素对准。
(3)无人机视频媒体的图像融合：
按相应规则对存在冗余的视频图像数据进行融合处理，提取冗余的视频图像的数据信息并综合成合成图像。
(4)无人机视频媒体的图像拼接：
对无人机航拍视频数据解码，得到单帧图像数据及飞行参数信息；利用所得到的无人机飞行参数对单帧图像进行几何校正，使得待拼接的图像及最终拼接结果图像均以正射投影方式显示；预处理完成后，采用基于SIFT算法提取图像特征，并利用欧式距离函数及RANSAC算法完成特征的匹配；最后，根据匹配后建立的两间隔帧图像的变换矩阵完成两幅图像的坐标统一，并运用加权平均融合的方法实现两幅图像的无缝拼接。
(5)存储图像并识别图像场景：根据预先设定的人像、景像识别标准，区分人像和景像分别存储。
采用SIFT图像配准算法完成所述步骤(2)的无人机视频媒体的图像配准，具体包括：
(2.1)在多尺度空间完成兴趣点的搜索获取视频图像中具有尺度不变性的特征点，采用高斯函数对原始图像进行卷积运算，得到图像的不同尺度空间；
(2.2)寻找不同尺度空间的局部极值点初步确定其位置及所在尺度，从而定位特征点；
(2.3)利用特征点邻域像素的梯度方向分布特性，为每个特征点分配一个方向，从而使得特征描述子具有旋转不变性；
(2.4)将视频图像的坐标轴方向调整到与特征点方向一致，然后以特征点为中心，选取邻近的一个8×8的区域，将该8×8的区域分割为4×4大小的4个子邻域，并对这4个子邻域的梯度直方图进行统计；分别按0°到360°每45°为一方向分别统计每个像素点梯度的权值和方向，再求出累加值，形成一个特征点，共形成16个特征点，通过合并每个特征点的邻域方向性信息产生SIFT特征描述子；
(2.5)分别提取无人机预存的参考图像及待配准图像的SIFT特征描述子，估算重叠区域大小，确定感兴趣区域，对两幅图像的特征进行匹配，从而完成图像间的配准。
所述的步骤(3)的无人机视频媒体的图像融合，具体包括：将两幅待拼接图像重叠区域中的像元灰度值进行叠加计算其平均值，平均值即得到的融合后图像在该区域的像元灰度值；将图像转换到频域并将其分为不同频域段，在已划分的各频域段中进行图像融合，最终将各频域段上的合成图像重构，得到一幅完整的合成图像。根据重叠区域的形状进行建模分析，通过实验证实了图像融合重叠区域具有普适性，特别针对本项目中的视频信息，能够很好地达到运算时间、融合效果的标准，同时对多焦距、多方位的图像拼接鲁棒性很好，算法在较复杂的情况下，仍然能够保持高效性和准确性。
所述的每个像素点梯度的权值的确定方法，包括：
(2.4.1)确定两幅待拼接图像的边界；
(2.4.2)确定两幅图像的重叠区域，并找到该区域的边界；
(2.4.3)求取重叠区域内任一点P到重叠区域边界及原图像边界的最近距离；
(2.4.4)取P到重叠区域边界及原图像边界的最近距离较小者作为分子，得到二者的比值，若该比值小于0.5，则将其定为P点权值。
所述的步骤(4)中对无人机航拍视频数据解码是指按照视频数据的协议格式进行视频解码，获得无人机航拍视频序列中的每一帧图像，以及对应的无人机飞行状态参数。
所述的步骤(4)中运用加权平均融合的方法实现两幅图像的无缝拼接具体包括：
(4.1)利用无人机飞行状态参数中的姿态角及经纬度定位信息，通过将两幅图像建立到统一坐标系中确定二者的重叠区域；
(4.2)采用SIFT算法在重叠区域内进行特征提取；
(4.3)采用欧式距离作为相似度判定标准，并运用BBF算法在所建立的图像特征K-D树进行搜索，从而找到匹配特征；
(4.4)采用RANSAC算法对匹配特征进行筛选，从而确定两幅图像的变换矩阵，使得尽可能多的特征完成匹配，在匹配后，使用基于RGB值的直接覆盖拼接方法，即比较两幅图像每个像元的R、G、B三分量值之和的大小，取大者覆盖小者予以显示，从而完成两幅图像拼接。
本发明为了实现无人机航拍视频图像的实时拼接，从中截取的间隔帧航拍图像必须要存在一定的重叠区域，从而完成图像特征的配准。该重叠区域的大小一般情况下占整幅图像大小的30％到70％不等，且成对的正确匹配特征均集中在此重叠区域内。匹配时，如若对整幅图像进行特征提取，再对所有特征进行筛选构成特征匹配对，产生的计算量将会很大，速度也将受到很大程度的影响。因此，可以通过首先计算两幅待匹配图像的重叠区域的方法，然后针对该重叠区域进行特征提取，这样得到的特征信息均集中在这一特定区域，在特征匹配时，则无需进行非感兴趣区域内特征点是否匹配的无谓判定，特征点成对及特征匹配成功的概率将大大提升。
所述步骤(5)中，本发明自动识别由无人机航拍获得的媒体片段的特征，根据媒体画面的变化，分析出来视频媒体片段实在飞行器上升阶段拍的还是降落阶段拍的，是针对人自拍的还是针对自然场景拍的。根据所分析出来的媒体片段的不同特征和内容，将编辑后的视频存储到对应的媒体库。
如图2所示，本发明还提供了一种无人机航拍视频媒体的自动编辑系统，包括：
预处理模块201，用于对无人机视频媒体的原始图像进行图像预处理：
图像配准模块202，用于对预处理的无人机视频媒体进行图像配准；
冗余图像融合模块203，用于对无人机视频媒体冗余图像进行图像融合处理；
拼接模块204，用于对融合后的无人机视频媒体进行图像拼接；
存储模块205，用于对图像拼接的无人机视频媒体进行存储。
所述预处理模块201的图像预处理具体包括：在视频图像获取时利用图像的像元灰度值，对不同时间获得的航拍图像建立彼此之间的校正标准，从而进行归一化处理；对无人机视频媒体的图像进行几何校正，对成像过程中所产生的畸变进行校正，产生一幅符合地图投影或图形表达标准的新图像并且将变形的图像纠正，统一到建立的坐标系中。
图像配准模块202用于将无人机不同视角下拍摄的同一场景的两幅或多幅图像在空间上完成像素对准。所述图像配准模块202如下完成无人机视频媒体的图像配准：在多尺度空间完成兴趣点的搜索获取视频图像中具有尺度不变性的特征点，采用高斯函数对原始图像进行卷积运算，得到图像的不同尺度空间；寻找不同尺度空间的局部极值点初步确定其位置及所在尺度，从而定位特征点；利用特征点邻域像素的梯度方向分布特性，为每个特征点分配一个方向，从而使得特征描述子具有旋转不变性；将视频图像的坐标轴方向调整到与特征点方向一致，然后以特征点为中心，选取邻近的一个8×8的区域，将该8×8的区域分割为4×4大小的4个子邻域，并对这4个子邻域的梯度直方图进行统计；分别按0°到360°每45°为一方向分别统计每个像素点梯度的权值和方向，再求出累加值，形成一个特征点，共形成16个特征点，通过合并每个特征点的邻域方向性信息产生SIFT特征描述子；分别提取无人机预存的参考图像及待配准图像的SIFT特征描述子，估算重叠区域大小，确定感兴趣区域，对两幅图像的特征进行匹配，从而完成图像间的配准。更具体来说，所述图像配准模块202如下确定所述的每个像素点梯度的权值：确定两幅待拼接图像的边界；确定两幅图像的重叠区域，并找到该区域的边界；求取重叠区域内任一点P到重叠区域边界及原图像边界的最近距离；取P到重叠区域边界及原图像边界的最近距离较小者作为分子，得到二者的比值，若该比值小于0.5，则将其定为P点权值。
优选的是，冗余图像融合模块203对无人机视频媒体冗余图像的图像融合是按相应规则对存在画面冗余的视频图像进行融合处理，提取冗余的视频图像的数据信息并综合成合成图像。所述冗余图像融合模块203如下进行无人机视频媒体冗余图像的图像融合：将两幅待拼接图像重叠区域中的像元灰度值进行叠加计算其平均值，平均值即得到的融合后图像在该区域的像元灰度值；将图像转换到频域并将其分为不同频域段，在已划分的各频域段中进行图像融合，最终将各频域段上的合成图像重构，得到一幅完整的合成图像。
优选的是，所述拼接模块204如下实现两幅图像的无缝拼接：利用无人机飞行状态参数中的姿态角及经纬度定位信息，通过将两幅图像建立到统一坐标系中确定二者的重叠区域；采用SIFT算法在重叠区域内进行特征提取；采用欧式距离作为相似度判定标准，并运用BBF算法在所建立的图像特征K-D树进行搜索，从而找到匹配特征；采用RANSAC算法对匹配特征进行筛选，从而确定两幅图像的变换矩阵，使得尽可能多的特征完成匹配，在匹配后，使用基于RGB值的直接覆盖拼接方法，即比较两幅图像每个像元的R、G、B三分量值之和的大小，取大者覆盖小者予以显示，从而完成两幅图像拼接。其中，所述拼接模块204按照视频数据的协议格式进行视频解码，获得无人机航拍视频序列中的每一帧图像，以及对应的无人机飞行状态参数。
存储模块205自动识别由无人机航拍获得的媒体片段的特征，根据媒体画面的变化，分析出来视频媒体片段实在飞行器上升阶段拍的还是降落阶段拍的，是针对人自拍的还是针对自然场景拍的。根据所分析出来的媒体片段的不同特征和内容，将编辑后的视频存储到对应的媒体库。
这里必须指出的是，本发明给出的其他未说明的内容因为都是本领域的公知技术，根据本发明所述的名称或功能，本领域技术人员就能够找到相关记载的文献，因此未做进一步说明。本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。