专利名称：无人机航拍视频实时全景图拼接方法
技术领域：
本发明涉及视频图像全景图的拼接，尤其涉及采用现代视频场景拼接技术与无人机飞行控制系统相结合的无人机航拍视频实时全景图拼接方法。
背景技术：
近年来，随着自动控制、无线传输等技术的发展，无人机在军事、民用上都发展迅速。由无人机搭载摄像机进行视频拍摄在军事侦察、广告摄影、灾情判断等方面发挥了巨大作用。但是，由于摄像机的拍摄范围和分辨率之间总是存在着分歧，往往整个飞行过程的视频中包含整个场景的全部信息，而单帧图像的信息却非常有限，从而诞生了视频图像拼接技术。视频图像拼接技术是将视频序列图像转化为一幅包含该序列所有信息的大视场宽视角的全景图像，解决了因摄像设备限制而存在的拍摄角度小、无法全景观测的问题。由于无人机飞行拍摄时距离地面较远并且垂直对地拍摄，因此可以合理的将图像假设为由光轴互相平行的相机拍摄得到的，图像之间仅存在位移变换。20世纪90年代有从业者 Heung-Yeung Shum(Heung Yeung Shum, Rendering with concentric mosaics. Proceeding of SIGGRAPH，99，Los Angeles, California :1999. 8-13)(译为同心圆视图渲染)提出同心圆拼图，目前研究技术相对成熟，拼接效果也较好，得到了广泛使用。但这种方法是基于特定摄像机运动的，即相机需要用三脚架固定在所拍摄景物中心位置，显然不适用于我们的无人机载摄像机视频图像拼接。另有从业者D.Lowe (Matthew Brown, David G. Lowe,Automatic Panoramic Image Stitching using Invariant Features,IJCV 2007)(译为采用不变性特征的自动全景图像拼接)为苹果公司的iPhone手机设计了 Autostitch场景图像拼接系统，其主要步骤是1、采用SIFT方法进行图像帧的特征检测； 2、采用k-d树进行相邻图像帧搜索和特征点匹配；3、利用匹配结果采用RANSAC方法进行图像之间的单应计算；4、对所有图像进行捆绑调整，优化帧图像在全景中的位置；5、多频带图像融合。另外，比较成熟的图像全景拼接软件还有Hugin (http //hugin. sf. net.)和 autopano-sift(http//user, cs. tu~berlin.de/ nowozin/autopano-sift/index, html).其主要思想跟Autositch类似。存在的主要问题有1、这些拼接方法都是对已经获取的图像集进行拼接，无法实现无人机边飞行边拼接的效果，2、这些软件都只适合图像集数目较少的场景恢复，无法处理时序很长的图像序列，3、采用SIFT进行特征检测和全图像帧捆绑调整策略，时间效率低。传统的在飞行时序上边飞边拼接算法通常采用帧到帧方式，通过局部对准过程将
相邻图像依次连接起来，具体步骤为首先对相邻图像进行特征点提取，再进行特征点匹
配，然后根据得到的匹配点集，进行两图像间平面运动变换的鲁棒估计，由此得到一系列局
部变换矩阵Ti,i+1，即i帧图像和i+Ι帧间的变换矩阵。若选择第一帧图像为参考帧(即全
景图像)后，第k帧O < k < N)图像到全景图像间的变换矩阵可由下式得到 k-权利要求
1.一种无人机航拍视频实时全景图拼接方法，包括飞行控制系统，其特征是所述视频实时全景图拼接方法还包括以下步骤(1)视频图像的传输和采集无人机搭载摄像机对飞行过程的场景进行拍摄，然后通过微波通道将视频实时的传输回控制基站，视频接收机上安装图像采集卡对图像帧进行采集，然后传输给工作计算机，实现图像帧的获取；(2)关键图像帧的选择从采集卡得到的视频图像帧频高，为20-30帧/秒，采用基于内容的图像关键帧选择技术先对图像进行关键帧的选择后再以该关键帧用于图像的拼接，并记录该关键帧所对应的由GPS提供的位置信息；(3)图像预处理根据实际应用背景不同，将图像增强算法运用到本系统的预处理程序部分，实现自动选择图像增强算法，该方法是采用具有重叠性的分块化双平台操作技术对图像进行去烟雾处理，其具体步骤包括先对图像进行分块化处理，然后对每一块的灰度值进行统计，分别设置灰度级统计数目的高低平台对统计结果进行削平处理，实现单块图像的增强，这样可以利用相邻块之间的具有重叠区域，实现图像的增强；(4)图像特征提取与配准本方法是采用SURF加速的鲁棒性特征方法进行图像特征点的检测和描述，通过SURF 对特征点进行检测和描述后，使每个特征点为一个高维的向量描述符，又采用最近K邻域方法进行特征点的匹配，实现相邻两幅图像的配准；(5)帧道帧的图像变换通过步骤(4)配准得到相邻图像间的匹配点集，通过匹配点集采用RANSAC和L-M方法来求出两幅图像之间的单应变换矩阵，进行参数估计，获取图像的变换模型，实现帧到帧的变换关系，这样根据无人机垂直对地拍摄并且高度较高，可以假设图像之间为平移关系；(6)帧到全景的变换通过以上步骤，方法得到了帧到帧的变换关系，为实现全景图的构建，必须先实现帧到全景的变换，本方法采用一种基于无人机飞行路径的帧到全景图(frame-to-mosaic)的拼接方式，可以直接求取当前帧到全景图像的参考坐标系的变换参数；(7)无人机返回路径时空融合图像帧到全景拼接根据步骤(6)的帧到全景的变换方法结合无人机飞行路径，融合时空两方面的信息， 对图像帧的变换计算进行优化，同时利用时空相邻帧信息实现图像帧到全景的变换，这样可以减少图像连乘累积误差，以实现无人机返回路径时空融合图像帧到全景拼接；(8)图像融合生成全景图为了使得重叠区域平滑过渡，提高图像质量，采用线性的淡入淡出方法逐渐过渡，以避免出现明显的边界，本方法的具体步骤包括在重叠区域由一幅图像线性地过渡到另一幅图像，即将图像重叠区域的灰度值按照一定的权值相加合成新的图像，针对无人机拍摄的彩色图像，分别对红、绿、蓝三个通道进行插值融合，利用渐入渐出的融合算法得到较好的视觉效果，生成能满足该应用场合的全景图。
2.根据权利要求1所述的无人机航拍视频实时全景图拼接方法，其特征是步骤(2)所述的该关键帧的位置信息是由无人机搭载的GPS导航仪提供。
3.根据权利要求1所述的无人机航拍视频实时全景图拼接方法，其特征是步骤(6) 所述帧到全景的变换方法的实时过程进一步包括(1)将无人机传回的第0帧待拼接图像设定为全景图像参考帧，即参考坐标系，当第1 个关键帧到达时，通过步骤C3)实现增强，在按照步骤(4)的方法提取两帧图像重叠区域的特征点，按照步骤(5)实现变换关系的计算，得到Tcm ；(2)对于第1关键帧和第2关键帧，通过步骤(4)得到重叠区域内的匹配点集Hiatch1, match2后，按照Tcia将Hiatch1点集坐标映射到全景图像中，得到match’ i，这些特征点的坐标为浮点数，但是内容信息不变，根据match’ JPmatctl2这一新的匹配点集按照步骤(5)进行变换关系的计算，得到Ttl,2，得到第2帧与全局图像间的变换矩阵；(3)对于第i+Ι帧，设和第帧重叠区域的匹配点集为match^matchi+i，第i帧与全景图像的变换矩阵为Tchi，利用Ufmatchi转化到全景图像中的对应点集为match’ 用新的匹配点集match’ 1和111站(31^1采用步骤(5)计算第i+Ι帧与全景图像间的变换矩阵TQ, i+1 ；(4)以此类推，重复以上步骤就可以求得任意输入图像和全景图像间直接变换矩阵，显然，在求解过程中可以减少传统两两变换矩阵连乘造成的误差积累和传播。
4.根据权利要求1所述的无人机航拍视频实时全景图拼接方法，其特征是步骤(7) 是采用结合无人机GPS信息同时融合时域和空域信息优化帧到全景变换关系的方法，所述的图像关键帧与全景的拼接方法进一步包括(1)按照步骤(2)到步骤(6)计算关键帧Iw到全景的变换Ttciatl，其中由步骤(4)得到的重叠区域的匹配点数目为ιΛ+1 ；(2)根据空间距离，确定与Iw帧在时间序列上不邻近，但在空间距离上邻近的图像关键帧Isni+1，按照步骤⑷计算Iw与IslV1W重叠区域特征点集，匹配点数目为nsi+1，然后按照步骤(6)计算Ii+1到由Isnw确定的到全景的变换矩阵i+1 ；(3)计算时空融合帧到全景变换 T0,i+1 = "ViTVw+wVI+Ts0,^! ⑷η\+ιns1+i其中t _---- s —----- 这样，结合时空两个方面的信ω i+i- η i+ι+η 1+1 ，ω i+Ι — η i+i+η i+i ，息，对返回过程中的关键帧到全景的变换矩阵进行计算。
5.根据权利要求1所述的无人机航拍视频实时全景图拼接方法，其特征是所述飞行控制系统包括无人驾驶飞机、无人机遥控操作装置、无人机搭载的高分辨率摄像机、计算机及微波视频传输系统、视频采集系统。
6.根据权利要求1或5所述的无人机航拍视频实时全景图拼接方法，其特征是所述摄像机是一台或一台以上摄像机的组合。
全文摘要
本发明公开了一种无人机航拍视频实时全景图拼接方法。利用视频采集卡采集由无人机通过微波通道实时传回基站的图像，对图像序列进行关键帧选择，对关键帧进行图像增强；在图像拼接过程中，首先采用鲁棒性良好的SURF特征检测方法对图像帧的特征检测和帧间匹配；又采用帧到全景的图像变换方式，减少图像连乘累积误差，并结合无人机的GPS位置信息，确定飞行路径在时序上不相邻但在空间上相邻的图像帧，优化帧到全景的变换关系，确定图像重叠区域，实现图像融合和全景图的构建，实现了边飞边拼接的实时效果；在图像变换时，利用视域上相邻帧信息和空域相邻帧信息，优化图像变换，获得准确的全景图。本发明实时性好、快速准确，适于多领域应用场合需求。
文档编号G06T5/50GK102201115SQ20111008559
公开日2011年9月28日 申请日期2011年4月7日 优先权日2011年4月7日
发明者王桥生 申请人:湖南天幕智能科技有限公司