一种无有效重叠变结构的定点定向视频实时拼接方法
【专利摘要】本发明公开了一种无有效重叠变结构的定点定向视频实时拼接方法，所述方法包括：分别采集不同位置的视频流信息；将压缩后的视频流信息按照时间顺序分为多个第一静态视频帧组；将所述第一静态视频帧组中每一路视频流信息对应的静态图像，转换为被拍对象的俯视图，形成第二静态视频帧组；对所述第二静态视频帧组中的每个视频帧进行定位、全景粗拼接、补偿融合、全景精拼接得到实时全景视频流。本发明针对不同视角、不同方向对同一场景采集的无有效重叠变结构的图像进行拼接处理，再实时生成视频流。本发明的拼接方法不但提高了图像拼接精度，同时保证了图像拼接效率，满足了视频流拼接的实时性要求。
【专利说明】一种无有效重叠变结构的定点定向视频实时拼接方法
【技术领域】
[0001] 本发明涉实时视频图像拼接【技术领域】，更具体涉及一种无有效重叠变结构的定点 定向视频实时拼接方法。
【背景技术】
[0002] 近年来随着视频拼接技术的快速发展，其在建立大视角的高分辨率图像领域、虚 拟现实领域、医学图像领域、遥感技术以及军事领域中均有广泛的应用。视频拼接技术主要 包含图像拼接技术和视频实时合成技术。其一，图像拼接技术是实现视频拼接技术的核心， 主要包括图像配准和图像融合两个关键环节：图像配准是实现图像拼接的基础，其目标是 对在不同摄像位置和角度下的多幅图像进行匹配；图像融合则是通过消除由于几何校正、 动态的场景或光照变化引起的相邻图像间的强度或颜色不连续现象，合成高质量的图像。 其二，视频实时合成技术则是通过采用FPGA、英特尔的IPP、英伟达的CUDA等平行计算架 构，提高图像拼接算法的执行效率来实现的。
[0003] 从图像采集的角度来看，大致可以分为四类。1)单相机固定支点，镜头旋转对同一 场景进行图像采集；2)单相机固定在一个滑轨上平行移动对同一场景进行图像采集；3)多 相机在不同视向角，不同方向对同一场景进行图像采集，图像间具有可用与图像拼接的有 效重叠区域；4)多相机在不同视向角，不同方向对同一场景进行图像采集，图像间无能用 于图像拼接的有效重叠区域，甚至图像间有较小的间隙和漏洞。根据本发明研宄的实际问 题，主要关注第四类情况，即利用多路摄像头定点定向对同一场景进行视频采集和拼接。
[0004] 从图像拼接的核心技术图像配准角度来看，目前图像配准技术有两种，即相位相 关度法和几何特征法。相位相关度法具有场景无关性，能够将纯粹二维平移的图像精确地 对齐。但相位相关度法只适合解决存在纯平移或旋转的图像配准问题，在仿射和透视变换 模型中，该方法就无法配准图像，而在实际过程中不可能做到相机位置与成像平面的绝对 平行，故其实际使用价值低。几何特征法是通过基于图像中的低级几何特征，例如边模型、 角模型、顶点模型等，对图像进行拼接的方法。但基于几何特征的图像配准方法的前提是两 图像必须要有一定量的重叠区域，并且匹配的图像在时间上必须具有连贯的特征，对于多 相机在不同视角，不同方向对同一场景采集的无重叠区域的图像拼接无能无力。
[0005] 从图像融合的角度来看，其目的是从图像颜色亮度和结构上消除图像间的拼接 缝。图像融合的方法很多，对于图像颜色和亮度的融合算法，简单的有光强加权平均和加权 平均融合，复杂的有图像Voronoi权重法和高斯样条插值法。其核心思想是先对图像进行 分割，利用重叠区域作为匹配的标准，再通过图像校正、颜色变换和像素插值等手段来融合 图像的拼接缝。而对于图像结构上的过度差异，一般都是采用简单的羽化的方法，根据欧氏 距离对权重进行平均，再利用滤波技术消除由于羽化造成的图像模糊现象和拼接视频中的 鬼影现象。显然，对于多相机在不同视角，不同方向对同一场景采集的无重叠区域的图像拼 接缝的融合现有方法无法处理，并且对于实时的视频流融合来说，现有技术也无法满足实 时性的要求。
[0006] 专利
【发明者】蒋朝辉, 陈致蓬, 桂卫华, 阳春华, 邓康 申请人:中南大学