基于特征点的多尺度实时监控视频拼接装置及拼接方法

基于特征点的多尺度实时监控视频拼接装置及拼接方法
【技术领域】
[0001] 本发明涉及图像处理与视频处理技术领域，特别涉及一种基于特征点的多尺度实 时监控视频拼接装置及拼接方法。
【背景技术】
[0002] 随着视频监控技术的发展，视频采集到的图像呈现高清化和高帧率化的特点，同 时在视频监控中，采用多摄像头监控并拼接为全景图像的方式，可以增强图像监控的质量 并降低摄像头的数量从而节约成本；但是视频监控中较大的数据量和较高的帧速率给视频 的实时拼接带来了较大的困难。
[0003] 在图像拼接技术出现之前，全景图像的获取方式主要包括扫描式全景相机和广角 摄像头，但是这些设备造价高昂、操作复杂且得到的图像有明显的边缘畸变。将这些设备应 用于视频监控领域之后，监控人员是无法对摄像头监控图像的边缘进行有效的观察的，因 此这些图像必须进行平铺和展开的处理，但这样会造成图像信息的丢失。此外，当采用多 个摄像头来监控大片区域时，若不进行图像拼接，监控人员对于两个摄像头重叠区域的监 控会有较大的困难。因此基于图像拼接而发展起来的视频拼接技术可降低视频监控系统的 成本同时提供大视角、完整和高清的监控信息，突破了摄像设备的限制，具有很强的实用价 值。
[0004] 视频拼接的主要基础技术是图像拼接技术，但是相对于图像拼接技术来说，视频 拼接需要兼顾处理速度和存储的影响，这就对图像拼接的算法提出更高的要求。对于图像 拼接来说，其主要由图像配准和图像融合两部分组成。当前图像配准主要基于模板的配准 方法、基于图像相位的配准方法、基于区域特征的配准方法和基于特征点的图像配准方法。 基于模板的配准方法采用参考图像的预设模板进行配准，这种方法的计算量较大；基于相 位的配准方法主要对图像在频域进行分析，但是这种方法对于旋转和缩放后的图像处理比 较复杂；基于区域特征的配准方法主要根据图像中形状的周长、面积、扁度和纵横比等特征 进行配准，但这种方法的配准效果并不理想；基于特征点的配准方法具有稳定和计算简便 的特点，且能适应旋转和缩放之后的图像的配准。图像融合的主要方法包括直接平均法、力口 权平均法、渐入渐出法、中值滤波法和多分辨率法。直接平均法和加权平均法采用不同的系 数对图像重叠区域的像素点进行加权求和；渐入渐出法的加权系数之和为1 ;中值滤波法 对重叠区域的像素点进行中值滤波；多分辨率法将图像分解成一系列具有不同分辨率、频 率特性及方向特性的子带图像，然后在各个分解的子空间上进行拼合，最后使用重构算法 将所有子空间上的拼合图像合成一幅融合图像。
[0005] 经对现有文献的检索发现，基于SURF特征的图像与视频拼接技术的研究中提出 了基于SURF算法的视频拼接技术，虽然在实时性和准确度上能满足视频拼接的要求，但是 系统是在PC机上实现的，所占空间较大且移动性差，并不适应于实际的视频监控领域。
[0006] 此外，基于FPGA的监控视频实时拼接装置及拼接方法中提出了基于FPGA的监控 视频拼接方法，但是系统中主要的算法计算模块是在Nios II微处理器中进行处理的，处理 速度并不能支持较高帧率的高清图像的拼接。
[0007] 因此，图像处理与视频处理技术领域急需一种将多路高清摄像头采集到的视频数 据进行无缝拼接，生成宽视角的视频，并在显示器上直接输出拼接后的高清图像，满足了视 频拼接的实时性要求，提高拼接准确度，对多幅图像之间的色差进行了调整，实现了宽视角 的实时监控的基于特征点的多尺度实时监控视频拼接装置及拼接方法。

【发明内容】

[0008] 本发明为了解决如上问题，提供了一种基于特征点的多尺度实时监控视频拼接装 置及拼接方法，技术方案如下： 基于特征点的多尺度实时监控视频拼接装置，包括：多个摄像头、多个视频解码电路， 视频捕获模块，图像预处理模块、SDRAM控制模块、图像截取转换模块、特征点提取模块、特 征点过滤模块、图像融合裁剪模块、输出控制模块、特征点匹配模块和图像单应性矩阵计算 模块； 摄像头，与视频解码电路的个数相同，并且每个摄像头都与一个视频解码电路相连 接； 视频捕获模块，与多个视频解码电路、图像预处理模块相连接； SDRAM控制模块，包括SDRAM控制器和SDRAM存储器，并且SDRAM控制器与图像预处理 模块、图像截取转换模块、特征点提取模块、特征点过滤模块、图像融合裁剪模块、输出控制 模块、SDRAM存储器相连接； 特征点匹配模块，与特征点提取模块、特征点过滤模块相连接； 图像单应性矩阵计算模块，与特征点过滤模块、图像融合裁剪模块相连接； 视频捕获模块用于实现视频信息的输入；SDRAM控制器用于控制SDRAM存储器的读取， SDRAM存储器用于存储视频图像和计算中间值；图像预处理模块用于对视频信息进行白平 衡和色彩加强等操作，对图像进行修正；图像截取转换模块用于对图像进行截取并计算积 分图像；特征点提取模块用于计算待拼接图像的预定义重叠区域的特征点位置和特征描述 向量；特征点匹配模块用于计算匹配的特征点对；特征点过滤模块用于采用迭代方法对求 得的匹配特征点对进行过滤以得到最优匹配特征点对；图像单应性矩阵计算模块根据最优 匹配特征点对计算图像单应性矩阵；图像融合裁剪模块根据图像单应性矩阵对多幅图像进 行拼接和融合，并对最终图像进行裁剪；输出控制模块用于控制图像的输出和显示。
[0009] 优选的，在基于特征点的多尺度实时监控视频拼接装置中，摄像头和视频解码电 路都为4个。
[0010] 优选的，在基于特征点的多尺度实时监控视频拼接装置中，SDRAM存储器中还包 括：拼接图像缓存区域、单应性矩阵计算图像缓存区域、积分图像存储区域、特征矩阵值存 储区域和特征点描述向量存储区域。
[0011] 基于特征点的多尺度实时监控视频拼接装置的图像拼接方法，包括如下步骤： 步骤一，多路摄像头将拍摄的图像数据传输给对应的视频解码电路进行解码，视频捕 获模块收集多路视频解码电路解码的数据后传输给图像预处理模块，图像经预处理后依次 将多幅图像传递给SDRAM控制器、SDRAM存储器的拼接图像缓存区域进行存储； 步骤二，图像截取转换模块通过SDRAM控制器从SDRAM存储器中读取单应性矩阵计算 图像缓存区域中预设重叠区域的图像像素点值，将该图像像素点值转化为灰度值，根据灰 度值计算该图像像素点的积分图像值，并生成积分图像，然后将积分图像值通过SDRAM控 制器存入SDRAM存储器的积分图像存储区域中； 步骤三，特征点提取模块通过从SDRAM控制器中读取积分图像中积分图像值，并计算 出特征点的位置，以及计算特征点对应的特征向量的值，通过SDRAM控制器存入SDRAM存储 器中，再由特征点匹配模块从特征点提取模块中读取特征点对应的特征向量的值，进而计 算出匹配的特征点对，并通过SDRAM控制器存入SDRAM存储器中； 步骤四，特征点匹配模块将步骤三得到的匹配特征点对传递给特征点过滤模块，特征 点过滤模块根据预设的迭代次数对所述特征点对进行过滤，消除误匹配的特征点对，再将 重新确定的匹配的点对传递给SDRAM控制器，由SDRAM控制器传递给SDRAM存储器进行存 储； 步骤五，图像单应性矩阵计算模块根据步骤四过滤后得到的匹配特征点对，并根据匹 配特征点对计算图像位移的单应性矩阵； 步骤六，图像融合裁剪模块根据步骤五中计算得出的单应性矩阵，和从SDRAM控制器 中单应性矩阵计算图像缓存区域读取的图像像素点值，对实际重叠区域的图像各像素点进 行调整，消除接缝并最终裁剪得到完整的全景图像，并通过SDRAM控制器传递给SDRAM存储 器的拼接图像缓存区域进行存储； 步骤七，输出控制模块将步骤六得出的完整全景图像，传递给外部显示器进行显示。
[0012] 优选的，在基于特征点的多尺度实时监控视频拼接装置的图像拼接方法中，图像 截取转换模块还包括：地址计算单元、灰度图计算单元、行缓存单元以及积分图像计算单 元，将SDRAM的单应性矩阵计算图像缓存区域中的图像截取并转换为积分图像的具体步骤 为： 步骤a，SDRAM控制器根据地址计算单元计算的地址值从SDRAM中读取原图像的像素点 值，存储灰度图计算单元中； 步骤b，灰度图计算单元根据步骤a中读取到的原图像像素点值转换为灰度值，存入行 缓存单元中； 步骤c，积分图像计算单元从行缓存单元中读取灰度值并计算出图像当前位置的积分 图像值，存入SDRAM存储器中。
[0013] 优选的，在基于特征点的多尺度实时监控视频拼接装置的图像拼接方法中，特征 点提取模块还包括：特征矩阵计算单元、最优特征点查找单元、特征点位置插值计算单元、 特征点特征描述向量计算单元，图像的特征点提取和处理的具体步骤为： 步骤d，特征矩阵计算单元通过从SDRAM控制器中读取积分图像中的积分图像值，计算 各尺度下图像各坐标位置处的特征矩阵的值，同时进行极大值抑制，再通过SDRAM控制器 传递给SDRAM存储器的