基于特征点的多尺度实时监控视频拼接装置及拼接方法_2

文档序号:8266452阅读:来源:国知局
特征矩阵值存储区域进行存储; 步骤e,最优特征点查找单元根据步骤d中的特征矩阵在相邻尺度的三层图像中查找 特征点所在位置,特征点位置插值计算单元通过特征点位置进行插值计算; 步骤f,特征点特征描述向量计算单元根据插值计算结果计算特征点的特征描述向量, 并将特征描述向量依次传递给SDRAM控制器、SDRAM存储器,存储到特征点描述向量存储区 域; 步骤g,特征点匹配模块从特征点提取模块中读取特征点对应的特征向量的值,进而计 算出匹配的特征点对,并通过SDRAM控制器存入SDRAM存储器中。
[0014] 优选的,在基于特征点的多尺度实时监控视频拼接装置的图像拼接方法中,特征 点过滤模块还包括:映射位置计算单元、映射点距离计算单元以及比较器单元,对所求的匹 配的特征点对进行过滤以消除误匹配的特征点对的具体步骤为: 步骤h,从步骤g中随机选取一对特征点,映射位置计算单元根据单应性矩阵计算左侧 待拼接图像的特征点在此单应性矩阵下的映射点位置; 步骤i,映射点计算单元计算映射点与匹配点之间的距离,采用比较器判断此距离是否 与预先设定的阈值相符,进而统计内点数。
[0015] 优选的,在基于特征点的多尺度实时监控视频拼接装置的图像拼接方法中,图像 融合裁剪模块还包括:接缝位置计算单元、RGB通道均值计算单元、渐变融合系数计算单 元、RGB图像调整单元、图像位移计算单元以及图像裁剪单元,待拼接图像的融合和裁剪的 具体步骤为: 步骤k,图像位移计算单元根据最优单应性矩阵,计算各待拼接图像在最终图像中的相 对位置以及相邻待拼接图像之间的重叠区域,同时接缝位置计算单元根据特征点过滤模块 输出的各内点位置计算相邻图像拼接时的坚直接缝所在的位置; 步骤1,RGB通道均值计算单元根据待拼接图像之间的重叠区域读取SDRAM存储器中 拼接图像缓存区域的图像像素值,计算重叠区域接缝左右两侧各列像素点的RGB三通道均 值,接缝左侧像素点的值采用左侧待拼接图像像素点的值,接缝右侧像素点的值采用右侧 待拼接图像像素点的值; 步骤m,渐变融合系数计算单元根据RGB三通道均值计算接缝两侧各列图像渐变融合 时的系数,RGB图像调整单元根据渐变融合系数值对重叠区域各列像素点进行调整以消除 接缝处的色差; 步骤n,图像裁剪单元将待拼接图像投影到全景图的相对位置,消除接缝并对整体图像 进行裁剪以得到最终的全景图像。
[0016] 优选的,在基于特征点的多尺度实时监控视频拼接装置的图像拼接方法中,接缝2 侧各列图像渐变融合为:接缝左侧各列渐变系数的值从1到RGB三通道比值的开方过渡,重 叠区域最左一列的渐变系数为1,接缝处的渐变系数为RGB三通道比值开方;接缝右侧各列 渐变系数值从RGB三通道比值开方的倒数到1过渡,重叠区域最右一列的渐变系数为1,接 缝处的渐变系数为RGB三通道比值开方的倒数。
[0017] 本发明的有益效果: 本发明实现了将多路高清摄像头采集到的视频数据进行无缝拼接,生成宽视角的视 频,并在显示器上直接输出拼接后的高清图像。满足了视频拼接的实时性要求,且拼接得到 的图像具有较高的准确度。
【附图说明】
[0018] 图1是本发明的基于特征点的多尺度监控视频拼接装置的结构示意图。
[0019] 图2是本发明的基于特征点的多尺度监控视频拼接方法的流程图。
[0020] 图3是本发明的基于特征点的多尺度监控视频拼接装置中SDRAM存储器的结构示 意图。
[0021] 图4是本发明的基于特征点的多尺度监控视频拼接装置中图像截取转换模块的 结构示意图。
[0022] 图5是本发明的基于特征点的多尺度监控视频拼接装置中特征点提取模块的结 构示意图。
[0023] 图6是本发明的基于特征点的多尺度监控视频拼接装置中图像融合裁剪模块的 结构示意图。
【具体实施方式】
[0024] 为了使本发明技术实现的措施、创作特征、达成目的与功效易于明白了解,下面结 合具体图示,进一步阐述本发明。
[0025] 图1是本发明的基于特征点的多尺度监控视频拼接装置的结构示意图。
[0026] 如图1所示,本发明提供了一种基于特征点的多尺度实时监控视频拼接装置,包 括:多个摄像头、多个视频解码电路,视频捕获模块,图像预处理模块、SDRAM控制模块、图 像截取转换模块、特征点提取模块、特征点过滤模块、图像融合裁剪模块、输出控制模块、特 征点匹配模块和图像单应性矩阵计算模块;摄像头与视频解码电路的个数相同,并且每个 摄像头都与一个视频解码电路相连接;视频捕获模块与多个视频解码电路、图像预处理模 块相连接;SDRAM控制模块包括SDRAM控制器和SDRAM存储器,并且SDRAM控制器与图像预 处理模块、图像截取转换模块、特征点提取模块、特征点过滤模块、图像融合裁剪模块、输出 控制模块、SDRAM存储器相连接;特征点匹配模块与特征点提取模块、特征点过滤模块相连 接;图像单应性矩阵计算模块与特征点过滤模块、图像融合裁剪模块相连接;视频捕获模 块用于实现视频信息的输入,SDRAM控制模块用于控制SDRAM存储器的读取,SDRAM存储器 用于存储视频图像和计算中间值,图像预处理模块用于对视频信息进行白平衡和色彩加强 等操作,对图像进行修正,图像截取转换模块用于对图像进行截取并计算积分图像,特征点 提取模块用于计算待拼接图像的预定义重叠区域的特征点位置和特征描述向量,特征点匹 配模块用于计算匹配的特征点对,特征点过滤模块用于采用迭代方法对求得的匹配特征点 对进行过滤以得到最优匹配特征点对,图像单应性矩阵计算模块根据最优匹配特征点对计 算图像单应性矩阵,图像融合裁剪模块根据图像单应性矩阵对多幅图像进行拼接和融合, 并对最终图像进行裁剪,输出控制模块用于控制图像的输出和显示。
[0027] 优选的,本实施例中,摄像头和视频解码电路都为4个。
[0028] 图3是本发明的基于特征点的多尺度监控视频拼接装置中SDRAM存储器的结构示 意图如图3所示,本实施例中的SDRAM存储器中还包括:拼接图像缓存区域、单应性矩阵计 算图像缓存区域、积分图像存储区域、特征矩阵值存储区域和特征点描述向量存储区域。
[0029] 图2是本发明的基于特征点的多尺度监控视频拼接方法的流程图。
[0030] 如图2所示,基于特征点的多尺度实时监控视频拼接装置的图像拼接方法,包括 如下步骤: 步骤一,4路摄像头将拍摄的图像数据传输给对应的视频解码电路进行解码,视频捕获 模块收集多路视频解码电路解码的数据后传输给图像预处理模块,图像经过白平衡和图像 增强的预处理后依次将4幅图像传递给SDRAM控制器、SDRAM存储器的拼接图像缓存区域 进行存储; 步骤二,图像截取转换模块通过SDRAM控制器从SDRAM存储器中读取单应性矩阵计算 图像缓存区域中预设重叠区域的图像像素点值,将该图像像素点值转化为灰度值,根据灰 度值计算该图像像素点的积分图像值,并生成积分图像,然后将积分图像值通过SDRAM控 制器存入SDRAM存储器的积分图像存储区域中,具体步骤为 : 图4是本发明的基于特征点的多尺度监控视频拼接装置中图像截取转换模块的结构 示意图,如图4所示,首先,图像截取转换模块还包括:地址计算单元、灰度图计算单元、行 缓存单元以及积分图像计算单元; 进一步地,SDRAM控制器根据地址计算单元计算的地址值从SDRAM中读取原图像的像 素点值,存储灰度图计算单元中; 进一步地,灰度图计算单元对重叠系数为0. 3的重叠区域内的图像像素点值进行截 取,并将读取到的原图像像素点值转换为灰度值,存入行缓存单元中,转换的公式为: Gray - 0.299i? + 0.587G + 0.1145 其中,Grey表示一个图像像素点的灰度值,β表示红色色值,σ表示绿色色值B表 示蓝色色值; 进一步地,积分图像计算单元从行缓存单元中读取灰度值并计算出图像当前位置的积 分图像值,存入SDRAM存储器中; 本实施例中,地址计算单元计算根据预设重叠区域比值得到的地址值,从特定的地址 处读取图像数据,得出的图像数据被送到FIFO中,由灰度图计算单元计算当前像素点的灰 度值,灰度图被送到行缓存单元,行缓存单元中可以缓存两行数据,这里的行代表着待拼接 图像重叠区域的一行,对于积分图像计算单元来说,行缓存单元存储的是当前正在计算的 行的灰度数据以及上一行图像像素点的灰度数据,根据这两行缓存的灰度数据即可求出当 前正在计算的坐标的积分图像值; 步骤三,特征点提取模块通过从SDRAM控制器中读取积分图像中积分图像值,并计算 出特征点的位置,以及计算特征点对应的特征向量的值,通过SDRAM控制器存入SDRAM存储 器中,再由特征点匹配模块从特征点提取模块中读取特征点对应的特征向量的值,进而计 算出匹配的特征点对,并通过SDRAM控制器存入SDRAM存储器中,具体步骤为: 图5是本发明的基于特征点的多尺度监控视
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1