块、特征点提取模块、特征点过滤模块、图像融合裁剪模块、 输出控制模块、SDRAM存储器相连接； 所述特征点匹配模块，与所述特征点提取模块、特征点过滤模块相连接； 所述图像单应性矩阵计算模块，与所述特征点过滤模块、图像融合裁剪模块相连接； 所述视频捕获模块用于实现视频信息的输入；所述SDRAM控制器用于控制SDRAM存 储器的读取，所述SDRAM存储器用于存储视频图像和计算中间值；所述图像预处理模块用 于对视频信息进行白平衡和色彩加强等操作，对图像进行修正；所述图像截取转换模块用 于对图像进行截取并计算积分图像；所述特征点提取模块用于计算待拼接图像的预定义重 叠区域的特征点位置和特征描述向量；所述特征点匹配模块用于计算匹配的特征点对；所 述特征点过滤模块用于采用迭代方法对求得的匹配特征点对进行过滤以得到最优匹配特 征点对；所述图像单应性矩阵计算模块根据最优匹配特征点对计算图像单应性矩阵；所述 图像融合裁剪模块根据图像单应性矩阵对多幅图像进行拼接和融合，并对最终图像进行裁 剪；所述输出控制模块用于控制图像的输出和显示。
2. 根据权利要求1所述的基于特征点的多尺度实时监控视频拼接装置，其特征在于， 所述摄像头和视频解码电路都为4个。
3. 根据权利要求1所述的基于特征点的多尺度实时监控视频拼接装置，其特征在于， 所述SDRAM存储器中还包括：拼接图像缓存区域、单应性矩阵计算图像缓存区域、积分图像 存储区域、特征矩阵值存储区域和特征点描述向量存储区域。
4. 基于特征点的多尺度实时监控视频拼接装置的图像拼接方法，包括如下步骤： 步骤一，多路所述摄像头将拍摄的图像数据传输给对应的视频解码电路进行解码，所 述视频捕获模块收集多路视频解码电路解码的数据后传输给图像预处理模块，图像经预处 理后依次将多幅图像传递给所述SDRAM控制器、SDRAM存储器的拼接图像缓存区域进行存 储； 步骤二，所述图像截取转换模块通过SDRAM控制器从SDRAM存储器中读取单应性矩阵 计算图像缓存区域中预设重叠区域的图像像素点值，将该图像像素点值转化为灰度值，根 据灰度值计算该图像像素点的积分图像值，并生成积分图像，然后将积分图像值通过所述 SDRAM控制器存入SDRAM存储器的积分图像存储区域中； 步骤三，所述特征点提取模块通过从SDRAM控制器中读取积分图像中积分图像值，并 计算出特征点的位置，以及计算特征点对应的特征向量的值，通过所述SDRAM控制器存入 SDRAM存储器中，再由所述特征点匹配模块从特征点提取模块中读取特征点对应的特征向 量的值，进而计算出匹配的特征点对，并通过所述SDRAM控制器存入SDRAM存储器中； 步骤四，所述特征点匹配模块将步骤三得到的匹配特征点对传递给特征点过滤模块， 所述特征点过滤模块根据预设的迭代次数对所述特征点对进行过滤，消除误匹配的特征 点对，再将重新确定的匹配的点对传递给所述SDRAM控制器，由所述SDRAM控制器传递给 SDRAM存储器进行存储； 步骤五：所述图像单应性矩阵计算模块根据步骤四过滤后得到的匹配特征点对，并根 据匹配特征点对计算图像位移的单应性矩阵； 步骤六：所述图像融合裁剪模块根据步骤五中计算得出的单应性矩阵，从所述SDRAM 控制器中单应性矩阵计算图像缓存区域读取图像像素点值，对实际重叠区域的图像各像素 点进行调整，消除接缝并最终裁剪得到完整的全景图像，并通过所述SDRAM控制器传递给 SDRAM存储器的拼接图像缓存区域进行存储； 步骤七，所述输出控制模块将步骤六得出的完整全景图像，传递给外部显示器进行显 /Jn 〇
5. 根据权利要求4所述的基于特征点的多尺度实时监控视频拼接方法，其特征在于， 所述图像截取转换模块还包括：地址计算单元、灰度图计算单元、行缓存单元以及积分图像 计算单元，将SDRAM的单应性矩阵计算图像缓存区域中的图像截取并转换为积分图像的具 体步骤为： 步骤a，所述SDRAM控制器根据地址计算单元计算的地址值从SDRAM中读取原图像的像 素点值，存储灰度图计算单元中； 步骤b，灰度图计算单元根据所述步骤a中读取到的原图像像素点值转换为灰度值，存 入行缓存单元中； 步骤c，所述积分图像计算单元从行缓存单元中读取灰度值并计算出图像当前位置的 积分图像值，存入所述SDRAM存储器中。
6. 根据权利要求4所述的基于特征点的多尺度实时监控视频拼接方法，其特征在于， 所述特征点提取模块还包括：特征矩阵计算单元、最优特征点查找单元、特征点位置插值计 算单元、特征点特征描述向量计算单元，图像的特征点提取和处理的具体步骤为： 步骤d，所述特征矩阵计算单元通过从SDRAM控制器中读取积分图像中的积分图像值， 计算各尺度下图像各坐标位置处的特征矩阵的值，同时进行极大值抑制，再通过所述SDRAM 控制器传递给SDRAM存储器的特征矩阵值存储区域进行存储； 步骤e，所述最优特征点查找单元根据步骤d中的特征矩阵在相邻尺度的三层图像中 查找特征点所在位置，所述特征点位置插值计算单元通过特征点位置进行插值计算； 步骤f，所述特征点特征描述向量计算单元根据插值计算结果计算特征点的特征描述 向量，并将特征描述向量依次传递给所述SDRAM控制器、SDRAM存储器，存储到特征点描述 向量存储区域； 步骤g，所述特征点匹配模块从特征点提取模块中读取特征点对应的特征向量的值，进 而计算出匹配的特征点对，并通过所述SDRAM控制器存入SDRAM存储器中。
7. 根据权利要求1所述的基于特征点的多尺度实时监控视频拼接方法，其特征在于， 所述特征点过滤模块还包括：映射位置计算单元、映射点距离计算单元以及比较器单元，对 所求的匹配的特征点对进行过滤以消除误匹配的特征点对的具体步骤为： 步骤h，从所述步骤g中随机选取一对特征点，所述映射位置计算单元根据单应性矩阵 计算左侧待拼接图像的特征点在此单应性矩阵下的映射点位置； 步骤i，所述映射点计算单元计算映射点与匹配点之间的距离，采用比较器判断此距离 是否与预先设定的阈值相符，进而统计内点数。
8. 根据权利要求1所述的基于特征点的多尺度实时监控视频拼接方法，其特征在于， 所述图像融合裁剪模块还包括：接缝位置计算单元、RGB通道均值计算单元、渐变融合系数 计算单元、RGB图像调整单元、图像位移计算单元以及图像裁剪单元，待拼接图像的融合和 裁剪的具体步骤为： 步骤k，所述图像位移计算单元根据最优单应性矩阵，计算各待拼接图像在最终图像中 的相对位置以及相邻待拼接图像之间的重叠区域，同时所述接缝位置计算单元根据特征点 过滤模块输出的各内点位置计算相邻图像拼接时的坚直接缝所在的位置； 步骤1，所述RGB通道均值计算单元根据待拼接图像之间的重叠区域读取SDRAM存储器 中拼接图像缓存区域的图像像素值，计算重叠区域接缝左右两侧各列像素点的RGB三通道 均值，接缝左侧像素点的值采用左侧待拼接图像像素点的值，接缝右侧像素点的值采用右 侧待拼接图像像素点的值； 步骤m，所述渐变融合系数计算单元根据RGB三通道均值计算接缝两侧各列图像渐变 融合时的系数，所述RGB图像调整单元根据渐变融合系数值对重叠区域各列像素点进行调 整以消除接缝处的色差； 步骤n，所述图像裁剪单元将待拼接图像投影到全景图的相对位置，消除接缝并对整体 图像进行裁剪以得到最终的全景图像。
9. 根据权利要求1所述的基于特征点的多尺度实时监控视频拼接方法，其特征在于， 所述步骤m中接缝2侧各列图像渐变融合系数为：接缝左侧各列渐变系数的值从1到RGB 三通道比值的开方过渡，重叠区域最左一列的渐变系数为1，接缝处的渐变系数为RGB三通 道比值开方；接缝右侧各列渐变系数值从RGB三通道比值开方的倒数到1过渡，重叠区域最 右一列的渐变系数为1，接缝处的渐变系数为RGB三通道比值开方的倒数。
【专利摘要】本发明涉及图像处理与视频处理技术领域，提供了一种基于特征点的多尺度实时监控视频拼接装置及拼接方法，包括：摄像头，视频解码电路，视频捕获、图像预处理、SDRAM控制、图像截取转换、特征点提取、特征点过滤、图像融合裁剪、输出控制、特征点匹配和图像单应性矩阵计算模块；摄像头与视频解码电路相连；视频捕获模块与多个视频解码电路、图像预处理模块相连；SDRAM控制模块与其它模块相连接；特征点匹配模块与特征点提取模块、特征点过滤模块相连；图像单应性矩阵计算模块与特征点过滤模块、图像融合裁剪模块相连。本发明将多路高清摄像头采集到的视频数据进行无缝拼接，生成宽视角的视频，满足实时性要求，提高拼接准确度。
【IPC分类】H04N7-18, H04N5-262
【公开号】CN104580933
【申请号】CN201510066094
【发明人】钱玲玲, 仇成林
【申请人】上海安威士科技股份有限公司
【公开日】2015年4月29日
【申请日】2015年2月9日