基于fpga的多路视频拼接方法及装置的制造方法
【技术领域】
[0001]本发明涉及及图像处理与视频处理技术领域，尤其是多路视频拼接方法及装置。
【背景技术】
[0002]随着数字视频技术的快速发展以及人们安防意识不断的增强，视频监控在通信、广播、消费类电子和医疗等领域，都有广泛的应用。如今人们对监控的要求越来越苛刻，希望能从监控中得到更多的信息，但往往受到硬件设备的限制，无法得到满足。现在摄像机的种类越来越多，清晰度越来越高，但是对一个摄像头来说，它还是存在难以克服的困难。虽然现在市场上也有些鱼眼全景摄像头，但是这种镜头获得的视频容易产生畸变，而且这种摄像头自身的视频分别率比较低。因此为了获得高分辨率的大场景信息，克服普通摄像头视野小，分辨率低的缺点，需要寻找一种针对大场面、大场景监控的解决方案，其中采用多路摄像头实现全景视频监控是目前比较常见的一种做法。
[0003]视频图像拼接技术在不同的领域中得到了充分的应用，比如视频监控、计算机视觉、工业检验和机器人等领域。多个摄像机能够同时获取两路或者三路的视频图像，且两个相邻的摄像机的视角重叠比例适当，再通过查找图像特征和特征值配准的方法计算出两幅图像之间的单应性矩阵，最后将各路图像缝合成广视角的图像。大部分同型号的不同摄像头性能是有微小差异的，在相同的环境下得到的图像色彩也会不同，而实际应用中受光线视角的影响，摄像机在同一时刻获得的图像是有明显视觉差的，从而导致最后得到的拼接图像的效果达不到用户的要求。因此对视频预处理以及图像拼接算法的深入研究，有助于对采集的图像进行校正归一，以减少合成视频的差异性。
[0004]一般的嵌入式视频处理平台都是采用DSP+ARM或者FPGA+DSP这种架构，然而在这种体系框架下视频处理开发是相当复杂，而且整个平台的设计成本很高。所以现在一些FPGA公司推出了一些可扩展平台硬件芯片，内部不仅集成了 ARM内核的双核处理器，而且芯片自身也带有大量的可编程逻辑门阵列资源。在该架构下，整个系统内部的数据传输带宽能满足需求，而且能充分利用芯片内部的FPGA逻辑资源的并行数据处理能力。
【发明内容】
[0005]为了克服现有多路视频拼接方法及装置的结构复杂、成本较高、实时性较差的不足，本发明提供了一种结构简单、降低成本、实时性良好的基于FPGA的多路视频拼接方法及
目.ο
[0006]为了解决上述技术问题采用的技术方案为:
[0007]—种基于FPGA的多路视频拼接方法，所述方法包括如下步骤:
[0008]步骤一，多路HD-SDI摄像头将图像数据传输给通过硬件解码电路转化为差分数字信号，然后通过FPGA吉比特接收模块接收后，经过图像降采样以及中值滤波后传给DDR3存储器进行缓存，且各路图像都有自己的缓存；
[0009]步骤二，从各路图像采集的DDR3存储器中读入图像，并计算图像的harris角点特征，并将角点特征存入DDR3存储器当中的特征缓冲区中，并计算角点特征的相似度，再按照相似度大小进行排序，排序后将数据存入新的相似角点特征区域；
[0010]步骤三，从相似角点特征区域选好四对配对的特征点，然后计算需要投影的图像的单应性矩阵，将需要投影变换的那副图像中的其他配对点都通过投影变换到另一副图像中，统计配对点的个数，判断点的重合点的个数是否符合设定的阈值，如果符合就得到最优匹配点，如果不符合，那么就重复当前步骤，并计算结果单应性矩阵；
[0011]步骤四，从DDR3存储器中读取原始图像，按照单应性矩阵计算，将另一幅图像的数据投影到不动的图像平面上，并对重叠区域的图像各像素进行调整，最终得到合成的图像，并存入DDR3存储器的缓冲区进行存储，再由控制器中传到显示缓存区中；
[0012]步骤五，从步骤四得到的拼接图像，传递给外部的显示器进行显示。
[0013]一种基于FPGA的多路视频拼接装置，所述装置包括多个HD-SDI摄像头、多个视频硬件解码电路，高清数字视频采集模块，视频预处理模块、DDR3控制模块、特征点提取模块、特征点筛选模块、图像融合模块、图像单应性矩阵计算模块和输出控制模块；
[0014]所述HD-SDI摄像头，与所述视频硬件解码电路个数相同，并且每个摄像头都有一个单独的硬件解码电路；
[0015]所述高清数字视频采集模块，与多个所述视频硬件解码电路、视频预处理模块相连接；
[0016]所述DDR3控制模块，包括DDR3控制器和DDR3存储器，并且所述DDR控制器与视频预处理模块、特征点提取模块、特征点筛选模块、图像融合模块和输出控制模块连接；
[0017]所述特征点匹配模块，与所述特征点提取模块，特征点筛选模块相连接；
[0018]所述高清数字视频采集模块用于实现视频信息的输入;所述DDR3控制器用于控制DDR3存储器的读取，所述DDR3存储器用于存储视频图像和计算的中间值;所述视频预处理模块用于对图像进行色彩调整;所述特征点提取模块用于计算图像的特征点位置和特征描述向量;所述特征点匹配模块用于计算匹配的特征点对;所述特征点筛选模块用于对匹配特征点进行筛选得到最优的匹配特征点对;所述图像单应性矩阵计算模块根据最优匹配特征点计算图像单应性矩阵;所述图像融合模块根据图像单应性矩阵对多幅图像拼接;所述输出控制模块用于控制图像的输出和显示。
[0019]进一步，所述HD-SDI摄像头和视频硬件解码电路各为2个。
[0020]再进一步，所述DDR3存储器包括拼接图像缓存区域、特征点缓存区域、相似角点特征缓存区域和单应性矩阵缓存区域。
[0021 ]所述视频预处理模块包括:
[0022]视频串行解析单元，用于通过吉比特收发器接收串行视频信号存入像素点缓存中，转化为并行视频信号；
[0023]降采样单元，用于通过并行视频信号，将其视频数据的降为原信号的四分之一，并传入下一级；
[0024]色彩调整单元，用于从降采样单元中读入视频像素，进行色彩矩阵的变换；
[0025]视频传输单元，用于从各路的色彩矩阵单元中读取数据然后存入DDR3存储器中拼接图像缓存区中。
[0026]所述特征点提取模块包括:
[0027]灰度计算单元，用于根据地址计算分配单元读取采集的图像像素点，转化为灰度值，并存入DDR3存储器灰度图像缓存区域中；
[0028]harris特征向量查找单元，用于从所述DDR3存储器中读取灰度图像像素值，计算各个像素的在横纵方向上的变化率，判断计算结果值是否超过设定阈值，如果属于harris特征值，就将特征值存入所述DDR3存储器特征点缓存区域中；
[0029]特征点筛选单元，用于按照特征点的变化率进行排序，取前面1000个特征点作为两幅图像的对比特征向量，并存入所述DDR3特征点缓存区域。
[0030]所述特征点匹配模块包括:
[0031]特征相似度计算单元，用于读取有效特征点存储区的特征向量，并计算两幅图像之间的特征向量之间的相似度，并刷选出最为相似的特征向量对，并存入所述DDR3存储器匹配点缓存区中；
[0032]单应性矩阵计算单元，用于读取两幅图形中的四对特征匹配点，然后通过单应性矩阵