一种光流法的图像匹配系统的制作方法
【技术领域】
[0001] 本发明属于图像处理的技术领域，尤其是目标搜索跟踪系统中一种光流法的图像 匹配系统。
【背景技术】
[0002] 近年来，国内外对目标搜索跟踪的研究越来越深，算法也越来越趋于成熟，由于其 检测跟踪目标的特点，在银行、交通、国防、安保等民用和军用领域得到广泛应用。而图像匹 配作为搜索跟踪系统中的重要一环，其匹配的准确性和实时性都影响着目标搜索跟踪系统 的效果。
[0003] -般，图像匹配方法主要是分为基于特征点的匹配和基于图像内扩展区域的匹 配。
[0004] 基于特征的匹配方法能够有效的提取出图像中的显著特征，并且运算量相对较 小，适合在FPGA上实现。基于图像内扩展区域的匹配是直接对整幅图像或对从图像中提取 的小块区域进行匹配，与基于特征的匹配方法相比，基于区域的匹配方法有很多不足，图像 的任何崎变都会影响图像内物体的形状和大小，进而影响匹配的质量。区域匹配方法通常 是基于像素值匹配的，因此还受收到许多其他图像变化因素的干扰，例如光照变化或者传 感器类型的变化。
[0005] 图像匹配的实时性和准确性都影响着目标检测的实时性和准确性，杨陈晨，粪 振飞等提出了一种相位相关法的FPGA实现(杨陈晨，顾国华，粪振飞等.相位相关红外 图像匹配算法的硬件实现[J].半导体光电，2013, 34巧）：884-889)，该算法实现简单、资 源占用率低，但其受图像灰度的影响，对图像旋转及较大几何变换敏感，因而无法满足硬 件系统的精度要求。JangW，化S等提出了一种基于Harris角点的光流金字培匹配算法 的FPGA实现方法（JangW,OhS,KimG.AhardwareimplementationofpyramidalKLT featuretrackerfordrivingassistancesystems[C]//IntelligentTransportation Systems, 2009.ITSC'09. 12thInternationalIE邸Conferenceon.I邸E, 2009:1-6)，该方 法借助多分辨率的光流估计提高了图像大运动的匹配精度，同时基于角点特征大幅度地降 低了计算量，但由于光流金字培的硬件化资源开销大、实现复杂，从而导致整个系统的成本 过高。
【发明内容】
[0006] 本发明提出一种光流法的图像匹配系统，法优化了KLT特征提取算子的判断条 件，并合理地简化了光流金字培的实现过程；在满足硬件系统对精度要求的前提下，大幅度 地降低了方法的计算量及资源开销，同时能够满足旋转图像及较大几何变换图像的匹配要 求。
[0007] 为了解决上述技术问题，本发明提供一种光流法的图像匹配系统，其特征在于，包 括A/D转换模块、中值滤波模块、KLT特征点提取模块、图像金字培模块、光流和特征点坐 标初始化模块、SRAM控制模块、LK光流匹配模块W及四个SRAM存储芯片SRAMl、SRAM2、SRAM3、SRAM4 ;A/D转换模块、中值滤波模块、KLT特征点提取模块、图像金字培模块、光流和 特征点坐标初始化模块、SRAM控制模块、LK光流匹配模块设置在FPGA上，A/D转换模块与 中值滤波模块相连，中值滤波模块同时与KLT特征点提取模块和图像金字培模块相连，KLT 特征点提取模块、光流和特征点坐标初始化模块、SRAM控制模块和LK光流匹配模块依次相 连；SRAM1通过SRAM控制模块与A/D转换模块相连；SRAM2和SRAM3通过SRAM控制模块与 图像金字培模块相连；SRAM4通过SRAM控制模块与SRAM2相连;A/D转换模块的作用在于 利用A/D转换芯片将CCD采集的模拟图像数据转化为数字图像数据；中值滤波模块的作用 在于使用快速中值滤波法对数字图像数据进行降噪处理；KLT特征点提取模块的作用在于 使用KLT特征点提取原理与阔值的设定，完成KLT特征点提取；图像金字培模块的作用在 于使用下采样方法通过SRAM控制模块完成图像金字培模型的建立和存储；光流和特征点 坐标初始化模块的作用在于使用图像金字培的层数信息将光流和特征点进行初始化；SRAM 控制模块的作用在于控制四个SRAM存储芯片的读写操作；LK光流匹配模块的作用在于使 用最小化差异函数完成图像匹配。
[0008] 本发明与现有技术相比，其显著优点在于；（1)该方法提出了一种快速的中值滤 波的方法，提高了整个算法计算速度；(2)该方法提出了一种新的KLT特征点提取的方法 体，节省了FPGA处理板的板上资源；（3)该方法提出了一种利用模块复用实现LK光流匹配 的方法；(4)该方法为算法的硬件实现，可保证整个算法的实时性。
【附图说明】
[0009] 图1是本发明系统简图。
[0010] 图2是本发明系统详图。
[0011] 图3是本发明中值滤波模块中实现3X3矩阵的示意图。
[0012] 图4是本发明KLT特征点提取模块硬件实现示意图。
[0013] 图5是本发明多块SRAM协调操作建立图像金字培即光流估计的示意图。
[0014] 图6是本发明SRAM3和SRAM4中建立图像金字培的示意图。
[0015] 图7是本发明光流和特征点坐标初始化模块和LK光流匹配模块算法实现示意图。
【具体实施方式】
[0016] 本发明是一种光流法的图像匹配系统，是基于KLT(Kanade-Lucas-Tomasi)特征 点的LK光流匹配算法的FPGA实现系统。
[0017] 系统构架：
[001引本发明系统框架如图1和图2所示，包括A/D转换模块、中值滤波模块、KLT特征 点提取模块、图像金字培模块、光流和特征点坐标初始化模块、SRAM控制模块、LK光流匹配 模块W及四个SRAM存储芯片SRAM1、SRAM2、SRAM3、SRAM4 ;
[0019]A/D转换模块、中值滤波模块、KLT特征点提取模块、图像金字培模块、光流和特征 点坐标初始化模块、SRAM控制模块、LK光流匹配模块设置在FPGA上，A/D转换模块与中值 滤波模块相连，中值滤波模块同时与KLT特征点提取模块和图像金字培模块相连，KLT特征 点提取模块、光流和特征点坐标初始化模块、SRAM控制模块和LK光流匹配模块依次相连； SRAMl通过SRAM控制模块与A/D转换模块相连；SRAM2和SRAM3通过SRAM控制模块与图像 金字培模块相连；SRAM4通过SRAM控制模块与SRAM2相连。
[0020] A/D转换模块的作用在于利用A/D转换芯片将CCD采集的模拟图像数据转化为 数字图像数据；中值滤波模块的作用在于使用快速中值滤波法对数字图像数据进行降噪处 理；KLT特征点提取模块的作用在于使用KLT特征点提取原理与阔值的设定，完成KLT特征 点提取；图像金字培模块的作用在于使用下采样方法通过SRAM控制模块完成图像金字培 模型的建立和存储；光流和特征点坐标初始化模块的作用在于使用图像金字培的层数信息 将光流和特征点进行初始化；SRAM控制模块的作用在于控制四个SRAM存储芯片的读写操 作；LK光流匹配模块的作用在于使用最小化差异函数完成图像匹配。
[0021] 系统工作过程：
[0022] 模拟图像经CCD采集后，通过视频口输入到A/D转换模块，A/D转换模块通过SRAM 控制模块控制SARM1完成图像奇偶场的合成，得到完整的数字图像后发送给中值滤波模 块；
[0023] 数字图像在中值滤波模块中进行降噪处理后，同时输入到KLT特征点提取模块和 图像金字培模块；
[0024] KLT特征点提取模块对接收到的图像数据进行特征点提取，然后将特征点坐标信 息发送给光流和特征点坐标初始化模块；
[0025] 图像金字培模块接收到图像数据后通过SRAM控制模块协调SRAM2、SRAM3、SRAM4 建立和存储图像金字培模型；
[0026] 光流和特征点坐标初始化模块接收到来自KLT特征点提取模块的特征点坐标信 息W及来自LK光流匹配模块的光流信息后将光流和特征点坐标初始化，并将初始化后的 光流和特征点坐标信息输出到SRAM控制模块；
[0027] LK光流匹配模块根据SRAM控制模块接收到的光流和特征点坐标初始化信息控制 SRAM控制模块从SRAM3、SRAM4中读取出图像金字培模型，进行图像匹配获得光流，然后根 据金字培层数判断是否完成图像匹配，若完成则输出光流完成图像匹配，否则将光流发送 到光流和特征点坐标初始化模块再进行初始化。
[002引 实施例：
[0029] 本实施例采用的FPGA处理板WX巧VFX30T为主芯片，主要存储芯片为SRAM,算 法使用Verilog语言描述，程序的编写和仿真是在ISE13. 1上完成的。视频图像大小为 640X480,时钟为 27Mhz。
[0030] 1、A/D转换模块
[0031] 由CCD获得的视频通过视频接口输入到A/D转换模块，A/D转换模块通过SRAM控 制模块控制SARM1完成图像奇偶场的合成，得到完整的数字图像后发送给中值滤波模块。
[0032] 2、中