一种基于fpga的稳像处理模块的制作方法
【专利摘要】本发明提供一种基于FPGA的稳像处理模块，包括特征提取模块、特征匹配模块、运动参数估计模块和运动参数累积及滤波模块；特征提取模块，用于提取当前帧图像的特征点，并针对提取的特征点生成相应的特征向量；特征匹配模块，用于对当前帧的特征向量和前一帧的进行匹配，获取匹配点对；运动参数估计模块，用于根据匹配点对，生成多个变换模型，选取内点数最多的变换模型的参数作为帧间运动参数；运动参数累积及滤波模块，用于对帧间运动参数进行累积，并滤除所述累积运动变换参数中的高频分量，计算当前帧的运动补偿参数，然后将所述运动补偿参数输出。本发明基于FPGA的模块化设计便于构建低功耗、小型化的实时电子稳像系统，应用前景广泛。
【专利说明】
-种基于FPGA的稳像处理模块
技术领域
[0001] 本发明属于图像处理技术领域，具体设及一种基于FPGA的稳像处理模块。
【背景技术】
[0002] 电子稳像技术作为一种重要的视频增强技术，可W有效地从视频序列中去除因摄 像平台不稳定而引入的图像扰动，从而提高视频的稳定性和清晰度，已经被广泛应用到军 事领域和民用设备中。
[0003] 常用的电子稳像方法按照运动估计方法的不同可W分为基于图像特征的电子稳 像方法和基于灰度信息的电子稳像方法。其中，基于图像特征的稳像方法通过提取帖内特 征点，并对相邻帖的特征点进行匹配来估计摄像机的运动参数，进而对图像进行运动补偿。 该方法精度较高，可W有效去除视频中的平移和旋转抖动，进而被广泛采用，但由于计算过 程相对复杂，难W硬件实时实现。
[0004] 利用FPGA进行视频图像处理模块设计，可W充分发挥并行和流水线计算的优势， 解决复杂的计算密集型运算，从而加速视频图像处理算法的硬件实现，便于实时视频处理 系统的构建。
【发明内容】
阳0化]本发明的目的是为了加速基于特征匹配的电子稳像算法的硬件实现，便于构建实 时稳像系统，而提出一种基于FPGA的稳像处理模块。
[0006] 实现本发明的技术方案如下：
[0007] 一种基于FPGA的稳像处理模块，包括特征提取模块、特征匹配模块、运动参数估 计模块和运动参数累积及滤波模块，上述四个模块均在FPGA上构建；
[0008] 特征提取模块，用于提取当前帖图像的特征点，并针对提取的特征点生成相应的 特征向量传输给特征匹配模块；
[0009] 特征匹配模块，用于对当前帖的特征向量和前一帖的进行匹配，获取匹配点对并 传输给运动参数估计模块；
[0010] 运动参数估计模块，用于根据匹配点对，生成多个变换模型，选取内点数最多的变 换模型的参数作为帖间运动参数，然后将其传输给运动参数累积及滤波模块；
[0011] 运动参数累积及滤波模块，用于对帖间运动参数进行累积，并滤除所述累积运动 变换参数中的高频分量，计算当前帖的运动补偿参数，然后将所述运动补偿参数输出。
[0012] 本发明具有如下有益效果：
[0013] (1)特征提取、特征匹配和运动参数估计Ξ个模块W流水线模式运行，充分发挥 FPGA并行处理的优势，保证处理的实时性。
[0014] 似利用基于FPGA的稳像处理模块，可W加速基于特征匹配的电子稳像算法的硬 件实现；基于FPGA的模块化设计便于构建低功耗、小型化的实时电子稳像系统，应用前景 广泛。
【附图说明】
[0015] 图1为基于FPGA的稳像处理模块的示意图；
[0016] 图2为特征提取模块框图；
[0017] 图3为特征匹配模块框图；
[0018] 图4为运动参数估计模块框图；
[0019] 图5为运动参数累积及滤波模块框图。
【具体实施方式】
[0020] 下面结合附图和具体实例对本发明进行详细说明。
[0021] 如图1所示，本发明基于FPGA的稳像处理模块由FPGA实现，包括特征提取模块、 特征匹配模块、运动参数估计模块和运动参数累积及滤波模块；特征提取、特征匹配及运动 参数估计模块W流水线模式运行，充分发挥FPGA的并行处理优势，保证处理的实时性。具 体为：
[0022] 特征提取模块，用于提取当前帖图像的特征点，并针对提取的特征点生成相应的 特征向量传输给特征匹配模块。
[0023] 特征匹配模块，用于对当前帖的特征向量和前一帖的进行匹配，获取匹配点对并 传输给运动参数估计模块。
[0024] 运动参数估计模块，用于根据匹配点对，生成多个变换模型，选取内点数最多的变 换模型的参数作为帖间运动参数，然后将其传输给运动参数累积及滤波模块。
[00巧]运动参数累积及滤波模块，用于对帖间运动参数进行累积，并滤除所述累积运动 变换参数中的高频分量，计算当前帖的运动补偿参数，然后将所述运动补偿参数输出。
[00%] (1)特征提取模块
[0027] 如图2所示，本发明所述特征提取模块主要由数据分配子模块，特征点检测子模 块，特征点描述子模块及合成子模块组成；负责从当前帖提取特征点并生成特征向量。
[0028] 数据分配子模块，对输入图像数据进行区域缓存，并将当前点的邻域数据信息并 行分配给特征点检测子模块和特征点描述子模块；计算当前点的坐标将其传输给合成子模 块。
[0029] 特征点检测子模块，根据当前点的邻域数据信息判断当前点是否为特征点，根据 判断的结果生成特征点标志传输给特征匹配模块。
[0030] 特征点描述子模块，根据当前点的邻域数据信息生成相应的特征描述，并传输给 合成子模块。
[0031] 合成子模块，根据接收的特征描述和坐标合成当前点的特征向量传输给特征匹配 模块。 阳0巧 似特征匹配模块
[0033] 如图3所示，本发明所述特征匹配模块主要由特征向量存储子模块，匹配控制器 和匹配器组成；负责将当前帖的特征向量与前一帖的进行匹配，生成匹配点对坐标。
[0034] 特征向量存储子模块由参考特征向量存储和当前帖特征向量存储构成，用于接收 特征提取模块传输过来的特征向量和特征点标志，根据所述特征点标志判断是否对特征向 量进行存储，并存储前一帖的特征向量集合。
[0035] 匹配控制器，用于将特征向量存储子模块中存储的、当前帖尚未进行匹配的特征 向量读出，将所读出的特征向量送到匹配器。
[0036] 匹配器主要由特征向量距离计算子模块和匹配判别子模块组成；负责为输入的待 匹配特征向量在前一帖的特征向量集合中找出最佳匹配。
[0037] 特征向量距离计算子模块，存储输入的待匹配的特征向量，从特征向量存储子模 块依次读取前一帖的所有特征向量，并计算待匹配的特征向量与前一帖的所有特征向量之 间的距离，记录距离的最小和次小值及最小距离所对应的匹配点对的空间信息。
[0038] 匹配判别子模块，根据所述距离的最小和次小值W及最小距离所对应的匹配点对 的空间信息，判断最小距离所对应的匹配点对是否为正确匹配点对，生成匹配标志和匹配 点对坐标给运动参数估计模块。
[0039] 本实施例中匹配判别子模块的判断为：将最小与次小距离的比值与预设阔值进行 比较，判断所述比值是否小于预设阔值。 W40] 同时，针对空间信息中包含的空间坐标化Y)和狂'，Υ')，方向角R和R'，设立W 下两种判别条件： 阳〇4U 第一；
[0042] 第二：|R-R' I < Τ'虹eshold2
[0043] 其中，Τ虹esholdl表示坐标阔值，Τ虹eshold2表示角度阔值；
[0044] 若W上条件均满足，则认为最小距离所对应的匹配点对为正确匹配，生成表示匹 配成功的匹配标志位。 W45] 做运动参数估计模块
[0046] 如图4所示，本发明所述运动参数估计模块主要由匹配点对存储子模块，变换模 型生成子模块和最佳变换模型选取模块组成；负责从匹配点对集合中逐次估计变换模型并 进行内点数统计，选取内点最多的变换模型参数作为帖间运动参数的最佳估计。
[0047] 匹配点对存储子模块，用于接收特征匹配模块传输过来的匹配点对坐标和匹配标 志，并根据所述匹配标志对匹配点对坐标进行存储。
[0048] 变换模型生成子模块，用于从存储于匹配点对存储子模块中的匹配点对坐标集合 中进行η次随机选取匹配点对，利用η次选取的匹配点对坐标生成η个变换模型并进行存 储。
[0049] 最佳变换模型选取模块主要由η+1个变换模型寄存子模块、η+1个内点判别和统 计子模块及最佳变换模型选取子模块组成；其中η+1个内点判别和统计子模块分别与η+1 个变换模型寄存子模块一一对应。
[0050] 变换模型寄存子模块，用于从变换模型生成子模块中读取生成的η个变换模型并 存储到η个变换模型寄存子模块中，与第η+1个变换模型寄存子模块中存储的上一次估计 的最佳变换模型一起组成本次估计的η+1个候选变换模型。
[0051] 内点判别和统计子模块，判断匹配点对存储子模块中的每一个匹配点对是否为与 其对应的候选变换模型的内点，统计出每一候选变换模型的内点数量。
[0052] 最佳变换模型选取子模块，选出内点最多的候选变换模型作为本次估计的最佳变 换模型；在当前帖匹配过程结束，将当前获得的最佳变换模型的参数作为最佳运动参数估 计并传输给运动参数累积及滤波模块。
[0053] (4)运动参数累积及滤波模块
[0054] 如图5所示，本发明运动参数累积及滤波模块主要由运动参数累积子模块和滤波 子模块组成。
[0055] 运动参数累积子模块，对接收的最佳运动参数进行累积，计算当前帖相对于参考 帖的累积变换参数。
[0056] 滤波子模块，用于滤除累积变换参数中的高频分量，计算当前帖的运动补偿参数 并输出。
[0057] 利用所得到的运动补偿参数，即可对当前帖进行运动补偿，进而获得稳定的输出 帖序列。
[0058] 综上所述，利用本发明的一种基于FPGA的稳像处理模块，可W加速基于特征匹配 的电子稳像算法的硬件实现，便于构建低功耗的小型化实时电子稳像系统，应用范围广泛。
【主权项】
1. 一种基于FPGA的稳像处理模块，其特征在于，包括特征提取模块、特征匹配模块、运 动参数估计模块和运动参数累积及滤波模块，上述四个模块均在FPGA上构建； 特征提取模块，用于提取当前帧图像的特征点，并针对提取的特征点生成相应的特征 向量传输给特征匹配模块； 特征匹配模块，用于对当前帧的特征向量和前一帧的进行匹配，获取匹配点对并传输 给运动参数估计模块； 运动参数估计模块，用于根据匹配点对，生成多个变换模型，选取内点数最多的变换模 型的参数作为帧间运动参数，然后将其传输给运动参数累积及滤波模块； 运动参数累积及滤波模块，用于对帧间运动参数进行累积，并滤除所述累积运动变换 参数中的高频分量，计算当前帧的运动补偿参数，然后将所述运动补偿参数输出。2. 根据权利要求1所述一种基于FPGA的稳像处理模块，其特征在于，所述特征提取模 块主要由数据分配子模块，特征点检测子模块，特征点描述子模块及合成子模块组成； 数据分配子模块，用于对输入图像数据进行区域缓存，并将当前点的邻域数据信息并 行分配给特征点检测子模块和特征点描述子模块；计算当前点的坐标将其传输给合成子模 块； 特征点检测子模块，根据当前点的邻域数据信息判断当前点是否为特征点，根据判断 的结果生成特征点标志传输给特征匹配模块； 特征点描述子模块，根据当前点的邻域数据信息生成相应的特征描述，并传输给合成 子模块； 合成子模块，根据接收的特征描述和坐标合成当前点的特征向量传输给特征匹配模 块。3. 根据权利要求1所述一种基于FPGA的稳像处理模块，其特征在于，所述特征匹配模 块主要由特征向量存储子模块，匹配控制器和匹配器组成； 特征向量存储子模块，用于接收特征提取模块传输过来的特征向量和特征点标志，根 据所述特征点标志判断是否对特征向量进行存储，并存储前一帧的特征向量集合； 匹配控制器，用于将特征向量存储子模块中存储的、当前帧尚未进行匹配的特征向量 读出，将所读出的特征向量送到匹配器； 匹配器主要由特征向量距离计算子模块和匹配判别子模块组成； 特征向量距离计算子模块，存储输入的待匹配的特征向量，从特征向量存储子模块依 次读取前一帧的所有特征向量，并计算待匹配的特征向量与前一帧的所有特征向量之间的 距离，记录距离的最小和次小值及最小距离所对应的匹配点对的空间信息； 匹配判别子模块，根据所述距离的最小和次小值以及最小距离所对应的匹配点对的空 间信息，判断最小距离所对应的匹配点对是否为正确匹配点对，生成匹配标志和匹配点对 坐标给运动参数估计模块。4. 根据权利要求1所述一种基于FPGA的稳像处理模块，其特征在于，所述运动参数估 计模块主要由匹配点对存储子模块，变换模型生成子模块和最佳变换模型选取模块组成； 匹配点对存储子模块，用于接收特征匹配模块传输过来的匹配点对坐标和匹配标志， 并根据所述匹配标志对匹配点对坐标进行存储； 变换模型生成子模块，用于从存储的匹配点对坐标集合中进行η次随机选取匹配点 对，利用η次选取的匹配点对坐标生成η个变换模型并进行存储； 最佳变换模型选取模块主要由η+1个变换模型寄存子模块、η+1个内点判别和统计子 模块及最佳变换模型选取子模块组成；其中η+1个内点判别和统计子模块分别与η+1个变 换模型寄存子模块 对应； 变换模型寄存子模块，用于读取η个变换模型并存储到η个变换模型寄存子模块中，与 第η+1个变换模型寄存子模块中存储的上一次估计的最佳变换模型一起组成本次估计的 η+1个候选变换模型； 内点判别和统计子模块，判断匹配点对存储子模块中的每一个匹配点对是否为与其对 应的候选变换模型的内点，统计出每一候选变换模型的内点数量； 最佳变换模型选取子模块，选出内点最多的候选变换模型作为本次估计的最佳变换模 型；在当前帧匹配过程结束，将当前获得的最佳变换模型的参数作为最佳运动参数估计并 传输给运动参数累积及滤波模块。5.根据权利要求1所述一种基于FPGA的稳像处理模块，其特征在于，所述运动参数累 积及滤波模块主要由运动参数累积子模块和滤波子模块组成； 运动参数累积子模块，对接收的最佳运动参数进行累积，计算当前帧相对于参考帧的 累积变换参数并输出； 滤波子模块，用于滤除累积变换参数中的高频分量，计算当前帧的运动补偿参数并输 出。
【文档编号】G06T7/20GK105872348SQ201510029062
【公开日】2016年8月17日
【申请日】2015年1月20日
【发明人】许廷发, 张坤, 李佳男
【申请人】北京理工大学