基于数字电路和稀疏点配准的零延迟电子稳像方法
【技术领域】
[0001] 本发明实施例涉及图像处理领域，尤其是涉及一种基于数字电路和稀疏点配准的 零延迟电子稳像方法。
【背景技术】
[0002] 无论是手持摄像头，还是汽车、飞机上的摄像设备，都不可避免地存在摄像头的抖 动，从而造成视频图像的抖动，这给观测和后续处理带来不便。为了消除或减弱图像的抖 动，稳像技术应运而生。传统的机械稳像、光学稳像技术通常需要陀螺、伺服系统等昂贵的 设备。相比之下，电子稳像技术完全依靠图像处理来消除视频的抖动，不仅能够降低成本， 而且能够减小系统的体积和重量。
[0003] 虽然电子稳像技术已经有将近30年的发展历史，但是由于图像处理涉及到巨大 的运算量，计算的实时性仍然是制约电子稳像技术发展的主要瓶颈。电子稳像算法通常包 括图像预处理、帧间特征配准、低通滤波（分离高频抖动）、抖动补偿四个步骤。其中，图像 预处理和帧间特征配准占据了 90%以上的计算量，而图像预处理、帧间特征配准、抖动补偿 这三个步骤则占据了 99%以上的计算量。因此，只有彻底解决这三个步骤的计算实时性问 题，才能从根本上解决电子稳像的瓶颈问题，使实时电子稳像技术得到广泛应用。
[0004] 在以CPU为核心的传统计算平台上，人们设计了各种电子稳像算法，力求降低计 算量，提高实时性。对于帧间特征配准，代表性的算法有灰度投影法、块匹配法、相位法、光 流场法、位平面法、特征点匹配法等等。当摄像头发生大幅度旋转抖动时，以灰度投影法为 代表的许多方法都会失效。光流场法计算量巨大，难以实时计算。虽然特征点匹配法能够 在大幅度旋转和平移下实现准确的帧间特征配准，但是其计算实时性仍然有待提高。
[0005] 从这些年的发展来看，无论CPU的性能如何提高，如果仅仅依靠CPU的串行指令 计算来处理图像和视频数据，实现高性能的实时电子稳像仍然是一件非常困难的事情。特 别是对于高分辨率的图像和视频，CPU的局限性就更加明显。为此，人们将目光转向并行计 算。GPU(GraphicsProcessingUnit，图形处理单元）和FPGA(FieldProgrammableGate Array，在线可编程逻辑阵列）是两类具有并行计算能力的器件。其中，GPU是由许多小计算 单元构成的阵列，而FPGA则直接用逻辑门、触发器等底层元件构成的数字电路来实现计算 功能。由于FPGA是一种完全彻底的硬件计算，其功耗低于GPU，而计算的并行性高于GPU。 如果采用FPGA进行开发，有望通过低功耗的硬件并行计算实现高速的实时图像处理。因 此，尽管FPGA的开发难度很大，人们仍然坚持不懈地进行了基于FPGA的图像处理和电子稳 像研究，参见《基于FPGA的嵌入式图像处理系统设计》，DonaldG.Bailey著，原魁、何文浩、 肖晗译，电子工业出版社，2013,ISBN:9787121195976.
[0006] -些研究者已将位平面法或其改进版本实现在了FPGA上，能够补偿图像的平移 抖动，而对于图像的旋转抖动仍然无能为力。要检测和补偿图像的旋转抖动，最有效的方法 还是特征点匹配法。但由于特征点的检测、描述符向量的提取、匹配搜索都需要很大的计算 量，并且步骤复杂，不易在FPGA上实现，一些研究者采用了FPGA加多个DSP的系统方案，将 图像预处理放在FPGA上，而将其余的计算都交给DSP们去完成。这种方案本质上还是一种 多CPU的计算方案，对FPGA的计算能力开发得还是很不充分。
[0007] 对于如何用FPGA检测特征点，一些学者进行了专门的研究，参见HanXiao,Wenhao He,KuiYuan,etal.，''Real-timeSceneRecognitiononEmbeddedSystemwithSIFT KeypointsandaNewDescriptor,"in2013IEEEInternationalConferenceon MechatronicsandAutomation, 2013,pp. 1317-1324.肖哈，〃基于FPGA与DSP的SIFT特 征点检测与匹配方法研究，"博士学位论文，北京：中国科学院自动化研究所，中国科学 院研究生院，2011.然而，现有的方法仅能用FPGA进行特征点的位置检测，或者用FPGA辅 助CPU进行描述符向量的提取计算，对于匹配搜索的任务，则只能交由CPU来完成。
[0008] 如果能将图像预处理、特征点的检测、特征描述符的提取、匹配特征点的搜索这一 系列计算任务都实现在FPGA上，用一条硬件流水线完成计算，那么势必极大地提高计算的 并行性。然而，这一设想确实难以实现。其根本原因在于特征点的数量随场景内容而变化， 有的场景特征点太多，有的场景则太少，而且很多特征点的位置都不够稳定。
[0009] 另一方面，如图1所示，传统的电子稳像系统都是在采集完一帧图像之后才对其 进行处理，这样每一帧图像所占用的时间都由三个部分组成：图像采集时间、处理时间、存 储结果时间。由于处理图像和存储结果都至少要将图像中的所有像素扫描一遍，因此传统 电子稳像系统的延迟都在2帧以上。
[0010] 有鉴于此，特提出本发明。
【发明内容】
[0011] 本发明实施例的主要目的在于提供一种基于数字电路和稀疏点配准的零延迟电 子稳像方法，以解决如何提高电子稳像实时性的问题。
[0012] 为了实现上述目的，采用如下技术方案：
[0013] 根据一个方面，提供一种基于数字电路和稀疏点配准的零延迟电子稳像方法，其 中，以数字电路为计算主体，在通用处理器的协助下，实现如下计算步骤：
[0014] 步骤1 :基于所述数字电路进行图像预处理；
[0015] 其中，构建流水线，对输入的数字化图像信号进行处理，首先通过滤波来平滑图 像，然后计算所述平滑图像中每一点处的灰度梯度，最后通过一定的梯度阈值将所述平滑 图像二值化，得到由粗线条勾勒出来的二值图像；
[0016] 步骤2 :基于所述数字电路提取描述符向量；
[0017] 其中，继续构建流水线，其输入信号为上一步骤得到的所述二值图像，每个像素用 一个比特表示；首先在所述二值图像上开辟一个滑动窗口；然后对所述滑动窗口内的局部 二值图像提取描述符向量；本步骤与上一步骤连成一条流水线，随着原始图像像素的一个 个输入，经过一定的所述流水线的延迟，得到图像中以每个像素位置为中心的一个个局部 图像描述符向量；
[0018] 步骤3 :基于所述数字电路选取基准点；
[0019] 其中，对所述二值图像进行区域划分，在所述流水线处理过程中，对同一个区域内 不同像素位置的描述符向量进行比较和甄别，将各维度数值方差最大的那个描述符向量所 对应的像素位置作为相应区域内的基准点，根据所述基准点的描述符向量间接估算所述滑 动窗口内的黑白像素个数，并据此判断该基准点是否有效，将每个区域的基准点坐标及对 应的描述符向量和基准点有效性判断结果都存储下来；本步骤与前述步骤连成一条流水 线；
[0020] 步骤4 :基于所述数字电路搜索匹配点；
[0021] 其中，将处理上一帧时存储下来的所述所有基准点坐标和对应的描述符向量从所 在寄存器的输出端引出，然后在当前帧中寻找所述基准点的匹配点；以所述每个基准点为 中心，在一定的半径范围内寻找所述匹配点，以描述符向量的距离作为匹配标准，在所述一 定的半径范围内寻找与所述基准点描述符向量距离最小的那个描述符向量，其所对应的像 素位置就是该基准点的匹配点；本步骤的计算流水线接在步骤2后面，与步骤3并行，也就 是说所述数字电路的计算流水线经过所述步骤1、所述步骤2之后就产生了分叉，分别流向 所述步骤3、所述步骤4两个并行的计算分支，其中所述步骤3得到供下一帧使用的所有基 准点，所述步骤4得到上一帧的每个基准点在当前帧的匹配点；
[0022] 步骤5 :基于所述通用处理器进行低通滤波；
[0023]其中，所述数字电路在处理完每一帧二值图像之前，将所述上一帧中的基准点坐 标及所述当前帧中所对应的匹配点坐标都传给所述通用处理器，所述通用处理器在此基础 上通过求解方程组得到帧间变换参数，然后结合历史记录完成低通滤波计算，分离出高频 抖动，并将下一帧的抖动补偿参数传给所述