保持稳定的，只是图像的有效区域在不断变化。
[0096]图9的实验中，采用PC机代替数字电路进行图像的抖动补偿计算。也就是说，将 图2中的图像抖动补偿计算由数字电路转移到了PC机上。这样做主要是为了将图像中的 无效区域全部填充为黑色，从而清楚地显示稳像原理。
[0097] 图10为根据一示例性实施例示出的在灰度图像显示方式下的实时电子稳像实验 录像截图。图10是完全按照图3所示原理实现的灰度图像稳像实验截图。其中，左上图、右 上图、右下图三幅图都是摄像头猛然发生逆时针旋转时的视野图像；左下图是摄像头猛然 发生顺时针旋转时的视野图像。因为抖动补偿计算是由FPGA完成的，所以图像中的无效区 域不能填充为黑色，仍然保留了过去帧中的灰度值。这些无效区域中的像素灰度值是没有 意义的。灰度摄像头的分辨率是640列X480行，帧率是60帧/秒。FPGA以零延迟的方式按 照摄像头的分辨率和帧率给出稳像后的视频，处理后的每一帧图像都存储在SRAM(Static RandomAccessMemory，静态随机存储器）中。但由于DSP处理器从SRAM中读取图像的速 度以及通过网线向PC机传输图像的带宽都跟不上FPGA的处理速度，目前不得不将图像降 采样为320列X240行的分辨率进行显示。由此可见，虽然本发明实施例以零延迟的方式 彻底解决了电子稳像的实时计算问题，但在实际应用中开发硬件时，还要注意确保后续的 图像传输和显示速度能跟上。
[0098] 图9和图10中的摄像头抖动既包含旋转成分，也包含平移成分。从图9和图10 可以看出，本发明实施例所实现的稳像效果是相当好的，对摄像头的大幅度旋转和平移抖 动都能实现很好的补偿。在本发明一个优选的实施例中，开发原型系统时采用的是Altera 公司EP3C40F484C6型FPGA，消耗的硬件资源是17050个LE(LogicElement，逻辑单元）， 78396比特的存储资源，还有26个9位乘法器。这是非常低的硬件成本。
[0099]因为本发明实施例将绝大部分计算量都实现在了由逻辑门、触发器等底层元件构 成的数字电路中，并且采用的是流水线计算方式，无需缓存整帧图像，所以本发明实施例在 硬件成本和耗电量上都远远低于现有的其它电子稳像系统。本发明实施例对摄像头大幅度 旋转抖动和平移抖动的补偿能力以及零延迟的实时性能，都在基于FPGA的原型系统中得 到了验证。无论图像的分辨率和帧率是多少，本发明实施例的稳像计算过程都不会产生帧 延迟，这使得它具有广阔的应用前景。在进行数字电路的原型系统开发或小批量生产时， 采用FPGA这样的可编程逻辑器件是很方便的。而对于大批量的生产和应用，则可以设计 ASIC(ApplicationSpecificIntegratedCircuit，专用集成电路）。与FPGA相比，ASIC 具有更小的体积和更低的功耗。根据本发明实施例的算法方案开发ASIC，可以制成一个体 积非常小、功耗非常低的电子稳像芯片，将其应用在手机上，可以解决一个困扰人们很久的 普遍问题一一用手机拍摄录像时由于手的抖动而造成的视频图像抖动。
[0100] 上述实施例中的实施方案可以进一步组合或者替换，且实施例仅仅是对本发明实 施例的优选实施例进行描述，并非对本发明实施例的构思和范围进行限定，在不脱离本发 明实施例设计思想的前提下，本领域中专业技术人员对本发明实施例的技术方案作出的各 种变化和改进，均属于本发明实施例的保护范围。
【主权项】
1. 一种基于数字电路和稀疏点配准的零延迟电子稳像方法，其特征在于： 以数字电路为计算主体，在通用处理器的协助下，实现如下计算步骤： 步骤1 :基于所述数字电路进行图像预处理； 其中，构建流水线，对输入的数字化图像信号进行处理，首先通过滤波来平滑图像，然 后计算所述平滑图像中每一点处的灰度梯度，最后通过一定的梯度阈值将所述平滑图像二 值化，得到由粗线条勾勒出来的二值图像； 步骤2 :基于所述数字电路提取描述符向量； 其中，继续构建流水线，其输入信号为上一步骤得到的所述二值图像，每个像素用一个 比特表示；首先在所述二值图像上开辟一个滑动窗口；然后对所述滑动窗口内的局部二值 图像提取描述符向量；本步骤与上一步骤连成一条流水线，随着原始图像像素的一个个输 入，经过一定的所述流水线的延迟，得到图像中以每个像素位置为中心的一个个局部图像 描述符向量； 步骤3 :基于所述数字电路选取基准点； 其中，对所述二值图像进行区域划分，在所述流水线处理过程中，对同一个区域内不同 像素位置的描述符向量进行比较和甄别，将各维度数值方差最大的那个描述符向量所对应 的像素位置作为相应区域内的基准点，根据所述基准点的描述符向量间接估算所述滑动窗 口内的黑白像素个数，并据此判断该基准点是否有效，将每个区域的基准点坐标及对应的 描述符向量和基准点有效性判断结果都存储下来；本步骤与前述步骤连成一条流水线； 步骤4 :基于所述数字电路搜索匹配点； 其中，将处理上一帧时存储下来的所述所有基准点坐标和对应的描述符向量从所在寄 存器的输出端引出，然后在当前帧中寻找所述基准点的匹配点；以所述每个基准点为中心， 在一定的半径范围内寻找所述匹配点，以描述符向量的距离作为匹配标准，在所述一定的 半径范围内寻找与所述基准点描述符向量距离最小的那个描述符向量，其所对应的像素位 置就是该基准点的匹配点；本步骤的计算流水线接在所述步骤2后面，与所述步骤3并行， 也就是说所述数字电路的计算流水线经过所述步骤1、所述步骤2之后就产生了分叉，分别 流向所述步骤3、所述步骤4两个并行的计算分支，其中所述步骤3得到供下一帧使用的所 有基准点，所述步骤4得到上一帧的每个基准点在当前帧的匹配点； 步骤5 :基于所述通用处理器进行低通滤波； 其中，所述数字电路在处理完每一帧二值图像之前，将所述上一帧中的基准点坐标及 所述当前帧中所对应的匹配点坐标都传给所述通用处理器，所述通用处理器在此基础上通 过求解方程组得到帧间变换参数，然后结合历史记录完成低通滤波计算，分离出高频抖动， 并将下一帧的抖动补偿参数传给所述数字电路； 步骤6 :基于所述数字电路进行抖动补偿； 其中，所述数字电路根据所述通用处理器传来的所述抖动补偿参数，对输入的每个像 素进行实时变换，将所述输入的每个像素变换到新位置，而像素的数值保持不变；本步骤与 前述所有步骤并行，也就是说，每一帧所述数字化图像输入所述数字电路后都由两个并行 的流水线分支进行处理，一个分支完成所述步骤1到所述步骤4的计算，另一个分支则完成 本步骤的计算。2. 根据权利要求1所述的基于数字电路和稀疏点配准的零延迟电子稳像方法，其特征 在于，所述步骤2中的描述符向量提取具体包括： 步骤21 :在所述滑动窗口内画一个内切圆，再将所述内切圆等分成N个扇形，对所述每 个扇形内的像素都采用三角形函数加权，其中以角度为自变量，像素越靠近扇形的中轴线 权值越高，越偏离中轴线权值越低，所述内切圆之外的像素权值都为〇 ; 步骤22 :计算出所述每个扇形内的像素加权之和，得到N个数值，构成N维向量； 其中上述计算步骤完全在数字电路流水线上完成。3.根据权利要求2所述的基于数字电路和稀疏点配准的零延迟电子稳像方法，其特征 在于，所述N取8。
【专利摘要】本发明公开了一种基于数字电路和稀疏点配准的零延迟电子稳像方法,属于图像处理领域。为了解决电子稳像的实时计算问题，本发明实施例设计了一种适合用数字电路实现且基于并行计算的稀疏点配准算法，并在此基础上设计了完整的实时电子稳像方案，开发了以FPGA为计算主体的原型系统，将包括图像抖动补偿在内的99％以上的计算量都实现在了数字电路流水线上。无论图像分辨率多高，本发明实施例所实现的电子稳像方法都没有任何帧延迟，所有计算都在采集图像的同时完成，实现了最佳的实时性能。该方法能够在摄像头发生大幅度旋转抖动和平移抖动的情况下最大限度地维持视频的稳定，而且不针对任何特定场景，摄像头可随意运动，转向任意场景。
【IPC分类】H04N5/14, H04N5/21
【公开号】CN105282399
【申请号】CN201510686027
【发明人】肖晗, 何文浩, 宋海涛, 原魁
【申请人】中国科学院自动化研究所
【公开日】2016年1月27日
【申请日】2015年10月21日