专利名称：基于运动估计的扫描指纹图像重构方法
技术领域：
本发明涉及图像处理和匹配技术领域，特别涉及视频编码的运动补偿预测技术，采用亚像素精度的可变块匹配多帧运动估计的方法，实现滑动式指纹传感器的图像重构。
背景技术：
由于指纹特征的唯一性和稳定性，指纹识别技术很早便应用在刑侦领域，并且已经取得了巨大的成功。近年来各种领域身份认证的需求不断增长，并且随着公众地逐步接受和认可，自动指纹识别系统(AFIS)技术必将在民用市场得到更为广泛的应用。自动指纹识别技术的应用和推广又是和指纹传感器技术的发展密切相关的。传统的指纹传感器一般通过将手指靠近或按压在传感器上来检测指纹，因此传感器的尺寸一般相对于指纹要大一些。为了满足结构紧凑、体积更小的需求，一种通过在传感器表面滑动手指检测指纹的微型传感器便应运而生。滑动式指纹传感器作为传统型传感器的”缩微”版本，横向尺寸不变(300或256像素)，纵向仅取2～32行，利用整个手指扫过传感器来形成连续的图像，再用软件重建指纹图像。这种传感器体积小、功耗低、价格便宜且耐受汗渍影响，适于应用在手机、智能电话、PDA或移动存储设备等场合。但是，目前已有的软件重构的指纹图像，存在不同程度的失真和变形，影响了后续识别算法的精度，因此限制着滑动式指纹传感器进一步的推广应用。
发明内容
本发明采用亚像素精度的可变块匹配多帧运动估计的方法，实时地、准确地计算出连续扫描图像的运动向量，变换得到不同的帧之间离散的相对位移，重建指纹图像。
基于运动估计的扫描指纹图像重构方法，包括步骤缓存并实时地更新连续扫描的图像；预测图像的运动向量，动态地选取参考宏块，确定预测匹配块所在的帧及其位置，对预测匹配块所在的帧图像作插值，在预测匹配块的邻域内搜索最佳匹配块，得到亚像素精度的运动估计的运动向量；自适应调整运动搜索范围；变换连续帧图像的运动向量，拼接指纹图像。
还包括步骤缓存连续扫描的图像，并且实时地更新，这种方式实时地清除已完成拼接的图像，只保存相应帧的运动向量和重建的指纹图像，有效地减轻了存储的压力，并且满足实时性要求。
还包括步骤假定在局部范围内，滑动的手指以匀速或匀加速运动，预测图像的运动向量。
还包括步骤根据预测运动向量的数值，动态地选取参考宏块，这种选取宏块的方法，可以得到更加精确的分数形式的运动向量。
还包括步骤亚像素精度的运动估计的像素插值，这种方法可以得到半像素或1/4像素精度的运动向量。
还包括步骤以运动向量和预测向量的差值作为反馈量，自适应调整搜索匹配块的范围，这种方法的优势在于，当手指滑动的速度变化较大时，既能够保证快速地搜索到最佳匹配块，又能够避免搜索陷入局部最优点。还包括步骤变换连续帧图像的运动向量，得到不同的帧之间离散的相对位移，拼接指纹图像，这种方法充分利用了扫描图像有限的垂直分辨率，有效地解决了因运动向量水平分量较小而难以准确描述扫描图像左右偏移的问题。
图1是基于运动估计的扫描指纹图像重构方法的实现过程图。
图2是可变块匹配多帧运动估计示意图。
图3是运动向量计算流程图。
图4是扫描指纹图像重构结果1的图。
图5是扫描指纹图像重构结果2的图。
具体实施例方式
这种基于运动估计的扫描指纹图像重构方法的实现过程如图1所示，具体步骤如下(1-1)分割定位手指扫过传感器的起始位置，方法是统计连续扫描图像的对比度直方图，迭代选取阈值，以此判断是背景还是指纹图像，辅助硬件检测定位扫描指纹图像的起始位置；(1-2)缓存连续扫描的图像。以8行传感器为例，缓存10帧连续扫描的图像，并且实时地更新；(1-3)计算缓存的连续图像的运动向量；(1-4)拼接指纹图像。充分利用扫描图像有限的垂直分辨率，变换连续帧图像的运动向量，得到不同的帧之间离散的相对位移，根据位移关系拼接相应的帧，重建指纹图像。以8行传感器为例，表1所示为运动向量垂直分量转换的结果，对应帧的水平分量叠加，即可得到水平分量的转换结果。实际上，根据一般人手指的滑动速度，可以设定扫描图像的采样频率，使得运动向量的垂直分量在 之间，即用户手指的滑动速度差异为12倍，可以满足多数应用场合的需要。本发明对8行传感器的最大适用范围在 之间，即可以容忍最大差别为63倍的速度范围。
(1-5)更新缓存并判断手指扫描是否终止。清除已完成拼接的图像，更新缓存，采用同步骤(1)动态阈值分割的方法，并结合运动向量判断，如手指停止滑动，则重构过程结束，否则转步骤(2)。
图2的可变块匹配多帧运动估计，利用两幅扫描图像来说明——当前帧和预测匹配块所在的帧，亚像素精度的运动估计需要对预测匹配块所在的帧进行像素插值，参考宏块在当前帧动态地选取，搜索最佳匹配块的范围选取在插值得到的像素阵上预测匹配块的邻域，在下面的运动向量计算步骤中，将会详细地描述这种运动估计的过程。
运动向量计算假定每帧图像中的所有像素做同一运动，则当前帧的运动向量可以用图像宏块的运动向量来表示。
图3是运动向量计算流程。具体实现步骤如下(3-1)计算初始运动向量。在图像的当前帧选取M×N像素的子块，作为初始运动估计的参考宏块，设传感器的分辨率为C×L，则可以取M＝C-2P，N＝1～L-1，其中P＝8～16。采用全搜索算法(FSA)，在上一帧搜索到与参考宏块最匹配的宏块，块匹配的准则为绝对平均误差准则(MAE)，即寻找灰度绝对平均误差最小的图像宏块。参考宏块与匹配块在二维平面上的位移即为初始运动向量。如果预测运动向量的垂直分量小于或等于1，则重新选取参考宏块，隔帧搜索匹配块，参考宏块与匹配块在二维平面上的位移除以间隔的帧数即得到初始运动向量。
(3-2)预测运动向量。假定在局部范围内，滑动的手指以匀速或匀加速运动。以8行传感器为例，在当前帧以前1～18帧的局部范围内，若假定为匀速运动，则预测运动向量为局域内运动向量的加权平均值；若假定为匀加速运动，则首先加权平均局域内运动向量的前向差值，结果再与当前帧前1～6帧的运动向量的均值求和，得到预测运动向量。由于在下面的步骤中，采用动态地选取宏块和搜索反馈的机制，这两种假定是等效的，实验结果亦证明了这两种假定的有效性。如果当前帧为初始3次缓存的帧，则预测运动向量选取初始运动向量。
(3-3)动态地选取参考宏块。由于采用亚像素精度和多帧运动估计的方法，可以根据预测运动向量的数值，选取合适的可变参考宏块。
(3-4)根据预测运动向量和参考宏块的大小确定预测匹配块所在的帧及其位置。
(3-5)对预测匹配块所在的帧图像作亚像素精度的运动估计的像素插值。采用双线性插值法，得到半像素或 像素位置的点，形成以 像素或 像素为间距的像素阵。
(3-6)计算运动向量。采用绝对平均误差准则，在插值得到的像素阵上预测匹配块的邻域内搜索最佳匹配块。参考宏块与最佳匹配块在二维平面上的位移即为亚像素精度的多帧运动估计的运动向量。对于隔帧搜索的匹配块，运动向量需除以间隔的帧数。
(3-7)自适应调整运动搜索范围。以运动向量和预测向量的差值作为反馈量，自适应地调整运动估计搜索最佳匹配块的范围。
图4的扫描指纹图像重构结果1，平均运动向量垂直分量为1.49像素/帧，根据我们设定的扫描图像的采样频率，这个数据接近于一般人的手指滑动速度，水平分量为0.02像素/帧，表示左右偏移较小，图示左侧为原始的连续扫描图像及其局部放大图，右侧为利用我们的方法重构指纹图像的结果。
图5的扫描指纹图像重构结果2，平均运动向量垂直分量为2.02像素/帧，相对于一般人的手指滑动速度较快，水平分量为0.35像素/帧，表明左右偏移较大，图示左侧为原始的连续扫描图像及其局部放大图，右侧为利用我们的方法重构指纹图像的结果。
由图4和图5的图像重构结果可以看出，本发明适应手指扫描变化的范围较大，重构指纹图像的效果好，具有很强的实用性。
表1运动向量垂直分量变换表
权利要求
1.基于运动估计的扫描指纹图像重构方法，包括步骤缓存并实时地更新连续扫描的图像；预测图像的运动向量，动态地选取参考宏块，确定预测匹配块所在的帧及其位置，对预测匹配块所在的帧图像作插值，在预测匹配块的邻域内搜索最佳匹配块，得到亚像素精度的运动估计的运动向量；自适应调整运动搜索范围；变换连续帧图像的运动向量，拼接指纹图像。
2.按权利要求1所述的方法，其特征在于，还包括步骤缓存连续扫描的图像，并且实时地更新，这种方式实时地清除已完成拼接的图像，只保存相应帧的运动向量和重建的指纹图像，有效地减轻了存储的压力，并且满足实时性要求。
3.按权利要求1所述的方法，其特征在于，还包括步骤假定在局部范围内，滑动的手指以匀速或匀加速运动，预测图像的运动向量。
4.按权利要求1所述的方法，其特征在于，还包括步骤根据预测运动向量的数值，动态地选取参考宏块，这种选取宏块的方法，可以得到更加精确的分数形式的运动向量。
5.按权利要求1所述的方法，其特征在于，还包括步骤亚像素精度的运动估计的像素插值，这种方法可以得到半像素或1/4像素精度的运动向量。
6.按权利要求1所述的方法，其特征在于，还包括步骤以运动向量和预测向量的差值作为反馈量，自适应调整搜索匹配块的范围，这种方法的优势在于，当手指滑动的速度变化较大时，既能够保证快速地搜索到最佳匹配块，又能够避免搜索陷入局部最优点。
7.按权利要求1所述的方法，其特征在于，还包括步骤变换连续帧图像的运动向量，得到不同的帧之间离散的相对位移，拼接指纹图像，这种方法充分利用了扫描图像有限的垂直分辨率，有效地解决了因运动向量水平分量较小而难以准确描述扫描图像左右偏移的问题。
8.按权利要求1所述的方法，其具体步骤如下(1-1)分割定位手指扫过传感器的起始位置，统计连续扫描图像的对比度直方图，迭代选取阈值，以此判断是背景还是指纹图像；(1-2)缓存连续扫描的图像；(1-3)计算缓存的连续图像的运动向量；(1-4)拼接指纹图像，充分利用扫描图像有限的垂直分辨率，变换连续帧图像的运动向量，得到不同的帧之间离散的相对位移，根据位移关系拼接相应的帧，重建指纹图像；(1-5)更新缓存并判断手指扫描是否终止，清除已完成拼接的图像，更新缓存，采用同步骤(1-1)动态阈值分割的方法，并结合运动向量判断，如手指停止滑动，则重构过程结束，否则转步骤(1-2)。
9.按权利要求8所述的方法，运动向量计算假定每帧图像中的所有像素做同一运动，则当前帧的运动向量可以用图像宏块的运动向量来表示，具体实现步骤如下(3-1)计算初始运动向量，在图像的当前帧选取M×N像素的子块，作为初始运动估计的参考宏块，设传感器的分辨率为C×L，则可以取M＝C-2P，N＝1～L-1，其中P＝8～16，采用全搜索算法，在上一帧搜索到与参考宏块最匹配的宏块，块匹配的准则为绝对平均误差准则，即寻找灰度绝对平均误差最小的图像宏块，参考宏块与匹配块在二维平面上的位移即为初始运动向量，如果预测运动向量的垂直分量小于或等于1，则重新选取参考宏块，隔帧搜索匹配块，参考宏块与匹配块在二维平面上的位移除以间隔的帧数即得到初始运动向量；(3-2)预测运动向量；(3-3)动态地选取参考宏块；(3-4)根据预测运动向量和参考宏块的大小确定预测匹配块所在的帧及其位置；(3-5)对预测匹配块所在的帧图像作亚像素精度的运动估计的像素插值，采用双线性插值法，得到半像素或 像素位置的点，形成以 像素或 像素为间距的像素阵；(3-6)计算运动向量，采用绝对平均误差准则，在插值得到的像素阵上预测匹配块的邻域内搜索最佳匹配块，参考宏块与最佳匹配块在二维平面上的位移即为亚像素精度的多帧运动估计的运动向量，对于隔帧搜索的匹配块，运动向量需除以间隔的帧数；(3-7)自适应调整运动搜索范围，以运动向量和预测向量的差值作为反馈量，自适应地调整运动估计搜索最佳匹配块的范围。
全文摘要
本发明涉及图像处理和匹配技术领域，一种基于运动估计的扫描指纹图像重构方法，包括步骤分割定位手指扫过传感器的起始和结束位置；缓存并实时地更新连续扫描的图像；假定在局部范围内，滑动的手指以匀速或匀加速运动，预测图像的运动向量；根据预测运动向量，动态地选取参考宏块，并预测匹配块所在的帧及其位置，进行亚像素精度的运动估计的像素插值，在预测匹配块邻域内搜索最佳匹配块，得到运动向量；以运动向量和预测向量的差值作为反馈量，自适应调整搜索匹配块的范围；变换连续帧图像的运动向量，拼接指纹图像。
文档编号H04N7/32GK1889092SQ200510012049
公开日2007年1月3日 申请日期2005年6月30日 优先权日2005年6月30日
发明者王阳生, 赵绪营, 师忠超, 漆进 申请人:中国科学院自动化研究所