专利名称：一种指纹数据拼接还原方法
技术领域：
本发明涉及到所有擦刮式(滑动式)指纹传感器(sensor)采集后指纹数据 的拼接还原，特别是一种自适应空域匹配和拼接速度跟踪的滑动指纹数据拼接 方法。
背景技术：
随着电子自动化设计的高速发展，活体生物特征认证和身份识别越来越多 的运用到人们的生活中，指纹认证作为在生物特征认证中具有最高可靠性和性 价比，已经成为了当前生物认证的主流。与此同时，指纹采集技术也同时高速 发展着， 一个更低成本，更小体积的sensor将会占领巨大的市场，因此具有 上述优点的擦刮式sensor成为当前研究的重点。擦刮式sensor采集后的指纹 数据是由相邻2个有一定偏移量的固定大小的指纹片(slice)顺序前后连接 组成。能正确的估计相邻slice的偏移量，就可以将擦刮式sensor采集到的 指纹数据拼接成一个完整的指纹。当前的拼接方法包罗万象，技术领域包含空 域和频域，神经网络，人工智能等等，主要方法还是通过一定的判别方式，估 计出相邻2个slice的水平和垂直方向的偏移量，求出相邻2个slice的冗余 部分，再通过一定的补偿方式对冗余部分进行填充，以实现相邻2个slice 的无缝拼接，从而达到从擦刮式sensor采集到的数据中恢复出真实的指纹数 据的目的。但是随着活体生物认证使用的越来越普及，即时性和普适性要求越 来越高， 一个更快捷，成本更低，效果更好的方法是占领市场的利器。现有方法中，无论是频域和空域的方法都具有一定的不足，最常见的现象 就是拼接后的指纹发生不同程度的形变，这在对于后端处理时的很多环节都会 造成严重的影响，直接影响到指纹识别率。且在估计相邻slice的冗余度的过 程中，现有的方法太消耗硬件资源，或者需要消耗较长的处理时间，或者普适 的指纹范围并不理想等等，从而在产品的性价比上大打折扣。因此需要一个能 在综合上述条件下还具有更高性价比的方法来解决这些问题。 发明内容本发明为了解决上述技术问题，提供一种针对所有擦刮式sensor采集的 指纹数据的拼接复原的方法，能更快捷，更准确，更少消耗硬件资源，更适合 指纹类商业产品的推广。针对上述目的，本发明提供一种消耗资源少，运算时间短，对相邻slice 相关性分辨更敏感，并且可以普适于更广泛的指纹范屈，降低指纹拼接后产生 的形变程度以便更适应于指纹后端处理的方法。本发明提供了一种指纹数据拼接还原方法，用于擦刮式感应器采集的指纹 数据处理，包括如下步骤-步骤l，指纹数据正向和逆向特征行自适应差分匹配，用于得到冗余度参数；步骤2，有效偏移量判定和手指擦刮速度跟踪，用于选定出最真实的冗余 度参数；步骤3.相关真实值拼接和无效重叠区域去除。 步骤1包括步骤21，对相邻的第一指纹片和第二指纹片进行指纹数据正向和逆向特 征行自适应差分匹配；步骤22，记录每一行的绝对值差分，以及正向和逆向特征行自适应差分 匹配结果；步骤23，对正向和逆向特征行自适应差分匹配结果进行排序，找出正向 和逆向特征行自适应差分匹配结果中最小的有效偏移差；步骤24，依据最小的有效偏移差得到对应的2个水平和垂直方向的偏移步骤21中，正向特征行自适应差分匹配按照以下公式计算 <formula>formula see original document page 5</formula>
逆向特征行自适应差分匹配按照以下公式计算 <formula>formula see original document page 5</formula>其中，fl(x，y)表示第一指纹片，f2(x，y)表示第二指纹片，y的范围为l 到每个指纹片的行数，A x取值为0到水平最大位移值。
步骤24中，通过正向和逆向特征行自适应差分匹配结果中最小的有效偏 移差所对应的坐标得到对应的2个水平和垂直方向的偏移量。步骤2中，如果2个水平和垂直方向的偏移量相等且不等于0，则该最小的有效偏移 差对应的偏移量即为有效偏移量；如果2个水平和垂直方向的偏移量不相等，则如果偏移量所对应的最小的 有效偏移差较小，则该偏移量即为有效偏移量；如果如果2个水平和垂直方向的偏移量相等且等于0，利用上次有效偏移 量作为当前的有效偏移量。相关真实值拼接通过对第二指纹片中非冗余部分直接拼接实现；无效重叠 区域去除通过对手指的擦刮速度进行跟踪实现。当手指的擦刮速度一直为0，到所有指纹片的数据完全利用后还没有变 化，则该区域为无效数据，在拼接完成的结果中将此段数据丢弃。对于所述无效区域发出记录信号，用于指示对记录信号标明的无效数据存 储位置的数据不做后端处理。本发明提供了一种指纹数据拼接还原芯片，包括RAM地址读写控制模块， 指纹数据读写地址与拼接地址输出选择模块，指纹数据拼接模块，RAM选择模 块，至少两个RAM，相邻指纹片偏移量计算模块；指纹拼接模块，依据相邻水平垂直指纹片偏移量计算模块计算的冗余度参 数进行拼接，以及向RAM选择模块提供读写地址和拼接后的数据；RAM地址读写控制模块，向RAM选择模块提供读写控制信号以及读写地址;指纹数据读写地址与拼接地址输出选择模块，用于选择RAM地址读写控制 模块和指纹拼接模块提供的读写地址，并向RAM选择输出读写地址；相邻水平垂直指纹片偏移量计算模块，利用从RAM选择模块中读取的指纹 数据进行冗余度参数计算；RAM选择模块，用于向RAM输出读写地址以及使能，并对其他所有模块提 供读写数据和地址的中转，以及向总线输出拼接后的指纹数据和控制信号。本发明的优点在于消耗资源少，运算时间短，对相邻slice相关性分辨更敏感，并且可以普 适于更广泛的指纹范围，降低指纹拼接后产生的形变程度，并具有很强的运用
领域扩展性，对于具有擦刮式sensor采集特性的一切类型数据普遍实用。
图1为本发明正向和逆向特征行自适应差分过程图； 图2为本发明ASIC实现的结构框图；图3为SS500型擦刮式指纹sensor采集到的特殊指纹数据； 图4为利用没有手指速度估计方法的指纹拼接结果； 图5为利用本发明提出的手指速度跟踪方法的指纹拼接结果； 图6为其他指纹数据拼接结果。
具体实施方式
本发明的关键是采用了用很小的资源来实现自适应的最大相关性判定方 法，并且提出了在指纹拼接复原过程中跟踪手指速度并通过最大相关性原则进 行非线性判定，从而在很大程度上解决了擦刮式sensor采集到的指纹数据产 生形变的问题，能高效的运用到ASIC设计中，并具有很大的扩展性，可以运 用到除指纹数据复原外的视频数据的拼接复原等等领域。本发明普适于具有水平和垂直方向且无旋转的图象序列的拼接，最主要运 用于擦刮式感应器sensor采集的指纹数据的拼接还原。擦刮式sensor采集方式下采集的指纹数据具有如下特性-指纹数据由具有一定冗余度的大小固定的指纹slice顺序连接组成。相邻 的slice之间几乎不存在旋转，只具有垂直方向和水平方向的偏移量。相邻的 指纹slice之间，由压力引起的形变几乎没有，且在一定数量的连续slice 之间，手指移动速度可以认为是恒定的。因此，相邻的2个slice具有如下特 性-slicel (x+△ x， y+A y) = slice2(x，y) 通过自适应差分匹配，得到相关性最大的区域(相关性最大的区域是指相 邻2个slice完全重叠的区域，即冗余区域)，就可以得到关于冗余度的若干 参数，即Ax和Ay。再根据判定后的冗余度，并在整个拼接过程中即时进行手指擦刮速度跟 踪，对相邻的2个slice进行确保真实值(即对于拼接部分不经过任何插值， 直接利用采集到的真实数据进行拼接)的直接拼接，从而完成指纹的还原。本发明为一种敏感的自适应空域擦刮式指纹数据拼接还原方法，先通过空 域线性差分匹配得到关于冗余度的若干参数(Ax和Ay以及后面提到的 Dl(Ax，y), D2(Ax，y))，再通过一定的仲裁规则选定出最真实的关于冗余度 ;的一组参数，并对方法敏感度未涉及的区域进行手指擦刮速度为依据的拼接， 最大限度地恢复出真实的擦刮指纹，且整个方法在运算速度和资源上能非常容 易的达到ASIC设计的要求。本发明的方法具体包括如下三个步骤步骤l.数据正向和逆向特征行自适应差分匹配。' 步骤2.有效偏移量判定和手指擦刮速度跟踪。步骤3.相关真实值拼接和无效重叠区域去除。其中，步骤l，正向和逆向特征行自适应差分结构见图1，图中箭头表明了2个 slice的相对移动方向，正向逆向差分可以在移动中同时完成。 下面对相邻的slicel和slice2进行匹配比较用slice2的第一特征行和slicel的每一行进行对应点绝对值差分，特征 行指上一个slice的最后一行和当前slice的第一行，正向指利用当前slice 的第一行和上一个slice从第一行起从上到下进行差分的方向，逆向指利用上 一个slice的最后一行和当前slice从最后一行开始从下往上进行差分的方' 向。设slicel用函数fl (x， y)表示，slice2用函数f2(x， y)表示。 正向差分匹配为Dl(Ax，y)= 2 I fl(x，y)-f2(x+Ax， 1) I 逆向差分匹配为D2(Ax，y)= 2 J fl(x+Ax，n)-f2(x，y) I 其次，记录下每一行的绝对值差分和Dl(Ax，y)， y的范围为1到每个slice的行数n， Ax取值为O到设计中可能出现的水平最大位移的值m。同时用slicel的最后一行和slice2的每一行进行绝对值差分，记录下每一行的绝对值差分和D2 (A x， y)。 差分过程如图l所示。分别对Dl和D2进行排序，具体的排序规则是，在所有Dl和D2的值中选 '取最小的D1和D2的值，即求出最小的有效偏移差D1和D2对应的Ax和Ay。 (Axl, Ayl)=min(Dl), ( Ax2, Ay2)二min卿上述公式表达的意义如下假设每个slice的大小为100*20， 100是水平 方向的象素个数，20是行数n，按照上述差分规则可以得到和每个slice的行 数n (20行)*m (假设设计中允许最大为10)个的Dl的值，m是设计中允许 出现的slice水平方向移动的象素点个数。同样可以得到n*m个D2的值，求得最小的min (Dl)(排序)，和min (D2)，由于在运算中记录了每个 Dl和D2的x, y坐标——对应，通过此时求得的min (Dl)和min (D2)就可 以得到它们对应的(Axl, Ayl)和(Ax2， Ay2)， 2个水平和垂直方向的偏 移量。步骤2，实际偏移量(即最真实的2个slice的偏移量)判定和手指擦刮 速度跟踪过程如下首先，比较Axl， Ayl和Ax2， Ay2，当两者不等于0且相等时，由于 △ xl， Ayl为正向差分求得的偏移量，Ax2, Ay2为逆向差分求的偏移量， 两者相同就表示正向和逆向判断结果相同，在概率上具有最高优先级(因为在 实际情况中，正向和反向分别求出的偏移量是有不相等的情况的，在理论上， 2个重叠部分完全相同的slice，正向反向求出的偏移量是完全相同的，因此 在有数据误差的条件下上述2者相同的情况的概率是最小的，因为实际采集到 的数据在slice重叠部分总是有不同的，出现了2者相同的情况就是最小概率， 也是最接近理想值，因此具有最高优先级)，因此此时的Ax和Ay就是相邻 2个slice的实际偏移量(也就是真实的偏移量或最接近于真实的偏移量)；由于采集过程中噪声和sensor的AD转换的影响，当两者不等时，优先比 较Dl( Axl， Ayl)和D2(Axl， Ay2)， (Dl(Axl，Ayl) D2 ( A x2， △ y2)分别为 求出的偏移量对应的有效偏移差，因为有效偏移差最小时，表明两者进行差分 匹配的2行最相似，最接近理想情况的采集到的数据，最小的一个值对应的 Ax和Ay (Ay不等于0)就是此时的偏移量；当上述条件都不满足，也就是Ayl和Ay2相等且都为0的时候，这种情 况是由于相邻的slice之间具有极大相关性造成的。例如在该区域指纹基本都是平行的垂直条纹，此时再用一个非常敏感的 相关度判定方法肯定会受到指纹数据采集时候的噪声和AD转换时候的微小数 据差异的影响。根据规范操作擦刮式sensor时的采集特性，相邻的slice之
间的偏移量不可能为0，因此需要利用到当前手指擦刮速度这个参数，这个参数也就是上2个相邻slice的偏移量，因为手指在擦刮的时候具有一定区域速 度恒定的特点，因此这个时候利用手指的擦刮速度作为相邻slice之间的冗余 度判定具有最可信度。此时利用上次拼接时候跟踪的手指速度来作为依据进行 当前2个slice的拼接。由于采集到的2个slice重叠部分的指纹数据不是理想情况下的完全没有 误差的数据，而是具有一定的误差，因此在上述差分的情况下有可能会误判， 这种情况在任何算法中都不能排除，因为算法的灵敏度有限，对于特殊情况下 的有些数据会有算法不能灵敏到探测出真实数据的情况，因此理论情况下偏移 量不可能为0，而实际情况下，偏移量为O是因为算法的灵敏度有限造成的， 就要利用到跟踪上次拼接的手指速度去逼近真实的情况。本发明中，手指速 度也就是2个slice的实际偏移量，上次拼接的手指速度(实际偏移量)记录 到一个寄存器中，当当前slice偏移量最终计算为0的时候，就用上次拼接的 实际偏移量替代这次拼接的实际偏移量。步骤3，相关真实值拼接和无效重叠区域去除过程如下相关真实值，是指算法计算出的具有最大相关性的区域，即2个slice 的冗余区域中由sensor采集到的原始数据，没有进行任何插值处理的数据。由于在拼接时候需要利用上次拼接的结果作为一个参考的slice,在拼接 过程中频繁的应用插值的方法必然导致数据真实性的丢失而使拼接结果产生 形变，而本发明的方法的一个特性在于对相关性判定的敏感性比较高，所以对 数据的真实性是最高要求。因此对于判定后的非冗余部分，用当前的slice 中非冗余部分f2 (m- A x， n- A y )直接拼接，最大程度确保数据的最真实性(也 就是说是sensor采集到的原始数据，具有最真实性)，从而从根本上杜绝拼接 结果产生形变的原因。关于无效重叠区域去除的原因如下擦刮式sensor采集到的指纹，在有 效区域采集完毕后一般都会有大量无效数据，该数据是因为手指长时间停留在 sensor处造成，因此无效重叠区域去除规则如下跟踪手指的擦刮速度，当 手指不再滑动时，计算出的偏移量(手指擦刮速度)将恒等为0，而这个时候 算法会利用上1次拼接时候不为0的手指擦刮速度(上次拼接计算的实际偏移 量)作为这一次拼接的偏移量进行数据拼接，将这种情况下的偏移量每次
slice拼接时进行加运算并放入记录无效偏移量的寄存器， 一旦出现计算出偏移量不为o时，对寄存器清o，如果是无效数据区域，将不会出现偏移量不为 0的情况，因此记录无效偏移量的寄存器中最后记录的就是无效的数据行数。 当速度一直为0到所有slice的数据利用完成后还没有变化，即可确定该区域 为无效数据，因此在拼接完成的结果中将此段数据丢弃即可。即在上述处理中 对于该无效区域发出记录信号，后端处理的时候，根据记录信号标明的无效数 据存储位置，对该位置的数据不做后端处理，达到丢弃的目的。 ASIC实现本方法的结构框图如图2所示。将本方法作为一个IP架构到系统总线上实现SOC (System On Chip片上 系统)，通过可编程的参数设计，Ram大小可以根据发展进行产品研发中的自 行修改，因此具有很大的灵活性，再可以看出，本发明利用到的逻辑运算非常 简单，因此可以大大提高应用的市场范围和成本控制。图2中，包括RAM地 址读写控制模块，指纹数据读写地址与拼接地址输出选择模块，指纹数据拼接 模块，RAM选择模块，RAM (包括RAMI, RAM2， RAM3)，相邻水平垂直指纹片偏 移量计算模块。其中指纹拼接模块，依据相邻水平垂直指纹片偏移量计算模块 计算的冗余度参数进行拼接，以及向RAM选择模块提供读写地址和拼接后的数 据；RAM地址读写控制模块，向RAM选择模块提供读写控制信号以及读写地址； 指纹数据读写地址与拼接地址输出选择模块，用于选择RAM地址读写控制模块 和指纹拼接模块提供的读写地址，并向RAM选择输出读写地址；相邻水平垂直 指纹片偏移量计算模块，利用从RAM选择模块中读取的指纹数据进行冗余度参 数计算；RAM选择模块，用于向RAM输出读写地址以及使能，并对其他所有模 块提供读写数据和地址的中转，以及向总线输出拼接后的指纹数据和控制信 号。图中，3个RAM的乒乓状态由RAM选择模块产生，它是控制3个RAM时分 复用的信号(比如RAM2和RAM3是2个sensor采集到的输入指纹数据的缓冲 buffer (也就是缓存)，在对RAM2进行写操作的时候，RAM3进行读操作)，它 的主要作用就是调节和控制所有模块工作的时序。由于本发明空域判定区域很小，因此对相关性最大的区域敏感，所以可以 适用于特殊人群指纹，例如垂直方向上相关性极大的特殊指纹人群，将方法的 普适性能从较易拼接的男性人群扩展到了较难拼接的女性，老人和小孩的群 体，并且独特的手指速度跟踪方法的提出，可以使一些非常特殊的指纹得到最
好的拼接复原。
由于本发明充分考虑到了擦刮式sensor的采集特性，因此适用于当前一 切擦刮式sensor,并且可以普遍使用于具有本文所述特点的片状数据采集 sensor。包括各种定向移动数据采集sensor等等。且本发明还可以运用到定 向移动数据的复原领域，包括高速定向移动状态下(相对sensor的采集速度) 的物体特征还原，以及具有一定冗余度的大小固定的数据slice顺序连接组 成。相邻的slice之间几乎不存在旋转，只具有垂直方向和水平方向的偏移量 的一切数据的还原。
权利要求
1.一种指纹数据拼接还原方法，用于擦刮式感应器采集的指纹数据处理，其特征在于，包括如下步骤步骤1，指纹数据正向和逆向特征行自适应差分匹配，用于得到冗余度参数；步骤2，有效偏移量判定和手指擦刮速度跟踪，用于选定出最真实的冗余度参数；步骤3.相关真实值拼接和无效重叠区域去除。
2. 如权利要求1所述的指纹数据拼接还原方法，其特征在于，步骤1包括 步骤21，对相邻的第一指纹片和第二指纹片进行指纹数据正向和逆向特征行自适应差分匹配；步骤22，记录每一行的绝对值差分，以及正向和逆向特征行自适应差分 匹配结果；步骤23，对正向和逆向特征行自适应差分匹配结果进行排序，找出正向 和逆向特征行自适应差分匹配结果中最小的有效偏移差；步骤24，依据最小的有效偏移差得到对应的2个水平和垂直方向的偏移
3. 如权利要求2所述的指纹数据拼接还原方法，其特征在于，步骤21中， 正向特征行自适应差分匹配按照以下公式计算<formula>formula see original document page 2</formula>逆向特征行自适应差分匹配按照以下公式计算<formula>formula see original document page 2</formula>其中，fl(x，y)表示第一指纹片，f2(x，y)表示第二指纹片，y的范围为l 到每个指纹片的行数，A x取值为0到水平最大位移值。
4. 如权利要求2所述的指纹数据拼接还原方法，其特征在于，步骤24中， 通过正向和逆向特征行自适应差分匹配结果中最小的有效偏移差所对应的坐 标得到对应的2个水平和垂直方向的偏移量。
5. 如权利要求2所述的指纹数据拼接还原方法，其特征在于，步骤2中，如果2个水平和垂直方向的偏移量相等且不等于0，则该最小的有效偏移差对应的偏移量即为有效偏移量；如果2个水平和垂直方向的偏移量不相等，则如果偏移量所对应的最小的 有效偏移差较小，则该偏移量即为有效偏移量；如果如果2个水平和垂直方向的偏移量相等且等于0，利用上次有效偏移 量作为当前的有效偏移量。
6. 如权利要求5所述的指纹数据拼接还原方法，其特征在于，相关真实值 拼接通过对第二指纹片中非冗余部分直接拼接实现；无效重叠区域去除通过对 手指的擦刮速度进行跟踪实现。 '
7. 如权利要求6所述的指纹数据拼接还原方法，其特征在于，当手指的擦 刮速度一直为0，到所有指纹片的数据完全利用后还没有变化，则该区域为无 效数据，在拼接完成的结果中将此段数据丢弃。
8. 如权利要求7所述的指纹数据拼接还原方法，其特征在于，对于所述无 效区域发出记录信号，用于指示对记录信号标明的无效数据存储位置的数据不 做后端处理。
9. 一种指纹数据拼接还原芯片，其特征在于，包括RAM地址读写控制模 块，指纹数据读写地址与拼接地址输出选择模块，指纹数据拼接模块，RAM选 择模块，至少两个RAM，相邻指纹片偏移量计算模块；指纹拼接模块，依据相邻水平垂直指纹片偏移量计算模块计算的冗余度参 数进行拼接，以及向MM选择模块提供读写地址和拼接后的数据；RAM地址读写控制模块，向RAM选择模块提供读写控制信号以及读写地址；指纹数据读写地址与拼接地址输出选择模块，用于选择RAM地址读写控制 模块和指纹拼接模块提供的读写地址，并向RAM选择输出读写地址；相邻水平垂直指纹片偏移量计算模块，利用从RAM选择模块中读取的指纹 数据进行冗余度参数计算；RAM选择模块，用于向RAM输出读写地址以及使能，并对其他所有模块提 供读写数据和地址的中转，以及向总线输出拼接后的指纹数据和控制信号。
10. 如权利要求9所述的指纹数据拼接还原芯片，其特征在于，所述相邻指纹片偏移量计算模块是相邻水平垂直指纹片偏移量计算模块。
全文摘要
本发明涉及一种指纹数据拼接还原方法，用于擦刮式感应器采集的指纹数据处理，包括如下步骤步骤1，指纹数据正向和逆向特征行自适应差分匹配，用于得到冗余度参数；步骤2，有效偏移量判定和手指擦刮速度跟踪，用于选定出最真实的冗余度参数；步骤3.相关真实值拼接和无效重叠区域去除。本发明消耗资源少，运算时间短，对相邻指纹片相关性分辨更敏感，并且可以普适于更广泛的指纹范围，降低指纹拼接后产生的形变程度，并具有很强的运用领域扩展性，对于具有擦刮式传感器采集特性的一切类型数据普遍实用。
文档编号G06K9/00GK101127077SQ200710121589
公开日2008年2月20日 申请日期2007年9月10日 优先权日2007年9月10日
发明者旭 程 申请人:成都方程式电子有限公司