专利名称：基于波形匹配的指纹图像帧序列的拼接方法
技术领域：
本发明涉及一种图像处理过程控制方法，具体来说是一种指纹图像帧的拼接方法。
背景技术：
现在自动指纹识别系统的应用范围越来越广，如手机和计算机，特别是当自动指纹识别系统应用于手机时，需要采用小的指纹传感器，否则将会影响手机的外观布局以及体积大小。从产品成本上讲，小的指纹传感器需要的集成电路芯片的面积更小，成本更低。因此，刮擦式传感器获得了越来越广泛的应用。
刮擦式指纹传感器的工作原理是采集很多帧的指纹图像，相邻帧间有一定的重叠区域，需要通过图像拼接将各帧图像拼接成一幅完整的指纹图像。因此指纹图像拼接算法对于刮擦式指纹传感器有重要意义。
在实际应用中，要求自动指纹识别系统的响应时间比较短，所以要求指纹图像拼接算法运算速度快，拼接图像能够满足指纹识别算法的要求。
经过对现有技术文献的检索发现，中国专利公开号CN 1694118A，
公开日2005年11月9日，发明创造的名称为“扩展相位相关的滑动指纹序列无缝拼接方法”，该申请案公开了一种扩展相位相关的滑动指纹序列无缝拼接方法。其不足之处是需要对每个图像帧进行傅立叶变换以实现拼接。
中国专利公开号CN 1804862A，
公开日2006年7月19日，发明创造的名称为“指纹图像帧的拼接方法”，该申请案公开了一种指纹图像帧的拼接方法。其不足之处是需要对每个图像帧计算灰度方差以实现拼接。
发明内容
本发明克服了上述缺点，提供了一种在指纹图像拼接过程中只处理每个图像帧经过二值化的参考区域，从而减少计算量，加快拼接速度的指纹图像帧的拼接方法。
本发明解决其技术问题所采取的技术方案是一种指纹图像帧的拼接方法，对每帧图像，只根据其参考区域提取出的二进制波形跳变信息进行拼接。
可包括如下步骤
1)收到指纹图像采集模块采集到的指纹图像帧后，读入第一帧图像；2)对图像帧进行缩减处理，拼入拼接图像，依次采用各个参考区域提取模板提取基准参考区域，计算提取到的基准参考区域的波形跳变信息，如果能够获得基准区域波形跳变信息，读入下一帧图像，进入步骤3)；如果无法获得基准区域波形跳变信息，读入下一帧图像，返回步骤2)；3)对图像帧进行缩减处理，采用上一图像帧所采用的参考区域提取模板提取当前图像帧的参考区域，计算参考区域的波形跳变信息；4)确定当前图像帧与拼接图像的重叠区域；5)如果当前图像帧参考区域标定重复行以上的图像区域中存在能够作为基准区域的图像区域，将其作为新基准区域，更新基准区域波形跳变信息，将当前图像帧拼入拼接图像，读入下一个图像帧，转入步骤3)；反之，进入步骤6)；6)选用其他的参考区域模板提取新基准参考区域，计算新基准参考区域波形跳变信息，获得新基准区域波形跳变信息，提取新参考区域，计算新参考区域的波形跳变信息，直到通过步骤4)和5)进入步骤3)；反之，如果所有参考区域提取模板都使用后，仍然不能进入步骤3)，则进入步骤7)完成拼接；7)如果所有图像帧都无法提取基准区域波形跳变信息，或者处理完所有图像帧，或者某个图像帧不能拼入拼接图像，或者拼接图像大小已经达到预设阈值，终止拼接算法；如果拼接成功，输出拼接图像，反之，输出拼接失败。
所述图像帧的缩减处理是将指纹图像采集模块采集到的图像帧删除最上面和最下面各一行。
所述参考区域是指图像帧或者拼接图像中由参考区域提取模板提取出来的图像区域，大小为图像帧的1/6～1/3。
所述步骤4)通过如下步骤实现1)将当前图像帧覆盖在拼接图像上，使其最上一行与基准区域最上一行重合，计算当前图像帧与基准区域重叠的部分与基准区域的波形相似度；2)向上移动当前图像帧，每次移动一行，直到当前图像帧最下面一行与基准区域最下一行重合；每移动一次，计算一次当前图像帧与基准区域重叠的部分与基准区域的波形相似度；3)所有区域波形相似度的最大值对应的当前图像帧区域即为标定重复区域；4)标定重复区域中与其所对应的基准行的行波形相似度最大的图像行即为当前图像帧的标定重复行，与其对应的基准行为标定基准行；5)在水平方向上移动标定重复行对应的波形，每移动一个像素点，计算一次与标定基准行的行波形相似度，所得行波形相似度的最大值所对应的标定重复行波形的水平移动量即为当前图像帧的水平偏移量。
所述步骤5)中将当前图像帧拼入拼接图像时，重叠部分取两个重叠像素点灰度值的加权平均值作为拼接结果，两个重叠像素点灰度值的权值非负，和为1。
所述基准区域是指拼接图像基准参考区域中的连续3行图像，其中每行图像都至少包含一个波形跳变信息。
所述波形跳变信息是指各图像行所对应的二进制波形中由0变化到1或由1变化到0的波形跳变的位置和次序。
所述波形跳变信息是指二进制波形中由1变化到连续两个0的波形跳变的位置和次序。
所述行波形相似度的计算是由两个波形所包含的波形跳变的位置、数目和次序决定的，每次参与计算的两个波形分别属于基准区域和当前图像帧参考区域。
所述行波形相似度的计算规则如下1)如果两个跳变位置相差3或4，相似度加1，并且如果两个跳变在各自波形中的次序相同，相似度加1；2)如果两个跳变位置相差2，相似度加2，并且如果两个跳变在各自波形中的次序相同，相似度加1；3)如果两个跳变位置相差1，相似度加3，并且如果两个跳变在各自波形中的次序相同，相似度加2；4)如果两个跳变位置相同，相似度加4，并且如果两个跳变在各自波形中的次序相同，相似度加2；5)如果满足规则1)～规则4)中一个或多个规则的两个波形包含的跳变数目相同，相似度加2。
图1为本发明的工作流程2为程序初始化时计算基准区域波形跳变信息的程序流程3为拼接单个图像帧的程序流程4为本发明所采用的Authentec公司AES2510刮擦式传感器所采集到的图像帧序列图5为根据本发明拼接方法实施例1所得到的拼接结果图6为根据本发明拼接方法实施例2所得到的拼接结果图7为根据本发明拼接方法实施例3所得到的拼接结果具体实施方式
下面结合实施例对本发明作进一步的描述。
刮擦式指纹传感器每次采集到的图像帧的数目不定，相邻两个图像帧中会有吻合或者可以近似看作吻合的重叠区域。这种吻合的程度通过波形相似度来衡量。衡量的依据是当前图像帧的波形跳变信息与基准区域的波形相似度。所述波形相似度是指当前图象帧对应波形与基准区域对应波形的相似程度，根据波形相似度确定当前图像帧的标定重复行和水平偏移量以定位重叠区域。本实施例中所采用的相似度由波形跳变偏移量、数目和序数决定。
在图像帧拼接的过程中，删除了易受噪音、汗渍和污迹影响的图像帧最上面和最下面各一行，在提高拼接算法的精确度的同时也减小了计算量。
对删减后的图像帧提取其部分区域进行拼接运算，进一步减小了计算量。
实施例1以下结合如图1、2、3中，具体描述本实施例中图像拼接过程。
首先，假定每帧图像大小为16行，192列，灰度级0～255，正常拼接后的图像最大192行，192列。采用的参考区域提取模板共3个，分别提取缩减后图像帧第1到第14行中的第65列到第128列、第1列到第64列和第129列到192列。
收到第一个图像帧后，对其进行缩减处理，剩余部分拼入拼接图像最下方。选择一个参考区域提取模板提取基准参考区域，计算二值化灰度阈值为参考区域灰度均值减去16。根据此阈值将基准参考区域二值化，将各图像行转化为二进制序列，得到对应的二进制波形。对每一个波形进行扫描，当遇到由1跳变到连续两个0的情况时，记录第一个0的位置。如果连续三行图像对应的波形都包含波形跳变信息，将此三行图像作为基准区域，其包含的波形跳变信息即为基准区域波形跳变信息。
收到第二帧图像后，采用上一帧图像所采用的参考区域提取模板提取参考区域，计算二值化灰度阈值，将参考区域二值化，得到对应的二进制波形。对每一个波形进行扫描，当遇到由1跳变到连续两个0的情况时，记录第一个0的位置。得到参考区域各行的波形跳变信息。
计算基准区域波形跳变信息与参考区域波形跳变信息的波形相似度。分别计算参考区域任意连续三个波形与参考区域波形跳变信息的相似度，所有波形相似度的最大值所对应的连续三个波形对应的参考区域中的连续三个图像行即为第二个图像帧的标定重复区域。三个波形分别对应三个行波形相似度，其中的最大值所对应的图像行即为第二个图像帧的标定重复行，所对应的基准行即为标定基准行。在水平方向上移动标定重复行对应的波形跳变信息，分别计算各个行波形相似度，所有相似度的最大值对应的波形跳变信息的移动量即为第二个图像帧的水平偏移量。
得到第二个图像帧的标定重复行位置和水平偏移量后，确定了第二个图像帧的重叠区域，从第二个图像帧的参考区域中选择连续三个位于标定重复行之上的图像行，并且每个图像行都包含波形跳变信息，从而获得新基准区域和新基准区域波形跳变信息。将第二个图像帧拼入拼接图像，首先是将标定重复行与标定基准行重合，然后根据水平偏移量向左或向右移动第二帧图像，非重叠区域直接拼入拼接图像，对重叠区域，计算灰度值加权平均值时拼接图像像素点灰度值权值为0.6，当前图像帧像素点灰度值权值为0.4。由于图像帧移动所造成的拼接图像的空白区域以灰度为0的像素点填充。
第二帧图像处理完成后，读入后续的图像帧，处理方法同第二帧。最后输出如图5的图像。
实施例2以下结合如图1、2、3中，具体描述本实施例中图像拼接过程。
首先，假定每帧图像大小为16行，192列，灰度级0～255，正常拼接后的图像最大192行，192列。采用的参考区域提取模板共3个，分别提取缩减后图像帧第1到第14行中的第73列到第120列、第25列到第72列和第121列到168列。
收到第一个图像帧后，对其进行缩减处理，剩余部分拼入拼接图像最下方。选择一个参考区域提取模板提取基准参考区域，计算二值化灰度阈值为参考区域灰度均值减去16。根据此阈值将基准参考区域二值化，将各图像行转化为二进制序列，得到对应的二进制波形。对每一个波形进行扫描，当遇到由1跳变到连续两个0的情况时，记录第一个0的位置。如果连续三行图像对应的波形都包含波形跳变信息，将此三行图像作为基准区域，其包含的波形跳变信息即为基准区域波形跳变信息。
收到第二帧图像后，采用上一帧图像所采用的参考区域提取模板提取参考区域，计算二值化灰度阈值，将参考区域二值化，得到对应的二进制波形。对每一个波形进行扫描，当遇到由1跳变到连续两个0的情况时，记录第一个0的位置。得到参考区域各行的波形跳变信息。
计算基准区域波形跳变信息与参考区域波形跳变信息的波形相似度。分别计算参考区域任意连续三个波形与参考区域波形跳变信息的相似度，所有波形相似度的最大值所对应的连续三个波形对应的参考区域中的连续三个图像行即为第二个图像帧的标定重复区域。三个波形分别对应三个行波形相似度，其中的最大值所对应的图像行即为第二个图像帧的标定重复行，所对应的基准行即为标定基准行。在水平方向上移动标定重复行对应的波形跳变信息，分别计算各个行波形相似度，所有相似度的最大值对应的波形跳变信息的移动量即为第二个图像帧的水平偏移量。
得到第二个图像帧的标定重复行位置和水平偏移量后，确定了第二个图像帧的重叠区域，从第二个图像帧的参考区域中选择连续三个位于标定重复行之上的图像行，并且每个图像行都包含波形跳变信息，从而获得新基准区域和新基准区域波形跳变信息。将第二个图像帧拼入拼接图像，首先是将标定重复行与标定基准行重合，然后根据水平偏移量向左或向右移动第二帧图像，非重叠区域直接拼入拼接图像，对重叠区域，计算灰度值加权平均值时拼接图像像素点灰度值权值为0.5，当前图像帧像素点灰度值权值为0.5。由于图像帧移动所造成的拼接图像的空白区域以灰度为0的像素点填充。
第二帧图像处理完成后，读入后续的图像帧，处理方法同第二帧。最后输出如图6的图像。
实施例3以下结合如图1、2、3中，具体描述本实施例中图像拼接过程。
首先，假定每帧图像大小为16行，192列，灰度级0～255，正常拼接后的图像最大192行，192列。采用的参考区域提取模板共3个，分别提取缩减后图像帧第1到第14行中的第81列到第112列、第49列到第80列和第113列到144列。
收到第一个图像帧后，对其进行缩减处理，剩余部分拼入拼接图像最下方。选择一个参考区域提取模板提取基准参考区域，计算二值化灰度阈值为参考区域灰度均值减去16。根据此阈值将基准参考区域二值化，将各图像行转化为二进制序列，得到对应的二进制波形。对每一个波形进行扫描，当遇到由1跳变到连续两个0的情况时，记录第一个0的位置。如果连续三行图像对应的波形都包含波形跳变信息，将此三行图像作为基准区域，其包含的波形跳变信息即为基准区域波形跳变信息。
收到第二帧图像后，采用上一帧图像所采用的参考区域提取模板提取参考区域，计算二值化灰度阈值，将参考区域二值化，得到对应的二进制波形。对每一个波形进行扫描，当遇到由1跳变到连续两个0的情况时，记录第一个0的位置。得到参考区域各行的波形跳变信息。
计算基准区域波形跳变信息与参考区域波形跳变信息的波形相似度。分别计算参考区域任意连续三个波形与参考区域波形跳变信息的相似度，所有波形相似度的最大值所对应的连续三个波形对应的参考区域中的连续三个图像行即为第二个图像帧的标定重复区域。三个波形分别对应三个行波形相似度，其中的最大值所对应的图像行即为第二个图像帧的标定重复行，所对应的基准行即为标定基准行。在水平方向上移动标定重复行对应的波形跳变信息，分别计算各个行波形相似度，所有相似度的最大值对应的波形跳变信息的移动量即为第二个图像帧的水平偏移量。
得到第二个图像帧的标定重复行位置和水平偏移量后，确定了第二个图像帧的重叠区域，从第二个图像帧的参考区域中选择连续三个位于标定重复行之上的图像行，并且每个图像行都包含波形跳变信息，从而获得新基准区域和新基准区域波形跳变信息。将第二个图像帧拼入拼接图像，首先是将标定重复行与标定基准行重合，然后根据水平偏移量向左或向右移动第二帧图像，非重叠区域直接拼入拼接图像，对重叠区域，计算灰度值加权平均值时拼接图像像素点灰度值权值为0.3，当前图像帧像素点灰度值权值为0.7。由于图像帧移动所造成的拼接图像的空白区域以灰度为0的像素点填充。
第二帧图像处理完成后，读入后续的图像帧，处理方法同第二帧。最后输出如图7的图像。
所述各图像帧的灰度级数可以是任意范围，如0～255或者0～15，对于非0～255的图像帧，只需将其灰度级范围转换到0～255即可，对于灰度级为0～1的二值图像，则不需二值化直接提取波形跳变信息即可。本发明也适用于采用类似于刮擦式指纹图像采集方式的其他图像采集成像过程。
以上对本发明所提供的基于波形匹配的指纹图像帧的拼接方法进行了详细介绍，文中应用了具体的实施例对本发明的原理和实施方式进行了阐述，以上实施例的说明用于帮助理解本发明的方法及思想。综上所述，本说明书内容不应理解为对本发明的限制。
权利要求
1.一种指纹图像帧的拼接方法，其特征在于首先对待拼接的指纹图像帧进行缩减处理，再从缩减后的图像帧中选择参考区域，提取参考区域波形跳变信息进行指纹图像帧的拼接，包括如下步骤1)收到指纹图像采集模块采集到的指纹图像帧后，读入第一帧图像；2)对图像帧进行缩减处理，拼入拼接图像，依次采用各个参考区域提取模板提取基准参考区域，计算提取到的基准参考区域的波形跳变信息，如果能够获得基准区域波形跳变信息，读入下一帧图像，进入步骤3)；如果无法获得基准区域波形跳变信息，读入下一帧图像，返回步骤2)；3)对图像帧进行缩减处理，采用上一图像帧所采用的参考区域提取模板提取当前图像帧的参考区域，计算参考区域的波形跳变信息；4)确定当前图像帧与拼接图像的重叠区域；5)如果当前图像帧参考区域标定重复行以上的图像区域中存在能够作为基准区域的图像区域，将其作为新基准区域，更新基准区域波形跳变信息，将当前图像帧拼入拼接图像，读入下一个图像帧，转入步骤3)；反之，进入步骤6)；6)选用其他的参考区域模板提取新基准参考区域，计算新基准参考区域波形跳变信息，获得新基准区域波形跳变信息，提取新参考区域，计算新参考区域的波形跳变信息，直到通过步骤4)和5)进入步骤3)；反之，如果所有参考区域提取模板都使用后，仍然不能进入步骤3)，则进入步骤7)完成拼接；7)如果所有图像帧都无法提取基准区域波形跳变信息，或者处理完所有图像帧，或者某个图像帧不能拼入拼接图像，或者拼接图像大小已经达到预设阈值，终止拼接算法；如果拼接成功，输出拼接图像，反之，输出拼接失败。
2.根据权利要求1所述的指纹图像帧的拼接方法，其特征在于所述图像帧的缩减处理是将指纹图像采集模块采集到的图像帧删除最上面和最下面各一行。
3.根据权利要求1所述的指纹图像帧的拼接方法，其特征在于所述参考区域是指图像帧或者拼接图像中由参考区域提取模板提取出来的图像区域，大小为图像帧的1/6～1/3。
4.根据权利要求1所述的指纹图像帧的拼接方法，其特征在于所述步骤4)通过如下步骤实现1)将当前图像帧覆盖在拼接图像上，使其最上一行与基准区域最上一行重合，计算当前图像帧与基准区域重叠的部分与基准区域的波形相似度；2)向上移动当前图像帧，每次移动一行，直到当前图像帧最下面一行与基准区域最下一行重合；每移动一次，计算一次当前图像帧与基准区域重叠的部分与基准区域的波形相似度；3)所有区域波形相似度的最大值对应的当前图像帧区域即为标定重复区域；4)标定重复区域中与其所对应的基准行的行波形相似度最大的图像行即为当前图像帧的标定重复行，与其对应的基准行为标定基准行；5)在水平方向上移动标定重复行对应的波形，每移动一个像素点，计算一次与标定基准行的行波形相似度，所得行波形相似度的最大值所对应的标定重复行波形的水平移动量即为当前图像帧的水平偏移量。
5.根据权利要求1所述的指纹图像帧的拼接方法，其特征在于所述步骤5)中将当前图像帧拼入拼接图像时，重叠部分取两个重叠像素点灰度值的加权平均值作为拼接结果，两个重叠像素点灰度值的权值非负，和为1。
6.根据权利要求1所述的指纹图像帧的拼接方法，其特征在于所述基准区域是指拼接图像基准参考区域中的连续3行图像，其中每行图像都至少包含一个波形跳变信息。
7.根据权利要求1所述的指纹图像帧的拼接方法，其特征在于所述波形跳变信息是指各图像行所对应的二进制波形中由0变化到1或由1变化到0的波形跳变的位置和次序。
8.根据权利要求7所述的指纹图像帧的拼接方法，其特征在于所述波形跳变信息是指二进制波形中由1变化到连续两个0的波形跳变的位置和次序。
9.根据权利要求4所述的指纹图像帧的拼接方法，其特征在于所述行波形相似度的计算是由两个波形所包含的波形跳变的位置、数目和次序决定的，每次参与计算的两个波形分别属于基准区域和当前图像帧参考区域。
10.根据权利要求9所述的指纹图像帧的拼接方法，其特征在于所述行波形相似度的计算规则如下1)如果两个跳变位置相差3或4，相似度加1，并且如果两个跳变在各自波形中的次序相同，相似度加1；2)如果两个跳变位置相差2，相似度加2，并且如果两个跳变在各自波形中的次序相同，相似度加1；3)如果两个跳变位置相差1，相似度加3，并且如果两个跳变在各自波形中的次序相同，相似度加2；4)如果两个跳变位置相同，相似度加4，并且如果两个跳变在各自波形中的次序相同，相似度加2；5)如果满足规则1)～规则4)中一个或多个规则的两个波形包含的跳变数目相同，相似度加2。
全文摘要
本发明涉及一种图像处理过程控制方法，具体来说是一种指纹图像帧的拼接方法。与现有技术相比本发明的有益效果是对每一个图像帧，只选取部分区域作为参考区域，将图像帧参考区域灰度图像二值化以后得到二进制波形，根据从波形中提取到的波形跳变信息判断当前图像帧与拼接图像的重叠区域，从而实现拼接。本发明运算量小，实现简单，能够快速完成指纹图像的拼接，适用于现有的各种刮擦式指纹图像采集模块。
文档编号G06K9/00GK101086766SQ200710100008
公开日2007年12月12日 申请日期2007年6月4日 优先权日2007年6月4日
发明者王朋, 张有光 申请人:北京航空航天大学