图像读取装置、图像读取程序、图像读取方法

专利名称：图像读取装置、图像读取程序、图像读取方法
技术领域：
本发明涉及从相对移动的对象物中依次读取多个部分图像的图像读 取装置、图像读取程序、图像读取方法。
背景技术：
伴随近年来的高功能化，便携电话和PDA (Personal Digital Assistant) 等小型信息设备能够与网络连接并存储大量的个人信息等，提高这些设 备中的安全性能的要求极高。在这种设备中，为了确保安全性，考虑采 用以往广泛使用的基于密码或ID (Identification)卡等的个人认证。但是， 密码或ID卡被盗用的危险性高，所以，强烈期望实现可靠性更高的个人 认证(设备的用户是预先登记的用户本人的认证)。
针对这种期望，基于生物体信息(生物统计学)的个人认证可靠性 高，认为能够应对上述期望。特别地，在使用指纹作为生物体信息的情 况下，便利性也高。
在使用指纹作为生物体信息来进行个人认证的情况下，通过静电电 容式指纹传感器或光学式指纹传感器，从被认证者的手指釆集指纹(山 能够与指纹传感器的采集面接触的脊线和不与该采集面接触的谷线构成 的图案)作为图像信息。然后，从该指纹图像的前景(例如脊线像)中 提取特征信息(例如分支点或端点的位置信息)，对所提取的特征信息和 预先登记的被认证者的登记特征信息进行核对，由此，进行被认证者是 否是本人的判定、即个人认证。
但是，从被认证者采集指纹图像的一般的指纹传感器(以下有时称 为平面型指纹传感器)通常具有比手指的大小大的传感器面(采集面)。 但是，近年来，为了将指纹传感器搭载于便携电话和PDA这种小型信息 设备中，使传感器面的大小小于手指的大小，对通过该传感器面而连续
6采集的多个部分图像进行统合，来获得指纹整体的图像。
作为对应于这种状况的指纹传感器，存在刮擦型指纹传感器(例如
参照专利文献l、专利文献2、专利文献3、专利文献4)。该刮擦型指纹 传感器具有比手指长度短很多的小面积的矩形采集面(传感器面/摄像 面)。而且，使手指相对于采集面移动或使采集面(指纹传感器)相对于 手指移动，同时，针对手指的指纹，通过指纹传感器连续釆集多个部分 图像，根据所采集的多个部分图像，重建手指的指纹图像的整体。从这 样重建的指纹图像中提取并生成特征点(脊线的分支点和端点)的信息， 根据该信息进行上述个人认证。另外，将上述这种改变手指相对于采集 面的相对位置(相对移动)的情况称为"刮擦(sweep)"或"滑动(slide)"。
并且，存在将刮擦型指纹传感器应用于指示器件的技术(例如参照 专利文献5)。
专利文献1:日本特开平10-091769号公报
专利文献2:日本特开2003-208620号公报
专利文献3:日本特开2006-107366号公报
专利文献4:日本特开2003-248820号公报
专利文献5:日本特开2001-307078号公报
但是，在上述专利文献l、专利文献2、专利文献3、专利文献4的 技术中，根据所采集的指纹的部分图像获得指纹整体的信息时，需要使 部分图像彼此存在重合的部分。同样，在专利文献5的技术中，为了测 定手指的移动方向和方向，需要使部分图像彼此存在重合的部分。

发明内容
本发明是为了解决上述问题点而完成的，其目的在于，提供即使在 所取得的部分图像彼此没有重合的情况下，也能够检测部分图像彼此的 位置关系的图像读取装置、图像读取程序、图像读取方法。
为了解决上述课题，本发明的图像读取装置具有取得部，其取得 多个第1图像，该第1图像是通过依次读取相对移动的对象物的部分而 获得的图像；外插部，其通过对所述第1图像进行外插，生成对该第1图像的图像范围进行了扩展的图像即第2图像；以及计算部，其根据由 所述第1图像和所述第2图像中的至少任意一个图像构成的多个图像， 计算该第1图像或该第2图像之间的相对位置。
并且，本发明的图像读取程序使计算机执行以下步骤取得步骤， 在该步骤中，取得多个第1图像，该第1图像是通过依次读取相对移动 的对象物的部分而获得的图像；外插步骤，在该步骤中，通过对所述第l 图像进行图像外插，生成对该第1图像的图像范围进行了扩展的图像即 第2图像；以及计算步骤，在该步骤中，根据由所述第l图像和所述第2
图像中的至少任意一个图像构成的多个图像，计算该第1图像或该第2
图像之间的相对位置。
并且，本发明的图像读取方法执行以下步骤取得步骤，在该步骤 中，取得多个第1图像，该第1图像是通过依次读取相对移动的对象物 的部分而获得的图像；外插步骤，在该步骤中，通过对所述第1图像进 行图像外插，生成对该第1图像的图像范围进行了扩展的图像即第2图 像；以及计算步骤，在该步骤中，根据由所述第1图像和所述第2图像 中的至少任意一个图像构成的多个图像，计算该第1图像或该第2图像 之间的相对位置。


图1是示出实施方式1的指纹读取装置的结构的一例的框图。
图2是示出实施方式1的指纹读取装置的动作的一例的流程图。
图3是示出实施方式1的指纹传感器的动作的一例的平面图。
图4是示出实施方式1的部分图像的一例的图。
图5是示出实施方式1的外插部分的一例的概念图。
图6是示出实施方式1的外插处理的动作的一例的流程图。
图7是示出低分辨率图像中的边缘方向的一例的概念图。
图8是示出高分辨率图像中的边缘方向的一例的概念图。
图9是示出实施方式1的边缘方向检测处理的动作的一例的流程图。
图IO是示出实施方式1的结构线的一例的概念图。图11是示出实施方式1的结构线检测处理的动作的一例的流程图。 图12是示出实施方式1的使用频率信息的外插处理的一例的概念图。
图13是示出实施方式1的使用频率信息的外插处理的动作的一例的
流程图。
图14是示出实施方式1的第1情况的一例的概念图。 图15是示出实施方式1的第2情况的一例的概念图。 图16是示出实施方式1的第3情况的一例的概念图。 图17是示出实施方式1的部分图像和外插部分的位置关系的一例的 概念图。
图18是示出实施方式1的指纹读取装置的动作的另一例的流程图。
图19是示出实施方式2的指纹读取装置的结构的一例的框图。
图20是示出实施方式2的指纹读取装置的动作的一例的流程图。
图21是示出实施方式2的输出信息的形式的一例的表。
图22是示出实施方式2的输出信息的头部的形式的一例的表。
图23是示出实施方式2的输出信息的部分图像信息的形式的一例的表。
具体实施例方式
下面，参照

本发明的实施方式。 实施方式l
在本实施方式中，说明将本发明的图像读取装置应用于指纹读取装 置的情况。本实施方式的指纹读取装置伴随手指的移动，取得指纹的多 个部分图像(第1图像)，根据多个部分图像重建指纹的整体图像并输出。 另外，读取的对象物也可以使用掌纹、手指静脉、手掌静脉等其他生物 体信息。
首先，说明本实施方式的指纹读取装置的结构。 图1是示出本实施方式的指纹读取装置的结构的一例的框图。该指 纹读取装置具有指纹传感器l (取得部)、预测部2 (指示部)、外插部3、相对位置检测部4 (计算部)、以及重建部5 (合成部)。
接着，说明本实施方式的指纹读取装置的动作。
图2是示出本实施方式的指纹读取装置的动作的一例的流程图。首 先，各部进行初始设定(Sll)。接着，预测部2进行根据过去计算出的 部分图像的相对位置来预测下次取得的部分图像的相对位置的预测处理 (S12)。但是，在还没有取得多个部分图像的相对位置的情况下，预测 部2不动作。
接着，指纹传感器1进行取得部分图像的部分图像取得处理(S13: 取得步骤)，预测部2进行根据由预测处理预测出的位置来判定是否进行 外插处理的外插判定处理(S14)。在判定为进行外插处理的情况下(S14: 是)，外插部3进行如下的外插处理通过进行部分图像的外插，根据部 分图像生成扩展图像(第2图像)(S15:外插步骤)，转移到下一处理，
在判定为不进行外插处理的情况下(S14:否)，转移到下一处理。接着，
相对位置检测部4进行根据部分图像和扩展图像来检测部分图像或扩展
图像之间的相对位置的相对位置检测处理(S16:计算步骤)。
这里，也可以在部分图像取得处理中具有预处理。例如， 一般的噪 声去除处理、使指纹传感器1与器件特性相匹配的特性补偿处理等相当 于预处理。在器件特性方面，在由于通过指纹传感器1上的生物体的移 动速度等而使图像引起伸缩变形或引起歪斜变形的情况下，在相对位置 检测处理之后，也可以具有变形校正处理等的后处理。
接着，预测部2判定对象物(手指)是否在移动，在判定为移动的 情况下(S17:对象物在移动)，返回下一处理12，在判定为已停止的情 况下(S17:对象物己停止)，转移到下一处理。
接着，重建部5判断基于相对位置等的状态是否满足规定条件 (S18)。在不满足规定条件的情况下(S18:不满足规定条件)，返回处 理S12。在满足规定条件的情况下(S18:满足规定条件)，重建部5进行
根据部分图像的相对位置合成多个部分图像并生成指纹的整体图像的重
建处理(S21)，判断是否处理了所有的部分图像(S22)。在没有处理所 有的部分图像的情况下(S22:没有处理所有的部分图像)，返回处理S21，
10重建部5进行下一部分图像的处理，在处理了所有的部分图像的情况下 (S22:处理了所有的部分图像)，作为输出信息输出整体图像，该流程 结束。另外，权利要求中的指示步骤对应于处理S12、 14。
这里，作为重建部5能够获得的状态，具有生物体信息的接触范围、 面积、移动速度平均、移动速度偏差、移动方向、移动方向偏差等。在 处理Sll中，重建部5针对这些状态设定阈值作为规定条件。并且，也 可以在处理Sll中，设定处理S12 S16的重复次数的上限值，在处理 S13中，在重复次数超过上限值的情况下，视为生物体停止，进入下一处 理。
接着，说明指纹传感器l。
指纹传感器1为刮擦型，使被检者的指纹(生物体信息)影像化， 并根据指纹断续检测多个部分图像，读取相对于指纹传感器1相对移动 的手指(生物体部位)，断续取得多个二维排列状的部分图像。
指纹传感器1例如具有静电电容式、热敏式、电场式、光学式的任 意的检测方法。指纹形成于被检者的外皮上，是由能够与传感器面接触 的脊线(接触部分)和不与传感器面接触的谷线(非接触部分/空隙部分) 构成的图案。指纹传感器利用在与传感器面接触的脊线部分和不与传感 器面接触的谷线部分的检测灵敏度不同的性质，采集指纹的部分图像作 为二值以上的多值图像。例如，在由静电电容型或电场型指纹传感器取 得的多值图像中，亮度由于与传感器的距离而不同，通常，以低亮度显 示与传感器的距离近的脊线部分，以高亮度显示与传感器的距离远的谷 线部分。
读取指纹时，利用者一边用手指接触指纹传感器的传感器面上，一 边使手指从手指的根部侧向指尖侧、更具体而言从第一关节附近向指尖 侧、从手指的右侧向左侧等在任意方向上移动。但是，在具有使指纹传 感器侧相对于手指移动的机构的情况下，利用者不需要移动手指。图3 是示出本实施方式的指纹传感器的动作的一例的平面图。下面，在本实 施方式中，如该图所示，说明利用者从第一关节附近向指尖滑动手指的 情况。在时刻t。、…t-3、 t-2、 t-l、 t中，指纹传感器1取得各个位置的部
ii分图像。
接着，说明相对位置检测部4。
相对位置检测部4针对由指纹传感器1取得的指纹的每个部分图像， 检测手指相对于指纹传感器1的相对位置、即相对移动距离。换言之， 相对位置是在部分图像或扩展图像这两张图像中对应的部位恰好重合的 位置。具体而言，相对位置检测部4计算基于残差逐次检定法的非相似 度或基于相关法的相似度，利用前者时，计算获得极小值的相对位置， 利用后者时，计算获得极大值的相对位置。
首先，说明残差逐次检定法。
图4是示出本实施方式的部分图像的一例的图。如该图所示，使用 在时刻t取得的部分图像IQ (尺寸为MxN像素)和在时刻t+At取得的部 分图像I,(尺寸为MxN像素)。并且，当向右方向的坐标为i、向下方向 的坐标为j时，表示为部分图像Io (i、 j)、部分图像h (i、 j)、 0^i<M、 0^j<N。并且，用Iq(。、q)(尺寸为maxnb像素)表示在部分園像Iq (i、 j) 中左上的坐标为(0、 0)的关注区域(重合部分)，用I1(a、 b)(尺寸为maxnb 像素)表示在部分图像I, (i、 j)中左上的坐标为(a、 b)的关注区域(重 合部分)。并且，用(a、 b)表示部分图像I,相对于部分图像Io的相对位
置(相对偏移量)。这里，如下计算关注区域Io(()、 o)和关注区域Il(a,b)的
非相似度R<a、 b)。
%、 b)=22|I1(a、 b) (i、 j) -I0(0,0) (i、 j) |/ (maxnb)，其中，a<0、 b<0 R(a、 b)=IS|I1(0, b) (i、 j) -I0(a、0) (i、 j) |/ (maxnb)，其中，a^0、 b<0 R(a'b)=SS|I1(a'0) (i、 j) -I0(0'b) (i、 j) |/ (maxnb)，其中，a<0、 b^O brSS|I1(0, 0) (i、 j) -I0(a、b) (i、 j) |/ (maxnb)，其中，aS0、 b^O 这里，i为0^i<ma， j为0^i<nb， Ik(i、 j)表示亮度值。S记号表示分 别关于i、 j在所述范围内求取总和的操作。另外，在能够限定在规定范 围内的情况下，滑动方向能够从上述四个式子中选择任意一个以上的式 子。并且，a和b也可以限定在规定范围内。进而，也可以在不脱离a和 b的边界条件等的范围内进行变形。任意情况下，相对位置检测部4输出
非相似度R(a、b)为极小值Rm一、b)的相对位置(a、 b)。接着，说明相关法。
与残差逐次检定法同样，使用部分图像Io、部分图像I,、关注区域 (重合部分)1(3(0、 0)、关注区域(重合部分)I!(a、b)。这里，如下计算关注 区域IQ(。、 O)和关注区域I1(a、 b)的相似度R<a、 b)。
R (a、 b) =22(1! (a、 b) (i、 j) -E a (a、 b)) }{I0 (0、 0) (i、 j)画E (I0 (0、 0)) }W (V (I, (a、 b)) xv (I0(0'0)))，其中，a<0、 b<0
R (a、 b) =!^{1! (0、 b) (i、 j) -E (I, (0、 b)) }{Io o) (i、 j) -E (I0 (a, 0)) }/々 (V (I1<0,b)) xV (I0(a、(p))，其中，a^0、 b<0
R(a、 b)-SS(I！ (a、 (p (i、 j) -E (I' (a、0)) }{I0(0、 b) (i、 j) -E (I0(o, b)) }/V (V (I1(a、0)) xV (10(0, b)))，其中，a<0、 b^O
R(a、 b严Z叫(0, 0) (i、 j)隱E (I, (0,0)) }{W b) (i、 j) -E (I0(a, b)) }/V (V (I1(0,(p) xV (Io(a,b)))，其中，a^0、 b^O
这里，E (Ik) =mk (i、 j) / (maxnb)，
V (Ik) =SS{Ik (i、 j)國E (Ik) }2
表记方法与残差逐次推定法的说明相同。另外，在能够限定在规定 范围内的情况下，滑动方向能够从上述四个式子中选择任意一个以上的 式子。并且，a和b也可以限定在规定范围内。进而，也可以在不脱离a 和b的边界条件等的范围内进行变形。任意情况下，相对位置检测部4
输出相似度R(a、b)为极大值Rmax(a，b)的相对位置"、b)。
在将指纹传感器1的灵敏度保持为恒定的情况下或在部分图像中噪 声较少的情况下，计算量小的残差逐次检定法是有利的。另一方面，在 指纹传感器1的灵敏度变化的情况下或在部分图像中容易产生噪声的情 况下，计算量大但具有难以受噪声影响的倾向的相关法是有利的。可以 根据指纹传感器1的特性和使用方法，适当选择这种相对位置的计算方 法。
接着，说明外插部3。
外插部3针对由指纹传感器1输出的部分图像，进行向该图像范围 (检测范围)的外侧区域延长图像的外插(extrapolation)处理。图5是 示出本实施方式的外插部分的一例的概念图。如该图所示，外插是指，
13根据由指纹传感器1输出的部分图像(实线框内)的信息，推测其外侧 的数据(虚线框内)即外插部分，在部分图像中附加外插部分，由此， 生成对部分图像的图像范围进行了扩展的扩展图像。并且，外插部3向 由预测部2指示的图像扩展范围进行外插。
图6是示出本实施方式的外插处理的动作的一例的流程图。首先，
外插部3从部分图像中提取生物体部位所具有的特征(S31)。接着，外 插部3进行外插以使该特征连续(S32)，结合部分图像和外插部分成为 扩展图像(S33)。在重复次数没有超过规定上限值的情况下(S34:是)， 代替部分图像，外插部3对扩展图像重复处理S31 S33，由此对外插部 分进行扩展，在重复次数超过规定上限值的情况下(S34:否)，该流程 结束。重复次数的上限值依赖于部分图像彼此的间隙的允许宽度。进而， 该允许宽度依赖于使用指纹读取装置的输出信息的个人认证中的本人柜 绝率和他人接受率等认证性能。
基本上，每一次外插对1个像素量的区域(1行)进行外插。如果 是相对位置检测部4的错误没有急剧增加的范围、或者使用指纹读取装 置的输出信息的个人认证中的本人拒绝率和他人接受率等认证性能没有 劣化的范围，则也可以对2个像素以上的区域(2行以上)进行外插。
外插能够利用各种信息的连续性。具体而言，是生物体部位所具有 的特征的连续性。作为特征，例如有亮度信息、边缘信息、结构线(细 线)信息、频率或相位信息等。这里，利用沿着刮擦方向或基准轴的亮 度的变化。例如如果是一般的刮擦型指纹传感器，则基准轴是指传感器 面的短轴方向。亮度变化还依赖于指纹传感器1的特性，但是，其大致 沿着短轴方向连续。
在生物体信息是指纹的情况下，利用图案由脊线和谷线构成的性质， 能够利用区分脊线和谷线的边缘的形状。这是因为，基本上，作为指纹 传感器的特性，如果是以低亮度输出脊线的传感器，则以高亮度输出谷 线，如果是以高亮度输出脊线的传感器，则以低亮度输出谷线，各自的 亮度连续。作为计算边缘的方法，也可以将二值化时的脊线的轮廓线作 为边缘。该情况下，计算量小，所以，在便携电话和PDA (Personal Digital备中，负荷也少。作为二值化方法，能 够使用阈值法、浮动阈值法、p-tile法等己知的方法。除了轮廓线以外， 也可以使用二维分布中的一次微分的棱线、或二维分布中的二次微分的 零交叉点的连续性。
进而，在生物体信息是指纹的情况下，能够利用脊线或谷线的结构 线形状或细线形状。结构线可以是由棱线追踪处理获得的图案，也可以 是追踪到两端的边缘为等距离的点而获得的图案。细线作为如下的图案 获得对二值化的指纹图像反复进行縮退处理，成为无法进一步进行縮 退的状态时的图案。
在根据边缘方向或结构线、细线的方向来估计外插部分的情况下， 像素单位的细微形状不重要，重要的是全局的脊线或谷线的走向，所以， 根据多点来计算方向数据。具体而言，根据特征点群的坐标进行线性回 归等，计算线段的梯度。
生物体信息时时刻刻变化，个人差异也大。进而，由于指纹传感器 1的方式不同而使灵敏度不同。因此，虽然可以预先学习，但是，优选能 够一边检测生物体信息一边修改外插所需要的参数的自适应的方法。具 体而言，能够利用基于线性预测法的方法、基于贝叶斯推测的方法。贝 叶斯推测是根据观测值来计算条件概率的方法，关于两个独立事项X、 Y， 在给定了 Y的情况下引起X的条件概率P由下式表示。
P (X|Y) -P (Y|X) P (X) /P (Y)
例如，利用指纹的周期性，着眼于在亮度从脊线部分增加时、亮度 从谷线部分减少时的能够以指纹图案为特征利用周期性的部位，计算概 率密度P (X|Y)。但是，预测所需要的数据很多，所以，需要比较花费 处理时间的矩阵运算处理。因此，针对亮度或边缘方向(结构线方向/细 线方向)，应用多项式函数进行预测。 一般地，应用多项式时，次数越高 越不稳定，外插部分的误差可能增大。由此，应用一次或二次多项式。 应用多项式时，能够利用最小自乘法。
接着，作为处理S31中的特征，说明检测边缘方向的边缘方向检测 处理。
15边缘方向指脊线的轮廓线的切线方向，更具体而言，可以是与谷线
之间的边界线的切线方向，也可以是沿着脊线的端部分的方向。图7是 示出低分辨率图像中的边缘方向的一例的概念图。如该图所示，在概念 上，能够将脊线视为具有一定宽度的圆滑的曲线。图8是示出高分辨率 图像中的边缘方向的一例的概念图。在使用高于500dpi程度的高分辨率 的指纹传感器l的情况下，如该图所示，边缘稍微波动。
这里，说明边缘方向检测处理。图9是示出本实施方式的边缘方向 检测处理的动作的一例的流程图。外插部3对所检测出的边缘图像实施 低通滤波(S51)，生成一次微分值的映射图(S52)，检测连续连接一次 微分值的极大值的棱线作为边缘(S53)，将其切线方向作为边缘方向 (S54)，该流程结束。作为其他处理方法，也可以生成二次微分值的映 射图，根据二次微分值来检测原始图像的拐点，将其切线方向作为边缘 方向。
该情况下，外插部3在处理S32中进行外插，以在部分图像或扩展 图像的边缘中的边缘方向上延长边缘。
并且，在利用边缘作为生物体信息的特征的情况下，外插部3针对 夹在边缘和边缘之间的像素，在没有交叉的范围内对边缘进行外插，由 此，能够减少伴随简单的一维或二维的一般的外插而产生的伪影，能够 减少由相对位置检测部4检测出的相对位置的误差。此时，外插部3沿 着外插后的边缘的方向对边缘附近的像素进行外插，由此，相对于边缘 附近的亮度的梯度缓和的情况，能够减少由外插的误差产生的伪影，能 够减少由相对位置检测部4检测出的相对位置的误差。
接着，作为处理S31中的特征，说明检测结构线方向的结构线方向 检测处理。
在本实施方式中，将结构线定义为将脊线的宽度细化为1个像素宽 度后的线。图10是示出本实施方式的结构线的一例的概念图。具体而言， 在存在成对的两个边缘的情况下，与各个边缘的距离相等的线为结构线。 另外，在部分图像的边和脊线交叉的部位附近的情况下，需要进行检测 以使结构线完全不受边的影响。S卩，当在部分图像的边和脊线相交的部位存在边缘时，如该图的点划线所示，在夹在边界线和部分图像的边之 间的部分，可能检测出与期待的结构线不同的错误的结构线。因此，不 受部分图像的边的影响来检测结构线是很重要的。
这里，说明结构线方向检测处理。图ll是示出本实施方式的结构线
检测处理的动作的一例的流程图。外插部3对部分图像实施低通滤波 (S71),通过上述处理S52、 S53进行边缘检测(S72)，判断是否存在与 所检测出的边缘成对的边缘(S73)。在没有成对的边缘的情况下(S73: 否)，外插部3在该边缘中附加标记(S74)，转移到下一处理，在存在成 对的边缘的情况下(S73:是)，外插部3检测中点(=结构线)(S75)， 转移到下一处理。接着，外插部3判断是否检査了所有的边缘，在存在 没有检查的边缘的情况下(S81:否)，返回处理S73，对下一边缘进行处 理，在检査了所有边缘的情况下(S81:是)，转移到下一处理。
接着，外插部3在带标记的边缘附近对已检测出结构线的边缘进行 检测(S82)，与边缘方向平行地进行延长，直到结构线与边缘方向的法 线相交(S83)。接着，外插部3判断在带标记的边缘附近是否存在已检 测出结构线的边缘，在存在已检测出结构线的边缘的情况下(S84:是)， 返回处理S82，在不存在已检测出结构线的边缘的情况下(S84:否)，检 测结构线的切线方向(S85)，该流程结束。
该情况下，外插部3在处理S32中进行外插，以在部分图像或扩展 图像的边缘中的结构线方向上延长结构线。
另外，也可以使用上述的边缘和结构线双方进行外插处理。 接着，说明使用部分图像的频域信息即频率信息的外插处理。 图12是示出本实施方式的使用频率信息的外插处理的一例的概念 图。如该图所示，为了求取外插区域(斜线所示的区域)，在部分图像内 设定参照区域(图中点划线所包围的区域)。这里，设参照区域的尺寸为 NxN像素，设N为2n (n=0、 1、 2、...)。与此相对包围外插区域，设定 与参照区域尺寸相同的预测区域(图中实线所包围的区域)。预测区域和 参照区域的位置差、即相位差是已知的，所以，针对根据参照区域利用 傅立叶变换求出的频率信息，反映该相位差，由此，能够预测参照区域。
17在参照区域为二维的情况下，傅立叶变换为正交变换，所以，对横向进 行一维傅立叶变换后，对纵向进行傅立叶变换即可。
图13是示出本实施方式的使用频率信息的外插处理的动作的一例 的流程图。首先，外插部3对部分图像实施低通滤波(S91)。接着，外 插部3在所获得的部分图像中设定外插区域(S92)，设定参照区域(S93)， 设定预测区域(S94)，计算外插区域(S95)。接着，外插部3判断是否 计算了所有的外插区域，在存在没有计算的外插区域的情况下(S96:否)， 返回处理S92，对下一外插区域进行处理，在计算了所有的外插区域的情 况下(S96:是)，该流程结束。外插部3取得通过傅立叶变换等将部分 图像转换为频域后的频率信息。所取得的频率信息具有振幅和相位。例 如，快速傅立叶变换的处理负荷比较低，所以是有用的。
艮P，外插部3针对应该外插的范围整体，反复进行在一点一点错开 外插区域的同时求取外插区域的处理。此时，将外插区域设定为与参照 区域相同宽度且在不与参照区域重复的范围内，由此，能够减小计算量。 但是，在邻接的外插区域彼此的边界部分中，亮度变化可能不连续。因 此，如该例所示，将外插区域的宽度设定为参照区域的1/4 (或1/2)的 宽度，邻接的外插区域的各个参照区域重复，由此，能够降低在外插区 域彼此的边界部分中亮度变化的不连续性。并且，使用频率信息的外插 处理使用部分图像的周期性，所以，不是一行一行地进行外插，而是能 够对规定行数进行外插。
接着，说明基于外插的误差。
由相对位置检测部4计算出的非相似度或相似度在外插部分受到基 于外插的误差的影响。在两个部分图像(第1部分图像和第2部分图像) 的位置关系中存在以下3种情况。图14是示出本实施方式的第1情况的 一例的概念图。图15是示出本实施方式的第2情况的一例的概念图。图 16是示出本实施方式的第3情况的一例的概念图。在这些图中，由实线 包围的区域是部分图像，由点划线包围的区域(斜线所示的区域)是外 插部分。第1情况是第1部分图像和第2部分图像存在重合的情况。第2 情况是第1部分图像和第2部分图像的外插部分存在重合的情况。第3情况是第1部分图像的外插部分和第2部分图像的外插部分存在重合的 情况。在现有技术中，仅在第1情况的情况下，能够检测部分图像彼此 的位置关系。
当以完全相同的方式对这3种情况进行处理来计算非相似度或相似 度时，由于外插部分的误差的影响，有时获得不正确的结果。因此，也 可以针对非相似度或相似度将外插部分的作用程度设定得较小。例如， 根据下式计算非相似度。
R(a, b尸W。Ro(a' b)+W,R,(a, b)+W2R2(a, b/ (cSWk)
Wk表示系数，Rk(a、 b)表示相对位置(a、 b)时的局部的非相似度。 k-O表示Io、 I,都是部分图像的情况。k=l表示I。是部分图像、I,是外插 部分、或与此相反的情况，W,〉Wo。 k-2表示I()、 I,都是外插部分的情况， W2>W1Q c是常数。
并且，通过上述残差逐次估计法来计算局部的非相似度。
并且，根据下式计算相似度。
R<a- b尸WoRo(a、 b)+W,R,(a, b)+W2R2(a、 b)/ (cSWk)
这里，Wk表示系数，Rk(a、 b)表示相对位置(a、 b)时的局部的相似 度。k-O表示Io、 I,都是部分图像的情况。k=l表示Io是部分图像、L是 外插部分、或h是部分图像、1。是外插部分的情况，W^W。。 k-2表示I()、 I,都是外插部分的情况，W2<W,。 c是常数。
并且，通过上述相关法来计算局部的相似度。
根据上述外插部3，在手指相对于指纹传感器1的移动速度很快、 或者在指纹传感器1的端部附着污垢的情况下，通过扩大相对位置检测 部4能够检测相对位置的范围，能够降低读取错误并提高用户的便利性。
并且，不仅是简单的一维或二维的一般的外插方法，通过利用边缘 信息作为生物体信息的特征，也能够减少由外插的误差产生的伪影，能 够减少由相对位置检测部4检测出的相对位置的误差。同样，通过利用 结构线或细线，也能够减少由外插的误差产生的伪影，能够减少由相对 位置检测部4检测出的相对位置的误差。并且，通过利用频率信息，也 能够减少由外插的误差产生的伪影，能够减少由相对位置检测部4检测
19出的相对位置的误差。并且，通过反复进行外插，扩大外插部分的面积， 即使由于生物体部位更快速的移动、更大面积的污垢而导致大范围的缺 失，也能够利用相对位置检测部4来检测相对位置，能够提高用户的便 利性。
接着，说明预测部2。
预测部2根据由相对位置检测部4过去计算出的相对位置，限定外 插部3进行外插处理的部位。由此，能够减少外插处理花费的时间。在 根据时刻t采集的部分图像和时刻t+At采集的部分图像计算相对位置 rt+At (i、 j)的情况下，当At充分小的前提成立时，根据惯性法则，相对 于根据时刻t-At采集的部分图像和时刻t釆集的部分图像所检测出的相对 位置rt (i、 j)， rt+At (i、 j)能够视为没有大幅脱离。
图17是示出本实施方式的部分图像和外插部分的位置关系的一例
的概念图。该图示出时刻t-At釆集的部分图像It.At、时刻t采集的部分图
像It、时刻t+At采集的部分图像It+At的相对位置。当At充分小的前提成 立时，根据惯性法则，相对于根据时刻t-At采集的部分图像I^和时刻t 采集的部分图像It所计算出的相对位置rt (i、 j)，根据时刻t采集的部分 图像It和时刻t+At采集的部分图像It+At所计算出的相对位置rt+At (i、 j) 能够视为没有大幅脱离。由此，在计算相对位置rt+At (i、 j)时，如果相 对于时刻t采集的部分图像It在rt的相同侧的边缘进行外插，则不需要在 部分图像It的其他边缘进行外插。并且，相对于时刻t+At采集的部分图 像lt+At，在rt的相反侧的边缘进行外插即可。
并且，预测部2根据上述预测判定是否需要进行外插。在判定为需 要进行外插的情况下，预测部2根据上述预测，对外插部3指示表示外 插部分的位置、外插部分的尺寸、外插的重复次数等的图像扩展范围。
另外，在本实施方式中，预测部2根据之前刚刚取得的部分图像的 相对位置来决定下一外插部分，但是，也可以根据过去多个部分图像的 相对位置来决定下一外插部分。并且，预测部2也可以不限定外插部分， 外插部3对部分图像的所有边缘进行外插。并且，预测部2也可以不进 行外插判定处理，对所有的部分图像进行外插。根据上述预测部2，针对指纹传感器1检测的图像，限定外插部3 进行外插的范围，由此，能够较低地抑制处理的负荷。并且，预测部2 预测指纹传感器1下次读取的图像的相对位置，判定是否应该进行外插， 由此，在需要进行外插的状况下，即图像彼此没有重合部分的情况或存
在重合部分但该重复面积很小的情况的任意状况下，外插部3进行外插 处理，在图像彼此的重合部分的面积充分的情况下，外插部3不进行外 插处理。由此，在便携电话和PDA等搭载了处理能力较低的CPU的设 备中，能够避免处理负荷变高而花费处理时间的情况，能够提高用户的 便利性。
接着，说明重建部5。
重建部5根据多个部分图像的相对位置，配置多个部分图像，生成 一个整体图像并将其作为输出信息输出。并且，在所配置的部分图像中 存在间隙的情况下，重建部5进行部分图像间的内插，填补间隙。
另外，上述指纹读取装置针对每个部分图像进行外插处理和相对位 置检测处理，但是，也可以在取得多个部分图像后，进行外插处理和相 对位置检测处理。图18是示出本实施方式的指纹读取装置的动作的另一 例的流程图。首先，处理Sll与图2相同。接着，指纹传感器1进行部 分图像取得处理(S112)，判断对象物(手指)是否移动，在判定为移动 的情况下(S113:对象物在移动)，返回下一处理112，在判定为已停止 的情况下(S113:对象物已停止)，转移到下一处理。
接着，预测部2进行根据过去计算出的部分图像的相对位置来预测 下次取得的部分图像的相对位置的预测处理(S121)。接着，预测部2进 行根据由预测处理预测出的位置来判定是否进行外插处理的外插判定处 理(S122)。在判定为进行外插处理的情况下(S122:是)，外插部3进 行对部分图像进行外插的外插处理(S123)，转移到下一处理，在判定为 不进行外插处理的情况下(S122:否)，转移到下一处理。接着，相对位 置检测部4进行根据部分图像和扩展图像来检测部分图像或扩展图像之 间的相对位置的相对位置检测处理(S124)。
接着，重建部5进行根据部分图像的相对位置合成多个部分图像并
21生成输出图像的重建处理(S125)，判断是否处理了所有的部分图像 (S126)。在没有处理所有的部分图像的情况下(S126:没有处理所有的 部分图像)，返回处理S121，重建部5进行下一部分图像的处理，在处理 了所有的部分图像的情况下(S126:处理了所有的部分图像)，转移到下 一处理。接着，重建部5判断所取得的相对位置等的状态是否满足规定 条件(S127)。在不满足规定条件的情况下(S127:不满足规定条件)， 返回处理112。在满足规定条件的情况下(S127:满足规定条件)，该流 程结束。
根据该动作，能够减轻指纹传感器1每次取得部分图像时的处理负 荷，能够縮短取得部分图像的间隔。 实施方式2
在本实施方式中，与实施方式1同样，说明将本发明应用于指纹读 取装置的情况。本实施方式的指纹读取装置伴随手指的移动，取得指纹 的多个部分图像，输出部分图像和相对位置的相关信息。
图19是示出本实施方式的指纹读取装置的结构的一例的框图。在该 图中，与图1相同的符号表示与图1所示的对象相同或相似的部分，这 里省略说明。该图与图l相比，代替重建部5，具有信息生成部6 (输出 部)。
图20是示出本实施方式的指纹读取装置的动作的一例的流程图。处 理S11 S17与图2相同。接着，信息生成部6判断基于相对位置等的状 态是否满足规定条件(S23)。在不满足规定条件的情况下(S23:不满足 规定条件)，转移到处理S12。在满足规定条件的情况下(S23:满足规定 条件)，信息生成部6进行根据指纹传感器1的输出和相对位置检测部4 的输出来生成输出信息的信息生成处理(S24)，该流程结束。
接着，说明信息生成部6。
由信息生成部6生成的输出信息的形式为将相对位置和部分图像等 作为要素的排列。图21是示出本实施方式的输出信息的形式的一例的表。 该输出信息具有头部、与部分图像对应的部分图像信息。头部汇总输出 信息整体的属性。从第1张到第N张连续配置由指纹传感器1取得的部分图像及其附加信息。
图22是示出本实施方式的输出信息的头部的形式的一例的表。该头
具有器件类别、图像类别、图像分辨率、量化级数、图像信息数、图 像垂直方向尺寸、图像水平方向尺寸。器件类别是表示作为指纹传感器
1的器件的种类的ID或字符串。图像类别是表示器件读取生物体信息 的方式的ID或字符串。分辨率是表示器件的分辨率的数值，通常使用 dpi (dot-per隱inch)或ppcm (pixel-per-centimeter)。量化级数也称为灰度 级数。单位为bit或无名数。图像信息数是连续存储在头部中的部分图像 的总数。另外，虽然在该例中省略，但是，头部也可以存储用于识别各 项目的数值单位的信息，作为属性值。
图23是示出本实施方式的输出信息的部分图像信息的形式的一例 的表。该部分图像信息具有垂直方向移动量、水平方向移动量、计时 印记1、计时印记2、指纹传感器1的灵敏度设定、有无外插、部分图像。 垂直方向移动量是对象的部分图像相对于之前的部分图像的相对位置， 表示其垂直方向分量。垂直方向移动量同样表示水平方向分量。计时印 记1和计时印记2分别表示读取开始时刻和读取结束时刻。只要能够获 得从第1张部分图像的读取开始时刻起的相对读取开始时刻和读取结束 时刻，则不限于时刻。例如，计时印记1也可以是从之前刚刚取得的部 分图像的读取开始时刻起的差分。并且，计时印记2也可以是从读取开 始时刻起的差分。并且，计时印记1和计时印记2用于校正由部分图像 内的像素的读取时刻的差异引起的部分图像的变形。
信息生成部6向外部的信息处理装置输出部分图像和相对位置，由 此，该信息处理装置能够重建部分图像。并且，信息生成部6向外部的 信息处理装置输出垂直方向移动量和水平方向移动量，由此，能够将指 纹读取装置用作信息处理装置的指示器件。另外，信息生成部6也可以 仅输出垂直方向移动量和水平方向移动量等的相对位置的信息。
根据该信息生成部6，能够与部分图像一起或代替部分图像输出由 相对位置检测部4检测出的相对位置和由外插部3获得的结构线信息或 细线信息的任意一方。由此，在使用指纹读取装置的输出信息来进行个
23人认证的认证装置中，能够减少从图像中提取结构线信息或细线信息的 计算。或者，认证装置直接利用指纹读取装置的输出信息即结构线信息 或细线信息，由此，能够省去再次检测结构线信息或细线信息的处理。
因此，例如在便携电话和PDA这种搭载了处理能力较低的CPU的设备 中，能够縮短或省去计算量大的检测结构线信息或细线信息所花费的时 间，能够提高用户的便利性。
另外，信息生成部6也可以不进行处理S23的判定，生成每个部分 图像的输出信息，指纹读取装置重复进行处理S12 S17、 S24。由此， 在将指纹读取装置用作指示器件的情况等下，能够继续输出相对位置的
4曰息。
另外，信息生成部6也可以代替部分图像而输出在外插处理中检测 出的结构线的信息作为结构线信息。该情况下，信息生成部6也可以在 输出信息的头部中包含表示是结构线信息的识别符。并且，信息生成部6 也可以输出结构线信息作为树结构。树结构指用节点和线表示的数据形 式。例如，在指纹的情况下，节点是所谓的端点或分支点、以及结构线 的拐点。此时能够定义为，端点仅具有一条线，分支点具有三条线，拐 点具有两条线。节点具有以部分图像的原点为基准的坐标作为属性。进 而，信息生成部6也可以使输出信息具有与节点连接的线的数量和唯一 决定这些线的识别编号作为属性。并且，信息生成部6也可以具有在部 分图像的范围内唯一决定节点的识别编号作为属性。并且，线具有方向 作为属性。也可以具有与线的两端连接的节点的识别编号作为属性。并 且，在部分图像的端部，结构线伸出到部分图像的范围外，但是，将部 分图像的四条边上和结构线相交的点视为节点。'
另外，在本实施方式中，说明了对象物(手指)相对于固定的取得 部(指纹传感器O移动的情况，但是，也可以使取得部相对于固定的对 象物移动，也可以通过对象物和取得部双方移动而相互相对移动。
另外，本发明不限于上述实施方式，在不脱离本发明主旨的范围内， 能够进行各种变形并实施。在上述实施方式中，说明了对象物是人的手 指、采集指纹图像的情况，但是，本发明不限于此，在采集血管图案图
24像的情况下，以及从作为对象物的手掌采集掌纹图像或血管图案图像等 的情况下，也与上述同样地应用，能够获得与上述同样的作用效果。例 如，在对象物是血管图案的情况下，将在上述实施方式的说明中相当于 指纹的脊线的部分作为血管部分，将相当于背景或谷线的说明作为非血 管部分，能够同样地应用。
并且，本实施方式的图像读取装置能够容易地应用于信息处理装置， 能够进一步提高信息处理装置的性能。这里，信息处理装置例如可以包
含PC (Personal Computer)、 PDA、便携电话机等。
进而，作为图像读取程序，能够提供在构成图像读取装置的计算机 中执行上述各步骤的程序。上述程序存储在计算机可读取的记录介质屮， 由此，能够在构成图像读取装置的计算机中执行上述程序。这里，作为 上述计算机可读取的记录介质，包含ROM或RAM等在计算机内部安装 的内部存储装置；CD-ROM、软盘、DVD盘、光磁盘、IC卡等可移动存 储介质；保持计算机程序的数据库；或者，其他计算机及其数据库，以 及线路上的传输介质。
产业上的可利用性
如以上说明的那样，根据本发明，在所取得的部分图像彼此没有重 合的情况下，也能够检测部分图像彼此的位置关系。
权利要求
1.一种图像读取装置，其特征在于，该图像读取装置具有取得部，其取得多个第1图像，该第1图像是通过依次读取相对移动的对象物的部分而获得的图像；外插部，其通过对所述第1图像进行外插，生成对该第1图像的图像范围进行了扩展的图像即第2图像；以及计算部，其根据由所述第1图像和所述第2图像中的至少任意一个图像构成的多个图像，计算该第1图像或该第2图像之间的相对位置。
2. 根据权利要求1所述的图像读取装置，其特征在于， 该图像读取装置还具有指示部，该指示部根据由所述计算部计算出的相对位置，向所述外插部进行指示，该指示与将没有由所述计算部计 算出相对位置的第1图像作为对象的外插有关。
3. 根据权利要求2所述的图像读取装置，其特征在于， 所述指示部根据所述对象的第1图像和过去的第1图像的相对位置，预测所述对象的第1图像取得时的所述相对移动的方向，根据该相对移 动的方向，决定针对所述对象的第1图像的外插部分的位置，向所述外 插部进行指示。
4. 根据权利要求3所述的图像读取装置，其特征在于， 所述指示部针对由所述取得部连续取得的两个第1图像即第3图像和第4图像，在第4图像的方向上决定针对所述第3图像的外插部分， 并且，在第3图像的方向上决定针对所述第4图像的外插部分。
5. 根据权利要求2所述的图像读取装置，其特征在于， 所述指示部根据所述对象的第1图像和过去的第1图像的相对位置，预测所述对象的第1图像的相对位置，在根据该预测而判定为需要进行 所述对象的第1图像的外插的情况下，对所述外插部指示外插所述对象 的第1图像。
6. 根据权利要求5所述的图像读取装置，其特征在于， 在由所述计算部计算出相对位置的第1图像或第2图像和所述预测的所述对象的第1图像之间没有重合、或该重合小于规定范围的情况下， 所述指示部判定为需要外插所述对象的第1图像。
7. 根据权利要求6所述的图像读取装置，其特征在于， 所述指示部根据由所述计算部计算出的第1图像或第2图像的相对位置和所述预测的所述对象的第1图像的相对位置，向所述外插部指示 对所述对象的第1图像的外插部分的图像扩展范围。
8. 根据权利要求2所述的图像读取装置，其特征在于， 所述外插部通过对第2图像进行外插，进一步扩展该第2图像的尺寸。
9. 根据权利要求1所述的图像读取装置，其特征在于， 所述对象物是生物体部位，所述外插部根据所述生物体部位的特征对第1图像进行外插。
10. 根据权利要求9所述的图像读取装置，其特征在于， 所述特征是第1图像中的边缘的连续性、第1图像中的结构线的连续性、第1图像的频域的连续性中的至少任意一方。
11. 根据权利要求l所述的图像读取装置，其特征在于， 该图像读取装置还具有输出部，该输出部输出第1图像和该第1图像的相对位置中的至少任一方。
12. 根据权利要求1所述的图像读取装置，其特征在于， 该图像读取装置还具有合成部，该合成部根据所述多个第1图像和该第1图像的相对位置，生成对所述多个第1图像进行合成后的图像。
13. —种图像读取程序，其特征在于，该图像读取程序使计算机执行 以下步骤-取得步骤，在该步骤中，取得多个第1图像，该第1图像是通过依 次读取相对移动的对象物的部分而获得的图像；外插步骤，在该步骤中，通过对所述第1图像进行图像外插，生成 对该第1图像的图像范围进行了扩展的图像即第2图像；以及计算步骤，在该步骤中，根据由所述第1图像和所述第2图像中的 至少任意一个图像构成的多个图像，计算该第1图像或该第2图像之间的相对位置。
14. 根据权利要求13所述的图像读取程序，其特征在于，该图像读 取程序还使计算机执行指示步骤，在该步骤中，根据由所述计算步骤计 算出的相对位置，进行与将没有由所述计算步骤计算出相对位置的第1 图像作为对象的外插有关的指示，进行所述外插步骤和所述计算步骤。
15. 根据权利要求14所述的图像读取程序，其特征在于， 在所述指示步骤中，根据所述对象的第1图像和过去的第1图像的相对位置，预测所述对象的第1图像取得时的所述相对移动的方向，根 据该相对移动的方向，决定针对所述对象的第1图像的外插部分的位置， 向所述外插步骤进行指示。
16. 根据权利要求15所述的图像读取程序，其特征在于， 在所述指示步骤中，针对作为由所述取得步骤连续取得的两个第1图像的第3图像和第4图像，在第4图像的方向上决定针对所述第3图 像的外插部分，并且，在第3图像的方向上决定针对所述第4图像的外 插部分。
17. 根据权利要求14所述的图像读取程序，其特征在于， 在所述指示步骤中，根据所述对象的第1图像和过去的第1图像的相对位置，预测所述对象的第1图像的相对位置，在根据该预测而判定 为需要进行所述对象的第1图像的外插的情况下，对所述外插步骤指示 外插所述对象的第1图像。
18. 根据权利要求1所述的图像读取装置，其特征在于， 所述对象物是生物体部位，所述外插部根据所述生物体部位的特征对第1图像进行外插。
19. 根据权利要求18所述的图像读取装置，其特征在于， 所述特征是第1图像中的边缘的连续性、第1图像中的结构线的连续性、第l图像的频域的连续性中的至少任意一方。
20. —种图像读取方法，其特征在于，该图像读取方法执行以下步骤 取得步骤，在该步骤中，取得多个第1图像，该第1图像是通过依次读取相对移动的对象物的部分而获得的图像；外插步骤，在该步骤中，通过对所述第1图像进行图像外插，生成 对该第1图像的图像范围进行了扩展的图像即第2图像；以及计算步骤，在该步骤中，根据由所述第1图像和所述第2图像中的至少任意一个图像构成的多个图像，计算该第1图像或该第2图像之间的相对位置。
全文摘要
本发明提供图像读取装置、图像读取程序、图像读取方法。该图像读取装置具有指纹传感器(1)，其取得通过依次读取相对移动的对象物的部分而获得的多个第1图像；外插部(3)，其通过对第1图像进行外插，生成对该第1图像的图像范围进行了扩展的图像即第2图像；以及相对位置检测部(4)，其根据由第1图像和第2图像中的至少任意一个图像构成的多个图像，计算第1图像或第2图像之间的相对位置。
文档编号G06T1/00GK101517612SQ200780034930
公开日2009年8月26日 申请日期2007年1月24日 优先权日2007年1月24日
发明者安孙子幸弘 申请人:富士通株式会社