血管图像获取装置以及终端的制作方法

血管图像获取装置以及终端的制作方法
【专利摘要】本发明提供一种血管图像获取装置以及终端，使装置小型化，并且正确地获取生物体信息提高认证精度。血管图像获取装置具备：设置手指的设置区域；向在设置区域提示的手指照射光的光源；对穿透手指的来自光源的光进行拍摄的拍摄部；对来自设置在提示区域的手指的压力进行检测的检测部；以及对拍摄部拍摄到的图像进行处理的图像处理部，图像处理部取得图像中包含的来自手指的压力为预定的压力值以上的第一压迫区域的位置，计算预先存储的多个登录图像中的各个登录图像所包含的登录压迫区域的位置与第一压迫区域的位置的相似度，根据计算出的相似度，从多个登录图像中选择与图像进行对照的登录图像。
【专利说明】血管图像获取装置以及终端

【技术领域】
[0001]本发明涉及一种使用生物体对个人进行认证的认证系统，特别涉及一种小型、方便性能优秀、高精度的认证技术。

【背景技术】
[0002]在各种生物体认证技术中，手指静脉认证作为一种能够实现高精度认证的技术而公知。手指静脉认证使用手指内部的血管图形，因此能够实现优秀的认证精度，并且与指纹认证相比，伪造及篡改更为困难，因此能够实现高度的安全性。
[0003]近年来，在移动电话、笔记本电脑、智能手机和平板终端等移动终端、保险柜、金库、打印机等设备上搭载生物体认证装置，保证各设备的安全性的事例正在增加。另外，作为应用生物体认证的领域，除了进出房间管理、工作时间管理、计算机登录以外，近年来在支付等方面也逐渐使用了生物体认证。尤其是在公共场所使用的生物体认证装置，不仅要实现切实的个人认证，还要提高装置的吞吐量。装置的吞吐量不仅受到认证速度和错误导致的重试次数的影响，还受使用者的操作时间影响。因此，提供一种认证精度高、而且任何人都能够简单地操作的认证装置是重要的。作为操作简单且方便性高的认证装置的条件，包括装置的使用方法直观易懂、提示生物体时放置方法等限制少等。还有，考虑到近年来平板型移动终端的普及和可穿戴式计算机的潮流，在保证如上所述的方便性的同时实现装置的小型化也成为重要的条件之一。
[0004]在专利文献1中公布了一种结构，为了提高使用者的方便性而开放性设计装置，另外为了手指的位置不发生偏差，设置有用于放置指尖和手指根部的手指放置台。
[0005]然而，随着装置的小型化的发展，例如为了小型化而将进行手指的定位的手指放置台等结构去除，因此存在着装置中提示的手指位置变得复杂、拍摄部位的位置偏差变大，在拍摄的图像中多拍摄出模糊和皱纹等噪声等，导致无法拍摄用于认证的希望的血管图像，拍摄精度降低的课题。
[0006]专利文献1日本特许公开2011-194245


【发明内容】

[0007]因此，本发明的目的在于实现一种血管图像获取装置，其在小型、使用便利性高的状态下，为了实行高精度的个人认证，在保证提示生物体时高的自由度的同时，取得大量具有带有个人特征的信息的生物体特征来作为信息。
[0008]用于解决课题的手段
[0009]本发明提供一种血管图像获取装置，其特征在于，具有:设置手指的设置区域；向在所述设置区域提示的手指照射光的光源；对穿透所述手指的来自所述光源的光进行拍摄的拍摄部；对来自设置在所述提示区域的手指的压力进行检测的检测部；以及对所述拍摄部拍摄到的图像进行处理的图像处理部，所述图像处理部取得所述图像中包含的来自所述手指的压力为预定的压力值以上的压迫区域的位置，计算预先存储的多个登录图像中的各个登录图像所包含的登录压迫区域的位置与所述压迫区域的位置的相似度，根据所述计算出的相似度，从所述多个登录图像中选择与所述图像进行对照的登录图像。
[0010]发明的效果
[0011]根据本发明，能够提供一种认证装置，其在使用手指的生物体认证装置中，不容易产生手指的扭曲和弯曲、并且即使发生手指按压也能够高精度地进行认证，小型且方便性好，认证精度高。

【专利附图】

【附图说明】
[0012]图1是表示第I实施方式的生物体认证系统的整体的结构的图。
[0013]图2是说明第I实施方式的生物体认证系统的装置结构的图。
[0014]图3是表示第I实施方式的认证处理的生物体认证系统的一个实施例的流程图。
[0015]图4A、图4B是说明现有的去除皱纹技术的处理概要的一个实施例的图。
[0016]图5是将生物体内部的光的活动模型化的概念图的一个例子。
[0017]图6是说明第I实施方式的生物体认证系统中去除皮肤皱纹的处理步骤的图。
[0018]图7是第I实施方式的生物体认证系统中的根据2波长的穿透图像来测量血管深度时的生物体内的模型的一个例子。
[0019]图8A、图SB是说明第I实施方式的生物体认证系统的通过应用血管深度来提高识别能力的原理的图。
[0020]图9是表示第I实施方式的生物体认证系统的压力的时间变化与拍摄结束的时机的关系性的说明图。
[0021]图10A、图10B、图1OC是第I实施方式的生物体认证系统的压力矢量的概念和计算方法的说明图。
[0022]图11A、图1lB是第I实施方式的生物体认证系统中的利用测量的压力和获得的手指静脉图形的对照数据的一个例子的说明图。
[0023]图12A，图12B、图12C是表示第I实施方式的生物体认证系统中的利用测量的压力和获得的手指静脉图形的对照处理的过程和结果的说明图。
[0024]图13是表示第I实施方式的生物体认证系统中的以将手指包围的方式配置光源的实施例的图。
[0025]图14A、图14B是表示第I实施方式的生物体认证系统中的在手指的下方将光源配置为圆形的认证装置的一实施例的图。
[0026]图15A、图15B、图15C、图1?是表示第I实施方式的生物体认证系统中的在手指的下方将光源配置为圆形的认证装置中通过拍摄的多个图像来重新构成血管图像的一个实施例的图。
[0027]图16是表不在移动终端上搭载第I实施方式的生物体认证系统的一个实施例的图。
[0028]图17A、图17B、图17C是说明生物体认证系统的装置结构的图。
[0029]图18A、图18B是表示在生物体认证系统的触摸面板上显示的手指的指引的一个例子的图。
[0030]图19是表示在生物体认证系统的镜子上反射映出的使用者的手指与面部的拍摄状态的一个例子的图。

【具体实施方式】
[0031](实施例1)
[0032]图1是表示第I实施方式的使用手指的血管的生物体认证系统的整体结构的图。还有，无需赘言，本发明不仅为系统，也可以是将全部或者一部分结构搭载在机箱上的装置的结构。装置可以是包含认证处理的个人认证装置，也可以是认证处理在装置外部进行，特化为血管图像获取的血管图像获取装置、血管图像提取装置。另外，也可以是如后所述作为终端的实施方式。
[0033]第I实施方式的认证系统包含:输入装置2、认证处理部10、存储装置14、显示部15、输入部16、扬声器17以及图像输入部18。
[0034]输入装置2包含设置在其机箱上的光源3以及设置在机箱内部的拍摄装置9。认证处理部10的图像处理功能的部分、或者该图像处理功能中有时包含图像输入部18，称为图像处理部。无论哪种情况，认证处理部10具备图像处理功能。
[0035]光源3例如为红外线LED (Light Emitting D1de,发光二极管)等发光元件，向在输入装置2上提示的手指I照射红外光。拍摄装置9拍摄在输入装置2提示的手指I的图像。
[0036]图像输入部18获取输入装置2的拍摄装置9拍摄到的图像，将获取的图像向认证处理部10输入。
[0037]认证处理部10包含中央处理部(CPU:Central Processing Unit,中央处理器)11、存储器12以及各种接口(IF) 13。
[0038]CPUll通过执行存储在存储器12中的程序来进行各种处理。存储器12存储CPU执行的程序。另外，存储器12暂时存储从图像输入部18输入的图像。
[0039]接口 13将认证处理部10和外部的装置连接。具体来说，接口 13与输入装置2、存储装置14、显示部15、输入部16、扬声器17以及图像输入部18等连接。
[0040]存储装置14预先存储使用者的登录数据。登录数据是用于对照使用者的信息，例如手指静脉图形的图像等。通常，手指静脉图形的图像是主要拍摄在手指的手掌侧的皮下分布的血管(手指静脉)来作为暗影图形的图像。
[0041]显示部15例如为液晶显示器，是显示从认证处理部10接收的信息的输出装置。
[0042]输入部16例如为键盘，将从使用者输入的信息发送到认证处理部10。扬声器17是将从认证处理部10接收的信息以音响信号(例如声音)进行发送的输出装置。
[0043]图2是说明第I实施方式的生物体认证系统的输入装置的结构的图。
[0044]输入装置2是具备放置手指尖的设置区域的个人认证装置。例如以本实施例来说，设置区域是指由亚克力板22、亚克力板22的周围的框体等形成的、实际设置手指的区域。但这只是一个例子，当然也包括手指与机箱非接触的情况，只要形成了在机箱表面上提示拍摄的手指的区域即可。
[0045]光源3-a、3-b、3_c相对于手指I设置在前方，从手指的前方对手指I照射光。在本实施例中，各光源能够发出各自波长不同的光。另外在装置内部形成有摄像头机箱支持部21，在其上面固定有提示手指尖的亚克力板22，在其下方固定有摄像头9。另外，在摄像头机箱支持部21下面配置有压力传感器23(23-a、23-b、23-c、23-d)，两部件通过其接点固定，摄像头机箱支持部21与输入装置2 —体化。
[0046]以下，对上述3个光源照射波长不同的光进行说明，但是还可以为从一个光源照射多个波长不同的光的结构。
[0047]当把手指I按压在亚克力板22上时，摄像头机箱支持部21被直接按入下方，其压力施加给压力传感器23，结果能够检测手指I按下亚克力板22的压力。
[0048]在本实施例中，4个压力传感器23相对于由亚克力板22等形成的手指设置区域的中心，装配在四个方位上。换句话说，即手指尖侦彳、手指根侦彳、手指的两侧这四个方位。但是，压力传感器23不局限于4个，例如也可以不是上述的四个方位，而是配置在八个方位上。
[0049]另外，在本发明中采用压力传感器，但显然只要是能够检测压力的结构，并不一定局限于传感器，只要是压力检测部即可。
[0050]能够测定手指压迫亚克力板22时的对于手指的前端方向前后左右的压力的平衡。当使用者在亚克力板22上提示手指I时，压力传感器23根据手指的按压的强度，电气特性变化，根据该变化输出压力信号，并经由接口 13输入到认证处理部10。在此，亚克力板22和装置机箱本身的自重经过事先的校正，不考虑为压力数据。
[0051]将压力传感器设置在亚克力板22和摄像头机箱支持部21之间也能得到基本相同的效果。然而，由于考虑到压力传感器由于压力产生轻微变形，此时还假定摄像头9的光轴和亚克力板22的位置关系轻微偏差。另一方面，如本实施例的结构那样，通过在机箱内的底部配置压力传感器能够减轻该影响。进一步地，控制摄像头和光源等的基板多集中在装置下部，因此在对压力传感器进行电气配线时如果在装置下方具备压力传感器，还能够产生容易装配的效果。
[0052]图3是表示本发明的一个实施例的流程图。使用该处理流程对本实施例进行详细说明。
[0053]首先，实施从压力传感器读入压力值P的处理(S301)。另外，由于在该阶段没有拍摄图像，一并实施将表示拍摄张数的帧数F初始化为零的处理。这里，手指的压力的强度例如通过求出全部4个压力传感器的压力值的总和来得到。这时，通过判定压力传感器的输出压力信号是否超过了一定的阈值、或者通过其他方法判定手指有无(S302)。如果无法检测压力、或者判定为没有手指的情况则返回前面步骤。如果检测到手指则进入下一步骤来开始认证处理。
[0054]这里，关于压力检测以外的有无手指的判定方法，优选即使手指很轻地放置且压力传感器没有反应的情况下也能够检测手指的方法。作为其一个例子，事先让光源3-a、3-b、3_c的某一个闪烁来拍摄图像，在与闪烁的周期相符地观察到一定面积以上的亮度变化时判断为手指被放置在装置上。
[0055]通过将该方法与压力检测的方法并用，在施加了一定的压力、或者一定的面积以上的拍摄对象遮盖在装置上的情况下开始认证，因此能够稳定地开始认证处理。另外，也可以在检测压力时判定各压力传感器的输出值的平衡，当压力明显有偏差时不开始认证处理，将该内容显示给使用者并同时诱导向正确的位置。例如在只有装置近处的压力传感器23-c被施加大的压力时指示手指向前移动。进一步地，也可以在压力的总和为某一个一定值以上的情况下判定为按压过强，向使用者指示减小压力的内容。由此，能够将手指诱导为位置正确且压力合适的状态。
[0056]当提示了手指时，将拍摄帧数F增加I个(S303)，然后点亮光源3-c以获得对于该手指的穿透光(S304)。这里，使光源3-c为与其他2个光源的波长相比环境光的光谱成分为最弱的波长，因此在后述的手指轮廓检测等处理能够抵抗外界光的影响。光源照射在手指I的背面侧，在手指内部散射，从手掌侧的皮肤输出的光到达摄像头9。这时，拍摄到手指I明亮发光的影像，因此能够把握手指I的大致位置。这时照射的光量值可以为通过平均的手指得到平均的亮度值的值。或者，在实施以输入ID为前提的1:1认证时，也可以在登录时预先保存确定为最优光量值的值，照射该光量值，这样具有无需进行后述的光量控制处理，能够照射接近最优值的光量的优点。
[0057]然后，按照该影像检测手指的轮廓(S305)。由于穿透光的照射，手指I明亮地发光，因此能够检测图像中映射的轮廓。这时，还存在背景明亮地发光的情况，因此在不点亮光源3-c的状态下拍摄手指图像，取得该图像与点亮光源3-c的图像的差值，能够将背景和手指区域更为高精度地分离。由此对于外部光的影响能够进行鲁棒性的手指轮廓检测。对这样拍摄的手指图像进行具体的轮廓坐标的获取处理，作为其方法，可以使用基于一般的边缘突出滤波和突出的边缘的连接的方法、将RANSAC(Random Sample Consensus,随机抽样一致)和卡尔曼滤波等统计方法进行组合的方法、基于图像分割等的手指区域与背景区域的分割等，一般的轮廓检测处理或者手指领域分类处理。将手指轮廓中曲率最高的部分视为指尖位置，在无法观测手指尖位置时能够向使用者返回内容为将手指的位置重新放置的反馈。手指尖位置是成为手指的位置修正的基准的部分，通过诱导确实映射出手指尖位置，后面的对照处理的位置修正精度提高，有助于提高认证精度。
[0058]继续，实施3波长光源的光量调整(S306)。通过上述的处理检测手指轮廓，调整光量使得其内部区域的平均亮度变为固定值。进行反馈控制使得平均亮度值高的情况下降低光量值、平均亮度值低的情况下升高光量值，关于将光量值改变多大程度，事先将光量值与平均亮度值之间的关系公式化，当进行控制从而照射能够获得作为目标的平均亮度值的光量值时，能够使其高速收敛。在此，光量调整是对每个光源的波长独立进行光量控制。这时，对于每个波长图像的亮度变化，因此可以重新反馈控制光量值，但如果事先知道每个波长的摄像头灵敏度和对于设定光量值的亮度值的关系，只要知道某个波长的合适的光量值，就能够推测其他波长的光量值。通过实施该校准，不需要用于调整的反馈控制，拍摄速度提高。对3波长的光源实施该校准，获得3张穿透图像。
[0059]然后，为了测定与当前获取的图像对应的手指尖的压力，读取当前时间点的各压力传感器的值(S307)。由此，能够把握是在何种程度的按压状态下拍摄到的图像。
[0060]然后，使用获得的图像实施特征提取处理(S308)。该处理包含:基于手指轮廓的手指的位置/旋转修正处理、皱纹去除处理、模糊去除处理、血管图形检测处理、血管深度检测处理。位置修正是将手指轮廓的指尖的位置平行移动到一定的图像位置，并且从手指轮廓求出手指的长度方向，将其旋转使其与图像的左右方向平行。由此，使手指的大概位置和平面的旋转标准化。接着，使用3波长的穿透图像，实施手指表面的皱纹和体内的血管图像的分离处理、伴随光扩散的血管图像的模糊去除处理、以及血管的深度测量处理。由此能够获得鲜明且丰富的血管结构信息。这些处理的细节将在后面叙述。然后，从上述血管图像的处理结果提取血管图形。提取方法可以利用基于Gabor滤波等突出处理和亮度断面轮廓的曲率计算的血管中心检测、统计性的线信息的连接处理等一般的特征提取处理。另外作为血管提取处理的前处理，也可以利用各波长图像中血管的外观的区别、求出图像的差值，由此来突出血管图形。这里由于血管图像的模糊去除处理与该处理产生同等的效果，因此图像的差值计算可以任意进行。
[0061]继续，获取压力矢量P’ (S309)。压力矢量是使用压力传感器的具体值和手指的轮廓位置的关系等来计算并标准化的压力信息，计算方法的一个实施例将在后面叙述。
[0062]然后，从数据库提取具有与该压力矢量P’相似的压力矢量的登录数据，进行与输入图形的对照判定与输入数据的相似性(S310)。图形的相似性判定可以使用模板匹配、细节点匹配、基于线的方向成分的矢量匹配和作为局部亮度信息量的SIFT (Scale-1nvariantfeature transform,尺度不变特征转换)和 HOG (Histograms of Oriented Gradients,梯度方向直方图)、LBP(Local binary pattern,局部二值模式)等判定相似性的一般的方法。
[0063]通过这样使用压力矢量的相似性，将判定血管图形的相似性的登录数据的候选进行筛选，能够在1:N认证中进行高速的认证处理。另外压力矢量是与人的习惯等关系很大的、基于血管图像内的压迫区域生成的信息，因此即使拍摄的图像的质量不好等情况下，也能成为提高认证精度的有效的信息，其细节将在后面叙述。
[0064]然后，通过前面步骤的结果判定是否承认两个图形中有统计性的相似性(S311)，如果判定为有相似性则视为相应的登录者的手指，作为认证成功(S318)结束认证。
[0065]在图形不一致的情况下，在全部的组合中生成当前的图形与过去拍摄的图形的差值图像(S312)，同样地实施与过去和当前的压力矢量的组合中相似的全部的登录数据的差值图像彼此的对照(S313)。这里再次判定两个图形的相似性(S314)，如果一致则为认证成功(S318)并结束认证。如果认证失败，则实施后述的拍摄停止条件的判定处理(S315)，进行是否满足停止条件的判定(S316)。如果不满足停止条件则重新返回拍摄处理(S303)，在满足停止条件的情况下作为认证失败(S317)，认证系统放弃输入手指。
[0066]这里，对于步骤S315中所示的手指的拍摄的停止条件进行叙述。这里，考虑以下的4个条件进行判定:在至少获得预定的帧数以上的手指图像之前不停止；在手指本身充分静止之前不停止；压力值在一定时间内稳定的情况下停止；以及达到超时的情况下停止。
[0067]首先，通过赋予获得预定的帧数以上的手指图像的条件，能够使获得的连续帧具有变化，能够提高认证精度。然后，通过赋予判定手指静止的条件，能够对当前的手指位置保证来自最佳的光源的照射。这里，本实施例中检测手指轮廓，因此能够通过图像处理来修正手指的位置偏差，实施将手指的位置例如移动到图像中央等的标准化。因此，也可以在明显在光源的光照射的位置有手指，并且作为进行了手指的位置修正的结果没有大的偏差的情况下判定为手指静止。通过判定这样的修正后的位置偏差量，实际上可知即使手指移动也预计不到会获得多种变化的图像的情况，具有能够迅速结束认证的效果。然后，关于如果手指按压的压力稳定则停止的条件，在产生按压时的手指静脉图像的变动的期间能够获得手指图像的变动和压力的变动的多种相关，但在稳定在一定值也预计无法认证的情况下迅速放弃，有助于维持装置的吞吐量。另外，在达到超时的情况下，即使拍摄条件没有足够齐全也停止拍摄，由此能够将反应的最大时间固定，能够保证一定以上的认证的吞吐量。不满足这些停止条件的情况下连续重试，在满足停止条件的情况下作为认证失败。
[0068]这里，对上述的处理流程中，从通过3波长光源获得的穿透图像中精密地获得血管图像的结构的处理的一个实施例进行详细说明。还有，在以下的说明中，有时将皱纹和模糊等统称为噪声。
[0069]已知血液或皮肤中光的吸收系数和散射系数因波长而非线性地不同。因此在本实施例中，将不同的3个波长的穿透图像以时间分割方式进行拍摄，使用这3张图像来去除映入图像的皮肤的皱纹信息，并且减轻血管图像的模糊。这里，设血液中的吸收率高的波长为λ (1、具有相同吸收率的波长为λ 2、与两波长相比血液吸收率低的波长为λ1。并且，设波长入^的皮肤的扩散系数为波长λ 2的皮肤的扩散系数的2倍大。在本实施例中，作为满足这些条件的波长，设定λ 0为660nm、λ丨为690nm、λ 2为870nm。只要是满足这些条件的波长，具体的波长不局限于该组合。
[0070]在说明本实施例之前，先用图4A和图4B对一般的现有的皱纹去除技术的概要进行说明。现有技术基本是仅仅根据通过单一波长拍摄到的观测图像的图像特征来分离皱纹和血管的方式。在高频成分的去除方法中，具有对特定的空间频率进行滤波的方法和Top-hat (高帽)变换、或者独立成分分析等方式。在本实施例中以利用Top-hat变换进行的高频成分的去除作为最有代表性的方式。也就是说，根据图像的断面亮度曲线内要去除的噪声成分定义被称为结构化要素41的函数，取出使其在曲线上滑动时的轨迹与原本的曲线的差值来作为皱纹成分43。将该情形在图4A中表示。在本例中，设向下侧凹陷的亮度全部为皱纹的阴影42，通过在检测出这些皱纹成分43后从原本的信号成分中减去，去除皱纹图形的阴影。
[0071]为了调整要作为噪声去除的亮度成分，调整结构化要素41的长度即可。一般来说皮肤的皱纹大多比血管宽度窄，所以在现有方法中按照经验进行该调整，在可能的范围内去除皱纹成分。然而，如图4B所示，在图像中除了皱纹的阴影42以外还包含血管的阴影44，存在很多无法根据其阴影的宽度和亮度判别是血管的阴影44还是皮肤的皱纹的阴影42的情况。此时，应用现有方法就会如图4B所示，导致误将血管的阴影44去除，并且还会发生将鲜明的血管的阴影44的对比度(S/N)降低的问题。由此，存在着对个人识别有效的手指静脉图形产生缺损，认证精度恶化的可能性升高的课题。
[0072]因此在本实施例中，作为使用2波长光源的血管图像的精密拍摄技术，应用在血管图像上重叠的表皮图像成分的去除方法。在本实施例中使用波长λ。和入1的2波长去除波长λ ^的皱纹，使用波长λ i和λ 2的2波长去除波长λ 2的皱纹。
[0073]图5是将生物体内部的光的活动模型化的概念图的一个例子。当波长λ j的照射光L照射在手指的背面时，该光在生物体内部散射并同时进入图的下方，到达在手掌侧的皮肤附近分布的血管51 (手掌侧附近的手指静脉)的上部。血管51埋在由真皮52构成的层中，将其作为血管层。这里，将生物体作为强散射体，设血管层上部的光分布Sj相同地分布。该光分布Sj由于血管内存在的血液的血红蛋白而衰减，到达血管下部形成光分布fj。光分布fj是内部光Sj遵循Lambert-beer定律(朗伯比尔定律)在血液中衰减的分布，可以用如下的方式记述。
[0074]fj = Sj-exp {_ μ bJVbTb- μ dJ (1-Vb) Tj......(I)
[0075]这里，μ bj、μ dJ分别是波长λ j的在血液与皮肤中的消减系数(吸收系数与散射系数的和)，Tb为血管层的厚度，Vb为厚度Tb的范围内血管占真皮的体积比，为O < Vb < I。另外，关于图像，处理2维图像，为了简单省略了坐标系的记载，把Α(χ，y)记录为fp另外，这里不考虑血管部中的光散射。此外,消减系数也可以根据吸收系数和散射系数中的任意一个来定义。
[0076]这时，fj是体内的血管图像本身，不受生物体组织的光散射所造成的模糊和皮肤表面的衰减等的影响，可以看作高精细的血管图像。因此，获得体内的血管图像fj即为血管图像的精细测量的目的。但是，该光分布fj在摄像头拍摄之前在手掌侧的皮下组织(真皮和表皮)中散射，受到皮肤的皱纹53等皮肤表面的光衰减h的影响而行进，因此无法直接观察fj。尤其是体内的光散射根据血管的深度位置而不同，所以推定fj变得更加困难。在受到这样的亮度变化的同时A从手指表面放出。将这时的光分布作为最终摄像头拍摄&，因此将&称为观测图像。
[0077]通过以上活动，将观测图像gj公式化为下式。
[0078]gj = (f j*hj) Cj+rij......(2)
[0079]这里,设表示皮下组织(真皮和表皮)中的光的扩散的程度的PSF(Point spreadfunct1n点扩散函数)Shj，图像的噪声成分为η」，运算符表示卷积运算。由于皮下组织中的散射，观测图像gj是真正的血管图像fj衰减，以更加模糊的形态获得的观测图像。光的扩散导致的血管图像的模糊在血管图像的精细拍摄的意义上有影响，但这里是以去除表皮图像为目的，因此认为光扩散的影响与表皮图像的影响相比足够小，将该模型变形为容易解析的形式。也就是说，并不是通过PSF的卷积运算表现扩散，而是能够通过仅仅考虑了光的衰减的Lambert-beer法则来进行记述。这时,式⑵可以用如下的方式记述。
[0080]gj = (fj-exp {- μ dJd}) Cj+n」^ s」exp {- μ bJVbTb- μ dJ (1-Vb) Tb- μ dJd- μ cJVcTj......(3)
[0081]这里，d为血管的深度(皮肤的厚度)，μ。」为皮肤的皱纹处的消减系数，V。为皮肤的皱纹占表皮的体积比，Τ。为皮肤的皱纹层的厚度。根据式(3)，可知观测图像&是生物体内部的光分布S」根据血液量、皮肤的厚度和皮肤的皱纹进行衰减的观测图像。
[0082]通过以上的公式化，本实施例中作为目的的血管图像的鲜明化这一问题可以归结为从观测图像gj来获得式(3)的fj这一问题。
[0083]图6表示本实施例的皮肤的皱纹去除方法的处理步骤。首先，如该图(a)所示，连续拍摄血液中消减系数不同的2波长的图像。不同2波长的光可以使用分别不同的光源，也可以从一个光源照射不同的2波长的光。在以下的说明中，以对于&去除皱纹为例子，将g2替换g(1、以及对于gj和λ J等表示波长的角标j将j = 2替换为j = O,则能够同样地进行gd的皱纹去除。
[0084]设基于血液的消减系数低的波长λ I的图像为gl，基于高的波长λ 2的图像为g2。着眼于血管部44，可知亮度值为gl>g2，但在皮肤的皱纹部分42中大概一致、或者为gl彡g2。基于这样的差异，将血管区域与由于皱纹和异物等形成的噪声区域分离。可以看出通过简单地求出gl和g2的差值图像，只能够获得血管部分的信息，但由于皮肤的皱纹的亮度值略微不同，通过差值无法仅将皱纹信息完全去除。因此，将该皱纹信息、即噪声信号的差值完全处理能够大大有助于提高认证精度。
[0085]以下，如图6(b)所示，从g2去除由血液造成的亮度的阴影。对于上述的式⑶在两边取自然对数，则得到下式。
[0086]In gj ^ In Sj- μ bJVbTb- μ dJ (1-Vb) Tb- μ dJd- μ cJVcTc......(4)
[0087]这时，在血液的体积比Vb为零的像素中对g2乘以系数以使两图像的亮度值一致，得到下式
[0088]In S2- μ d2Tb_ μ d2d_ μ c2VcTc = In S1- μ dlTb_ μ dld_ μ clVcTc......(5)
[0089]这时，通过在式(4)中设j = 1、2的2个式子和式(5)这3个联立方程式，能够得出未知数vbTb。在将变量VbTb定义为血液遮光系数Vbt时，Vbt可以记述如下。
[0090]Vbt = (In gfln g2) / ( μ b2_ μ bl+ μ dl_ μ d2)......(6)
[0091]这时，如果Vb>0的区域与Vb = O的区域为相同亮度值，则能够从观测图像g2去除血液所造成的阴影。即，求出
[0092]β gj = gj(vb = 0)......(7)
[0093]中的系数β即可。这里，将g/vb = °)作为gj(x、y)的像素(x、y)的附近的Vb = O的亮度值。将式(7)变形得到以下的式(8)，然后将上式(4)和式(4)中Vb = O的式子代入其中得到以下的式(9)。
[0094]Ιηβ = ln{gj(vb = 0)}-ln{gj}......(8)
[0095]...β = exp { μ b2- μ d2} Vbt......(9)
[0096]总结以上，从观测图像g2去除血管所造成的阴影的图像g2e可以如下式那样获得。
[0097]g2e = g2 exp { μ b2- μ d2} Vbt (如果 Vb>0)......(10)
[0098]= g2、 (否则)……(11)
[0099]在图6(b)中表示该处理结果。
[0100]在对于图像g2的血管去除图像g2e中，只剩余以皮肤的皱纹为首的血管以外的噪声信息。通过对具有该噪声区域的图像实施普通的Top-hat变换，能够提取皮肤的皱纹这样的高频成分。在图6 (C)中表示该情形。设仅提取了该皱纹成分的噪声图像为ch，Top-hat变换的运算符为TH(.)，皱纹成分的图像Ch可以用如下的方式记述。
[0101]Ch = TH(g2e)......(12)
[0102]在本实施例中使用装配容易且高速动作的基于Top-hat变换的皱纹成分去除，但是也可以使用以独立成分分析、图像分割、或者图像的特定频率的滤波等为代表的一般的噪声去除方法。
[0103]最后，利用仅有皱纹成分的图像Ch和原图像g2，仅去除了皱纹成分的精密血管图像g’ 2可以通过以下的式子获得。
[0104]g' 2 = g2-ch exp {- ( μ b2- μ d2) VbJ......(13)
[0105]在图6(d)中表示该状况。根据以上所述，能够在留有由血液造成的阴影的同时选择性地去除认证不需要的皮肤的皱纹成分，能够获取具有真正的血管图像的认证用血管图像。由此，能够针对皮肤皱纹有无变动实现鲁棒性的手指静脉认证。
[0106]本技术不仅去除手指的皮肤表面的皱纹和指纹，对于皮肤附着污垢的情况、清洁作业用手套等半透明手套的折痕等也能够去除。由此，不受手指的污垢的影响，并且在佩戴了半透明手套时也能够实现手指静脉认证。
[0107]另外，去除的噪声信息如果是例如指纹等皮肤特有的皱纹信息，也能将其作为新的认证信息来应用。在单一的光学系统中能够一次获得静脉和指纹的信息，因此无需另外添加指纹拍摄用装置，能够实现多模认证。
[0108]接着，对于利用获得的去除皱纹后的图像g(l和g2、去除血管图像的模糊的一个实施例进行叙述。
[0109]—般，已知在皮肤内部的光的消减系数为2倍关系的2个波长中，消减系数低的波长的光的扩散比另一方波长小。另外，关于假定在皮肤内部存在假想的点光源时的光的扩散，从皮肤外部对其观测时，点光源存在于内部深处时光的扩散大。这时，比较两波长在皮肤外部观测的光的扩散，已知消减系数小的波长的点光源与另一方的波长的点光源相比存在于2倍深的位置时，二者的光的扩散大致相同。
[0110]利用该特性，在通过不同的2个波长拍摄到的血管图像g(l和g2之间，在具有皮肤内的消减系数为2倍的关系的情况下，能够推定血管图像的光的扩散的程度。具体来说，将去除了皮肤皱纹的图像公式化，可以记述为
[0111]gj = fj^hj+rij......(14)
[0112]在j = O和j = 2的情况下，相当于
[0113]h0 = h2*h2......(15)
[0114]成立。这时，求出真正的血管图像f，则为
[0115]f = g2+(g0-g2) *g2*g/......(16)
[0116]这里，a*b^表示通过b对图像a进行去卷积的运算。
[0117]通过计算上式，能够获得不含模糊的血管图像f。作为去卷积的运算方法，可以使用维纳滤波、CLS (Constrained least square,约束最小二乘)滤波、TV (Total variat1n,总变分)法、BTV (Bilateral total variat1n,双边总变分)法等一般的方法。
[0118]图7是从2波长的穿透图像测量血管深度时的生物体内的模型的一个例子。血管深度的获得与上述的皮肤表面皱纹的去除和模糊的去除同样，在获得真正的血管结构信息、增加能够应用于认证的信息量的意义上是重要的。图7是以与图5大致相同的状况为模型，但图7中是以不存在皮肤的皱纹、并且在真皮层52中光不扩散为前提进行简化的，这一点存在区别。实际上可以通过使用实施了上述的皱纹去除处理后的2波长图像，来实施应用该简易模型的血管深度测量。
[0119]在图7所示的物理模型中，如果能够解出血管浓度Vbt，则能够求出血管所存在的深度D。内部光Si按照Lambert-beer法则衰减,观测图像gi可以记述为
[0120]ln(gi) = In(Si)-U bi VbTb-U si (1-Vb) Tb-μ siD......(17)
[0121]这里μ b1、μ si分别为血液与皮肤的消减系数。通过2波长拍摄获得gl和g2，在没有血管的(即Vb = 0)位置乘以成为a K1 = a 2g2(=常数)的系数a i，则有
[0122]In ( a ^1) - μ sl (Tb+D) = In ( a 2s2) - μ s2 (Tb+D)......(18)
[0123]通过式(17)的i = (1,2)和式(18)，VbTbU^= Vbt)可以求出
[0124]Vbt = (In ( a lgl) -1n ( a 2g2)) + ( μ b2- μ bl+ μ sl- μ s2)......(19)
[0125]最终，将式(19)代入式(17)(这里i = 2)时，如下式导出血管深度D
[0126]D= (In ( a 2s2) _ μ s2Tb_ln ( a 2g2) + ( μ s2- μ b2) Vbt) + μ s2......(20)
[0127]这里，内部光S2和血管层的厚度Tb无法观测,所以D无法确定。另一方面，对g2乘以系数α2，因此内部光的项InU2S2)与位置无关，视为固定值。另外，如果假定Tb也与手指无关而固定，则ln( a 2s2)-y s2Tb( = C)可以为固定值。将此时的D定义为血管的相对深度分布W。即，能够获得具备偏置为固定值C的相对的血管深度。这里，由于光衰减这个物理制约，设C>ln (ci2g2)。通过以上所述，相对于仅使用平面的血管结构的现有方法，对个人认证有用的信息量增加，因此可以期待认证精度的提高。
[0128]图8A和图8B是表示利用血管深度能够正确识别不同的血管图形彼此的一个例子的模式图。图8A表示将不同的2个手指的血管图形81和82作为现有的2维投影血管图像80重叠的状态。在这种情况下，两个图形的2维投影图像相似，因此在现有方法中容易被判定为相同图形。另一方面，如图8B所示，作为立体的血管图像83来重叠，看出两个血管图形81和82在血管的深度方向的形状有大的差异。所以，通过立体图像的观测，能够判定二者为不同手指的案例增加，与现有的利用2维投影图像的认证方法相比，有助于提高认证精度。
[0129]作为立体的线图形的对照方法，可以使用3维的模板匹配(像素匹配)和测量SIFT特征量等来判定特征点之间的相似度的方法、将线的切线成分矢量化并计算其内积的矢量对照等一般的3维形状的对照技术。
[0130]在这里，表示利用3值模板与相对深度分布的对照的一个实施例。在本实施例中，为对3值模板应用上述的深度信息的对照方式。
[0131]首先，提取手指静脉的3值模板Pv。Pv是从血管图像实施特征提取，根据其血管相似性分类为血管/不明/背景的3值的图像。然后如上述获得相对深度分布Dr。最后将Dr的值标准化为0-255设为D’ r。作为标准化的一个实施例，作为D’ r，具有求出Pv的血管像素的全部位置的Dr的平均值da和方差σ，将da±3 σ的范围线性变换为0_255的方法。最终的提出方法的对照数据为Pv和D’r的对。
[0132]然后，表示使用上述的相对深度分布的对照方法的一个实施例。在本实施例中，基本的方法为将登录和输入的Pv重叠时的血管和背景的重叠(错配)的数量除以总血管像素数来获得错配率。与此相对，在本实施例中，即使血管彼此重叠，当分配给其像素的相对的血管深度D’ r的差超过了阈值ThH时，仍作为存在立体的偏差而判定为错配。由此能够缓解不同手指的血管像素偶然重叠从而相似性提高这一现有方法的问题。并且，在血管之间的重叠中D’r的差比ThL小的像素作为比平常相似性高，将其像素数与权重相乘，通过将得到的结果从错配数中减去来降低错配率。由此，血管形状和深度二者相似的手指能够进一步提高与其他手指分布的分离度。
[0133]也就是说，被赋予了血管的深度的3值模板图像彼此的错配率可以如下表现。
[0134]错配率=(Q1X血管与背景的重叠数+ α2Χ血管的深度的差比ThH大的血管彼此的重叠数一 α3Χ血管的深度的差比ThL小的血管彼此的重叠数)/全血管像素数......(21)
[0135]这里，a = 1、2、3)是对于各错配数的权重。例如，可以取波长λ。= 690[nm]、λ I = 870 [nm]、a j = α 2 = α3=1、ThL = 16、ThH = 80。尤其是对于波长的选择,如本实施例，通过选择血液的吸光度的差大的波长彼此，能够提取稳定的血管的深度信息。
[0136]在上述的方法中，在计算错配率时，以附加a i的权重的形式将3值模板中的错配率计算和深度信息结合，但也可以采取例如通过现有技术在计算出对照得分后，通过标准化互相关法等方法求出上述深度图彼此的相似度，将现有技术的对照得分和与深度图有关的相似度合成的方式。这种情况下，最终的对照得分可以作为多维矢量处理。与此相对，也可以利用统计学方法求出最能够识别出本人和他人的判别方法。例如，能够通过判别分析和主成分分析，从学习样本获得最能够将本人和他人分离的参数，并将各得分线性组合，由此缩减为一个对照得分。通过使用这样的统计学方法，可以期待提高认证精度的效果。另夕卜，也可以基于SVM(Support Vector Machine,支持向量机)通过求出能够识别本人和他人的界线来实施认证。
[0137]这里，本实施例的认证装置的光源考虑到需要的认证精度和功能、成本等，也可以为2波长或者单一波长。如上所述，使光源为3波长，能够去除手指的皱纹、去除血管图像的模糊、推定血管深度，也可以根据需要，限定这些各功能，具备相应数量的波长。通过限定波长的种类数，能够获得拍摄的高速化、对外界光抵抗性的提高、装置的低成本化、控制电路的简化等效果。例如，限定为上述的A1和λ 2两个波长，能够实现皮肤的皱纹去除和血管的深度测量。或者限定为上述的λ ^和λ 2两个波长，能够仅实现血管的模糊去除。尤其是关于模糊去除，通过应用非锐化屏蔽、假定光在体内的扩散的PSF的去卷积、或者在推定光在体内的扩散的同时去除模糊的盲去卷积等突出处理，能够简单地突出血管图像，因此不使用光学特性地实施模糊去除的方法和使用X1和λ 2两个波长的方法的组合具有高实用性。
[0138]特别是作为基于单一图像的血管的模糊去除的一个实施例，具有根据贝叶斯定律进行的最大后验概率(MAP ；Maximum a poster1r)推定的方法。血管部的亮度信息的观测结果是存在于体内的真正的血管由于光扩散等的影响而模糊，噪声重叠的结果。真正的血管中没有噪声，并且保持连续性，而且在血管的边缘以外没有急剧的空间的亮度变化。为了与这样的条件相符，预先生成真正的血管的推定结果，通过使光的扩散公式化的函数使该推定结果模糊，进行与观测图像的比较。如果推定结果与真正的血管相似，则模糊后的图像应该与观测图像相似。因此，在使观测图像与推定值的模糊图像之间的误差最小化的方向上对真正的血管的推定结果进行修正，通过将其反复实施能够推定血管图像。
[0139]或者，对于大量的手指图像数据库，预先准备只收集了血管部分的样本、只收集了皮肤的皱纹的样本、只收集了不存在血管也不存在皱纹的部分的样本等，事先学习断面亮度曲线等亮度特征。然后，在赋予了未知的图像时，在某个部分图像中判定属于哪个种类的可能性高，概率地确定是否为血管部的方法也有效。通过该处理在单一图像中也能够仅突出血管部分。当然，无需多言，对多波长的图像也能够应用同样的处理。
[0140]在使用本实施例中规定的波长λ 2拍摄的血管图像g2中，与其他波长相比鲜明地映出血管图形，是用于获得认证中使用的特征量的理想的图像。因此，在根据需要的功能和成本来限制使用的波长时，特别是对g2实施皱纹去除和模糊去除并将其应用于认证中，由此能够在提高认证精度等方面获得好的效果。
[0141]另外在上述实施例中，gl是使用难以看到血管的波长的观测图像，因此不进行对gl本身的皱纹去除，仅作为其他图像的皱纹去除的参照图像的使用。但是通过将上述的数学式变形也能够实施对&的皱纹去除。根据波长的选择方法，gl的图像中也能够假定能够观测到鲜明的血管的情况，因此也能够在gl中应用皱纹去除来变换为鲜明的血管图像，应用于后段的认证处理等。
[0142]然后，对使用了手指施加的压力和获得的生物体信息的相关的对照处理的一个实施例进行详细说明。首先，关于压力和时间的关系性，表示从拍摄开始到停止为止迁移的压力值的典型例子，并对用于获得与此相对的压力值的变化的控制进行叙述。然后对压力的变化量和图形的变化量的关联性进行叙述，最后对考虑压力的变化量和图形的变化量的对照处理进行叙述。
[0143]图9是表示压力的时间变化与拍摄结束的时机的关系性的事例的说明图。
[0144]在本实施例中设置4个压力传感器，因此这里将4个压力传感器输出的总和视作从手指施加的压力的强度(压力值)。开始了拍摄时的最典型的压力值的迁移如图9的曲线(I)所示那样，从手指静止放置的状态开始压力值随着时间逐渐增加，最终收敛为固定值。或者，如曲线(2)所示，假设从用手指尖比较强地按压装置的动作开始，力量逐渐减缓，压力值不收敛为固定值。与此相对，如曲线(3)所示，还考虑到压力保持在极弱的状态。或者，如曲线(4)所示，还假设在提示手指的同时大幅超出假定的压力值的案例，这种情况下压力从零状态急剧上升。其他还有假定尽管施加了大的压力，但压力急剧变回零的案例。
[0145]为了应对这些各种各样的压力施加方法的变化，在本实施例中设置如下的拍摄条件。首先，预先定义适于拍摄的手指的压力值的范围、也就是压力值的上限和下限。然后，在对压力值进行时序观测时，在压力值超过上限的情况下进行“按压警告的输出”，将按压过度的内容反馈给使用者促使其减轻按压。同样地，在压力值比下限小的情况下进行“按压请求的输出”，促使用手指按压提示部。这里，在实用性上多为即使压力弱也能观测到手指的血管，因此下限值可以为零附近。
[0146]另外，如曲线(3)所示，在压力值超过下限的微弱状态持续，并且还没有拍摄到压力强的图像的情况下，进行“按压请求的输出”，促使使用者轻轻按压装置，施加压力。同样地，在由于摄像头的帧率的关系而无法拍摄压力值弱的图像时压力值上升，一直达到不满阈值的上限的附近固定值持续的情况下，提示由于压力值弱的图像尚未拍摄，减小手指的压力的内容的指引。通过这样的指引的提示，能够获得在设定的上限值和下限值的范围内的各种各样的压力的图像，可以期待能够应用于认证的信息量增加、认证精度提高。
[0147]图10A、图1OB以及图1OC是压力矢量的概念和计算方法的说明图。
[0148]图1OA表示对于手指的提示的4个压力传感器的压力值的一个例子。另外，图1OB表示与图1OA相同的手指以相同的压力放置在不同地点的情况的一个例子。手指I映出在手指图像100中，检测到手指轮廓101。手指尖位于图像左侧，将手指轮廓101的尖端作为手指尖102。另外，观测到手指与亚克力板的接触的压力值为预定值以上时产生的椭圆形的压迫区域103。另外，在手指图像100的4条边上显示有各压力传感器的压力值。
[0149]比较这2个图，可以知道尽管手指I的提示位置不同，但观测压迫区域103的手指轮廓内的相对位置是相同的。即使在这样施加完全相同的压力的情况下，由于手指接触亚克力板的位置偏差，得到的4个压力值的平衡不同。所以，本质上虽然提示二者施加相同的压力，但仅通过简单比较4个压力值，无法看作施加了相同的压力。因此在本实施例中利用手指轮廓101，定义能够使施加压力的位置标准化的压力矢量。
[0150]压力矢量的计算方法的一个实施例如下所示。首先，如上述检测手指轮廓101，将图面左侧的轮廓线中曲率高的部分即手指尖102作为基准点，将从手指尖102向压迫区域103的中心的方向定义为压力矢量104的方向。还有，压迫区域的基准点除了向中心的方向以外，也可以定义预定的基准点。压迫区域103的中心位置可以根据4个压力传感器的压力值的比率求出。具体来说，在4个压力传感器的配置的重心与手指图像的中心点一致时，将相对于手指图像的中心点存在于对称位置的2个压力传感器作为一对，根据压力值的比率求出压力中心。例如，关于图1OA的压力中心，图面的左右的压力传感器的值为3和7，因此可以认为左右方向的压力中心位于从图像左端向右在图像宽度的7/10的位置。同样地，上下方向的压力中心可以认为是从图像上端向下在图像高度的10/19的位置。另外，使压力矢量的大小为与上述的压力值一致，可以简单设为4个压力值的总和。
[0151]这样比较图1OA和图1OB的压力矢量104，可知基本一致。
[0152]在装置小型化，机箱没有定位单元的状态下，如上所述，每次拍摄时使用者放置手指的位置有大的不同，产生位置偏差。但另一方便，用户虽然手指的放置位置在每次拍摄时不同，但由于个人习惯等，设置手指时产生的压迫区域的手指区域内的相对位置具有在统计学上基本一致的特性。本发明中的压力矢量就是利用这样的特性所生成的信息。
[0153]另外，上述使用从手指的轮廓的基准点到压迫区域的中心的压迫矢量，但也可以不用手指的轮廓，根据各图像中产生压迫区域的位置的关系来判定相似度。
[0154]图1OC表示4个压力值与图1OA完全一致但手指的位置不同的例子，可知当求出压力矢量比较时，能够正确判断压力的施加状态不同。
[0155]图1lA和图1lB是利用测量的压力和获得的手指静脉图形的对照数据的一个例子的说明图。
[0156]图1lA表示登录数据的一个例子，登录的对照数据110和压力值按照时间序列排列，从帧I开始按顺序拍摄，帧3为最后的拍摄状态。另外，在对照数据110中分布有血管图形111。并且，通过按压产生的压迫区域103由虚线表示，其内部的血管消失。另外，登录了每帧的压力矢量。这里设压力矢量的方向基本相同，仅记录压力值。另外，在本说明中有时将登录数据中的压迫区域称为登录压迫区域。另外，作为登录数据存储的压力值、压力矢量有时分别称为登录压力值、登录压力矢量。
[0157]在这个例子中，可知每当按顺序拍摄各帧时压力值逐渐上升，缓慢地按压。然后，可知随着压力值升高，图形的压迫区域103扩大的情况。另外，对每个帧还一同登录图形的缺损区域的差值图像。例如图中表示为“帧:1_3”的对照数据意味着帧I和帧3的差值图像。这些差值图像可以预先保存在数据库中，或者也可以在对照时生成。可以考虑数据库的容量与处理时间的权衡而自由地设计。
[0158]同样地，图1lB为输入数据的一个例子，是将输入的手指的血管图形和压力值以时间序列排列。当提示输入手指时，通过上述的处理获得手指静脉图形和压力矢量。在本例中，表示按时间序列输入了 3张手指静脉图形的状态，另外，假定压力矢量的方向成分为与登录数据的登录压力矢量相似。
[0159]图12A、图12B以及图12C是表示上述的图11的登录数据和输入数据的对照的过程的说明图。其中，在此登录手指和输入手指为有一些相似性的不同手指，判定为二者不同则为正确的对照结果。
[0160]对照是对于事先登录的手指图像和压力信息的对，在观测当前的输入的压力信息的同时进行与登录数据的压力信息的比较，将相似的登录压力矢量作为对照对象来进行图形彼此的比较。
[0161]如图1lB所示，输入数据中与手指的提示时间一起，压力值逐渐增加为9、30、40。这时，对于成为压力值9的帧1，在登录数据侧也同样保存有与登录压力值10的数据。这时，压力矢量的方向的偏差在The以内，并且压力值的偏差为Thp的情况下，视为压力矢量相似，进行与登录数据的对照。例如当设Thp为5时，成为压力值9的输入数据和对应的压力值10的登录数据为对照对象。同样地，压力值40的输入数据和对应的压力值38的登录数据为对照对象。
[0162]所以，首先最开始实施的帧I的输入数据的对照中，压力值的差为阈值Thp以内的数据成为对照对象，因此如图12A所示，登录数据的帧I成为对照对象，实施二者的对照。这里，作为两图形的相似性比较高，但并不能够判定为相同手指。该相似性的判定基准以统计学方式事先确定。这时，由于认证处理无法完成，继续拍摄图像，如图1lB所示获得帧2。这里，设获得压力值30的图像。然而，图1lA所示的登录数据中不存在与压力值30的差在Thp以内的压力值的数据，因此不进行该输入数据的对照。
[0163]当继续输入了帧3时，此时的压力值为40，因此相对于登录数据的帧2的图像的压力值的差在阈值Thp以内。由此，如图12B所示，实施输入数据的帧3和登录数据的帧2的对照。在该处理中，二者存在压迫区域，因此与在图12A中实施的对照结果相比，相似性有一些下降。但是在此相似度提高一些，设为无法断定为不同手指的结果。并且，即使将图12A的对照结果和此次的对照结果二者合成也无法在概率上看作同一手指，例如简单使用贝叶斯分类器等从概率上将两结果合成也无法判断后验概率是该登录者还是别人。这种情况下进行进一步对照。
[0164]作为进一步对照，如图12C所示将作为登录数据的差值图像的帧1-2的图像和作为输入数据的差值图像的帧1-3的图像进行对照。该差值图像是仅将按压造成的血管图形的缺损或者变形部分取出的差值图像。另外两差值图像是之前的过程中实际进行了对照的图像的差值图像，因此压力值的变动大概一致。所以，假如输入数据和登录数据为相同手指的情况下，对手指的压迫的程度相似的情况下此时的变化量也可认为相似。另一方面，手指不同的情况下，由于存在手指的立体形状和皮肤的柔软度、或者血管的粗细和血液浓度等的差异，即使对于手指的压力值变化相同程度，静脉图形的变化量差异会变大。将这些差值图像彼此对照，会产生大的差异。
[0165]图12所示的输入数据和登录数据为不同手指，所以可知图12所示的输入侧的差值图像和登录侧的差值图像大不相同。尤其是，输入数据侧的差值图像存在2个压迫区域，可以看到与登录数据侧的差值图像有大的差异。所以，二者的对照结果为相似度低。如上所述，在之前的对照结果中虽然无法确定是相同手指还是不同手指，但将该差值图像的对照结果与上述同样地合成，则能够基本确定为不同手指。
[0166]在上述的实施例中，通过实施差值帧的图像彼此的对照能够将不同手指的对照结果更清楚地判定为不同手指，而在相同手指的对照时如果同样地合成相似的压力矢量彼此的差值帧的对照结果，则由于包含差值帧的图形相似这一结果，能够进一步提高相同手指的可能性。
[0167]根据以上所述，通过实施压力值相似的帧彼此的对照和这些差值图像的对照，相同手指和不同手指的分离度提高，能够提高认证精度。
[0168]图11或者图12中举例表示的图像的区别是由于按压血管消失，随着其强度的增加压迫区域的大小和个数不同。除此以外，还考虑由于按压图形整体变形由此产生差异。在这样的状况下假定如果是不同手指则变形的程度不同，因此能够正确判定为其他手指。
[0169]另外，也可以通过帧的差值检测血管图形由于按压而缺损，将该区域的形状本身使用于对照。一般已知由于手指的压迫血液被按出时，该部分的亮度值变亮。所以，当取得连续拍摄的图像帧之间的差值时，在按压的位置确认亮度差。通过对亮度差设定特定的阈值，将产生该阈值以上亮度变化的位置数据化，与上述的差值图像同样地实施对照，假设在按压的位置不存在血管图形的情况下也能够判定按压部位的形状的变化的相似性。
[0170]同样地，也可以在检测出由于按压而被压迫的部位后，将该部分的指纹图形或者皮肤的质地作为特征量来对照。由此，不仅使用如上述被按压的部位、即压迫区域、登录压迫区域的形状，还使用其内部区域的皮肤的信息，由此能够实现更加高精度的对照。
[0171]图13表示以将手指包围的方式配置光源的上述实施例的一个变形例。上述的图2所示的实施例中光源只安装在手指尖前方，而在本实施例中在手指的周围配置多个光源3。另外，规定开口部的亚克力板22比上述的实施例更宽，能够一直拍摄到手指的第一关节附近。因此，在手指I的侧面也配置有光源，照射手指尖前方的光源无法照射的部分。这些光源与上述的实施例相同，将各波长的光源交替配置，能够照射多个波长的光。另外，压力传感器23-a、23-b、23-c、23-d设置在亚克力板22的正下方。并且，亚克力板22向手指尖的前方方向倾斜，与此相配合摄像头9也被倾斜地设置。通过设置这样的倾斜，能够获得容易对亚克力板22水平提示手指1，摄像头9容易拍摄手指I的正面的效果。并且，手指尖前方附近的光源3容易照射手指I的指甲侧，获得完全的穿透光影像，因此血管的对比度容易提闻。
[0172]将设置在手指的侧面的光源向手指I照射时，光强烈照射在其侧面，因此容易产生亮度饱和。所以，通过在将各光源依次点亮的同时按照时间序列拍摄图像，合成亮度没有饱和的合适的部分，能够获得整体上均勻的血管图像。这可以使用基于HDR(High dynamicrange,高动态范围)合成的方法等。
[0173]另外，当通过照射方向不同的光源拍摄图像时，根据其方向血管图像的影子轻微变化。利用该事实，也能够推定血管的位置和血管深度。尤其是由于光源的位置是已知的，能够根据血管图像的影子的变化量和光源的位置关系用三角测量的原理检测血管的深度。并且，对于通常难以看见的细血管和薄血管，当从多方向照射各种各样波长的光，会在某个照射方向或某个波长的光源下鲜明地看到这样的血管。由此，能够通过HDR合成或者超分辨率合成使根据各种各样的照明条件拍摄的图像高精细化。这里，在生物体内部光引发扩散的同时前进，因此事先将生物体内的扩散光成分模型化，组合用于消除扩散光的去卷积处理，由此在抑制扩散光的影响的同时进行合成，能够实现取得更高精度的血管图像的精密结构。
[0174](实施例2)
[0175]在本实施例中，对于上述实施例1的光源的排列，对更小型、能够提高图像处理的精度的结构的一个例子进行说明。
[0176]图14A以及图14B是将光源在拍摄的手指的下方配置为圆形的小型手指静脉认证装置的一个实施例。
[0177]如图14A的上面图所示，装置开口部的亚克力板22被开为圆形，光源3-a、3_b被圆形配置在其周围。关于光源，交替配置不同波长的光源。由此，无论哪个波长的光源，光的入射位置都是接近的，因此图像的亮度梯度相似，所以在实施各波长下获得的图像的合成处理时能够抑制不期望的亮度差所导致的伪影的发生，因此是理想的。
[0178]当使用者在亚克力板22上提示手指I时，与上述的实施例相同地，压力传感器23_a、23_b、23_c、23_d检测手指的压力并开始拍摄，头施认证。
[0179]首先，只将光源3-a点亮，拍摄第I张图像。接着只将光源3_b点亮，拍摄第2张图像。逐个改变光源将其点亮，通过最后的光源的点亮实施拍摄。从这些图像中重新构成血管图像，利用其血管图形，通过上述的方法实施皱纹去除、模糊去除、血管深度的检测等，实施使用了压力的变化和图形的变化的相关性的认证处理。
[0180]在本实施例中，由于只具有无法拍摄手指的轮廓的程度的开口部的大小，因此无法检测手指的轮廓。与此相对，可以使用上述的皮肤皱纹的分离技术来提取指纹、对于所有位置计算与指纹的脊线垂直的假想的线、将所有假想的线最集中的点视作指纹的中心位置来修正位置偏差等，实施利用了指纹的位置修正，能够实施对照时的位置偏差进行修正。
[0181]如图14B所示，为了亚克力板22不与手指尖接触，也可以下降一段来设置。由此，能够防止手指尖的整个微小区域的血管由于压迫而消失。尤其是由于微小区域内的接触具有用力施加压力的趋势，因此无论压力有无变化，有时血管图形始终消失。因此，使用上述的压力和图形变化的关系性的对照方式的效果容易降低。所以，如果使手指I与亚克力板22不接触，取而代之与摄像头机箱支持部21接触，则能够避免大的血管的缺损。在该结构中，摄像头机箱支持部21与压力传感器联动，因此能够检测手指按压装置的压力，当然，这种情况下还假设根据手指的按压血管图形变形，因此通过将压力值与血管图形的变化的相关用于对照，能够实现更高精度化。
[0182]图15A、图15B、图15C以及图15D是利用拍摄到的多个图像重新构成血管图像的一个实施例。首先从光源3-a照射到手指I的内部的光在生物体内引起散射的同时传播，按照其距离以指数函数引发衰减。这时光源3-a与作为拍摄对象的手指I相邻或接触，距光源近的图像区域亮度饱和引起白色光晕。在图15B的亮度值的曲线图中表示了该状态，在超过亮度饱和阈值的区域中在图像上产生白色光晕。然而，随着远离光源光衰减，因此在离开光源的区域中亮度降低。所以，在该图像中能够观察血管的区域是距离光源的距离为一定距离以上的位置。同样地，在照射光源3-b的情况也显示同样的趋势。这里光源3-a和光源3-b为不同的波长，血液和皮肤等的光学特性不同。从光源3-a照射波长1、从光源3-b照射波长2，并且这里为波长I的光难以到达，或者难以被血液吸收。
[0183]如果在生物体内不存在血管时，则如图15B的虚线所示，描绘光滑的曲线。由于光的衰减率因各波长而不同，可知对每个波长光到达的范围不同。另一方面，实际上存在血管51，因此如该图的实线所示，由于血液对光的吸收的影响，血管存在的位置周边的亮度值略微下降。这里波长2在血液中的吸收率高，因此表现为更鲜明的阴影。
[0184]由此，通过将不存在血管时的距离和亮度值的关系事先大量数据化，求出与实际观测到亮度值时的亮度的曲线最符合的数据的差值，能够如图15所示，对于每个波长仅取出由血管的吸收造成的阴影。
[0185]在将各光源分别单个点亮来获得图像的同时实施这样的阴影提取，将通过各图像获得的血管的阴影的结果通过例如简单相加来合成，能够实现信赖性高的血管的阴影检测。这里，设不使用由于亮度饱和而无法观测的区域。将实施该处理的情况显示在图15D中。通过突出2波长的差值图像能够鲁棒性地仅仅求出血管所造成的阴影。另外，与上述的实施例相同，也可以实施皮肤的皱纹去除和模糊去除。
[0186]作为光源点亮的变化，也可以不局限于重复点亮单一光源，而将多个光源同时点亮。例如将相对于开口部的中心存在于点对称的位置的光源同时点亮，则能够鲜明地照射开口部的中心附近的血管，能够提高血管的检测精度。另外通过将光源多个同时点亮，也能够有助于拍摄的高速化。拍摄多个各种各样的照射图形的图像来进行合成，由此能够获得更高精细的血管图像。
[0187]作为其他的血管图像的重新构成方法，也可以基于假说使血管分布，基于光传输方程式对光传输进行仿真，求出与实际的拍摄图像的区别，按照该区别修正假说，反复执行这个处理直至实际的图像与仿真图像相似为止，将获得一定的相似度时的血管的分布的假说视作推定结果来获得。该方法需要多的处理时间，但能够更正确地获得血管的深度和浓度。
[0188](实施例3)
[0189]在本实施例中，使用图16表示将实施例2中记载的认证装置搭载在移动终端上的一个实施例。移动终端160具有触摸面板161，在其下部搭载该输入装置2。由于其具有压力传感器，因此能够兼做移动终端的操作按钮的功能。例如，在登录移动终端时通过按下输入装置2，判定是否与事先登录的使用者的血管一致，如果一致则能够自动登入。由此，在自然的操作中能够提高移动终端的安全性。
[0190]作为其他的应用，除了应用于网上支付时的本人确认以及各种应用程序软件的每个个人的自定义设定调用等能够通过特定本人来实现的各种功能以外，还可以应用于利用血管图形的随机性和血管图形的对照结果的、占卜和游戏等娱乐软件。例如，也可以考虑对于登录时的图形如果能够实施再现性更高的手指提示则会获得贵重的物品、或者能够发挥高攻击力等在线社交游戏中的应用。另外，操作按钮不局限于按钮，只要是传感器等操作部即可，并不仅是按钮形状。
[0191](实施例4)
[0192]图17A、图17B以及图17C表示在其他实施例中记载的结构，本实施例是在智能手机、平板电脑等终端的保护壳上装备镜子和光源，利用移动终端上本来具备的拍摄装置的生物体认证装置的一个实施例。
[0193]智能手机或者平板电脑终端等移动终端160上搭载有配备的摄像头9。一般来说，触摸面板161位于设备的中央，在设备的侧面部和前面的下侧搭载有各种操作用按钮170。还具备用于进行与外部设备的通信和充电等的接口连接器171。而在设备前面或者背面的上部，搭载有小型摄像头9。
[0194]如图17A及图17B所示，本发明中在保护壳177上装备有旋转部172，其能够移动到搭载在装置上部的摄像头9的视野中的位置，在旋转部172上装配有镜子173和旋转检测开关174，能够通过旋转检测开关174来检测旋转部172的旋转状态。另外在旋转部172上具备光源3，这里搭载有能够照射红、绿、蓝3种波长的可见光的LED。经由连接所述接口连接器171和旋转部172的信号线175供给该光源的电源。该信号线175还在将所述的旋转检测开关174的状态通知给移动终端内的处理装置时使用。
[0195]使用者在向终端登录或网上支付时等需要个人认证的场面时，用手指将旋转部172旋转到近侧。这时，如图17C所示，镜子173覆盖住摄像头9的上部的一部分，摄像头9经由镜子173能够拍摄与触摸面板161接触的手指。另外，光源3能够照射手指I。另外没有通过镜子173覆盖的部分通常能够拍摄周围，其中也能够映出使用者的脸部176等。当旋转部172被使用者旋转时，通过信号线175和接口 171，向移动终端160内的处理装置通知镜子的旋转，检测到该状态时开始生物体认证。
[0196]图18及图18B是在触摸面板中显示的手指的指引的一个例子。如图18A所示，使用者通过将手指重合在该指引的手指尖设置标记180上，能够将手指提示在正确位置。当检测到手指被放置在正确位置上时，通过光源3向手指交替照射3个LED，能够获得基于3个波长的3张可见光图像。通过这3张图像，能够基于血液的吸收率的关系性仅突出血管部分，或者能够基于独立成分分析等统计学方法仅获得血管部。
[0197]还有，触摸面板161能够检测手指的接触位置，因此指引与手指尖设置标记180的位置偏差，或者即使没有将手指尖设置在手指尖设置标记180，但只要将手指尖设置在能够认证的容许范围内就能够开始认证。另外，通过将这个手指尖设置标记180动态地移动，能够拍摄各种各样角度的手指，通过将其预先登录，即使手指的位置出现变动也能够认证。这时，通过使光源3具有广角的指向性，能够在手指存在于任意的位置时均匀地向手指照射。
[0198]另外，如图18B所示，当组合实施在现行的智能手机等中广泛实施的输入线图形来提高安全性的密码输入和本实施例中的手指的提示时，能够实现更为稳固的安全性。尤其是能够在移动手指的同时拍摄来自各种各样角度的手指图像，因此能够获得进一步的手指的结构信息，能够提高认证精度。例如，应用以Structure from Mot1n(运动结构法则)为代表的3维形状的测量技术，推定手指的立体结构，在生物体认证中能够使用的信息量增加，在手指的位置偏差进行提示的情况下也能够通过登录各种各样的角度的手指图像，期待位置偏差的容许度提高的效果。
[0199]同样地，也可以不显示手指尖设置标记180，通过将手指放置在任意的位置来实施认证。手指的位置能够通过触摸面板161检测，因此通过图像的扩大缩小等变形来将登录时的手指的位置和输入时的手指的位置标准化使得二者一致，能够抑制认证精度的下降，同时提高对使用者的提示的便利性。
[0200]图19是表示在镜子上反射映出的使用者的手指与面部的拍摄状态的一个例子的图。
[0201]在使用者提示的手指的图像190上，包含有指甲191、手指关节的皱纹192、手指I的颜色、手指I的尺寸/位置信息193、手指静脉图形194等各种各样的信息。如上所述，镜子173只覆盖摄像头9的上部的大约一半左右，因此在图像的一部分上映出由镜子反射的移动终端的手边部，剩余的区域中映出能够直接由摄像头9拍摄的背景195，其中使用者的面部176以上下翻转的方式被映出。通过将这些以普通的图像处理的方法提取、对于各个要素分别求出相似度、最终合成对照结果，由此能够计算登录与输入的手指的相似度。
[0202]在上述的实施例中，表示了对手指照射光源的方式，也可以利用周围的可见光，不使用光源3。这种情况下，尽管在明度低的地方的使用增加了限制，但消耗电能低，有助于低成本化。
[0203]还有，在上述的实施例中，表示了手机壳上具备镜子和光源的方式，但将前摄像头的光轴倾斜，进行设置使其能够拍摄触摸面板附近也能够获得同样的效果。另外，使手机终端也具备光源能够获得同样的效果。另外搭载光轴倾斜的前摄像头的情况下有成本和设置空间的问题，这时也可以搭载能够使光轴倾斜的前摄像头。这种情况下，例如搭载用于倾斜光轴的滑动开关，通过滑动开关的操作，以机械方式或者电气方式使光轴不倾斜的普通的前摄像头的光轴倾斜，由此如上所述触摸面板上部包含在视角中，并且伴随该操作开始认证处理。由此，不需要搭载多个前摄像头，能够获得与上述的实施例大致相同的功能。
[0204]本发明能够实现小型且便利性高的高精度生物体认证装置，作为个人认证装置而有用。
[0205]符号说明
[0206]I手指、2输入装置、3光源、9摄像头、10认证处理部、11中央处理部、12存储器、13接口、14存储装置、15显示部、16输入部、17扬声器、18图像输入部、21摄像头机箱支持部、22亚克力板、23压力传感器、41结构化要素、42皱纹的阴影、43皱纹成分、44血管的阴影、51血管、52真皮、53皮肤的皱纹、802维投影血管图像、81血管图形、82血管图形、83立体的血管图像、100手指图像、101手指轮廊、102手指尖、103压迫区域、104压力矢星、110对照数据、111血管图形、160移动终端、170操作用按钮、171接口连接器、172旋转部、173镜子、174旋转检测开关、175信号线、176脸、177保护壳、180手指尖设置标记、190手指的图像、191指甲、192指关节的皱纹、193尺寸/位置信息、194手指静脉图形、195背景
【权利要求】
1.一种血管图像获取装置，其特征在于，具备: 设置手指的设置区域； 向在所述设置区域提示的手指照射光的光源； 对穿透所述手指的来自所述光源的光进行拍摄的拍摄部； 对来自设置在所述提示区域的手指的压力进行检测的检测部；以及 对所述拍摄部拍摄到的图像进行处理的图像处理部， 所述图像处理部取得所述图像中包含的来自所述手指的压力为预定的压力值以上的压迫区域的位置，计算预先存储的多个登录图像中的各个登录图像所包含的登录压迫区域的位置与所述压迫区域的位置的相似度，根据所述计算出的相似度，从所述多个登录图像中选择与所述图像进行对照的登录图像。
2.根据权利要求1所述的血管图像获取装置，其特征在于， 所述图像处理部提取所述图像中包含的所述手指的轮廓，计算从所述轮廓的基准点到所述压迫区域的压力向量值，取得所述压力向量值作为所述压迫区域的位置，取得所述多个登录图像中的各个登录图像包含的从轮廓的基准点到压迫区域的登录压力向量值，来作为所述登录压迫区域的位置。
3.根据权利要求1所述的血管图像获取装置，其特征在于， 具有至少4个所述压力检测部， 所述4个压力检测部相对于所述设置区域的中心，分别配置在四个方位上， 根据通过所述至少4个压力检测部检测出的各个压力值计算所述压迫区域的位置。
4.根据权利要求3所述的血管图像获取装置，其特征在于， 所述拍摄部配置在机箱内的底部， 所述至少4个压力检测部配置在所述底部。
5.根据权利要求1所述的血管图像获取装置，其特征在于，所述光源分别照射第I波长的光以及波长与所述第I波长不同的第2波长的光；所述拍摄部从所述第I波长的光拍摄第I图像，从所述第2波长的光拍摄第2图像；所述图像处理部比较所述第I图像的亮度值和所述第2图像的亮度值，分离所述血管图像中的所述血管区域的信息，使用所述血管区域的信息，制作从所述第I图像中去除了所述血管区域的信息的血管去除图像，提取所述血管去除图像中包含的噪声信息，使用所述噪声信息，从所述第I图像中去除所述噪声信息，获取认证用血管图像。
6.根据权利要求5所述的血管图像获取装置，其特征在于， 进行所述认证用血管图像以及所述噪声信息与预先登录的登录数据的对照。
7.根据权利要求5所述的血管图像获取装置，其特征在于， 所述第2波长的光为血液对光的吸收率比所述第I波长的光小的光， 所述图像处理部比较所述认证用血管图像和所述第2图像，计算所述认证用血管图像中包含的血管图形的三维方向的形状。
8.根据权利要求1所述的血管图像获取装置，其特征在于， 将所述多个登录图像和与各个登录图像对应的登录压力值一起预先存储， 所述图像处理部从所述多个登录压力值中，检测与所述压力检测部检测到的压力值对应的登录压力值， 计算与所述检测到的登录压力值对应的登录图像中包含的所述压迫区域的位置和所述压迫区域的位置的相似度。
9.根据权利要求1所述的血管图像获取装置，其特征在于， 所述光源为照射第I波长的光的多个第I光源以及照射波长与所述第I波长不同的第2波长的光的多个第2光源， 所述多个第I光源以及所述多个第2光源在所述设置区域的周围被配置为圆形。
10.根据权利要求9所述的血管图像获取装置，其特征在于， 交替地配置所述多个第I光源以及所述多个第2光源。
11.一种终端，其特征在于，具备: 操作终端的操作部； 配置在所述操作部的照射第I波长的光的多个第I光源以及照射波长与所述第I波长不同的第2波长的光的多个第2光源； 对穿透所述手指的来自所述光源的光进行拍摄的拍摄部； 检测来自设置在所述操作部的手指的压力的检测部；以及 处理所述拍摄部拍摄到的图像的图像处理部， 所述图像处理部获取所述图像中包含的来自所述手指的压力为预定的压力值以上的压迫区域的位置，计算预先存储的多个登录图像中的各个登录图像包含的登录压迫区域的位置与所述压迫区域的位置的相似度；根据所述计算出的相似度，从所述多个登录图像中，选择与所述图像进行对照的登录图像。
12.根据权利要求11所述的终端，其特征在于， 所述多个第I光源以及所述多个第2光源在所述操作部被交替地配置为圆形。
13.根据权利要求11所述的终端，其特征在于， 根据所述对照结果，执行个人的认证。
14.根据权利要求1所述的血管图像获取装置，其特征在于， 所述图像处理部计算所述压迫区域的形状和所述登录压迫区域的形状的相似度。
15.根据权利要求1所述的血管图像获取装置，其特征在于， 将所述图像中包含的血管图形与所述选择的登录图像中包含的血管图形进行对照，执行个人的认证。
【文档编号】G06K9/00GK104346604SQ201410363725
【公开日】2015年2月11日 申请日期:2014年7月28日 优先权日:2013年7月26日
【发明者】三浦直人, 松田友辅, 清水春美, 长坂晃朗, 宫武孝文 申请人:株式会社日立制作所