图像校正设备、图像校正方法以及生物认证设备的制作方法
【专利摘要】本发明涉及图像校正设备、图像校正方法以及生物认证设备，该图像校正设备包括：校正因子计算单元，校正因子计算单元计算校正因子，使得通过使用校正因子对图像上的第一像素的亮度值进行校正所获得的校正值与图像上的第二像素的亮度值之间的距离变得小于第一像素的亮度值与第二像素的亮度值之间的距离，第一像素对应于图像传感器中的具有第一滤光器的传感器元件，图像传感器包括在生成图像的图像捕获单元中，第一滤光器具有第一透射率特性，以及第二像素对应于图像传感器中的具有第二滤光器的传感器元件，第二滤光器具有第二透射率特性；以及校正单元，校正单元通过使用校正因子对第一像素的亮度值进行校正来生成校正图像。
【专利说明】图像校正设备、图像校正方法以及生物认证设备
【技术领域】
[0001]本文所讨论的实施方式涉及对图像中的每个像素的值进行校正的图像校正设备和图像校正方法，以及利用这样的图像校正设备或图像校正方法的生物认证设备。
【背景技术】
[0002]近几年，已经开发了基于表示生物信息的生物图像如手或手指的静脉图案、指纹或掌纹对设备或系统的用户进行认证的生物认证技术。在利用这样的生物认证技术的生物认证设备中，例如，生物信息捕获设备通过捕获包括想要使用生物认证设备的用户的生物信息的身体部分来获取表示生物信息的生物图像。生物认证设备将输入生物信息与注册生物信息进行匹配，输入生物信息是生物图像中所表示的用户的生物信息，而注册生物信息是预先注册的注册用户的生物图像中所表示的生物信息。当基于匹配处理的结果判定输入生物信息与注册生物信息一致时，生物认证设备将用户认证为具有有效授权的注册用户。生物认证设备使得认证用户能够使用其中包括了生物认证设备的设备或连接至生物认证设备的其他设备。
[0003]当生物信息是手掌或手指的静脉图案时，使用发射近红外光的发光元件如红外LED作为照明光源用于允许照明光进入手或手指的内部。为了生成在其中通过检测由作为要捕获的目标的手或手指所反射或散射或穿过要捕获的目标所发送的照明光来捕获静脉图案的图像，生物信息图像捕获设备使用沿着两个维度布置的对近红外光具有敏感性的传感器元件的图像传感器。例如，利用固态图像捕获元件如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)作为传感器元件。
[0004]然而，由于近红外光图像传感器用于特殊应用并且没有被大量生产，所述近红外光图像传感器通常比可见光图像传感器更昂贵。虽然CCD和CMOS是可见光图像传感器，但是C⑶和CMOS也具有对近红外光的敏感性。从而，如果可见光图像传感器可以用于捕获静脉图案，则可以降低生物信息图像捕获设备的成本。然而，由于CCD和CMOS不具有用于识别颜色的功能，则可见光图像传感器，尤其颜色图像传感器，对于每个传感器元件通常包括特定波长的光通过的颜色滤光器。例如，两列两行的传感器元件形成为一个组，并且在沿着对角线中的一个对角线的两个传感器元件处布置通过与绿色相对应的波长的光的滤光器。在其他两个传感器处分别布置通过与红色相对应的波长的光的滤光器和通过与蓝色相对应的波长的光的滤光器。这样的滤光器阵列称为拜耳(Bayer)阵列。
[0005]提出了一种使用近红外光滤光器代替这样的四个传感器元件在其中被集合成一组的滤光器中的一个绿色滤光器并且人体的内部是要捕获的目标的图像捕获设备，使用近红外光来照亮人体(例如，日本特许公开专利公报N0.2005-191748)。
【发明内容】
[0006]然而，在日本特许公开专利公报N0.2005-191748中所描述的技术中，当人体的内部例如血管是要捕获的目标时，使用从具有近红外光滤光器的传感器元件获得的信号来生成图像。没有使用从具有可见光滤光器的传感器元件获得的信号。因此，捕获人体的内部的图像的分辨率最终变得低于图像传感器本身的分辨率。
[0007]颜色滤光器也从其通过近红外光。然而，近红外光的透射率依赖于滤光器而变化。因此，当从与具有颜色滤光器的传感器元件相对应的像素所获得的信号用于生成由近红外光照亮的要捕获的目标的图像时，滤光器图案最终出现在图像上。当滤光器图案和要捕获的目标在图像上叠加时，在通过生物认证设备从图像中提取要捕获的目标的特征点中，由于滤光器图案而引起的照明变化的点可能会被误检测为特征点。从而，滤光器图案出现在图像上不是优选的。另外，由于滤光器通常合并在图像传感器主体中，所以难以从图像传感器中移除颜色滤光器。
[0008]根据一个方面，本发明的一个目的是提供一种使得能够针对使用具有多个滤光器(多个滤光器对于照明光具有不同的透射率)的图像传感器所捕获的图像对由于透射率的差异而引起的各个像素之间的亮度差进行校正的图像校正设备。
[0009]根据一种实施方式，提供了一种图像校正设备。图像校正设备包括:校正因子计算单元，该校正因子计算单元计算校正因子，使得通过使用校正因子对图像上的第一像素的亮度值进行校正所获得的校正值与该图像上的第二像素的亮度值之间的距离变得小于第一像素的亮度值与第二像素的亮度值之间的距离，第一像素对应于图像传感器中的具有第一滤光器的传感器元件，该图像传感器包括在生成所述图像的图像捕获单元中，第一滤光器具有第一透射率特性，以及第二像素对应于该图像传感器中的具有第二滤光器的传感器元件，第二滤光器具有与第一透射率特性不同的第二透射率特性；以及校正单元，该校正单元通过使用校正因子对第一像素的亮度值进行校正来生成校正图像。
【专利附图】
【附图说明】
[0010]图1是根据一种实施方式的包括图像校正设备的生物认证设备的示意性配置图；
[0011]图2是包括在生物认证设备中的生物信息图像捕获设备的示意性平面图；
[0012]图3是处理单元的功能框图；
[0013]图4是描绘拜耳阵列的图；
[0014]图5是通过使用近红外光对均匀目标进行照亮并且通过生物信息图像捕获设备的图像捕获单元捕获目标所获得的示例性图；以及
[0015]图6是包括图像校正处理的生物认证处理的操作流程图。
【具体实施方式】
[0016]在下文中，参照附图来说明根据一种实施方式的图像校正设备以及包括这样的图像校正设备的生物认证设备。图像校正设备对生物图像进行校正以便除去出现在表示生物信息的生物图像上的滤光器图案，生物图像通过对包括生物信息的身体部分进行近红外光照明并且由具有颜色滤光器的图像传感器捕获身体部分来生成。为此，基于与具有滤光器(滤光器具有彼此不同的透射率特性)的传感器元件相对应的相邻像素的亮度值之间的差异，图像校正设备获得将差异最小化的校正因子。然后，图像校正设备使用校正因子对与具有滤光器的传感器元件相对应的像素的亮度值进行校正，滤光器具有透射率特性中的任一个。
[0017]在本实施方式中，生物信息是手掌的血管图案。然而，生物信息可以是除了手掌的血管图案之外的生物信息，例如能够通过使用近红外光照明被捕获的手指的血管图案。
[0018]图1是根据一种实施方式的包括图像校正设备的生物认证设备的示意配置图。如图1所示，生物认证设备I包括显示单元2、输入单元3、生物信息图像捕获设备4、通信单元
5、存储单元6和处理单元7。显示单元2、输入单元3和生物信息图像捕获设备4可以与容纳通信单元5、存储单元6和处理单元7的壳体分离地布置。可替代地，显示单元2、输入单元3、生物信息图像捕获设备4、通信单元5、存储单元6以及处理单元7可以容纳在类似所谓的笔记本式个人计算机或平板式终端的单个壳体中。
[0019]生物认证设备I对由生物信息图像捕获设备4生成的、表示用户的手掌的血管图案的生物图像执行图像校正处理。图像校正处理对由于包括在生物信息图像捕获设备4中的图像传感器的颜色滤光器而引起的亮度不均衡进行校正。生物认证设备I使用已经对其执行图像校正处理的生物图像来执行生物认证处理。当用户被认证为注册用户中的任一个作为生物认证处理的结果时，生物认证设备I允许用户使用生物认证设备I包括在其中的计算机。可替代地，通过经由通信单元5将用户已经被认证的信号发送至其他设备(未示出)，生物认证设备I允许用户使用其他设备。
[0020]生物认证设备I还可以包括用于访问存储介质9如磁盘、半导体存储卡或光学存储介质的存储介质访问设备8。生物认证设备I经由存储介质访问设备8读取例如包括图像校正处理的生物认证的计算机程序，计算机程序存储在存储介质9中并且在处理单元7上执行。根据计算机程序，处理单元7可以对由生物信息图像捕获设备4生成的生物图像进行校正，并且基于校正的生物图像来执行生物认证处理。
[0021]显示单元2包括显示设备诸如像液晶显示器。显示单元2为用户显示例如表示用于匹配的身体部分(右手或左手)的消息或将手引导至生物信息图像捕获设备4可以在其处获得适当的生物图像的位置的指导消息。此外，显示单元2显示各种信息以及与由处理单元7执行的应用相关的信息等。
[0022]输入单元3包括例如键盘和指示装置如鼠标。由用户经由输入单元3所输入的命令、数据以及用户的用户名或用户识别号被传递至处理单元7。
[0023]生物信息图像捕获设备4生成表示用户的手掌的血管图案的生物图像。图2是生物信息图像捕获设备4的示意平面图。生物信息图像捕获设备4包括图像捕获单元11以及用于发射近红外光的多个光源12。图像捕获单元11以及光源12中的每个光源容纳在具有上端开口的立方体形的壳体13中。注意，壳体13的侧壁可以是用于放置手的引导部。可替代地，用于放置手的引导部可以与壳体13分离地设置在壳体13的开口附近。另外，用于保护图像捕获单元11以及光源12中的每个光源的片状透明玻璃或透明塑料可以设置在壳体13的上端处。
[0024]生物信息图像捕获设备4使用来自光源12中的每个光源的光来照亮该手，该手放置在生物信息图像捕获设备4上方的壳体13的开口附近，以便面向图像捕获单元11和光源12。图像捕获单元11通过捕获被照亮的手来生成表示手掌的血管图案的生物图像。
[0025]图像捕获单元11放置在壳体13的底部，使得其传感器表面朝上。图像捕获单元11包括沿着两个维度来布置对近红外光敏感的传感器元件的图像传感器(未示出)，以及在图像传感器上的图像捕获范围内形成图像的成像光学系统(未示出)。壳体13的上端的整个开口被使得成为图像捕获范围。注意，每个传感器元件是例如CCD或CMOS。当手放置在壳体13的上端的开口附近的情形下从处理单元7接收命令捕获图像的控制信号时，图像捕获单元11生成表示手掌的血管图案的生物图像，并且将该生物图像输出至处理单元7。
[0026]多个光源12中的每个光源布置在图像捕获单元11周围，使发光表面朝上，以便照亮图像捕获单元11的图像捕获范围。在本实施方式中，光源12中的每个光源可以是发射红外光的发光元件如红外发光二极管，使得来自光源12中的每个光源的光进入手的内部。
[0027]在本实施方式中，当捕获手掌的血管的图像时，光源12中的每个光源一直亮着。
[0028]通信单元5包括用于将生物认证设备I连接至通信网络(未示出)的通信接口电路。通信单元5将从处理单元7接收的用户的使用许可或认证结果经由通信网络发送至其他设备。
[0029]存储单元6包括例如非易失性半导体存储器和易失性半导体存储器。存储单元6存储生物认证设备I中使用的应用程序、用户名、至少一个注册用户的用户识别号和个体设置信息、各种类型的数据等。另外，存储单元6存储用于执行图像校正处理和生物认证处理的程序。此外，存储单元6为每个注册用户来存储表示左手或右手的手掌的血管图案的特征的匹配数据，匹配数据是注册用户的注册生物信息。匹配数据包括例如表示特征结构的例如从在对注册用户进行注册或更新匹配数据时生成的认证图像中提取的血管的末端或分叉的特征点的位置或类型。可替代地，匹配数据可以是在对注册用户进行注册或更新匹配数据时生成的生物图像本身或生物图像的一部分。
[0030]处理单元7是图像校正设备的一个示例，并且包括一个或多个处理器以及处理器的外围电路。处理单元7对由生物信息图像捕获设备4获得的并且表示该设备的用户的生物信息的生物图像执行图像校正处理，并且还使用校正生物图像执行生物认证处理。
[0031]图3是处理单元7的功能框图。处理单元7包括校正因子计算单元21、校正单元22和匹配单元23。校正因子计算单元21、校正单元22和匹配单元23是例如通过在包括在处理单元7中的处理器上操作的计算机程序来实现的功能模块。
[0032]每当获得生物图像时，校正因子计算单元21和校正单元22每个均作为对生物图像的图像校正处理的一部分来执行。同时，匹配单元23在生物认证处理中执行。
[0033]校正因子计算单元21基于第一像素的亮度值以及与具有其他颜色的滤光器的传感器元件相对应的第二像素的亮度值来计算用于校正生物图像上的与具有特殊颜色的滤光器的传感器元件相对应的第一像素的亮度值的校正因子。具体地，校正因子计算单元21计算校正因子，使得通过使用校正因子来校正第一像素的亮度值所获得的校正值与第二像素的亮度值之间的距离变得小于第一像素的亮度值与第二像素的亮度值之间的距离。注意，在本实施方式中，校正因子计算单元21使用两个亮度值的差异的绝对值来计算两个亮度值之间的距离，然而，其不限于此，可以使用距离的另一指征如两个亮度值的欧式(Euclidean)距离的来计算两个亮度值之间的距离。
[0034]在本实施方式中，包括在生物信息图像捕获设备4的图像捕获单元11中的图像传感器包括颜色滤光器。图4是描绘了根据拜耳阵列所布置的颜色滤光器400的图。在图4中，每个框表示图像传感器的一个传感器元件。由“G1”和“G2”表示的每个传感器元件如传感器元件401和传感器元件402包括通过与绿色相对应的波长的光的滤光器。由“R”表示的每个传感器如传感器403包括通过与红色相对应的波长的光的滤光器。另外，由“B”表示的每个传感器元件如传感器元件404包括通过与蓝色相对应的波长的光的滤光器。如上面所提到的，通过与绿色相对应的波长的光的滤光器的近红外光的透射率、通过与红色相对应的波长的光的滤光器的近红外光的透射率以及通过与蓝色相对应的波长的光的滤光器的近红外光的透射率彼此不同。换言之，各个滤光器的透射率特性彼此不同。在下文中，为了方便说明，通过与红色相对应的波长的光的滤光器称为R滤光器。类似地，通过与绿色相对应的波长的光的滤光器称为G滤光器，以及通过与蓝色相对应的波长的光的滤光器称为B滤光器。
[0035]图5是通过使用近红外光照亮相同目标和通过图像捕获单元11捕获目标所获得的图像的示例性图。由于各个滤光器对于近红外光的透射率彼此不同，当拜耳阵列的颜色滤光器设置在图像捕获单元11的图像传感器上时，如图像500中示出的，与拜耳阵列相对应的格状图案出现在图像上。
[0036]由于为了图像捕获单元11的整个图像传感器的每个颜色使用相同滤光器，所以由于滤光器的差异所引起的近红外光的透射率的差异在由生物信息图像捕获设备4生成的整个图像各处被认为是恒定的。因此，在捕获对近红外光一致的目标的图像中，通过将与具有任何颜色的滤光器的传感器元件相对应的像素的亮度值乘以常数所获得的值可以等于与具有其他颜色的滤光器的传感器元件相对应的像素的亮度值。
[0037]在整个生物图像各处，具有包括生物信息的身体部分的结构在相邻像素之间显著变化的几处地方。因此，校正因子计算单元21确定与具有任何滤光器的传感器元件相对应的像素的亮度值与其相乘的校正因子，使得在整个图像各处与具有不同的滤光器的传感器元件相对应的相邻像素之间的亮度差最小化。通过使用校正因子来校正相邻像素中的一个像素的亮度值，相邻像素之间的亮度差的绝对值变得比由于滤光器的透射率的差异所引起的相邻像素之间的亮度差的绝对值更小。
[0038]在本实施方式中，校正因子计算单元21根据最小二乘法计算R滤光器和B滤光器中的每个滤光器的校正因子，使得根据下式所获得的估算值变得最小:
[0039]F (其中 α=ακ 或 αΒ) (1)
[0040]其中，α κ是施加到与具有R滤光器的传感器元件相对应的像素的校正因子，以及^^是施加到与具有B滤光器的传感器元件相对应的像素的校正因子。在计算校正因子CIk中，公式(I)中的X1, i是按照例如光栅扫描的顺序的与具有R滤光器的传感器元件相对应的像素的亮度值。值x2，i是与具有R滤光器的传感器元件相对应的像素相邻的、与具有G滤光器的传感器元件相对应的像素的亮度值。注意，公式(I)中的像素的顺序可以是除了光栅顺序之外的次序。由于图4中示出的滤光器“G1”和“G2”通常具有相同的波长透射率特性，与对应于具有R滤光器的传感器元件的像素相邻的像素可以是与“G1”相对应的像素或与“G2”相对应的像素。类似地，在计算校正因子αΒ中，Xl i是与具有B滤光器的传感器元件相对应的像素的亮度值，以及x2，i是与具有B滤光器的传感器元件的像素相邻的、与具有G滤光器的传感器元件相对应的像素的亮度值。注意，N是包括在整个图像传感器中的具有R滤光器的传感器元件的总数或具有B滤光器的传感器元件的总数。
[0041]按照R滤光器和B滤光器中的每个滤光器的校正因子α将公式(I)偏微分，校正因子计算单元21可以根据下式来计算最小化估算值EU)的校正因子α。
【权利要求】
1.一种图像校正设备，包括: 校正因子计算单元，所述校正因子计算单元计算校正因子，使得通过使用所述校正因子对图像上的第一像素的亮度值进行校正所获得的校正值与所述图像上的第二像素的亮度值之间的距离变得小于所述第一像素的所述亮度值与所述第二像素的所述亮度值之间的距离，所述第一像素对应于图像传感器中的具有第一滤光器的传感器元件，所述图像传感器包括在生成所述图像的图像捕获单元中，所述第一滤光器具有第一透射率特性，以及所述第二像素对应于所述图像传感器中的具有第二滤光器的传感器元件，所述第二滤光器具有与所述第一透射率特性不同的第二透射率特性；以及 校正单元，所述校正单元通过使用所述校正因子对所述第一像素的所述亮度值进行校正来生成校正图像。
2.根据权利要求1所述的图像校正设备，其中，所述校正因子计算单元提取所述图像上的目标被捕获的目标区，以基于所述图像中的多个第一像素和多个第二像素中的包括在所述目标区中的所述第一像素和所述第二像素来计算所述校正因子。
3.根据权利要求1或2所述的图像校正设备，其中，所述图像传感器的所述传感器元件中的每个传感器元件包括第一滤光器、第二滤光器和第三滤光器中的任一个，至少红光和近红外光传输通过所述第一滤光器，至少绿光和近红外光传输通过所述第二滤光器，以及至少蓝光和近红外光传输通过所述第三滤光器， 所述校正因子计算单元计算第二校正因子，使得通过使用所述第二校正因子对所述图像上的第三像素的亮度值进行校正所获得的校正值与所述第二像素的所述亮度值之间的距离变得小于所述第三像素的所述亮度值与所述第二像素的所述亮度值之间的距离，所述第三像素对应于所述 图像传感器中的检测到传输通过所述第三滤光器的近红外光的传感器元件，以及所述第二像素对应于检测到传输通过所述第二滤光器的近红外光的所述传感器元件，以及 所述校正单元通过使用所述校正因子对所述第一像素的所述亮度值进行校正以及通过使用所述第二校正因子对所述第三像素的所述亮度值进行校正来生成所述校正图像。
4.根据权利要求3所述的图像校正设备，其中，所述校正因子计算单元使用所述第一像素的所述亮度值和所述第二像素的所述亮度值来计算所述校正因子，所述第一像素与所述第二像素彼此相邻。
5.一种生物认证设备，包括: 存储单元，所述存储单元存储表示注册用户的生物信息的特征的注册匹配数据； 生物信息图像捕获设备，所述生物信息图像捕获设备包括图像传感器，并且生成生物图像，所述图像传感器具有带有第一滤光器的传感器元件和带有第二滤光器的传感器元件，第一滤光器具有第一透射率特性，以及第二滤光器具有与所述第一透射率特性不同的第二透射率特性，在所述生物图像上通过所述图像传感器来捕获包括用户的生物信息的身体部分； 校正因子计算单元，所述校正因子计算单元计算校正因子，使得通过使用所述校正因子对所述生物图像上的第一像素的亮度值进行校正所获得的校正值与所述生物图像上的第二像素的亮度值之间的距离变得小于所述第一像素的所述亮度值与所述第二像素的所述亮度值之间的距离，所述第一像素对应于具有所述第一滤光器的所述传感器元件，以及所述第二像素对应于具有所述第二滤光器的所述传感器元件； 校正单元，所述校正单元通过使用所述校正因子对所述第一像素的所述亮度值进行校正来对所述生物图像进行校正；以及 匹配单元，所述匹配单元根据所述校正的生物图像来生成表示所述用户的所述生物信息的特征的匹配数据，并且通过将所述匹配数据与所述注册匹配数据进行匹配来判定是否将所述用户认证为所述注册用户。
6.—种图像校正方法,包括: 计算校正因子，使得通过使用所述校正因子对图像上的第一像素的亮度值进行校正所获得的校正值与所述图像上的第二像素的亮度值之间的距离变得小于所述第一像素的所述亮度值与所述第二像素的所述亮度值之间的距离，所述第一像素对应于图像传感器中的具有第一滤光器的传感器元件，所述图像传感器包括在生成所述图像的图像捕获单元中，所述第一滤光器具有第一透射率特性，以及所述第二像素对应于所述图像传感器中的具有第二滤光器的传感器元件，所述第二滤光器具有不同于所述第一透射率特性的第二透射率特性；以及 通过使用 所述校正因子对所述第一像素的所述亮度值进行校正来生成校正图像。
【文档编号】G06T5/00GK104077748SQ201410119289
【公开日】2014年10月1日 申请日期:2014年3月27日 优先权日:2013年3月28日
【发明者】青木隆浩 申请人:富士通株式会社