认证装置、认证方法以及程序的制作方法

认证装置、认证方法以及程序的制作方法
【专利摘要】本公开涉及认证装置、认证方法以及程序，其中，对场景的可见光图像中检测到的脸部执行脸部认证过程，并且通过比较相同场景的可见光图像与红外光图像验证脸部认证程序的认证判定的正确性。可通过比较可见光图像中的眼部区域的亮度和/或大小与红外光图像中的眼部区域的亮度和/或大小执行验证。
【专利说明】认证装置、认证方法以及程序
【背景技术】
[0001]本公开涉及一种认证装置、认证方法以及程序，特别是涉及一种能够通过脸部认证增强安全性的认证装置、认证方法以及程序。
[0002]从以往来看，通过借助于可见光拍摄图像以及借助于红外光拍摄图像，识别出待拍摄的物像。
[0003]例如，在汽车导航装置中的手势识别中，提出这样一种技术，除了通过使用可见光相机识别外，用红外线相机获得红外光的反射强度并确定与待识别物的距离，从而提高手势识别的精确度(例如，见日本专利申请公开第2009-104297号)。
[0004]此外，在用车载摄像头识别交通标志等的技术中，提出这样一种技术，从通过可见光相机获取的可见光图像中提取信息，并从通过发射红外光由红外线相机获取的红外光图像中提取信息，从而改进识别准确度(例如，见日本专利申请公开第2009-201064号)。
[0005]此外，提出这样一种技术，通过使用设置有光接收单元的固态图像获取装置，其中交替地为水平方向上的每个像素线设置可见光接收单元和非可见光接收单元，当识别出图像拍摄目标要拍摄图像时，发射非可见光，结果突出了图像拍摄目标对象，并且因此提高了路上白线等的识别准确度(例如，见日本专利申请公开第2007-124676号)。
[0006]此外，已提出这样一种技术，获取可见光图像和红外光图像，从而高精度地检测甚至是带着眼镜的人的瞳孔的位置(例如，见日本专利申请公开第2001-340300号)。
[0007]此外，已经提出这样一种技术，使用可见光源的可见光相机和使用红外光源的红外光相机用于拍摄血管样式的图像，并将图像拍摄结果彼此进行对比，从而提高了生物统计学认证的精确度(例如，见日本专利申请公开第2006-148478号)。

【发明内容】

[0008]然而，还没提出通过使用可见光拍摄的图像和使用红外光拍摄的图像提高脸部认证的精确度的技术。
[0009]鉴于上述情况，希望可以通过脸部认证进一步增强安全性。
[0010]根据本公开主题的第一示例性说明例，电子装置可包括:包括至少一个图像获取单元的成像部分。成像部分可被配置为对场景进行成像并生成场景的可见光图像和场景的红外光图像。电子装置还可包括配置为对可见光图像中检测到的脸部执行脸部认证程序的脸部认证单元。电子装置也可包括验证单元，可被配置为通过比较可见光图像和红外光图像检验脸部认证单元的认证判定。
[0011]根据本公开主题的第二示例性说明例，移动终端装置可包括第一示例性实施方式的电子装置。
[0012]根据本公开主题的第三示例性说明例，计算机系统装置可包括第一示例性实施方式的电子装置。
[0013]根据本公开主题的第四示例性说明例，安全系统装置可包括第一示例性实施方式的电子装置。[0014]根据本公开主题的第五示例性说明例，认证方法可包括对场景进行成像并生成场景的可见光图像和场景的红外光图像，对可见光图像中检测到的脸部执行脸部认证程序，并通过比较对应于可见光图像的眼部区域的亮度数据和对应于红外光图像的眼部区域的亮度数据检验所述脸部认证程序的结果。
[0015]根据本公开主题的第六示例性说明例，非暂时性计算机可读介质可具有存储于其上的程序代码，通过处理器可执行程序代码来执行操作，操作包括对场景进行成像并生成场景的可见光图像和场景的红外光图像，对可见光图像中检测到的脸部执行脸部认证程序，并通过比较对应于可见光图像的眼部区域的亮度数据与对应于红外光图像的眼部区域的亮度数据来检验所述脸部认证程序的结果。
[0016]根据本公开主题的第七示例性说明例，电子装置可包括可配置为对场景的可见光图像中检测到的脸部执行脸部认证程序的脸部认证单元，以及可配置为通过比较同一场景的可见光图像与红外光图像检验脸部认证单元的认证判定的验证单元。
[0017]根据本公开的实施方式，可以通过脸部认证增强安全性。
[0018]如附图所示，借助于以下【具体实施方式】的最佳模式的实施方式，本公开的这些以及其他的目标、特征与优点将变的更加清晰可见。
【专利附图】

【附图说明】
[0019]图1是示出根据本公开的认证结果判定装置的功能结构的实例的方框图；
[0020]图2A和图2B是说明RGB图像的眼部区域和IR图像的眼部区域之间的不同的示图；
[0021]图3A和图3B是说明RGB图像的眼部区域和IR图像的眼部区域之间的不同的示图；
[0022]图4是用于说明认证结果判定过程的流程图；
[0023]图5是示出作为本公开实施方式的移动终端的硬件结构的实例的方框图；
[0024]图6是用于说明RGB像素和IR像素的输出的实例的示图；
[0025]图7是示出根据本公开的第一实施方式的移动终端的功能结构的实例的方框图；
[0026]图8是用于说明图7的移动终端的认证过程的流程图；
[0027]图9是用于说明RGB像素的眼部区域与IR像素的眼部区域之间的比较的实例的示图；
[0028]图10A和图10B是用于说明RGB像素的眼部区域与IR像素的眼部区域之间的比较的实例的示图；
[0029]图11A和图11B是用于说明RGB像素的眼部区域与IR像素的眼部区域之间的比较的实例的示图；
[0030]图12是示出根据本公开的第二实施方式的移动终端的功能结构的实例的方框图；
[0031]图13是用于说明通过图12的移动终端的认证过程的流程图；
[0032]图14是示出根据本公开的第三实施方式的移动终端的功能结构的实例的方框图；
[0033]图15是用于说明通过图14的移动终端的认证过程的流程图；[0034]图16是示出根据本公开的第四实施方式的移动终端的功能结构的实例的方框图；
[0035]图17是用于说明通过图16的移动终端的认证过程的流程图；
[0036]图18是示出根据本公开的第五实施方式的移动终端的功能结构的实例的方框图；
[0037]图19是用于说明通过图18的移动终端的认证过程的流程图；
[0038]图20是示出根据本公开的第六实施方式的移动终端的功能结构的实例的方框图；
[0039]图21是用于说明通过图20的移动终端的认证过程的流程图；
[0040]图22是示出根据本公开的第七实施方式的移动终端的功能结构的实例的方框图；以及
[0041]图23是示出计算机的硬件结构的实例的方框图。
【具体实施方式】
[0042]在下文中，将参考附图描述本公开的实施方式。应注意将按以下顺序给出说明。
[0043]1.本公开的概要
[0044]2.第一实施方式
[0045]3.第二实施方式
[0046]4.第三实施方式
[0047]5.第四实施方式
[0048]6.第五实施方式
[0049]7.第六实施方式
[0050]8.第七实施方式
[0051]〈1.本公开的概要〉
[0052](认证结果判定装置的功能结构的实例)
[0053]图1是示出作为应用本公开的认证装置的认证结果判定装置的功能结构的实例。
[0054]在图1中示出的认证结果判定装置被包括于认证人的脸部认证装置中或者连接至脸部认证装置以判定脸部认证装置的认证结果正确与否。
[0055]认证结果判定装置1包括比较单元2和判定单元3。
[0056]比较单元2将通过拍摄经受脸部认证装置的脸部认证的人而得到的可见光图像(在下文中，称为RGB图像)与红外光图像(在下文中，称为IR图像)进行比较。具体地，比较单元2将在其中将被预设红外光源的红外光照射的人作为主体的RGB图像中人的眼睛部分(在下文中，称为眼部区域)与以该人作为主体的IR图像中人的眼部区域进行比较，并将比较结果提供至判定单元3。可见光图像是主要由可见光生成的图像，而红外光图像是主要由红外光生成的图像。“可见光”指的是波长在大约380nm至750nm的范围内的光。“红外光”指的是波长在大约700nm至2500nm范围内的光。在本公开中，可使用优选地是从780nm至940nm的红外光,更优选地从850nm到940nm的红外光。
[0057]在RGB图像中的人和在IR图像中的人必然是同一个人。
[0058]根据比较单元2的比较结果，判定单元3判定对上述人通过脸部认证装置执行的脸部认证的认证结果正确与否。具体地，判定单元3根据RGB图像的眼部区域和IR图像的眼部区域之间的差值判定脸部认证的认证结果是否正确。
[0059]此时，参考图2和图3，将描述RGB图像和IR图像中的眼部区域之间的差值。
[0060]图2A和2B分别示出在实际的人是成像主体的情况下RGB图像的眼部区域和IR图像的眼部区域。图3A和3B分别示出了在人的肖像是成像主体的情况下(例如在人的图片是成像主体时等)RGB图像的眼部区域和IR图像的眼部区域。
[0061]如图2所示，RGB图像中的眼部区域和IR图像中的眼部区域在拍摄实际的人的图像的情况下看到的是不同的。具体地，在拍摄实际人的图像的情况下在RGB图像中的眼部区域中，瞳孔和虹膜之间的对照差(在虹膜的颜色为暗的情况下)不大。然而，在拍摄实际人的图像的情况下在IR图像的眼部区域中，清晰地显示虹膜，瞳孔和虹膜之间的对照差较大。此外，在拍摄实际人的图像的情况下在IR图像的眼部区域中，观察到浦肯野(Purkije)图像，浦肯野图像是通过在角膜上反射用于发射红外光的红外光源生成的图像。
[0062]另一方面，如图3所示，在图像等是成像主体的情况下观察到RGB图像中的眼部区域和IR图像中的眼部区域是相似的。此外，在拍摄图片等中的人的图像的情况下在IR图像的眼部区域中，观察不到浦肯野图像。
[0063]就是说，比较单元2的比较的结果是，在RGB图像的眼部区域和IR图像的眼部区域之间存在差值的情况下，在RGB图像和IR图像中的主体是实际的人，在RGB图像的眼部区域和IR图像的眼部区域之间的没有差值的情况下，RGB图像和IR图像的主体不是实际的人而是图片等中显示的人。
[0064]因而，在显示认证0K的认证结果是由脸部认证装置提供的时候，如果比较单元2的比较结果显示RGB图像的眼部区域和IR图像的眼部区域之间存在差值，由脸部认证装置对实际人的脸部执行认证。因此判定单元3判定认证结果是正确的并且将认证结果输出至显示装置(未示出)等。此外，在显示认证0K的认证结果是由脸部认证装置提供的情况下，如果比较单元2的比较结果显示RGB图像的眼部区域和IR图像的眼部区域之间不存在差值，则脸部认证装置对图片等中的脸部执行认证。因而，判定单元3判定认证结果是不正确的并且输出认证结果是不正确的事实。
[0065]应注意在显示认证N/A (不接受)的认证结果是由脸部认证装置提供的情况下，判定单元3不改变地输出认证结果。
[0066](关于认证结果判定方法)
[0067]此时，参考图4中的流程图，将描述通过认证结果判定装置1的认证结果判定方法。
[0068]在步骤S1中，比较单元2将其中用红外光照射的人显示为主体的RGB图像中人的眼部区域与其中同一人显示为主体的IR图像中人的眼部区域进行比较并且将比较结果提供至判定单元3。
[0069]在步骤S2中，根据比较单元2的比较结果，也就是RGB图像的眼部区域和IR图像的眼部区域之间的差值，如上所述参考图2和图3，判定单元3判定脸部认证的认证结果正确与否并输出判定结果。如上所述，在判定认证结果为正确的情况下，输出认证结果，以及在判定认证结果是不正确的情况下，输出认证结果是不正确的事实。
[0070]通过如上所述的方法，RGB图像中的眼部区域和IR图像中的眼部区域彼此进行比较，并且根据比较结果判定脸部认证的认证结果正确与否。因而，通过使用可见光拍摄图像以及使用红外光拍摄图像可以增加脸部认证的精确度，因此可以通过脸部认证增强安全性。
[0071]在下文中，将描述本公开的实施方式。
[0072]<2.第一实施方式>
[0073](移动终端的硬件结构的实例)
[0074]图5是示出作为应用本公开的认证装置的移动终端的硬件结构的实例的方框图。
[0075]例如，图5中示出的移动终端11是具有图像获取功能的移动式电话并将人的图像作为主体，从而执行人的脸部认证以解开安全锁。
[0076]图5中示出的移动终端11包括透镜21、特定滤光器22、图像传感器23、⑶S/AGC(相关联的双重采样/自动增益控制)电路24、A/D (模拟/数字)转换电路25、DSP (数字信号处理器)26、CPU (中央处理器)27、时序生成器28、显示器29、以及EEPR0M (电可擦可编程只读存储器)30组成的。
[0077]透镜21形成为单眼单聚焦透镜，并且透镜从主体收集光并且通过特定滤光器22使光得到校正以进入图像传感器23。图像传感器23是由(XD (电荷耦合器件)、CMOS (互补金属氧化物半导体)传感器等形成的，并且图像传感器通过特定滤光器22从透镜21接收在其上入射的光，执行光的光电转换以获得图像信号(模拟信号)为电信号，并将信号提供至 CDS/AGC 电路 24。
[0078]特定滤光器22具有透射带(transmission band)在近红外光的波长范围内的光谱特性。在图像传感器23 (图中左侧)的前表面上，配置滤色阵列23a (图6)。滤色阵列23a是由分配给图像传感器23的各个像素的颜色滤光器组成。
[0079]图6示出了滤色阵列23a的布置(在图中通过黑化表示)的实例，其中，一半G像素(出自由R、G、B和G组成的相邻2x2 (=4)像素中的一个G像素)是由在拜耳式的IR (红夕卜)透射滤光器形成。
[0080]就是说，如图6所示，通过图像传感器23，生成由通过对从其中提取R、Gb (或者Gr)和B像素(RGB像素)的输出执行去马赛克而获得的R图像、G图像、B图像形成的可见光图像(RGB图像)，并生成通过对其中提取Gr (或者Gb)像素(IR像素)的输出执行去马赛克得到的红外光图像(IR图像)。
[0081]再参考图5，⑶S/AGS电路24除去图像传感器23中生成的Ι/f噪声并且，根据CPU27的控制，调整增益使得图像传感器23提供的图像信号的级别变得恒定以将调整后的增益输出至A/D转换电路25。此外，⑶S/AGS电路24也基于CPU27的控制执行电子快门方法来电改变图像传感器23中电荷(charge)的累积时间段。
[0082]A/D转换电路25将作为从CDS/AGS电路24中输出的模拟信号的图像信号转换为作为数字信号的图像数据并且将图像数据提供至DSP26。通过A/D转换电路25获得的图像数据的实例包括如上所述的RGB图像的图像数据以及如上所述的IR图像的图像数据。
[0083]DSP26对来自A/D转换电路25的图像数据(RGB图像和IR图像的图像数据)执行预设图像处理并且将图像处理的结果提供至显示器29或者EEPPR0M30。
[0084]CPU27控制移动终端11中的单元。
[0085]基于CPU27的控制，时序生成器28生成各种时序信号并将信号提供至图像传感器23、⑶S/AGS电路24以及A/D转换电路25。
[0086]基于CPU27的控制，显示器29显示预设图像或者根据DSP26的图像处理结果执行显示。此外，显示器29具有接触面板功能并且执行显示对移动终端11执行操作输入的操作屏。
[0087]EEPR0M30是所谓的非易失性存储器。如果停止供电，EEPR0M30存储并保留各种装置参数，存储DSP26等的图像处理结果而不丢失信息。
[0088](移动终端的功能结构的实例)
[0089]随后，参考图7，将描述移动终端11功能结构的实例。
[0090]图7示出的移动终端11是由图像获取单元51、IR光发射单元52、脸部检测单元53、眼部区域检测单元54、脸部认证单元55、比较单元56、浦肯野图像检测单元57以及判定单元58。
[0091]图像获取单元51设置有透镜21、特定滤光器22、以及参考图2描述的图像传感器23并且进一步设置有⑶S/AGC电路24和A/D转换电路25。就是说，图像获取单元51拍摄主体的图像并同时输出RGB图像和IR图像。此外，图像获取单元51执行增益调节和电子快门过程。
[0092]时序生成器28的时序信号使IR光发射单元52与图像获取单元51同步以在图像获取单元51拍摄主体的图像时发出红外光，从而用红外光照射主体。应注意IR光发射单元52可持续地发出红外光而不用与图像获取单元51同步。
[0093]脸部检测单元53检测图像获取单元51的RGB图像的脸部，基于脸部检测区域(检测到脸部的区域)的位置和大小提取脸部图像，并且将脸部区域提供至眼部区域检测单元54和脸部认证单元55。例如，脸部检测单元53提前获悉多个脸部的脸部图像，从而检测作为RGB图像的主体的人的脸部。
[0094]眼部区域检测单元54提取脸部检测单元53的脸部图像中的眼部区域并将显示RGB图像中眼部区域的位置的信息(坐标信息)提供至比较单元56和浦肯野图像检测单元57。例如，眼部区域检测单元54提前获悉多个眼部的图像，从而检测眼部区域。
[0095]脸部认证单元55通过使用脸部检测单元53的脸部图像对于RGB图像中的人执行脸部认证并且将认证结果提供至比较单元56和判定单元58。例如，脸部认证单元55执行脸部检测单元53的脸部图像与提前注册的移动终端11的拥有者的脸部图像的匹配，从而执行脸部认证。
[0096]在显示认证0K的认证结果是由脸部认证单元55提供的情况下，比较单元56使用眼部区域检测单元54的坐标信息来比较RGB图像的眼部区域和IR图像的眼部区域并且将比较结果提供至判定单元58。
[0097]浦肯野图像检测单元57使用眼部区域检测单元54的坐标信息来检测图像获取单元51的IR图像的眼部区域中的浦肯野图像并且将检测结果提供至判定单元58。
[0098]判定单元58使用比较单元56的比较结果和浦肯野图像检测单元57的检测结果来判定脸部认证单元55的认证结果是否正确并将判定结果输出至显示器29。
[0099](关于认证过程)
[0100]接下来，参考图8的流程图，将描述移动终端11的认证过程。
[0101]例如在步骤S11中当操作者输入操作开始认证过程时，图像获取单元51拍摄操作者的图像作为主体。此时，在当图像获取单元51拍摄图像时，IR光发射单元52发射光。结果，得到的主体是RGB图像和用红外光照射操作者的IR图像。RGB图像提供至脸部检测单元53和比较单元56，并且IR图像提供至比较单元56和浦肯野图像检测单元57。
[0102]在步骤12中，脸部检测单元53检测来自图像获取单元51的RGB图像中的脸部，并基于脸部检测区域的位置和大小提取脸部图像，并将脸部图像提供至脸部区域检测单元54和脸部认证单元55。
[0103]在步骤S13中，眼部区域检测单元54检测脸部检测单元53的脸部图像中的眼部区域并将显示RGB图像的眼部区域的位置的坐标信息提供至比较单元56和浦肯野图像检测单元57。可为左眼和右眼或者眼睛中其中一个执行眼部区域的检测。
[0104]在步骤S14中，脸部认证单元55使用脸部检测单元53的脸部图像来对于通过图像获取单元51获得的RGB图像中的操作者执行脸部认证。
[0105]应注意可同时执行步骤S13和S14中的过程。
[0106]在步骤S15中，在脸部认证的认证结果显示认证0K的情况下，脸部认证单元55将认证结果提供至比较单元56和判定单元58，过程进入至步骤S16。
[0107]在步骤S16中，在获得脸部认证单元55的认证结果时，比较单元56使用眼部区域检测单元54的坐标信息来比较RGB图像的眼部区域和IR图像中的眼部区域并将比较结果提供至判定单元58。应注意眼部区域检测单元54的坐标信息显示RGB图像中的眼部区域的位置。通过图像获取单元51获得的RGB图像是在与IR图像相同视场角相同的时间拍摄的，因此眼部区域检测单元54的坐标信息也指定IR图像中的眼部区域的位置。
[0108]就是说，比较单元56比较RGB图像中的眼部区域和IR图像中的眼部区域，这是由眼部区域检测单元54的坐标信息指定的。
[0109]具体地，例如，如图9所示，比较单元45获得通过利用预定门限值对RGB图像中的眼部区域的亮度信息执行二值化获得的二值化的眼部区域图像71与通过利用预定门限值对IR图像的眼部区域的亮度信息执行二值化获得的二值化的眼部区域图像72之间的差值，从而获得差分图像73。
[0110]在拍摄实际人物的图像的情况下RGB图像中的眼部区域和IR图像中的眼部区域的瞳孔和虹膜具有不同的亮度，因此差分图像73是在虹膜部分具有值的图像。
[0111]另一方面，在拍摄图片等中的人物的图像的情况下，RGB图像中的眼部区域和IR图像中的眼部区域的瞳孔和虹膜具有相同的亮度，因此差分图像73是整体没有值的图像。
[0112]应注意虹膜的亮度(颜色)存在个体差异，因此可为各个国家、区域等设置用于二值化方法的阈值。
[0113]此外，如图10所示，比较单元56可获得RGB图像的眼部区域中的黑色区域的轮廓线和IR图像的眼部区域中的黑色区域的轮廓线的差值。
[0114]此时在拍摄实际人物的图像的情况下，在RGB图像的眼部区域中，瞳孔和虹膜部分是黑色区域，而在拍摄实际人物的图像的情况下，在IR图像的眼部区域中，只有瞳孔是黑色区域。因此，在拍摄实际人物的图像的情况下，RGB图像的眼部区域中的黑色区域的轮廓线的直径(图10A)与IR图像的眼部区域中的黑色区域的轮廓线的直径(图10B)之间存
在差值。
[0115]另一方面，在拍摄图片等中的人物的图像的情况下，在RGB图像的眼部区域中，瞳孔和虹膜部分是黑色区域，并且也是在相同情况下的IR图像中的眼部区域中，瞳孔和虹膜部分是黑色区域。因此，在拍摄图片等中的人物的图像的情况下，RGB图像的眼部区域中的黑色区域的轮廓线的直径和IR图像的眼部区域中的黑色区域的轮廓线的直径之间不存在差值。
[0116]应注意RGB图像和IR图像的眼部区域中的黑色区域可通过如上所述的二值化方
法获得。
[0117]此外，如图11所示，比较单元56可获得RGB图像的眼部区域的亮度分布和IR图像的眼部区域的亮度分布之间的差值。
[0118]在拍摄实际人物的图像中的RGB图像的眼部区域中，瞳孔和虹膜部分有深色，因此亮度分布的低亮度侧变得更大。在拍摄实际人物的图像中的IR图像的眼部区域中，虹膜部分有亮色，因此亮度分布的高亮度侧变得更大。因此，在拍摄实际人物的图像的情况下，RGB图像中的眼部区域的亮度柱状图(图11A)和IR图像中眼部区域的亮度柱状图(图11B)之间存在不同。
[0119]另一方面，在拍摄图片等中人物的图像的情况下，在RGB图像的眼部区域中，瞳孔和虹膜部分具有深色，因此亮度分布的低亮度侧变得更大，也是在相同情况下的IR图像中的眼部区域中，瞳孔和虹膜部分具有深色，因此亮度分布中的低亮度侧变得更大。因此，在拍摄图片等中的人物的图像的情况下，RGB图像中眼部区域的亮度柱状图和IR图像中眼部区域的亮度柱状图之间不存在不同。
[0120]如此，比较单元56可将RGB图像中的眼部区域与IR图像中的眼部区域进行比较并获得其间的差值。获得差值的方法不限于如上所述方法。
[0121]再次参考图8的流程图，在步骤S17中，浦肯野图像检测单元57基于图像获取单元51的IR图像中的眼部区域检测单元54的坐标信息检测指定的眼部区域中的浦肯野图像并且将检测结果提供至判定单元58。具体地，如果图像获取单元51的IR图像是在拍摄实际人物的图像的情况下的IR图像，从眼部区域检测浦肯野图像。如果图像获取单元51的IR图像是在拍摄图片等中的人物的图像的情况下的IR图像，从眼部区域中检测不到浦肯野图像。
[0122]在步骤S18中，基于比较单元56的比较结果以及浦肯野图像检测单元57的检测结果，判定单元58判定脸部认证单元55的认证结果是否正确，并且过程进行至步骤S19。
[0123]就是说，当比较单元56的比较结果显示RGB图像中的眼部区域和IR图像中的眼部区域之间存在差值时，以及在当浦肯野图像检测单元57的检测结果显示从IR图像的眼部区域检测到浦肯野图像时，经受脸部认证的人是实际人物，因此判定单元58判定认证结果(认证0K)是正确的。
[0124]此外，当比较单元56的比较结果显示RGB图像中的眼部区域和IR图像中的眼部区域之间不存在差值时，或者当浦肯野图像检测单元57的检测结果显示从IR图像中的眼部区域未检测到浦肯野图像时，经受脸部认证的人是图片等中显示的人，因此判定单元58判定认证结果(认证0K)是不正确的。
[0125]顺便，在步骤S15中，在脸部认证的认证结果显示认证N/A的情况下，脸部认证单元55将认证结果提供至判定单元58，并将过程进行至步骤S19。
[0126]在步骤S19中，判定单元58将认证结果输出至显示器29。[0127]具体地，在步骤S18中判定认证结果(认证0K)是正确的情况下，判定单元58将确认证定0K的事实输出至显示器29。这时，为移动终端11解开安全锁。
[0128]另一方面，在步骤S18中判定的认证结果(认证0K)是不正确的情况下，判定单元58将认证失败的事实输出至显示器29。在这种情况下，无法解开移动终端11的安全锁。
[0129]此外，在步骤S15中脸部认证的结果显示的认证N/A的情况下，判定单元58将判定认证N/A的事实输出至显示器29。当然，在这种情况下，无法解开移动终端11的安全锁。
[0130]通过上述方法，RGB图像中的眼部区域和IR图像中的眼部区域彼此进行比较，并且根据比较结果判定脸部认证的认证结果正确与否。
[0131]例如，在现有技术的认证过程中，担心移动终端拥有者的脸部的图片用于通过欺骗成功通过脸部认证，解开安全锁。相反，在本公开中，RGB图像的眼部区域和IR图像的眼部区域彼此进行比较，结果是即便通过使用面部图片欺骗了脸部认证成功，判定认证结果也是不正确的。因而，根据本公开，通过使用可见光拍摄的图像和使用红外光拍摄的图像，可以提高脸部认证的精确度并通过脸部认证增强安全性。
[0132]此外，在如上所述的方法中，通过一个图像获取单元同时在相同的视场角拍摄RGB图像和IR图像，因此没必要如调整光轴或者同步图像获取时间，减少过程的工作量。
[0133]在上文的说明中，从脸部图像检测眼部区域，但是只要可高精度地检测眼部区域，就可从整个RGB图像中检测眼部区域。
[0134]〈3.第二实施方式〉
[0135](移动终端的功能结构的实例)
[0136]图12是示出根据本公开第二实施方式的移动终端的功能结构的实例的示图。
[0137]应注意在图12中示出的移动终端111中，用相同的名称和附图标记表示与图7中显示的移动终端11的结构具有相同功能的结构，并且将会视情况省略对其的说明。
[0138]图12中示出的移动终端111与图7中示出的移动终端11不同，因为提供眼部区域检测单元151而不是眼部区域检测单元54。
[0139]眼部区域检测单元151检测图像获取单元51中RGB图像的眼部区域并将显示RGB图像中眼部区域的位置的坐标信息提供至比较单元56和浦肯野图像检测单元57。眼部区域检测单元151提前获悉多个眼部，从而检测眼部区域。
[0140](关于认证过程)
[0141]随后，参考图13中显示的流程图，将描述图12中示出的通过移动终端111的认证过程。
[0142]应注意图13中示出的流程图的步骤S111、步骤S112、步骤S114到步骤S119的过程与图8中示出的流程图的步骤S11、步骤S12、步骤S14到步骤S19的过程基本上相同，因此将省掉对其的说明。
[0143]就是说，在步骤S113中，眼部区域检测单元151检测通过图像获取单元51获得的RGB图像中的眼部区域并将显示RGB图像中眼部区域的位置的坐标信息提供至比较单元56和浦肯野图像检测单元57。可为左眼和右眼或者眼睛中其中一个执行眼部区域的检测。
[0144]通过上述过程，RGB图像中的眼部区域和IR图像中的眼部区域彼此进行比较，并且基于比较结果判定脸部认证的认证结果是否正确，因此通过使用可见光拍摄的图像和使用红外光拍摄的图像可以增加脸部认证的精确度并进一步增强脸部认证的安全性。[0145]在上文的说明中，从整个RGB图像检测到眼部区域，但是也可从整个IR图像中检测眼部区域。
[0146]〈4.第三实施方式〉
[0147](移动终端的功能结构的实例)
[0148]图14是示出根据本公开第三实施方式的移动终端的功能结构的实例的示图。
[0149]应注意在图14中不出的移动终端211中，用相冋的名称和附图标记表不与图7中示出的移动终端11的结构具有相同功能的结构，并且将会视情况省略对其的说明。
[0150]图14中示出的移动终端211不同于图7中示出的移动终端11，因为提供眼部区域检测单元251而不是眼部区域检测单元54。
[0151]眼部区域检测单元251检测图像获取单元51中的IR图像的眼部区域并将显示IR图像中眼部区域的位置的坐标信息提供至比较单元56和浦肯野图像检测单元57。眼部区域检测单元251提前获悉多个眼部，从而检测眼部区域。
[0152](关于认证过程)
[0153]随后，参考图15中示出的流程图，将描述图14中示出的通过移动终端211的认证过程。
[0154]应注意图15中示出的流程图的步骤S211、S212、S214到S219的过程与图8中示出的流程图的步骤Sll、S12、S14到S19的过程基本上相同，因此将省略对其的说明。
[0155]就是说，在步骤S213，眼部区域检测单元251检测图像获取单元51获得的IR图像中的眼部区域并将显示IR图像中的眼部区域的位置的坐标信息提供至比较单元56和浦肯野图像检测单元57。可为左眼和右眼或者眼睛中其中一个执行眼部区域的检测。
[0156]通过上述过程，RGB图像中的眼部区域和IR图像中的眼部区域彼此进行比较，并且判定脸部认证的认证结果是否正确，因此通过使用可见光拍摄的图像和使用红外光拍摄的图像可以增加脸部认证的精确度并进一步通过脸部认证增强安全性。
[0157]应注意，在图14中示出的移动终端211中可设置检测图像获取单元51的IR图像中的脸部、提取脸部图像、并将脸部图像提供至眼部区域检测单元251的脸部检测单元。有这样的结构，可以减少眼部区域检测单元251的眼部检测的工作量。
[0158]在上文说明中，一个图像获取单元拍摄RGB图像和IR图像，但是两个图像获取单元可分别拍摄RGB图像和IR图像。
[0159]〈5.第四实施方式〉
[0160](移动终端的功能结构的实例)
[0161]图16是根据本公开第四实施方式的移动终端的功能结构的实例的示图。
[0162]应注意在图16中不出的移动终端311中，用相冋的名称和附图标记表不与图7中显示的移动终端11的结构具有相同功能的结构，并且将会视情况省略对其的说明。
[0163]图16中示出的移动终端311与图7中示出的移动终端11不同，因为提供图像获取单元351和352而不是图像获取单元51，新提供眼部区域检测单元251，并且提供比较单元353而不是比较单元56。
[0164]眼部区域检测单元251与图14中显示的设置于移动终端211的眼部区域检测单元相同，因此将省略对其的说明。
[0165]图像获取单元351设置有透镜361、IR红外截止滤光器362、图像传感器363、CDS/AGC电路(未示出)以及A/D转换电路(未示出)。就是说，图像获取单元351拍摄主体的图像并输出所得的RGB图像。
[0166]图像获取单元352设置有透镜371、可见光截止滤光器372、图像传感器373、⑶S/AGC电路(未示出)、以及A/D转换电路(未示出)。就是说，图像获取单元352拍摄主体的图像并输出所得的IR图像。
[0167]应注意通过时序生成器28的时序信号彼此同步操作图像获取单元351和352以及IR光发射单元52。
[0168]在示出认证0K的认证结果是由脸部认证单元55提供的情况下，比较单元353使用眼部区域检测单元54的坐标信息与眼部区域检测单元251的坐标信息来比较RGB图像的眼部区域和IR图像中的眼部区域并将比较结果提供至判定单元58。
[0169](关于认证过程)
[0170]随后，参考图17示出的流程图，将描述图16中示出的通过移动终端311的认证过程。
[0171]应注意图17示出的流程图的步骤S314到S316、和S318到S320的过程与图8中示出的流程图的步骤S13到S15、和S17到S19的过程基本上相同，因此省略对其的说明。
[0172]就是说，在步骤S311中，图像获取单元351和352将操作者的图像作为主体拍摄。此时，在图像获取单元351和352拍摄图像时，IR光发射单元52发射光。因此，获取用红外光照射的操作者作为主体的RGB图像和IR图像。RGB图像提供给脸部检测单元53和比较单元353，并且IR图像提供给浦肯野图像检测单元57、眼部区域检测单元251和比较单元 353。
[0173]在步骤S312中，眼部区域检测单元251检测图像获取单元352获取的IR图像中的眼部区域并将显示IR图像中的眼部区域的位置的坐标信息提供至浦肯野图像检测单元57和比较单元353。
[0174]然后，在步骤S313至S316的过程之后，在步骤S317中，比较单元353使用眼部区域检测单元54的坐标信息与眼部区域检测单元251的坐标信息来比较RGB图像的眼部区域和IR图像中的眼部区域并将比较结果提供至判定单元58。应注意，眼部区域检测单元54的坐标信息显示RGB图像里的眼部区域的位置，以及眼部区域检测单元251的坐标信息显示IR图像里的眼部区域的位置。在不同的视场角拍摄RGB图像和IR图像，因此RGB图像里的眼部区域的位置和IR图像里的眼部区域的位置通过不同的视场角调整后的位置而被规定。
[0175]应注意对于通过彼此比较RGB图像里的眼部区域和IR图像里的眼部区域获取差值的方法，使用例如参考图9至图11描述的方法。
[0176]通过上述方法，RGB图像中的眼部区域和IR图像中的眼部区域彼此进行比较，并且根据比较结果判定脸部认证的认证结果正确与否。因此，通过使用可见光拍摄的图像和使用红外光拍摄的图像可以提高脸部认证的精确度并进一步增强通过脸部认证的安全性。
[0177]在上文说明中，从整个IR图像中检测IR图像里的眼部区域，但是从IR图像中可提取脸部图像以检测脸部图像的IR图像里的眼部区域。
[0178]〈6.第五实施方式〉
[0179](移动终端的功能结构的实例)[0180]图18是示出根据本公开第五实施方式的移动终端的功能结构的实例的示图。
[0181]应注意在图18中不出的移动终端411中，用相冋的名称和附图标记表不与图16中显示的移动终端311的结构具有相同功能的结构，并且将会视情况省略对其的说明。
[0182]图18中示出的移动终端411与图16中示出的移动终端311不同，因为新提供了脸部检测单元451，并且提供了眼部区域检测单元452而不是眼部区域检测单元251。
[0183]脸部检测单元451检测来自图像获取单元352的IR图像的脸部，基于检测脸部的脸部检测区域的位置和大小提取脸部图像，并且将脸部图像提供至眼部区域检测单元452。应注意在这种情况下，为了将通过脸部检测单元53提取的脸部图像与通过脸部检测单元451提取的脸部图像区分开，通过脸部检测单元53提取的脸部图像和通过脸部检测单元451提取的脸部图像分别称为RGB脸部图像和IR脸部图像。
[0184]眼部区域检测单元452检测脸部检测单元451的IR脸部图像的眼部区域并将显示眼部区域的位置的坐标信息提供至浦肯野图像检测单元57和比较单元353。
[0185](关于认证过程)
[0186]随后，参考图19中示出的流程图，将描述图18中示出的通过移动终端411的认证过程。
[0187]应注意图19中示出的流程图的步骤S411、和S414至S421的过程与图17中示出的流程图的步骤S311、和S313至S320的过程基本上相同，因此省略对其的说明。
[0188]就是说，在步骤S412中，脸部检测单元451检测图像获取单元352的IR图像的脸部，根据脸部检测区域的位置和大小提取IR脸部图像，并将IR脸部图像提供至眼部区域检测单元452。
[0189]在步骤S413中，眼部区域检测单元452检测脸部检测单元451的IR脸部图像的眼部区域并将显示IR图像里的眼部区域的位置的坐标信息提供至浦肯野图像检测单元57和比较单元353。
[0190]通过上述过程，RGB图像里的眼部区域和IR图像里的眼部区域彼此进行对比，并且根据比较结果判定脸部认证的认证结果是否正确，因此通过使用可见光拍摄的图像和使用红外光拍摄的图像可以提高脸部认证的精确度并进一步通过脸部认证增强安全性。
[0191]此外，可从IR脸部图像中检测IR图像里的眼部区域，因此可以在比较单元353中提闻检测眼部区域的精确度并提闻调整视场角的精确度。
[0192]在上文说明中，两个图像获取单元分别拍摄RGB图像和IR图像。然而，通过在一个图像获取单元中使用IR截止滤光器和可见光截止滤光器并切换截止滤光器，也可以拍摄RGB图像和IR图像。
[0193]〈7.第六实施方式〉
[0194](移动终端的功能结构的实例)
[0195]图20是根据本公开第六实施方式的移动终端的功能结构的实例的示图。
[0196]应注意在图20中不出的移动终端511中，用相冋的名称和附图标记表不与图16中示出的移动终端311的结构具有相同功能的结构，并且将会视情况省略对其的说明。
[0197]图20中示出的移动终端511与图16中示出的移动终端311不同，因为提供图像获取单元551而不是图像获取单元351和352。
[0198]图像获取单元551设置有透镜561、滤光器切换单元562、以及图像传感器563。滤光器切换单兀562使得布置于透镜561和图像传感器563之间的光学滤光器在IR截止滤光器562a与可见光截止滤光器562b之间切换。通过这样的结构，图像获取单元551拍摄主体的图像并输出所得的RGB图像和IR图像。在这种结构中，在不同的时间相同的视场角拍摄并获取RGB图像和IR图像。
[0199]应注意IR光发射单元52在图像获取单元551拍摄IR图像时可发出红外光。
[0200](关于认证过程)
[0201]随后，参考图21中示出的流程图，将描述图20中示出的通过移动终端511的认证过程。
[0202]应注意图21中示出的流程图的步骤S515至S522的过程与图17中示出的流程图的步骤S313至S320的过程基本上相同，因此将省略对其的说明。
[0203]步骤S511中，图像获取单元551拍摄操作者作为主体的图像。这时，滤光器切换单兀562使得可见光截止滤光器562b布置于透镜561和图像传感器563之间。此外，在图像获取单元551拍摄图像时，IR光发射单元52发射光。因此，得到用红外光照射操作者作为主体的IR图像，IR图像提供至浦肯野图像检测单元57、眼部区域检测单元251、以及比较单元353。
[0204]在步骤S512中，眼部区域检测单元251检测图像获取单元551获得的IR图像中的眼部区域并将显示IR图像中的眼部区域的位置的坐标信息提供至浦肯野图像检测单元57和比较单元353。
[0205]在步骤S513中，滤光器切换单元562将布置于透镜561和图像传感器563之间的光学滤光器从可见光截止滤光器562b切换到IR截止滤光器562a。
[0206]在步骤S514中，图像获取单元551拍摄操作者作为主体的图像。这时，IR截止滤光器562a布置于透镜561和图像传感器563之间，因此获取操作者作为主体的RGB图像，并且RGB图像提供至脸部检测单元53和比较单元353。
[0207]通过上述过程，RGB图像的眼部区域和IR图像的眼部区域彼此进行比较，并且根据比较结果判定脸部认证的认证结果是否正确，因此通过使用可见光拍摄的图像和使用红外光拍摄的图像可以提高脸部认证的精确度并进一步提高通过脸部认证的安全性。
[0208]应注意在参考图21中示出的流程图所描述的认证过程中，获取IR图像，然后获取RGB图像，但是获取图像顺序可倒序执行。
[0209]此外，在图20中示出的移动终端511中可设置检测图像获取单元511的IR图像中的脸部、提取脸部图像、并将脸部图像提供至眼部区域检测单元251的脸部检测单元。有这样的结构，可以减少眼部区域检测单元251检测的工作量。
[0210]〈8.第七实施方式〉
[0211](移动终端的功能结构的实例)
[0212]图22是示出根据本公开第七实施方式的移动终端的功能结构的实例的示图。
[0213]应注意在图22中示出的移动终端611中，用相同的名称和附图标记表示与图7中显示的移动终端11的结构具有相同功能的结构，并且将会视情况省略对其的说明。
[0214]图22中示出的移动终端611与图7中示出的移动终端11不同，因为提供了可见光源651。
[0215]可见光源651—直发射光并用可见光照射主体。应注意在图像获取单元51 (与通过时序生成器28的时序信号的图像获取单元51同步)拍摄图像时可见光源651可发光并用可见光照射主体。
[0216]带有这样的结构，即便在暗处执行认证过程，也可以执行脸部认证而不降低准确度。
[0217]应注意可见光源651可添加至根据第二至第六实施方式的结构。
[0218]此外，在上文中，给出了本技术应用于通过脸部认证解开安全锁的移动终端实例。然而，本技术可应用于通过拍摄人物作为主体的图像执行脸部认证的任何装置。例如，本技术可应用于通过脸部认证允许登录到网络的个人计算机、允许进入设备的入口管理系统、识别护照的出入境管制系统等。
[0219]如上所述的一系列过程可通过硬件或者软件执行。在通过软件执行一系列过程的情况下，形成软件的程序被安装到集成专用硬件的计算机、或通过安装来自程序记录介质的不同的程序来执行不同的操作的通用计算机等中。
[0220]图23是示出根据程序执行如上所述的一系列过程的计算机的硬件结构的实例的方框图。
[0221]在计算机中，CPU (中央处理单元)901、R0M (只读存储器)902以及RAM (随机存取存储器)903通过总线904彼此连接。
[0222]此外，输入和输出接口 905连接至总线904。输入装置906 (诸如键盘、鼠标、以及麦克风)、输出装置907 (诸如显示器和扬声器)、存储器908 (诸如硬盘和非易失性存储器)、通信装置909 (诸如网络接口)、以及驱动可移除介质911 (诸如磁盘、光盘、磁光盘)的驱动910、以及半导体存储器连接至输入和输出接口 905。
[0223]例如，在具有如上所述的结构的计算机中，CPU901将存储器908中存储的程序通过输入和输出接口 905和总线904加载于RAM903并执行程序，从而执行如上所述的一系列程序。
[0224]通过计算机(CPU901)执行的程序被记录在作为由磁盘(包括软磁盘)、光盘(⑶-ROM (只读光盘)、DVD (数字视频光盘)等)、磁光盘、或者半导体存储器组成的封装件介质的可移除介质911中，或者通过有线或无线传输介质(诸如局域网、因特网、和数字卫星广播)提供。
[0225]可移除介质911安装在驱动910上，从而程序可通过输入和输出接口 905安装在存储器908。此外，通信装置909通过有线或者无线传输介质接收程序并可安装于存储器908。此外，程序可提前安装于R0M902或者存储器908中。
[0226]应注意由计算机执行的程序例如可依时间次序并按说明书中说明的顺序执行或者同时执行或者在调用程序时执行。
[0227]此外，本公开不限于上述实施方式，并且在不脱离本公开要旨的情况下可以进行各种变形。
[0228]例如，本技术可具有云计算结构，其中一个功能被共享并通过网络由多个装置处理。
[0229]此外，在上述流程图中描述的步骤可通过一个装置执行，或可被通过多个装置共享并执行。
[0230]在一个步骤包括多个过程的情况下，一个步骤中的多个过程可通过一个装置执行或者通过多个装置共享并执行。
[0231]应注意本公开可采用至少以下的配置。
[0232](配置1)
[0233]一种电子装置，包括:
[0234]成像部分，包括至少一个图像获取单元，成像部分被配置为对场景进行成像并且生成场景的可见光图像以及场景的红外光图像；
[0235]脸部认证单元，被配置为对可见光图像中检测到的脸部执行脸部认证过程；
[0236]验证单元，被配置为通过比较可见光图像和红外光图像检验脸部认证单元的认证判定。
[0237](配置2)
[0238]根据配置1的电子装置，
[0239]其中，验证单元被配置为通过将与可见光图像中的眼部区域对应的亮度数据同与红外光图像中的眼部区域的对应亮度数据进行比较来检验脸部认证单元的认证判定。
[0240](配置3)
[0241]根据配置2的电子装置，
[0242]其中，验证单元被配置为当与可见光图像中的眼部区域对应的亮度数据同与红外光图像中的眼部区域对应的亮度数据之间的差值小时表示脸部认证单元的认证判定是不可信的。
[0243](配置4)
[0244]根据配置3的电子装置，
[0245]其中，与可见光图像中的眼部区域对应的亮度数据和与红外光图像中的眼部区域对应的亮度数据包括二值化数据。
[0246](配置5)
[0247]根据配置2至4中任一项的电子装置，其中，验证单元被配置为当红外光图像中的虹膜区域的大小与可见光图像中的虹膜区域的大小不同时表示脸部认证单元的认证判定是不可信的。
[0248](配置6)
[0249]根据配置2到5中任一项的电子装置，其中，验证单元被配置为当与可见光图像中的眼部区域对应的亮度数据的分布同与红外光图像中眼部区域对应的亮度数据的分布不同时表示脸部认证单元的认证判定是不可信的。
[0250](配置7)
[0251]根据配置3到6任一项的电子装置，
[0252]其中，验证单元被配置为检测红外光图像中眼部区域中的浦肯野图像并当在红外光图像的眼部区域中未检测到浦肯野图像时指示脸部认证单元的认证判定是不可信的。
[0253](配置8)
[0254]根据配置2到7中任一项的电子装置，
[0255]其中，至少一个图像获取单元包括具有生成可见光图像的可见光检测像素以及生成红外光图像的红外光检测像素的图像传感器，该图像传感器被配置为可见光图像和红外光图像具有相同的视场角并同时拍摄。[0256](配置9)
[0257]根据配置8的电子装置，进一步包括:
[0258]脸部检测单元，被配置为检测可见光图像中的脸部并由其产生脸部图像；以及
[0259]眼部区域检测单元，被配置为通过搜索脸部检测单元生成的脸部图像，来检测可见光图像中的眼部区域并且将可见光图像中的眼部区域的坐标输出至验证单元，
[0260]其中，验证单元被配置为根据眼部区域检测单元输出的坐标判定红外光图像中的眼部区域，并且
[0261]其中，脸部认证单元被配置为根据脸部检测单元生成的脸部图像执行脸部认证过程。
[0262](配置10)
[0263]根据配置8或者9的电子设备，
[0264]眼部区域检测单元，被配置为检测可见光图像中的眼部区域并将可见光图像中的眼部区域的坐标输出至验证单元，
[0265]其中，验证单元被配置为根据眼部区域检测单元输出的坐标判定红外光图像中的眼部区域。
[0266](配置11)
[0267]根据配置8到10任一项的电子设备，
[0268]进一步包括眼部区域检测单元，被配置为检测红外光图像中的眼部区域并将红外光图像中的眼部区域的坐标输出至验证单元，
[0269]其中，验证单元被配置为根据眼部区域检测单元输出的坐标判定可见光图像中的眼部区域。
[0270](配置12)
[0271]根据配置2到11任一项的电子装置，
[0272]其中，至少一个图像获取单元包括具有生成可见光图像的第一图像传感器的第一图像获取单元以及具有生成红外光图像的第二图像传感器的第二图像获取单元，第一图像传感器和第二图像传感器被配置为同时拍摄可见光图像和红外光图像。
[0273](配置13)
[0274]根据配置12的电子装置，进一步包括:
[0275]脸部检测单元，被配置为检测可见光图像中的脸部并从其中生成脸部图像；
[0276]第一眼部区域检测单元，被配置为通过搜索脸部检测单元生成的脸部图像来检测可见光图像中的眼部区域并将可见光图像中的眼部区域的坐标输出至验证单元；以及
[0277]第二眼部区域检测单元，被配置为检测红外光图像中的眼部区域，
[0278]其中，脸部认证单元被配置为根据脸部检测单元生成的脸部图像执行脸部认证过程。
[0279](配置14)
[0280]根据配置12或者13的电子装置，进一步包括:
[0281]第一脸部检测单元，被配置为检测可见光图像中的脸部并由其产生第一脸部图像；
[0282]第一眼部区域检测单元，被配置为通过搜索第一脸部检测单元生成的第一脸部图像来检测可见光图像中的眼部区域并将可见光图像中的眼部区域的坐标输出至验证单元;
[0283]第二脸部检测单元，被配置为检测红外光图像中的脸部并由其产生第二脸部图像；以及
[0284]第二眼部区域检测单元，被配置为通过搜索第二脸部检测单元生成的第二脸部图像来检测红外光图像中的眼部区域并且将红外光图像中的眼部区域的坐标输出至验证单元，
[0285]其中，脸部认证单元被配置为根据第一脸部检测单元生成的第一脸部图像执行脸部认证过程。
[0286](配置15)
[0287]根据配置2到14中任一项的电子装置，
[0288]其中，至少一个图像获取单元包括图像传感器和滤光单元，滤光单元被配置为改变对图像传感器的滤光以使图像传感器在第一时序生成可见光图像并在第二时序生成红外光图像，可见光图像和红外光图像具有相同的视场角。
[0289](配置16)
[0290]一种移动终端装置，包括配置1到15任一项的电子装置。
[0291](配置17)
[0292]一种移动终端装置包括:
[0293]成像部分，包括至少一个图像获取单元，成像部分被配置为对场景进行成像并且产生场景的可见光图像以及场景的红外光图像；
[0294]脸部认证单元，被配置为对可见光图像中检测到的脸部执行脸部认证程序；
[0295]验证单元，被配置为通过比较可见光图像和红外光图像检验脸部认证单元的认证判定。
[0296](配置18)
[0297]一种计算机系统装置，包括配置1到15中任一项的电子装置。
[0298](配置19)
[0299]一种计算机系统装置包括:
[0300]成像部分，包括至少一个图像获取单元，成像部分被配置为对场景进行成像并且产生场景的可见光图像以及场景的红外光图像；
[0301]脸部认证单元，被配置为对可见光图像中检测到的脸部执行脸部认证程序；
[0302]验证单元，被配置为通过比较可见光图像和红外光图像检验脸部认证单元的认证判定。
[0303](配置20)
[0304]一种安全系统装置包括配置1到15中任一项的电子装置。
[0305](配置21)
[0306]一种安全系统装置包括:
[0307]成像部分，包括至少一个图像获取单元，成像部分被配置为对场景进行成像并且产生场景的可见光图像以及场景的红外光图像；
[0308]脸部认证单元，被配置为对可见光图像中检测到的脸部执行脸部认证程序；[0309]验证单元，被配置为通过比较可见光图像和红外光图像检验脸部认证单元的认证判定。
[0310](配置22)
[0311]一种认证方法包括:
[0312]对场景进行成像并生成场景的可见光图像以及场景的红外光图像；
[0313]对可见光图像中检测的脸部执行脸部认证过程；以及
[0314]通过比较与可见光图像中的眼部区域对应的亮度数据同与红外光图像中的眼部区域对应的亮度数据检验脸部认证过程的结果。
[0315](配置23)
[0316]一种非暂时性计算机可读介质，其上存储有程序代码，程序代码是可由处理器执行来进行以下操作，包括:
[0317]对场景进行成像并生成场景的可见光图像以及场景的红外光图像；
[0318]对可见光图像中检测到的脸部执行脸部认证过程；以及
[0319]通过将与可见光图像中的眼部区域对应的亮度数据同与红外光图像的眼部区域对应的亮度数据进行比较，来检验脸部认证过程的结果。
[0320](配置24)
[0321]一种电子装置，包括:
[0322]脸部认证单元，被配置为对在场景的可见光图像中检测到的脸部执行脸部认证过程；以及
[0323]验证单元，被配置为通过将可见光图像与相同场景的红外光图像进行比较检验脸部认证单元的认证判定。
[0324]( 1) 一种认证装置，包括:
[0325]比较单元，被配置为比较将人用作主体的可见光图像中该人的眼部区域与将该人用作主体的红外光图像中的该人的眼部区域，该人被用红外光照射，以及
[0326]判定单元，被配置为根据通过比较单元获取的比较结果判定执行该人的脸部认证的认证结果是否正确。
[0327](2)根据项(1)的认证装置，其中
[0328]在可见光图像的眼部区域与红外光图像的眼部区域之间引起差值时，判定单元判定认证结果是正确的。
[0329](3)根据项(1)或(2)的认证装置，进一步包括
[0330]脸部认证单元，被配置为在可见光图像中执行该人的脸部认证，其中，
[0331]判定单元，根据通过比较单元获取的比较结果判定通过脸部认证单元获取的认证结果是否正确。
[0332](4)根据项(3)的认证装置，进一步包括
[0333]图像获取单元，被配置为输出对应于从透镜入射的光中的可见光的可见光图像以及对应于同时从透镜入射的光中的红外光的红外光图像。
[0334](5)根据项(3)或(4)的认证装置，进一步包括
[0335]眼部区域检测单元，被配置为检测可见光图像和红外光图像中之一中的眼部区域，其中[0336]比较单元使用显示眼部区域检测单元检测的眼部区域的坐标信息来比较可见光图像的眼部区域和红外光图像的眼部区域。
[0337](6)根据项(5)的认证装置，进一步包括
[0338]脸部检测单元，被配置为检测在可见光图像中的人的脸部，其中
[0339]脸部认证单元使用通过脸部检测单元检测到的脸部的脸部图像以执行人的脸部认证，以及
[0340]眼部区域检测单元检测通过脸部检测单元检测的脸部的脸部图像中的眼部区域。
[0341](7)根据项(3)的认证装置，进一步包括:
[0342]第一图像获取单元，被配置为输出对应于从透镜入射的光中的可见光图像；以及
[0343]第二图像获取单元，被配置为输出对应于从透镜入射的光中的红外光的红外光图像。
[0344](8)根据项(3)或者(7)的认证装置，进一步包括:
[0345]第一眼部区域检测单元，被配置为检测可见光图像的眼部区域；以及
[0346]第二眼部区域检测单元，被配置为检测红外光图像中的眼部区域，其中，
[0347]比较单元使用第一坐标信息和第二坐标信息比较可见光图像的眼部区域和红外光图像的眼部区域，第一坐标信息显示通过第一眼部区域检测单元检测的可见光图像的眼部区域，第二坐标信息显示通过第二眼部区域检测单元检测的红外光图像的眼部区域。
[0348](9)根据项(8)的认证装置，进一步包括:
[0349]第一脸部检测单元，被配置为检测在可见光图像中的人的脸部，以及
[0350]第二脸部检测单元，被配置为检测在红外光图像中的人的脸部，其中，
[0351]脸部认证单元使用通过第一脸部检测单元检测到的脸部的脸部图像执行人的脸部认证，以及
[0352]第一眼部区域检测单元检测通过第一脸部检测单元检测到的脸部的脸部图像中的眼部区域，以及
[0353]第二眼部区域检测单元检测通过第二脸部检测单元检测的脸部的脸部图像中的眼部区域。
[0354](10)根据项(3)的认证装置，进一步包括
[0355]图像获取单元，被配置为切换并使用阻挡可见光的第一滤光器与阻挡红外光的第二滤光器以输出对应于从透镜入射的光中的可见光的可见光图像与对应于从透镜入射的光中的红外光的红外光图像。
[0356](11)根据(3)至(10)的任何一项的认证装置，其中
[0357]比较单元对可见光图像的眼部区域与红外光图像的眼部区域执行二值化以获得
两者差值。
[0358](12)根据(3)至(10)的任何一项的认证装置，其中
[0359]比较单元获得可见光图像的眼部区域中的亮度分布与红外光图像的眼部区域中的亮度分布之间的差值。
[0360](13)根据项(3)到(10)的任何一项的认证装置，其中
[0361]比较单元获取可见光图像中眼部区域里的黑色区域的轮廓线以及红外光图像的眼部区域里的黑色区域的轮廓线。[0362](14)根据项(3)到(13)任一项的认证装置，进一步包括
[0363]浦肯野图像检测单元，被配置为检测红外光图像的眼部区域中的浦肯野图像，其中
[0364]判定单元使用通过比较单元获取的比较结果以及通过浦肯野图像检测单元获取的检测结果来判定执行人的脸部认证的认证结果是否正确。
[0365](15)根据项(3)至(14)任一项的认证装置，进一步包括
[0366]红外光发射单元，被配置为发出照射人的红外光。
[0367]根据(16)项(3)到(15)的任一项的认证装置，进一步包括
[0368]可见光源，被配置为对人发出可见光。
[0369](17) 一种认证方法，包括
[0370]用红外光照射人，比较将该人用作主体的可见光图像中该人的眼部区域与将该人用作主体的红外光图像中的该人的眼部区域，以及
[0371]根据通过比较获取的比较结果判定执行人的脸部认证的认证结果是否正确。
[0372](18) 一种使计算机执行方法的程序的步骤，包括
[0373]用红外光照射人，比较将该人用作主体的可见光图像中该人的眼部区域与将该人用作主体的红外光图像中的该人的眼部区域，，以及
[0374]根据通过比较获取的比较结果判定执行该人的脸部认证的认证结果是否正确。
[0375]本公开包括于2012年10月9日在日本专利局提交的日本在先专利申请JP2012-223794公开的主题，其全部内容通过引用结合于此。
[0376]本领域中的技术人员应理解，只要处于所附权利要求或者其等价物范围内，根据设计需求及其他的因素，可进行多种修改、组合、子组合和变更。
【权利要求】
1.一种电子装置，包括:成像部分，包括至少一个图像获取单元，所述成像部分被配置为对场景进行成像并且生成所述场景的可见光图像以及所述场景的红外光图像；脸部认证单元，被配置为对所述可见光图像中检测到的脸部执行脸部认证过程；验证单元，被配置为通过比较所述可见光图像和所述红外光图像检验所述脸部认证单元的认证判定。
2.根据权利要求1所述的电子装置，其中，所述验证单元被配置为通过将与所述可见光图像中的眼部区域对应的亮度数据同与所述红外光图像中的眼部区域的对应亮度数据进行比较来检验所述脸部认证单元的认证判定。
3.根据权利要求2所述的电子装置，其中，所述验证单元被配置为当与所述可见光图像中的眼部区域对应的亮度数据同与所述红外光图像中的眼部区域对应的亮度数据之间的差值小时表示所述脸部认证单元的认证判定是不可信的。
4.根据权利要求3所述的电子装置，其中，与所述可见光图像中的眼部区域对应的亮度数据和与所述红外光图像中的眼部区域对应的亮度数据包括二值化数据。
5.根据权利要求2·所述的电子装置，其中，所述验证单元被配置为当所述红外光图像中的虹膜区域的大小与所述可见光图像中的虹膜区域的大小不同时表示所述脸部认证单元的认证判定是不可信的。
6.根据权利要求2所述的电子装置，其中，所述验证单元被配置为当与所述可见光图像中的眼部区域对应的亮度数据的分布同与所述红外光图像中眼部区域对应的亮度数据的分布不同时表示所述脸部认证单元的认证判定是不可信的。
7.根据权利要求3所述的电子装置，其中，所述验证单元被配置为检测所述红外光图像中眼部区域中的浦肯野图像，并当在所述红外光图像的眼部区域中未检测到浦肯野图像时指示所述脸部认证单元的认证判定是不可信的。
8.根据权利要求2所述的电子装置，其中，所述至少一个图像获取单元包括具有生成所述可见光图像的可见光检测像素以及生成所述红外光图像的红外光检测像素的图像传感器，该图像传感器被配置为使得所述可见光图像和所述红外光图像具有相同的视场角并同时被拍摄。
9.根据权利要求8所述的电子装置，还包括:脸部检测单元，被配置为检测所述可见光图像中的脸部并由其产生脸部图像；以及眼部区域检测单元，被配置为通过搜索所述脸部检测单元生成的脸部图像，来检测所述可见光图像中的眼部区域，并且将所述可见光图像中的眼部区域的坐标输出至所述验证单元，其中，所述验证单元被配置为根据所述眼部区域检测单元输出的坐标判定所述红外光图像中的眼部区域，并且其中，所述脸部认证单元被配置为根据所述脸部检测单元生成的脸部图像执行脸部认证过程。
10.根据权利要求8所述的电子设备，还包括:眼部区域检测单元，被配置为检测所述可见光图像中的眼部区域并将所述可见光图像中的眼部区域的坐标输出至所述验证单元，其中，所述验证单元被配置为根据所述眼部区域检测单元输出的坐标判定所述红外光图像中的眼部区域。
11.根据权利要求8所述的电子设备，还包括:眼部区域检测单元，被配置为检测所述红外光图像中的眼部区域并将所述红外光图像中的眼部区域的坐标输出至所述验证单元，其中，所述验证单元被配置为根据所述眼部区域检测单元输出的坐标判定所述可见光图像中的眼部区域。
12.根据权利要求2所述的电子装置，其中，至少一个图像获取单元包括具有生成所述可见光图像的第一图像传感器的第一图像获取单元以及具有生成所述红外光图像的第二图像传感器的第二图像获取单元，所述第一图像传感器和第二图像传感器被配置为同时拍摄所述可见光图像和所述红外光图像。
13.根据权利要求12所述的电子装置，还包括:脸部检测单元，被配置为检测所述可见光图像中的脸部并由其生成脸部图像；第一眼部区域检测单元，被配置为通过搜索所述脸部检测单元生成的脸部图像来检测所述可见光图像中的眼部区域，并将所述可见光图像中的眼部区域的坐标输出至所述验证单元；以及第二眼部区域检测单元，被配置为检测所述红外光图像中的眼部区域，其中，所述脸部认证单元被配置为根据所述脸部检测单元生成的脸部图像执行脸部认证过程。
14.根据权利要求12所述的电子装置，还包括:第一脸部检测单元，被配置为检测所述可见光图像中的脸部并由其产生第一脸部图像；第一眼部区域检测单元，被配置为通过搜索所述第一脸部检测单元生成的所述第一脸部图像来检测所述可见光图像中的所述眼部区域，并将所述可见光图像中的所述眼部区域的坐标输出至所述验证单元；第二脸部检测单元，被配置为检测所述红外光图像中的脸部并由其产生第二脸部图像；以及第二眼部区域检测单元，被配置为通过搜索所述第二脸部检测单元生成的所述第二脸部图像来检测所述红外光图像中的所述眼部区域，并将所述红外光图像中的所述眼部区域的坐标输出至所述验证单元，其中，所述脸部认证单元被配置为根据所述第一脸部检测单元生成的第一脸部图像执行所述脸部认证过程。
15.根据权利要求2所述的电子装置，其中，所述至少一个图像获取单元包括图像传感器和滤光单元，所述滤光单元被配置为改变对所述图像传感器的滤光以使所述图像传感器在第一时序生成所述可见光图像并在第二时序生成所述红外光图像，所述可见光图像和所述红外光图像具有相同的视场角。
16.一种移动终端装置，包括根据权利要求1所述的电子装置。
17.一种计算机系统装置，包括根据权利要求1所述的电子装置。
18.一种安全系统装置，包括根据权利要求1所述的电子装置。
19.一种认证方法，包括:对场景进行成像并生成所述场景的可见光图像以及所述场景的红外光图像；对所述可见光图像中检测的脸部执行脸部认证过程；以及通过比较与所述可见光图像中的眼部区域对应的亮度数据同与所述红外光图像中的眼部区域对应的亮度数据来检验所述脸部认证过程的结果。
20.根据权利要求19所述的认证方法，其中，当与所述可见光图像中的眼部区域对应的亮度数据同与所述红外光图像中的眼部区域对应的亮度数据之间的差值小时，指示所述脸部认证过程结果是不可信的。
21.根据权利要求19所述的认证方法，其中，当所述红外光图像中 的虹膜区域的大小与所述可见光图像中的虹膜区域的大小不同时指示所述脸部认证过程结果是不可信的。
22.—种非暂时性计算机可读介质，其上存储有程序代码，所述程序代码可由处理器执行来进行以下操作，包括:对场景进行成像并生成所述场景的可见光图像以及所述场景的红外光图像；对所述可见光图像中检测到的脸部执行脸部认证过程；以及通过将与所述可见光图像中的眼部区域对应的亮度数据同与所述红外光图像的眼部区域对应的亮度数据进行比较，来检验所述脸部认证过程的结果。
23.一种电子装置，包括:脸部认证单元，被配置为对在场景的可见光图像中检测到的脸部执行脸部认证过程；以及验证单元，被配置为通过将所述可见光图像与相同场景的红外光图像进行比较来检验所述脸部认证单元的认证判定。
【文档编号】G06F21/32GK103714279SQ201310455933
【公开日】2014年4月9日 申请日期:2013年9月29日 优先权日:2012年10月9日
【发明者】茂木英昭 申请人:索尼公司