被配置用于双模式操作的图像传感器的制作方法

本申请要求于2015年12月7日提交的美国临时专利申请第62/264,065号的优先权，其内容通过引用被合并入本文。

技术领域

本发明涉及基于眼睛的生物特征认证的技术。特别地，本发明提供对基于眼睛的生物识别系统的装置、方法和计算机程序的改进，所述基于眼睛的生物识别系统依赖于红外或近红外照明下的生物特征成像。

背景技术：

基于眼睛的生物特征认证装置依赖于在红外或近红外照明下获取的对象的眼睛的图像。

图1A示出了基于眼睛的生物识别系统100，其包括与图像处理装置104耦接的成像装置102，该成像装置102用于获取对象的眼睛的图像，该图像处理装置104用于从所获取的图像提取生物特征信息，并且出于生物特征认证目的可选地分析这些信息。

图1B示出了在图1A中示出的更普遍的类型的成像装置，其包括照明器IL和成像摄像装置IC，出于图像采集的目的，二者分别被配置成使得来自照明器IL的照明辐射从对象的眼睛E散射到成像摄像装置IC上。在与基于眼睛的生物特征认证(并且特别地，基于虹膜的生物特征认证)相关的实施方式中，照明器IL发射在700nm与1000nm之间的范围内的近红外波长。

由于基于眼睛的生物特征认证系统依赖于红外或近红外照明，因此被配置成实现这种生物特征认证的图像传感器需要对红外或近红外照明敏感。另一方面，出于正常摄影的目的，通常试图将红外或近红外波长过滤掉。因此，需要被配置用于正常摄影和基于红外或近红外的生物特征认证的设备使用两个成像摄像装置，一个被配置用于对红外或近红外敏感，并且另一个被配置用于对色彩敏感(以及对红外或近红外不敏感)。

被配置用于对红外或近红外敏感的成像摄像装置可以包括图2A中所示类型的图像传感器202，其具有对期望的红外或近红外波长敏感的像素阵列。通常，这些像素对可见光谱内的可见光波长也敏感。被配置用于对色彩敏感(并且优选地对红外或近红外不敏感)的成像摄像装置可以包括图2B中所示类型的图像传感器204，其具有每个像素都对可见光谱内的一个或更多个波长(例如，红色(R)、绿色(G)或蓝色(B)波长)敏感的像素阵列。这些像素中的每一个都可以具有设置在其中的红外或近红外掩模或滤波器，以确保对红外或近红外波长不敏感或灵敏度很低。

图2C和图2D示出了用于基于红外波长的生物特征识别的典型的现有技术RGBIR像素阵列。

在图2C所示的阵列206中，每个像素都对IR敏感，并且也对红色(R)、蓝色(B)或绿色(G)波长中的一个敏感。在入射到图像传感器上的红外波长的强度强的成像情况下(例如，室外)，红外波长干扰所获取的图像中的可见色彩的准确再现。因为每个像素都对红外敏感，所以由图2C的像素阵列呈现的红外光谱或近红外光谱的分辨率良好。然而，由于像素对红外波长的高灵敏度，示出的像素阵列对在窄范围的环境光条件之外成像的可见色彩的有效性有限，这将其对基于眼睛识别的有效性限制于一组有限的工作条件。

图2D中所示的像素阵列208解决了在环境红外波长强的环境中可见色彩再现的问题。然而，与图2C的像素阵列所呈现的红外波长分量中的图像分辨率相比，该红外波长分量中的图像分辨率降低到1/4。这种降低使得图2D的像素阵列难以在图像传感器尺寸和成本限制固定的情况下实现准确的基于眼睛的生物特征识别。

通常将RGB传感器与外部红外截止滤波器结合使用，以阻止红外光对色彩再现产生负面影响。类似地，通常将RGBIR传感器与外部双带通滤波器结合使用，其中一个频带通过可见光，而第二个频带仅通过红外光谱的期望部分。可以理解的是，像素的光谱灵敏度指仅对未被外部光学滤波器阻止的辐射光谱的部分的灵敏度。

另外对于可以用于基于眼睛的生物特征成像并且还可以用于非生物特征成像目的(例如，常规摄影或摄像)的双重用途摄像装置的需求在不断增加。在移动通信设备和移动计算设备的情况下特别需要这种需求，其中尺寸、重量和电力消耗对可以合并到单个设备内的部件的数量起到了关键限制。

因此需要一种提高图像传感器的性能的技术，该图像传感器具有同时包括分别对可见光波长敏感的像素和对红外或近红外波长敏感的像素的像素阵列。

技术实现要素：

本发明提供了对基于眼睛的生物识别系统的装置、方法和计算机程序的改进，该生物识别系统依赖于红外或近红外照明下的生物特征成像。

在实施方式中，本发明提供了一种图像传感器，其包括具有在其上形成有像素阵列的图像传感器基板，所述像素阵列包括：(i)包括第一像素阵列的第一像素区域，所述第一像素阵列包括被配置成对700nm以下的波长具有峰值灵敏度的像素，以及(ii)包括第二像素阵列的第二像素区域，所述第二像素阵列包括第一像素类型的像素和第二像素类型的像素。第一像素类型的像素被配置成对700nm与1000nm之间的波长具有峰值灵敏度。第二像素类型的像素被配置成对700nm以下的波长具有峰值灵敏度。

在图像传感器的实施方式中，在第二像素区域内，第一像素类型的像素与第二像素类型的像素的比率在1:1与255:1之间。此外，在第二像素区域内，第二像素类型的一个或更多个像素与第二像素类型的一个或更多个其他像素相比可以表现出不同的光谱响应。

第二像素区域可以包括至少300个像素的连续像素阵列。第二像素区域可以有利地包括至少1400×600像素的连续像素阵列。

在第二像素区域内，与第一像素类型的像素相比，第二像素类型的像素可以对700nm与1000nm之间的波长具有较低的灵敏度。第一像素区域可以排除对700nm与1000nm之间的波长具有峰值灵敏度的像素。

在图像传感器基板上形成的所有像素可以被形成在第一像素区域或第二像素区域中的任何一个内。

在图像传感器的实施方式中，第一像素区域内的像素总数大于第二像素区域内的像素总数。

在另一实施方式中，第二像素区域内的像素距图像传感器的中心的平均距离可以小于第一像素区域内的像素距图像传感器的中心的平均距离。

本发明另外提供一种被配置用于双模式操作的成像装置。该成像装置包括：(i)在其上形成有像素阵列的图像传感器基板，所述像素阵列包括：(a)包括第一像素阵列的第一像素区域，所述第一像素阵列包括被配置成对700nm以下的波长具有峰值灵敏度的像素；以及(b)包括第二像素阵列的第二像素区域，所述第二像素阵列包括第一像素类型的像素和第二像素类型的像素，其中第一像素类型的像素被配置成对700nm与1000nm之间的波长具有峰值灵敏度，以及第二像素类型的像素被配置成对700nm以下的波长具有峰值灵敏度。光学组件可以介于图像传感器与由成像装置的景深区域和视场区域的相交限定的交叉区域之间，其中光学组件可以被配置成使得位于在所述交叉区域内的目标的图像呈现桶形失真或胡须形失真(moustache distortion)。

成像装置还可以包括处理器，该处理器被配置成：(i)从图像传感器接收图像，以及(ii)处理所接收的图像以至少部分地补偿光学组件的几何失真。

本发明另外包括一种制造用于被配置用于双模式操作的成像装置的图像传感器的方法，该方法包括为图像传感器基板限定：(i)包括第一像素阵列的第一像素区域，所述第一像素阵列包括被配置成对700nm以下的波长具有峰值灵敏度的像素；以及(ii)包括第二像素阵列的第二像素区域，所述第二像素阵列包括第一像素类型的像素和第二像素类型的像素。第一像素类型的像素可以被配置成对700nm与1000nm之间的波长具有峰值灵敏度。第二像素类型的像素可以被配置成对700nm以下的波长具有峰值灵敏度。该方法可以包括在图像传感器基板上形成第一像素区域和第二像素区域。

附图说明

图1A和图1B示出了传统的生物特征认证装置。

图2A至图2F和图3示出了能够实现基于眼睛的生物特征识别的目的图像传感器内的像素阵列。

图4示出了用于实现本发明的示例性计算环境。

具体实施方式

本发明提供了一种高级图像传感器，其尤其地旨在用于能够被配置用于基于眼睛的生物特征认证(其依赖于红外或近红外波长)以及用于非生物特征认证目的(例如，普通摄影或摄像(其依赖于可见波长))的双重用途摄像装置。

移动通信设备内的双重用途摄像装置通常被实现为前置摄像装置(即，在设备的显示侧上的摄像装置)，其可以用于生物特征认证以及可见光摄影或摄像。与使用前置摄像装置的基于可见光的成像应用(例如，视频聊天等)相比，基于眼睛的生物特征识别的实现需要具有较高像素分辨率(由图像传感器获取的眼睛图像中的每mm的像素数量)的图像传感器。同时，与虹膜识别相比，前置摄像装置的可见光成像应用通常需要更宽的视野。

为了实现期望的双重用途，开发了分别在图2E和图2F中示出的类型的新型成像传感器210、212。

如将观察到的，图2E和图2F的图像传感器210、210分别包括对期望的红外或近红外波长敏感的像素(IR像素)，并且还包括对可见波长(例如，红色(R)、绿色(G)或蓝色(B)波长)敏感的像素，其中IR像素的像素密度与对可见光敏感的像素的像素密度相同(例如，如图2F所示)或更高(例如，如图2E所示)。这些可见光波长敏感像素中的每一个都可以具有设置在其中的红外或近红外掩模或滤波器，以确保对红外或近红外波长不敏感或灵敏度很低。此外，技术的发展确保了图像传感器内的IR像素对可见光波长不敏感或具有降低的灵敏度(与较早的IR像素技术相比)。

图3示出了根据本发明的教导的图像传感器。图像传感器包括包含至少第一像素区域301和第二像素区域302的像素阵列。第一像素区域301包括像素阵列内的像素对可见光波长敏感的像素阵列，并且所述像素阵列优选地具有与700nm以下的波长相对应的峰值灵敏度。在图3所示的实施方式中，第一像素区域301包括对可见光谱内的波长分别地敏感的像素阵列，例如，在红色(R)、绿色(G)或蓝色(B)光谱中具有峰值灵敏度的像素。虽然第一像素区域301已经被示为包括RGB阵列，但是应该理解的是，第一像素区域301可以包括任何其他色彩阵列配置，例如包括RGB、RGBW、RGBE、CYYM或CYGM或者多个不同的色彩阵列配置组。由于第一像素区域301的配置，所述第一像素区域可以用于基于可见光波长的图像采集。

图像传感器的第二像素区域302包括之前在图2E和图2F中示出的类型的像素阵列，其包括对期望的红外或近红外波长敏感的像素(IR像素)以及对可见光波长(例如，红色(R)、绿色(G)或蓝色(B)波长)敏感的像素的组合。由于第二像素区域302的配置，所述第二像素区域可以用于基于红外或近红外波长的图像采集。

在本发明的实施方式中，第二像素区域组包括：(i)第一类型像素，其对至少在700nm与1000nm之间的波长敏感，并且优选地具有与在700nm与1000nm光谱之间的波长相对应的峰值灵敏度，以及(ii)第二像素类型，其对700nm以下的波长敏感(优选地，具有与700nm以下的波长相对应的峰值灵敏度)，并且与第一像素类型相比，第二像素类型对700nm与1000nm之间的波长灵敏度降低(优选地，明显降低)。在第二像素区域组内，第一像素类型的像素与第二像素类型的像素的比率可以在1:1与255:1之间，优选地在1:1与15:1之间，并且更优选地为3:1。

为了本发明的目的，第二像素类型的像素相对于彼此可以具有相同或不同的光谱响应，只要它们都表现出对至少部分可见光谱敏感。尽管这样的像素可能对700nm与1000nm之间的波长表现出不同的灵敏度，但是优选的是，这种灵敏度小于第一像素类型的像素关于在700nm与1000nm之间的波长表现出的灵敏度。在更优选的实施方式中，第二像素类型的像素对700nm与1000nm之间的波长不敏感或者具有不明显的灵敏度。

在优选实施方式中，第一像素类型的像素对700nm以下的波长的灵敏度低(并且，优选地不明显)，并且在更优选的实施方式中，第二像素类型的像素对被允许通过介于图像传感器与预期的图像捕获区域之间的带通滤波器的可见波长具有很低(并且优选地，不明显)的灵敏度。

在本发明的实施方式中，第二像素区域组包括至少300个像素的连续像素阵列，并且更优选地至少1000个像素的连续像素阵列。在另一实施方式中，第二像素区域组可以包括至少1400×600像素、优选地至少1920×1080像素、更优选地至少1920×1200像素并且还更优选地至少2000×2000像素的连续像素阵列。

在本发明的实施方式中，第一像素区域组内的像素(i)包括第二像素类型的像素，即，对700nm以下的波长敏感的像素(优选地，具有与低于700nm的波长相对应的峰值灵敏度)，并且与第一像素类型的像素相比，第二像素类型的像素对在700nm和1000nm之间的波长具有降低的灵敏度，并且(ii)不包括第一像素类型的像素。

在本发明的具体实施方式中，图像传感器内的每个像素落入第一像素区域组或第二像素区域组内。

在特定实施方式中，第一像素区域组内的像素总数大于第二像素区域组内的像素总数。

在本发明的实施方式中，第二像素区域组位于图像传感器的中心处以及周围，而第一像素区域组位于图像传感器的周边区域处或周围。在本发明的实施方式中，第二像素区域组内的像素距图像传感器的中心的平均距离小于第一像素区域组内的像素距图像传感器的中心的平均距离。

在本发明的实施方式中，介于本发明的图像传感器与预期的图像捕获区域之间的光学组件被配置成呈现出成像目标(或成像目标的一部分)的桶形失真或胡须形失真，即，当位于在光学组件的景深(DoF)与光学组件的视场(FoV)相交的区域内时成像的目标。出乎意料地发现的是，在本发明的实施方式中，在第二像素区域组位于图像传感器的中心处以及周围的情况下，桶形失真或胡须形失真提高了中心区域的分辨率并且改善了能够由第二像素区域组成像的视场。

在本发明的实施方式中，包括第一像素区域组和第二像素区域组的图像传感器可以包括具有至少800万像素的分辨率的图像传感器。

在本发明的特定实施方式中，从图像帧中的第一像素区域组和第二像素区域组内的像素提取的图像信息可以用于基于面部特征的生物特征认证目的，而从相同图像帧内的第二像素区域组内的像素接收的图像信息被用于基于眼睛或基于虹膜的生物特征认证目的。在另一实施方式中，从图像帧中的第一像素区域组和第二像素区域组内的像素提取的图像信息可以用于基于面部特征的生物特征认证目的，而从相同图像帧内的第二像素区域组内的像素接收的图像信息可以用于基于眼睛或基于虹膜的欺骗检测(即，确定由生物特征认证呈现的面部或面部特征是真的还是伪造的)。

在本发明的另一实施方式中，来自像素阵列的不同色彩分量的信息可以用于实现多光谱欺骗检测技术，包括但不限于登记和比较虹膜、眼周和面部光谱信息特征。所检测的光谱特征的足够程度的相似性使得成像的眼睛或面部是真的眼睛或面部的结论成立。在另一实施方式中，表征已知类型的欺骗技术的光谱特征可以用于确定提供用于成像和认证的眼睛或面部是真的还是伪造的。

本发明另外提供了一种方法和计算机程序产品，其中成像装置选择性地解析和处理：(i)来自第二像素区域组内的像素的图像数据，用于基于眼睛的生物特征认证目的，或者用于依赖于使用在700nm与1000nm之间的波长的图像获取的这样的其他目的；以及(ii)来自第一像素区域组内的像素的图像数据，用于不依赖于红外或近红外光谱内的波长的目的(例如，常规或非生物特征摄影或摄像)。

根据图像捕获目标，本发明的装置可以被触发以解析来自第一像素区域组内的像素或来自第二组图像区域内的像素的图像数据。在本发明的实施方式中，响应于获取用于生物特征认证的图像的指令，该装置被触发以解析来自第二像素区域组的图像数据。响应于获取用于非生物特征目的的图像的指令，该装置可以被触发以解析来自第一像素区域组的图像数据。

在本发明的实施方式中，至少来自红外像素的图像数据可以用于生物特征认证，而来自相同图像帧的对可见光谱敏感的像素的图像数据可以用于摄影或摄像或者被显示给用户或操作者。

在实施方式中，本发明提供了一种图像传感器，其可以包括对一组红外或近红外波长敏感的第一像素组和对一个或更多个可见光波长敏感的第二像素组。第一像素组的像素密度等于或高于第二像素组的像素密度。

在另一实施方式中，图像传感器可以包括对一组红外或近红外波长敏感的第一像素组和对一个或更多个可见光波长敏感的第二像素组。图像传感器可以另外包括至少第一区域和第二区域。在第一区域中，第一像素组内的像素的像素密度等于或高于第二像素组内的像素的像素密度。

图像传感器的第一区域可以大致位于形成图像传感器的像素阵列的中心。本发明可以另外包括包含所述图像传感器的成像装置，其中图像传感器可以与呈现桶形或胡须型几何失真的光学透镜或光学组件结合使用。

在另一实施方式中，本发明包括图像处理装置，其被配置成从成像装置接收图像，该成像装置包括图像传感器和呈现桶形或胡须型几何失真的光学透镜或光学组件。在该实施方式中，在图像处理期间，可以至少部分地补偿由光学透镜或光学组件引起的几何失真。

本发明另外提供了一种用于制造双重用途图像传感器的方法，该双重用途包括生物特征认证以及可见光摄影或摄像。在实施方式中，制造双重用途图像传感器的方法包括限定用于在图像传感器基板上形成的像素阵列，所述像素阵列包括至少第一像素区域和第二像素区域，并且形成包括第一像素区域和第二像素区域的图像传感器。限定第一像素区域包括在图像传感器基板上限定对可见光波长敏感的像素阵列(例如，结合图3示出且描述的第一像素区域301)。限定第二像素区域(例如，结合图3示出且描述的第二像素区域302)包括在图像传感器基板上限定先前在图2E和图2F中示出的类型的像素阵列，该像素阵列包括对期望的红外或近红外波长敏感的像素(IR像素)以及对可见波长(例如，红光(R)、绿光(G)或蓝光(B)波长)敏感的像素的组合。第一像素区域和第二像素区域可以被限定且形成为使得所述像素区域具有先前结合图3的第一像素区域301和第二像素区域302描述的一个或更多个特性。

除了上述装置和方法以外，本发明另外提供了被配置用于实现本发明的方法的计算机程序产品。

一种根据本发明的计算机程序产品可以包括存储在暂态或非暂态计算机可读介质上的计算机可读指令，并且可以包括用于实现根据本发明的教导的一种或更多种方法的指令。

图4示出了用于实现本发明的示例性计算系统。

计算系统402包括一个或更多个处理器404和至少一个存储器406。处理器404被配置成执行程序指令，并且可以是真实处理器或虚拟处理器。应该理解的是，计算机系统402对所描述的实施方式的使用范围或功能没有提出任何限制。计算机系统402可以包括但不限于以下中的一个或更多个：通用计算机、编程微处理器、微控制器、集成电路以及能够实现构成本发明的方法的步骤的其他设备或设备的布置。根据本发明的系统402的示例性实施方式可以包括一个或更多个服务器、台式计算机、膝上型计算机、平板计算机、智能电话、移动电话、移动通信设备、平板计算机、平板手机和个人数字助理。在本发明的实施方式中，存储器406可以存储用于实现本发明的各种实施方式的软件。计算机系统402可以具有附加的部件。例如，计算机系统402可以包括一个或更多个通信通道408、一个或更多个输入设备410、一个或更多个输出设备412和存储设备414。互连机构(未示出)(例如，总线、控制器或网络)使计算机系统402的部件互连。在本发明的各种实施方式中，操作系统软件(未示出)使用处理器404为在计算机系统402中执行的各种软件提供操作环境，并且管理计算机系统402的部件的不同功能。

通信信道408允许通过通信介质与各种其他计算实体通信。通信介质提供信息(例如，程序指令或者通信介质中的其他数据)。通信介质包括但不限于使用电、光、RF、红外、声学、微波、蓝牙或其他传输介质实现的有线或无线方法。

输入设备410可以包括但不限于触摸屏、键盘、鼠标、笔、操纵杆、轨迹球、语音设备、扫描设备或者能够向计算机系统402提供输入的任何其他设备。在本发明的实施方式中，输入设备1010可以是声卡或接受模拟或数字形式的音频输入的类似设备。输出设备412可以包括但不限于CRT、LCD、LED显示器上的用户接口或者与以下中的任何一个相关联的任何其他显示器：服务器、台式计算机、膝上型计算机、平板计算机、智能电话、移动电话、移动通信设备、平板计算机、平板手机和个人数字助理、打印机、扬声器、CD/DVD刻录机、或者从计算机系统402提供输出的任何其他设备。

存储设备414可以包括但不限于磁盘、磁带、CD-ROM、CD-RW、DVD、任何类型的计算机存储器、磁条、智能卡、打印的条形码或可以用于存储信息并且可以由计算机系统1002访问的任何其他暂态或非暂态介质。在本发明的各种实施方式中，存储设备414可以包括用于实现所描述的任何实施方式的程序指令。

在本发明的实施方式中，计算机系统402是分布式网络的一部分或一组可用云资源的一部分。

可以以多种方式实现本发明的实施方式，包括实现为系统、方法或计算机程序产品(例如，计算机可读存储介质)或从远程位置传送编程指令的计算机网络。

本发明可以被适当地实现为与计算机系统402一起使用的计算机程序产品。本文描述的方法通常被实现为计算机程序产品，其包括由计算机系统402或任何其他类似的设备执行的一组程序指令。该组程序指令可以是存储在有形介质(例如，计算机可读存储介质(存储设备414)，例如，软盘、CD-ROM、ROM、闪存驱动器或硬盘)上的、或者经由调制解调器或其他接口设备通过包括但不限于光学或模拟通信通道408的任一有形介质可传输至计算机系统402的一系列计算机可读代码。作为计算机程序产品的本发明的实现可以是使用无线技术的无形的形式，该无线技术包括但不限于微波、红外、蓝牙或其他传输技术。这些指令可以被预先加载到系统中或记录在存储介质(例如，CD-ROM)上，或者能够通过网络(例如，因特网或移动电话网络)进行下载。该系列计算机可读指令可以实现本文先前描述的全部或部分功能。

应该理解的是，上述系统、方法和计算机程序可以以任何方式实现。本文讨论的方法、装置和计算机程序仅仅是示例性的，并不旨在被理解为是限制性的。