一种移动终端前置和人脸/虹膜识别一体化光电成像方法与流程

文档序号:11996062阅读:497来源:国知局
一种移动终端前置和人脸/虹膜识别一体化光电成像方法与流程
本发明涉及生物识别光电领域,尤其是一种用于高安全性的移动终端前置和虹膜识别一体化光电成像系统和方法。

背景技术:
移动终端包括智能手机、平板、可穿戴设备等,现在的信息技术移动化发展趋势来看,移动终端设备必然是未来适用最广泛的设备。目前,现实应用中的移动终端在移动安全支付、账户安全登陆、网上银行方面运用已经极其的广泛了,如余额宝、微信、银行账户管理等方面的运用,虽然在其使用过程中,为生活带来了极大的便利,但是一种新型的通过移动终端安全性能薄弱等特点进行的经济犯罪逐渐的兴起。而移动终端中,现有技术进行身份确认的惯用手段就是密码输入,但是这种身份确认的手段安全性能十分的低,只需要在移动终端上植入简单的病毒程序,就能将该密码泄露,造成相应的损失。为了解决这个问题,国际上还是用生物识别的方式进行移动终端安全身份认证;如苹果公司提出的基于AuthenTec公司开发的指纹识别技术,该技术运用在手机终端上,极大的提高了移动终端的身份确认安全性;但是,指纹技术识别的过程中,由于指纹是静态的,虽然具有唯一性,但是也极其容易被获取指纹信息,甚至被仿制等,所以随着指纹技术在移动终端上的运用越来越广泛,其安全性也会相应的呈下降趋势,所以在安全性方面更加具有优势的虹膜识别是解决移动终端安全身份认证过程中非常有效的方法,而虹膜识别系统是现有的生物识别中精确度最高的。目前在所有移动终端中虹膜识别系统技术和产品中,没有实现用于人脸自拍功能的前置光电成像系统和虹膜识别光电成像系统一体化。但如果人脸自拍功能的前置光电成像系统和虹膜识别光电成像系统一体化分开独立实现,其成本大大增加,更主要的移动终端的体积无法提供容纳2套分开独立光学成像系统的安装空间。另外尽管在防伪造物安全性方面虹膜识别与指纹人脸识别相比更加具有优势,但如果大规模应用于如手机移动大额支付等重要场合,仍然需要更进一步升级防伪造物活体检测的安全性技术,消除安全隐患的威胁。毕竟生物识别本身目的就是为安全,其本身的安全性是最基本和最重要的。更进一步的,高安全性的移动终端前置和虹膜识别一体化光电成像系统需要解决以下严重的问题:1、移动终端应用中前置和虹膜识别一体化光电成像系统,满足人脸自拍功能的前置光电成像系统和虹膜识别光电成像系统一体化,其体积控制在8.5mm*8.5mm*6mm内。2、移动终端应用中前置和虹膜识别一体化光电成像系统,需要一整套高安全性的防伪造物活体检测方法,保证生物识别本身的安全性。3.移动终端应用中前置和虹膜识别一体化光电成像系统,需要指导光电成像系统设计的转换关系的理论推导。4、移动终端应用中前置和虹膜识别一体化光电成像系统,需要极大降低成本,成本降低至10美金以内才能大规模得到应用。解决以上问题是目前面临的最大挑战。

技术实现要素:
本发明提供一种用于高安全性的移动终端前置和虹膜识别一体化光电成像系统。为了解决上述技术问题,本发明提供了一种移动终端前置和人脸/虹膜识别一体化光电成像方法;包括以下步骤:①产生成像波长连续或同步脉冲模式的辐射;②经过成像波长过滤和物理折射聚焦,图像传感器的成像阵列接收成像波长通道进行全局帧模式或滚动行模式复位积分和读出;③获取成像阵列中相同成像波长通道输出的成像图像原始RAW像素数据;④根据成像图像原始RAW像素数据和像素单元光电转换关系,驱动图像传感器和LED照明光源及光学成像透镜聚焦,实现反馈控制;⑤输出图像。总结上述描述,通过本发明实现了高安全性的移动终端前置和虹膜识别一体化光电成像系统以及其方法:1、前置和虹膜识别一体化光电成像系统,实现满足人脸自拍功能的前置光电成像系统和虹膜识别光电成像系统一体化,其体积控制在8.5mm*8.5mm*6mm内。2、前置和虹膜识别一体化光电成像系统,实现一整套高安全性的防伪造物活体检测方法,保证生物识别本身的安全性。3.前置和虹膜识别一体化光电成像系统,实现阐述指导光电成像系统设计的转换关系的理论推导。4、前置和虹膜识别一体化光电成像系统,实现极大降低成本,成本降低至10美金以内能大规模得到应用。附图说明下面结合附图对本发明的具体实施方式作进一步详细说明。图1为本发明的前置和虹膜识别一体化光电成像系统的总体结构图;图2为图1中的图像传感器105成像阵列独立接收RGB-IR波长通道的每个成像像素单元示意图;图3为图2中图像传感器105用于复位积分和读出电荷(电子)电压的复位积分和读出电路原理图;图4为图2中图像传感器105RGB-IR波长通道的成像阵列的像素单元4方向2*2交叉间隔排列格式示意图;图5为图2中图像传感器105成像阵列中相同波长通道像素之间4方向的邻近像素原始RAW数据内插值示意图;图6为本发明定义虹膜图像的对比度区域示意图;图7为本发明定义虹膜图像的瞳孔和虹膜直径示意图;图8为本发明定义虹膜图像的角膜不同位置的光学反射点示意图;图9为本发明定义眼球生理运动的产生的眼睑生理运动活性特性程度的示意图;图10为本发明定义眼球生理运动的产生的离轴斜视生理运动活性特性程度的示意图。具体实施方式实施例1、给出了一种移动终端前置和人脸/虹膜识别一体化光电成像系统及方法。该方法包括有前置光电成像方法、虹膜识别光电成像方法、对前置光电成像方法或者虹膜识别光电成像方法中所使用的相同波长通道的原始RAW数据像素之间进行内插重建的方法、虹膜防伪造物活体检测方法。如图1所示,该系统沿着成像系统光轴100设置光学滤光器(101或104)(用于过滤成像波长)、光学成像透镜102(用于物理折射聚焦成像波长)、光学成像透镜的固定安装座103(用于固定安装光学成像透镜)、图像传感器105(用于光电转换输出成像图像)、照明光源106(包括RGB-LED照明光源106RGB和IR-LED照明光源106IR;RGB-LED照明光源106RGB用于对前置光电成像系统产生RGB成像波长辐射,IR-LED照明光源106IR用于对虹膜识别光电成像系统产生IR成像波长辐射)以及成像系统固定安装基板107(用于提供前置和虹膜识别光电成像系统固定安装载体),成像系统固定安装基板107上还设置有移动终端主板110(用于实现移动终端功能电路载体),在移动终端主板110上集成LED电流驱动器108(用于驱动控制LED照明光源辐射强度,辐射角度位置,和辐射时间)和处理器芯片109(用于驱动控制LED电流驱动器和图像传感器)。本发明具体实施例1中前置和虹膜识别一体化光电成像系统包括用于前置光电成像系统的光学通路和虹膜识别光电成像系统的光学通路;前置光电成像系统的光学通路包括如下:RGB-LED照明光源106RGB辐射RGB成像波长,光学滤光器(101或104)过滤RGB成像波长,光学成像透镜102物理折射聚焦RGB成像波长,图像传感器105的成像阵列独立接收RGB波长通道。虹膜识别光电成像系统的光学通路包括如下:IR-LED照明光源106IR辐射IR成像波长,光学滤光器(101或104)过滤IR成像波长,光学成像透镜102物理折射聚焦IR成像波长,图像传感器105的成像阵列独立接收IR波长通道。本发明的具体实施例1中,图像传感器105的成像阵列被配置为具有独立接收功能的RGB-IR波长通道;LED照明光源(LED照明光源106RGB和LED照明光源106IR-LED)被配置为具有与图像传感器105的RGB-IR成像波长通道相互匹配的辐射波长范围;光学滤光器(101或104)被配置为具有与图像传感器105RGB-IR成像波长通道相互匹配的过滤波长范围;光学成像透镜102被配置为具有与图像传感器105的RGB-IR成像波长通道相互匹配的聚焦波长范围;处理器芯片109被配置为用于驱动图像传感器105设置,即控制图像传感器105的RGB-IR波长通道成像阵列输出的图像像素值数据,以及驱动控制LED电流驱动器108;LED电流驱动器108被配置为用于驱动控制LED照明光源(106RGB和106IR-LED)辐射强度,辐射角度位置,辐射时间。以上所述的光学成像透镜102被配置为固定焦距透镜,可以采用如液体驱动透镜、液晶驱动透镜、VCM音圈驱动透镜、MEMS驱动透镜、EDOF波前相位调制透镜或者晶圆级阵列微透镜中任意一种。本发明的成像波长包括RGB成像波长为400-700nm,IR成像波长为800-900nm;在本实施例中的成像波长包括RGB成像波长为400-650nm,IR成像波长为750-850nm。本发明具体实施例1作为举例,IR成像波长范围,本质上成像波长范围为带宽特性,其也可以等同理解为由成像波长中心(wavelengthcenter)和半峰值带宽(FWHM)描述,如800-900nm范围可表达为,中心波长850nm±30nm半峰值带宽。更进一步,作为成像波长范围变化举例,可以窄带为中心波长850nm±15nm半峰值带宽。前置光电成像系统采用RGB成像波长,聚焦工作物距WD至少在30-100cm;虹膜识别光电成像系统采用IR成像波长,聚焦工作物距WD至少在10-30cm。虹膜识别光电成像系统具有以下光学成像要求:虹膜识别光电成像系统的成像波长WI满足:800nm≤WI≤900nm或750nm≤WI≤850nm;虹膜识别光电成像系统的聚焦工作物距WD满足:10cm≤WD≤30cm;虹膜识别光电成像系统的像素空间分辨率PSR(pixelspatialresolution)应该满足:PSR≥13pixel/mm;虹膜识别光电成像系统的光学放大倍率OM(opticalmagnification),应该满足:OM=PS*PSR;其中,以上所述的PS为图像传感器105每个成像像素单元的物理尺度;PSR为虹膜识别光电成像系统的像素空间分辨率;虹膜识别光电成像系统的光学空间分辨率OSRI(opticalspatialresolutionofimageofplane)在像方平面应该满足:在调制传递函数60%(MTF=0.6)时,1/(4*PS)≤OSRI≤1/(2*PS)lp/mm(线对每毫米)。前置光电成像系统具有以下光学成像要求:前置光电成像系统的成像波长WI满足:400nm≤WI≤700nm或400nm≤WI≤650nm;前置光电成像系统的聚焦工作物距WD满足:30cm≤WD≤100cm;前置光电成像系统的像素空间分辨率PSR(pixelspatialresolution)应该满足:PSR≤4pixel/mm;前置光电成像系统的光学放大倍率OM(opticalmagnification),应该满足:OM=PS*PSR;其中,以上所述的PS为图像传感器105每个成像像素单元的物理尺度;PSR为前置光电成像系统的像素空间分辨率;前置光电成像系统的光学空间分辨率OSRI(opticalspatialresolutionofimageofplane)在像方平面应该满足:在调制传递函数60%(MTF=0.6)时,1/(4*PS)≤OSRI≤1/(2*PS)lp/mm(线对每毫米)。在本实施例中,图像传感器105的成像阵列独立接收RGB-IR波长通道的每个成像像素单元结构如图2所示。图像传感器105的成像阵列独立接收RGB-IR波长通道的每个成像像素单元,包括如下:用于汇聚光子200的微透镜201(microlens);用于过滤光子200的独立RGB-IR波长通道滤光层202(RGB-IRfilter);用于捕捉入射波长的光子200进行光电量子转换的半导体光电二极管203(photodiode);用于复位积分和读出电荷(电子)电压的复位积分和读出电路204;用于转换电压值为量化数值的模拟数字转换器ADC205。微透镜201(microlens)、独立RGB-IR波长通道滤光层202(RGB-IRfilter)、半导体光电二极管203(photodiode)、复位积分和读出电路204、模拟数字转换器ADC205从上至下依次设置;入射光子200依次通过微透镜201、独立RGB-IR波长通道滤光层202和半导体光电二极管203。微透镜201(microlens)具有汇聚光子效率或填充因子(fillfactor)FF≥95%;RGB-IR波长通道滤光层202(RGB-IRfilter)用于过滤产生独立的RGB-IR波长通道;本发明具体实施例1中,B波长通道:400nm–500nm;G波长通道:500nm–600nm;R波长通道:600nm–700nm;IR波长通道:800nm–900nm;或更进一步,B波长通道:400nm–500nm;G波长通道:500nm–590nm;R波长通道:590nm–670nm;IR波长通道:750nm–850nm。滤光层202具有RGB-IR通道波长分布函数FR(λ),FG(λ),FB(λ),FIR(λ);半导体光电二极管203具有通过接收入射波长的光子200在半导体PN结形成电子-空穴对产生光电量子转换。半导体光电二极管203接收入射波长的光子200进行光电量子转换,RGB-IR入射波长的光电量子转换常数QR,QG,QB,QIR,定义如下:(EQ1)λ为成像波长,本发明具体实施例1中优选的RGB成像波长为400-700nm,IR成像波长为800-900nm,作为等同理解,更进一步也可以选择RGB成像波长为400-650nm,IR成像波长为750-850nm。g(λ),r(λ),b(λ),ir(λ)分别为图像传感器105的光电二极管203RGB-IR波长通道的光电量子转换效率敏感度函数,FR(λ),FG(λ),FB(λ),FIR(λ)分别为图像传感器105的滤光层202RGB-IR通道波长分布函数,f(λ)为光学滤光器(101或104)的过滤率波长分布函数,S(λ)为LED照明光源(106RGB和106IR-LED)的辐射率波长分布函数;L(λ)为光学成像透镜102的透射率波长分布函数。按ISO计量单位的定义标准,在400-700nm成像波长时,QR,QG,QB的光电量子转换常数单位为V/lux-sec(伏特每勒克斯每秒)或ke-/lux-sec。本发明具体实施例1中具有如2.0V/lux-sec;在800-900nm成像波长时,QIR的光电量子转换常数单位为V/(mw/cm2-sec)(伏特每毫瓦每平方厘米每秒)或ke-/(mw/cm2-sec);本发明具体实施例1中具有如8000V/(mw/cm2-sec)。用于复位积分和读出电荷(电子)电压的复位积分和读出电路204,分别用于复位积分光电二极管203的电荷(电子)电压V,以及读出光电二极管203的电荷(电子)电压V(分别用于复位积分光电二极管203的电荷(电子)电压V,以及读出光电二极管203的电荷(电子)电压V的公式如下);电荷(电子)电压V=Q/C(EQ2)其中:Q为光电二极管203的复位积分的电荷(电子),C为光电二极管203的等效电容,更进一步,光电二极管203具有满电荷(电子)容量FCC(FullChargeCapacity),FCC≥10ke-(千电子)(Kelectrons);电压复位积分和读出电路204具有电荷(电子)-电压转换增益CG(Conversiongain):CG=1/C=V/Q单位:μV/e-微伏特每电荷(电子);电压复位积分和读出电路204具有全局帧模式的复位积分和读出(GlobalShutter)或滚动行模式的复位积分和读出(RollingShutter)。图3为本发明具体实施例1中图像传感器105的成像像素单元用于复位积分和读出电荷(电子)电压的复位积分和读出电路原理图(203为光电二极管,205为模拟数字转换器ADC,M1,M2,M3为晶体管,Vdd为电源,GND为地,reset为复位积分电荷(电子)电压的复位积分控制信号,read为读出电荷(电子)电压的读出控制信号,output为模拟数字转换器ADC205的模拟-数值转换量化数据输出)。复位积分和读出电路的具体原理过程如下:当用于复位积分电荷(电子)电压时,复位积分控制信号reset有效导通晶体管M1,入射光子200经过光电二极管203进行光电量子转换成累积电荷(电子),此时读出控制信号read无效,并使晶体管M3截止,不产生读出;当用于读出电荷(电子)电压时,读出控制信号read有效导通晶体管M3,光电二极管203累积电荷(电子)被通过晶体管M2,M3输出至模拟数字转换器ADC205转换量化数据输出output,此时复位积分控制信号reset无效使晶体管M1截止,不累积电荷(电子)。以上所述的模拟数字转换器ADC205具有模拟-数值转换量化分辨率的有效位数为≥8位;如8位,10位,12位等,形成至少28=256LSB,210=1024LSB,212=4096LSB量化分辨率。图像传感器105的成像阵列中独立接收RGB-IR波长通道的每个光电二极管203成像像素单元的物理尺度(PS)满足如下条件:1um/pixel≤PS≤3um/pixel(微米每像素);图像传感器105成像阵列中独立接收的R波长通道的像素单元光电转换的数值YR为:YR=FF*QR*GAIN*EXP*ADCG*E*PSU(EQ3)图像传感器105成像阵列中独立接收的G波长通道的像素单元光电转换的数值YG为:YG=FF*QG*GAIN*EXP*ADCG*E*PSU(EQ4)图像传感器105成像阵列中独立接收的B波长通道的像素单元光电转换的数值YB为:YB=FF*QB*GAIN*EXP*ADCG*E*PSU(EQ5)图像传感器105成像阵列中独立接收的IR波长通道的像素单元光电转换的数值YIR为:YIR=FF*QIR*GAIN*EXP*ADCG*E*PSU(EQ6)其中:以上所述的FF(fillfactor)为微透镜201(microlens)的填充因子;EXP为图像传感器105成像阵列的复位积分时间integrationTime或曝光时间exposuretime,单位:S秒;EXP同步等于LED照明光源106辐射时间;GAIN为图像传感器105成像阵列的数字和模拟增益,无单位;ADCG为图像传感器105成像阵列的ADC电压模拟-数值转换量化分辨率,单位:LSB/V,数值位每伏特;E为图像传感器105成像阵列接收的辐射率或辐射照度,单位:lux(勒克斯)或mw/cm2(每毫瓦每平方厘米);E=C*β*I/WD2*cos2ψ*(1/FNO)2(EQ7)其中:I为LED照明光源106辐射强度,单位毫瓦每球面度(mw/sr);ψ为LED照明光源106辐射位置与成像系统光轴100的夹角;WD为光学成像系统的聚焦工作物距;FNO为光学成像透镜102的数值光圈,即相对孔距倒数;β为成像物体(虹膜或人脸)的生物组织光学效应反射率(LED照明光源辐射的波长经过虹膜或人脸生物组织的吸收,反射和散射产生生物组织光学效应反射率);C为光学成像系统的光学系数;C=1/16*cos4ω/(1+OM)2(EQ8)其中:ω为入射光的物方视场角;OM为光电成像系统的光学放大倍率;PSU为图像传感器105成像阵列的每个光电二极管成像像素单元的物理尺度面积单位比;PSU=(PS*PS)/cm2;QR,QG,QB,QIR为图像传感器105成像阵列中独立接收波长通道的每个成像像素单元光电量子转换常数;图像传感器105成像阵列中独立接收波长通道的像素单元光电转换的数字值YR,YG,YB,YIR被进一步作为成像图像原始RAW像素数据I{YR,YG,YB,YIR}输出。图像传感器105成像阵列具有至少1920*1080个数量的RGB-IR成像像素单元。图像传感器105成像阵列的RGB-IR成像像素单元具有4方向2*2交叉间隔排列格式。图4为本发明具体实施例1图像传感器105RGB-IR波长通道的成像阵列的像素单元4方向2*2交叉间隔排列格式示意图;图4示意每4方向2*2交叉间隔排列格式重复组成RGB-IR波长通道。图像传感器15成像阵列的RGB-IR相同波长通道像素采用4方向交叉间隔取样方式,既当前方向的为相同波长通道像素Pixel_SC,水平方向的为相同波长通道的像素Pixel_SH,垂直方向的为相同波长通道的像素Pixel_SV,对角方向的为相同波长通道的像素Pixel_SD。具体方式参考示意图5中标示的4个相同波长通道像素。本发明具体实施例1所述的图像传感器105可采用BareDie(COB),ShellUTCSP,NeoPACCSP,TSVCSP等封装进一步减小体积。本发明具体实施例1所述的LED照明光源(106RGB和106IR-LED)具有:独立辐射的RGB和IR成像波长。更进一步,RGB-LED照明光源(106RGB)具有:辐射的RGB成像波长混合形成白色可见光。LED照明光源106由半导体发光二极管构成,其物理构成与半导体光电二极管相同,作用相反,半导体发光二极管通过在施加电流使半导体PN结的电子-空穴对产生光电量子转换向外辐射光子200。更进一步,本发明具体实施例1所述的LED照明光源(106RGB和106IR-LED)具有:控制半峰值辐射角的凸透镜或凹面反光镜。所述的半峰值辐射角Ω满足:Ω≥FOV;所述FOV为成像系统的全视场角;FOV≥2*arctan((DI*PS)/(2*EFL));其中:EFL为光学成像透镜102的等效焦距;DI为图像传感器105成像阵列的像面对角线像素单元的数量;PS为图像传感器105成像阵列的像素单元的物理尺度;LED理论上是一种360度角度辐射光的朗伯点光源,采用凸透镜或凹面反光镜能使LED点光源辐射的光线汇聚起到控制LED照明光源的半峰值辐射角的作用。凸透镜可由光学塑料如光学级PMMA,光学级PC等光学基质材料制造,凹面反光镜可由高反射率金属基质材料制造。本发明具体实施例1所述的LED照明光源(106RGB和106IR-LED)具有:一个或多个不同辐射角度位置,用于优化光电成像系统的成像视场和成像质量效果,并提供角膜不同位置的光学反射的活体检测。如采用位于成像系统光轴100左侧和/或右侧的不同辐射角度位置(左侧Psrl,右侧Psrr,左右两侧Psrl&Psrr)。本发明具体实施例1所述的LED照明光源(106RGB和106IR-LED)具有:与图像传感器105同步的连续或脉冲辐射时间和辐射强度,用于联合优化光电成像系统的成像质量效果。LED照明光源(106RGB和106IR-LED)可采用SMD表面贴片等封装进一步减小体积。本发明具体实施例1所述的光学滤光器(101或104)具有:过滤RGB和IR成像波长,透射RGB和IR成像波长范围内的光,反射和/或吸收RGB和IR成像波长范围外的光。更进一步,本发明具体实施例1中所述的光学滤光器(101或104)具有:RGB和IR成像波长范围内的光过滤率Fi≤10.0%,RGB和IR成像波长范围外的光过滤率Fo≥99.9%;或等价的RGB和IR成像波长范围内的光透射率Ti≥90.0%,RGB和IR成像波长范围外的光透射率To≤0.1%。所述的光学滤光器(101或104)可在光学透明玻璃,有色玻璃,光学塑料等光学基质材料进行表面多层镀膜实现,且光学滤光器(101或104)厚度≤0.3mm,更进一步地作为本发明等同理解,所述的光学滤光器(101或104)可采用在光学成像透镜102表面作为光学基质进行多层镀膜等价替代。本发明具体实施例1所述的光学成像透镜102具有:物理折射聚焦RGB和IR成像波长。更进一步,本发明具体实施例1所述的光学成像透镜102具有对RGB和IR成像波长:表面最大反射率Rmax≤1.0%,表面平均反射率Ravg≤0.35%;或等价的表面最小透射率Tmin≥99.0%,表面平均透射率Tavg≥99.65%。以上所述的光学成像透镜102可在非球面光学塑料如光学级PMMA,光学级PC等光学基质材料进行表面多层减反或增透镀膜实现;并可通过3-5P片非球面光学塑料注塑工艺实现,TTL光学总长≤6mm。所述的光学成像透镜具有:焦距EFL,数值光圈FNO满足:3mm≤EFL≤6mm,2.0≤FNO≤4.0。光学成像透镜102被配置为固定焦距透镜,包括液体驱动透镜、液晶驱动透镜、VCM音圈驱动透镜、MEMS驱动透镜、EDOF波前相位调制透镜或者晶圆级微阵列透镜中任意一种。所述的液体驱动透镜包括固定聚焦透镜,液体透镜,用于控制液体透镜的电压驱动器;所述的液晶驱动透镜包括固定聚焦透镜,液晶透镜,用于控制液晶透镜的电压驱动器;所述的液体驱动透镜和液晶驱动透镜通过改变入射光的屈光度既光学功率调节以实现自动聚焦功能。所述的VCM音圈驱动透镜包括固定聚焦透镜,VCM音圈,用于控制VCM音圈的电流驱动器;所述的VCM音圈驱动透镜通过改变光学后焦既光学像距调节以实现自动聚焦功能。所述的MEMS(微电子机械系统)驱动透镜包括固定聚焦透镜,MEMS透镜,用于控制MEMS透镜的静电驱动器。所述的MEMS驱动透镜通过改变MEMS透镜的光学位置以实现自动聚焦功能。所述的晶圆级阵列微透镜,通过微透镜阵列计算成像(ComputationalImaging)实现3D全景深重建功能。所述的EDOF波前相位调制透镜包括透镜,波前相位调制光学元件;所述的EDOF波前相位调制通过波前相位调制光学元件调制后,逆滤波解调重建实现扩展景深功能。由于以上所述的EDOF波前相位调制透镜具有成本低,体积小,结构简单,无复杂驱动等优点。所以本发明具体实施例1优选以EDOF波前相位调制透镜为例详细描述,EDOF波前相位调制透镜成像,它保证在最大化光通量条件下具有传统光学成像系统10倍以上的场深(depthoffield)范围,同时简化光学系统视场(viewoffield)和像差校正的设计。波前相位调制光学元件作为透镜间的相位光瞳。定义波前相位调制光学元件具有奇对称的光瞳相位调制函数Φ(x,y):Φ(-x,-y)=-Φ(x,y)其中:M,N为阶数,αmn为数值系数。本发明具体实施例1在实际应用时考虑到数值计算和实际制造的复杂度等要求,一般采用阶数小于9的低阶,如采用7,5,3为阶数。本发明具体实施例1的波前相位调制光学元件可通过微米级的非球面注塑方法设计制造,能降低成本并结构简单,易于批量生产。波前相位调制光学系统具有光学点扩散函数PSF(u,v;θ)PSF(u,v;θ)=|h(u,v;θ)|2其中:P(x,y)为光学系统的光瞳函数,P(x,y)=1,当积分参数(x,y)包含在光瞳范围内时;P(x,y)=0,当积分参数(x,y)不包含在光瞳范围内时;光瞳函数也可以等价的表示为二维定积分的定义域面积范围,即限定2维定积分的定义域面积积分范围为光瞳范围。(x,y)为光瞳平面的点,(u,v)为像平面的点。θ为衍射波像差或散焦参数;λ为成像波长,f为光学系统的等效焦距,do为入瞳平面到物平面距离,di为出瞳平面到像平面距离,A为光瞳面积,Zernike(x,y)为光学系统的Zernike像差函数;实上考虑到光学系统具有球面特性,上述二维积分也可以等价的采用极坐标积分表示。根据光瞳相位调制函数Φ(x,y)的定义可知点扩散函数PSF(u,v;θ)为偶对称。具有调制传递函数(MTF)和衍射波像差(diffraction-aberration)空间/频域结合最优化的波前相位调制光学系统的光瞳相位调制函数Φ(x,y)满足条件:衍射波像差优化度J全局最小化,理论上J=0。其中:衍射波像差优化度J由以下定义确定:其中:[-θ0,θ0]为实际应用时指定的衍射波像差或散焦参数对称范围;同时根据光学理论,波前相位调制光学系统具有光学传递函数OTF(s,t;θ)为PSF(u,v;θ)的Fourier变换对,并且有以下推论:调制传递函数优化度M由以下定义确定:根据上述定义和推论可证明光瞳相位调制函数Φ(x,y)在满足衍射波像差优化度J全局最小化条件下,波前相位调制光学系统具有调制传递函数和衍射波像差空间/频域结合最优化。并且在理论上J=0条件下,波前相位相对于衍射波像差是固定常数,可以通过简单的数字化解调处理恢复原始图像。图像传感器105成像的像平面图像O(u,v)通过数字信号处理图像解调恢复,结果重建原始数字图像I(x,y)。数字信号处理图像解调恢复具体是:I(x,y)=H(u,v)*g(u,v)=∫∫H(x-u,y-v)g(u,v)dudv其中,H(u,v)=O(u,v)-N(u,v);O(u,v)为图像传感器105成像的像平面图像,N(u,v)为光电成像系统的等效噪声函数,g(u,v)=F-1(1/MTF(s,t)),即MTF(s,t)倒数的逆Fourier变换,MTF(s,t)为波前相位调制光学系统预定的调制传递函数(MTF)函数,*表示2维函数卷积积分。由于MTF(s,t)对于上述预定的光学系统是确定的,故g(u,v)也是确定的,并且g(u,v)的卷积尺度也是紧支集的,更近一步等效噪声函数N(u,v)对于上述预定的光电成像系统也是确定的。所以上述数字信号处理图像解调恢复能以数学离散形式表达,本发明具体实施例1可以优化整型代码通过FPGA或DSP等数字信号处理设备实时实现,或由处理器芯片109的软件算法实时实现。本发明具体实施例1,归因于虹膜识别光电成像系统和前置光电成像系统具有不同光学成像要求,成像波长,像素空间分辨率,光学放大倍率,光学空间分辨率,聚焦工作物距范围。以上所述的虹膜识别光电成像系统具有以下光学成像要求:虹膜识别光电成像系统的成像波长WI满足:800nm≤WI≤900nm或750nm≤WI≤850nm;虹膜识别光电成像系统的聚焦工作物距WD满足:10cm≤WD≤30cm。虹膜识别光电成像系统的像素空间分辨率PSR(pixelspatialresolution)应该满足:PSR≥13pixel/mm;虹膜识别光电成像系统的光学放大倍率OM(opticalmagnification),应该满足:OM=PS*PSR其中所述的:PS为图像传感器每个成像像素单元的物理尺度;PSR为虹膜识别光电成像系统的像素空间分辨率;虹膜识别光电成像系统的光学空间分辨率OSRI(opticalspatialresolutionofimageofplane)在像方平面应该满足:在调制传递函数60%(MTF=0.6)时,1/(4*PS)≤OSRI≤1/(2*PS)lp/mm(线对每毫米)。所述的前置光电成像系统具有以下光学成像要求:前置光电成像系统的成像波长WI满足:400nm≤WI≤700nm或400nm≤WI≤650nm前置光电成像系统的聚焦工作物距WD满足:30cm≤WD≤100cm。前置光电成像系统的像素空间分辨率PSR(pixelspatialresolution)应该满足:PSR≤4pixel/mm;前置光电成像系统的光学放大倍率OM(opticalmagnification),应该满足:OM=PS*PSR其中所述的:PS为图像传感器每个成像像素单元的物理尺度;PSR为前置光电成像系统的像素空间分辨率;前置光电成像系统的光学空间分辨率OSRI(opticalspatialresolutionofimageofplane)在像方平面应该满足:在调制传递函数60%(MTF=0.6)时,1/(4*PS)≤OSRI≤1/(2*PS)lp/mm(线对每毫米)。本发明的前置光电成像方法,包括以下步骤:1.处理器芯片109控制LED电流驱动器108驱动LED照明光源106(106RGB)产生RGB成像波长连续或同步脉冲模式的辐射;2.经过RGB成像波长过滤和物理折射聚焦,图像传感器105的成像阵列独立接收3个RGB波长通道进行全局帧模式或滚动行模式复位积分(曝光)和读出;3.处理器芯片109分别获取成像阵列中3个相同RGB波长通道输出的成像图像原始RAW像素数据I{YR,YG,YB};4.处理器芯片109根据成像图像原始RAW像素数据I{YR,YG,YB}和像素单元光电转换关系,驱动图像传感器105和LED照明光源106及光学成像透镜102聚焦,实现反馈控制;5.处理器芯片109分别对成像阵列中3个相同RGB波长通道的原始RAW数据I{YR,YG,YB}像素之间进行内插重建;6.处理器芯片109输出内插重建后的图像I{r,g,b},每个像素分别包含RGB像素值。更进一步解释,以上所述的步骤中,图像传感器105的成像阵列为N*M个RGB—IR成像单元,3个相同RGB波长通道的原始RAW数据I{YR,YG,YB}每个分别为(N/2)*(M/2)个数量成像单元,每个相同波长通道的(N/2)*(M/2)个数量成像单元像素内插重建为N*M个数量像素。经过相同波长通道的(N/2)*(M/2)像素之间分别进行内插重建为N*M个数量像素,既每个像素分别包含RGB像素值。更进一步解释,以上所述的步骤4中像素单元光电转换关系包括公式EQ3,EQ4,EQ5。处理器芯片109可以根据图像传感器105输出的成像图像原始RAW像素数据I{YR,YG,YB}和对应的公式EQ3,EQ4,EQ5,反馈控制图像传感器105的复位积分时间,数字和模拟增益设置,反馈控制LED电流驱动器108驱动LED照明光源106的辐射强度,辐射角度位置,和辐射时间用于提高成像质量。光学成像透镜102聚焦通过计算成像图像原始RAW像素数据I{YR,YG,YB}的焦点质量值反馈控制实现前置光电成像系统聚焦工作物距WD至少30cm-100cm。可采用传统的自动对焦方法如焦点质量最大峰值迭代搜索。处理器芯片109可以通过光线传感器(根据使用的情况,可以在处理器芯片109上设置这样单独附加的一个器件,其设置的方法为现在的公知技术,或者还可以通过在市场上采购相应的处理器芯片实现这样的光线传感器功能)根据当前环境光亮度,控制LED电流驱动器108驱动LED照明光源106RGB的辐射强度。更进一步,本发明具体实施例1如果光线传感器根据当前环境光亮度判断大于500-1000lux以上时,关闭LED电流驱动器驱动LED照明光源106RGB。更进一步,处理器芯片109可以通过图像传感器105输出的成像图像原始RAW像素数据,执行图像传感器的光学黑电平校正BLC,RGB通道自动白平衡AWB,RGB通道色彩矩阵校正CCM,透镜边缘阴影校正lensshadingcorrection,自动曝光反馈控制AEC,自动增益反馈控制AGC等。虹膜识别光电成像方法,包括以下步骤:1.处理器芯片109控制LED电流驱动器108驱动LED照明光源106(106IR)产生IR成像波长连续或同步脉冲模式的辐射;2.经过IR成像波长过滤和物理折射聚焦,图像传感器105成像阵列独立接收IR波长通道进行全局帧模式或滚动行模式复位积分(曝光)和读出;3.处理器芯片109获取成像阵列中相同IR波长通道输出的成像图像原始RAW像素数据I{YIR};4.处理器芯片109根据成像图像原始RAW像素数据I{YIR}和像素单元光电转换关系,驱动图像传感器105和LED照明光源106及光学成像透镜102聚焦,实现反馈控制;5.处理器芯片109对成像阵列中相同IR波长通道的原始RAW数据I{YIR}像素之间进行内插重建;6.处理器芯片109输出内插重建后的图像I{ir}。更进一步解释,以上步骤中图像传感器105的成像阵列为N*M个RGB—IR成像单元,相同IR波长通道的原始RAW数据I{YIR}为(N/2)*(M/2)个数量成像单元,相同IR波长通道的(N/2)*(M/2)个数量成像单元像素内插重建为N*M个数量像素。经过相同IR波长通道的(N/2)*(M/2)像素之间进行内插重建为N*M个数量像素。更进一步解释,以上所述的步骤4像素单元光电转换关系包括公式EQ6。处理器芯片109可以根据图像传感器105输出的成像图像原始RAW像素数据和公式EQ6,反馈控制图像传感器105的复位积分时间,数字和模拟增益设置,反馈控制LED电流驱动器108驱动LED照明光源106的辐射强度,辐射角度位置,和辐射时间用于提高成像质量。光学成像透镜102聚焦通过计算成像图像原始RAW像素数据I{YIR}的焦点质量值反馈控制实现虹膜识别光电成像系统聚焦工作物距WD至少10cm-30cm。可采用传统的自动对焦方法如焦点质量最大峰值迭代搜索。更进一步,处理器芯片109可以通过图像传感器105输出的成像图像原始RAW像素数据,执行图像传感器的光学黑电平校正BLC,自动曝光反馈控制AEC,自动增益反馈控制AGC。作为本发明具体实施例1等同理解的简化举例,所述的虹膜识别光电成像方法,包括以下步骤:1.处理器芯片109控制LED电流驱动器108驱动LED照明光源(106IR)产生IR成像波长连续或同步脉冲模式的辐射;2.经过IR成像波长过滤和物理折射聚焦,图像传感器105成像阵列独立接收IR波长通道进行全局帧模式或滚动行模式复位积分(曝光)和读出;3.处理器芯片109获取成像阵列中相同IR波长通道输出的成像图像原始RAW像素数据I{YIR};4.处理器芯片109根据成像图像原始RAW像素数据I{YIR}和像素单元光电转换关系,驱动图像传感器105和LED照明光源(106IR)及光学成像透镜102聚焦,实现反馈控制;5.处理器芯片109对成像阵列中相同IR波长通道的原始RAW数据I{YIR}像素输出。上述简化举例作为本发明具体实施例1等同理解,所述的虹膜识别光电成像方法去除原始RAW数据I{YIR}像素之间进行内插重建步骤。本发明具体实施例1所述的内插重建采用成像阵列中相同波长通道像素之间4方向邻近像素原始RAW数据内插值算法。所述的内插值算法包括传统:最邻近内插Nearest-neighborinterpolation,线性内插Linearinterpolation,双线性内插bilinearinterpolation,双三次内插bicubicinterpolation,样条内插Splineinterpolation等。考虑到虹膜或人脸这类图像纹理具有自然连续性特征,基于图像像素间的相关性,本发明提供更快速有效的内插值算法,同时参考图5示意图,包括以下步骤:1.取样相同波长通道输出的成像图像原始RAW待插值像素数据4方向交叉间隔的像素值,分别为:当前方向的相同波长通道像素Pixel_SC,水平方向的相同波长通道的像素Pixel_SH,垂直方向的相同波长通道的像素Pixel_SV,对角方向的相同波长通道的像素Pixel_SD;相同波长通道像素4方向交叉间隔取样是因为成像阵列相同波长通道的像素单元是按照4方向2*2交叉间隔排列格式。2.计算待插值像素数据4个方向邻近像素插值,Pixel_C,Pixel_H,Pixel_V,Pixel_D:当前方向的像素Pixel_C=Pixel_SC;水平方向的邻近像素插值Pixel_H=(Pixel_SH+Pixel_SC)/2;垂直方向的邻近像素插值Pixel_V=(Pixel_SV+Pixel_SC)/2;对角方向的邻近像素插值Pixel_D=(Pixel_SH+Pixel_SV+Pixel_SD+Pixel_SC)/4;3.循环步骤1-步骤2,遍历计算成像图像中所有的原始RAW待插值像素数据,形成最终完整的内插图像数据。作为等同理解,上述4方向的邻近像素内插值算法同理可以推广内插值算法。本发明提供一种高安全性的虹膜防伪造物活体检测方法,具有对虹膜伪造物具有实时检测能力,用于保证生物识别本身的安全性,包括:应该采用具有以下方式之一或多种:1.RGB-IR成像波长辐射产生的生物组织光学活性特性实时检测方法;2.RGB-IR成像波长辐射产生的瞳孔虹膜直径变化率生物组织活性特性实时检测方法;3.RGB-IR成像波长辐射产生的角膜光学反射位置实时检测方法;4.眼球生理运动的活性特性实时检测方法。以上所述的实时检测为虹膜防伪造物活体检测方法流程处理速度大于图像采集帧速率;所述的图像采集帧速率为120fps,90fps,60fps,30fps,图像采集帧速率越高虹膜防伪造物活体检测方法可靠性越强。本发明的RGB-IR成像波长辐射产生的生物组织光学活性特性实时检测方法,包括以下步骤:1.处理器芯片109控制LED电流驱动器108驱动LED照明光源106(106RGB和106IR)实时产生RGB成像波长辐射和IR成像波长辐射;2.处理器芯片109实时获取图像传感器105成像阵列的RGB波长通道和IR波长通道输出的实时成像图像IRGB和IIR;3.处理器芯片109分别实时计算步骤2中RGB成像图像IRGB和IR成像图像IIR的对比度Csk,Csi,Cip,Csip,Ckip数据,分别为IRGB_Csk,IRGB_Csi,IRGB_Cip,IRGB_Csip,IRGB_Ckip,IIR_Csk,IIR_Csi,IIR_ip,IIR_Csip,IIR_Ckip;其中:Csk为皮肤区域与虹膜区域间的对比度;Csi为巩膜区域与虹膜区域间的对比度;Cip为虹膜区域与瞳孔区域间的对比度;Csip为巩膜区域,虹膜区域与瞳孔区域间的互对比度;Ckip为皮肤区域,虹膜区域与瞳孔区域间的互对比度;Csk=S(Iskin)/S(Iiris);Csi=S(Isclera)/S(Iiris);Cip=S(Iiris)/S(Ipupil);Csip=(S(Isclera)-S(Iiris))/(S(Iiris)-S(Ipupil));Ckip=(S(Iskin)-S(Iiris))/(S(Iiris)-S(Ipupil));Ipupil表示瞳孔区域像素;Iiris表示虹膜区域像素;Isclera表示巩膜区域像素;Iskin表示皮肤区域像素;所述的函数S为相应区域像素统计评估函数,所述像素统计评估函数采用的方法包括:直方图统计,频率统计,平均值统计,加权平均值统计,中值统计,能量值统计,方差统计,空间-频率域滤波器等;本发明的相应区域像素统计评估函数S不限于上述举例,其他方法应被等同理解。4.处理器芯片109分别实时计算RGB成像波长辐射和IR成像波长辐射的图像对比度活性变化率Fsk和Fsi,Fip,Fsip,Fkip;其中:Fsk=IRGB_Csk/IIR_Csk*100%;Fsi=IRGB_Csi/IIR_Csi*100%;Fip=IIR_Cip/IRGB_Cip*100%;Fsip=IRGB_Csip/IIR_Csip*100%;Fkip=IRGB_Ckip/IIR_Ckip*100%;5.根据RGB-IR成像波长辐射生物组织光学活性特性预设值,和步骤4中数据值Fsk,Fsi,Fip,Fsip,Fkip的活性对比度相应变化率,判断任一项或多项条件Fsk>300%,Fsi>300%,Fip>300%,Fsip>900%,Fkip>900%,实现实时检测虹膜活体状态。图6为本发明具体实施例1定义虹膜图像的对比度区域示意图。如示意图6标示所示,其中Isclera,Iiris,Ipupil,Iskin定义:1为瞳孔区域Ipupil表示瞳孔区域像素;2为虹膜区域Iiris表示虹膜区域像素;3为巩膜区域Isclera表示巩膜区域像素;4为皮肤区域Iskin表示皮肤区域像素;本发明具体实施例1所述的RGB-IR成像波长辐射产生的瞳孔虹膜直径变化率生物活性特性检测方法,包括以下步骤:1.处理器芯片109控制LED电流驱动器108驱动LED照明光源106(106RGB和106IR)分别实时产生不同强度dil,con和时间条件下的RGB和IR成像波长辐射,刺激瞳孔产生生物组织活性扩张和收缩;2.处理器芯片109分别实时获取图像传感器105成像阵列的RGB-IR波长通道输出的不同辐射时间及强度条件下实时成像图像Idil和Icon;3.处理器芯片109分别实时计算步骤2中成像图像Idil和Icon中虹膜图像的瞳孔与虹膜直径比ρ数据,分别为ρdil和ρcon;ρ=Dpupil/Diris,所述的Dpupil为瞳孔直径像素长度;所述的Diris为虹膜直径像素长度;4.处理器芯片109实时计算相应活性变化率Δρ=(ρdil-ρcon)*100%;5.根据不同强度和时间条件下的实时刺激瞳孔产生的生物组织活性扩张和收缩的预设值,和步骤4中数据值Δρ的相应活性变化率,判断Δρ>10%条件,实现实时检测虹膜活体状态。图7为本发明定义虹膜图像的瞳孔和虹膜直径示意图。如示意图7标示所示,其中Dpupil,Diris定义:所述的Dpupil为瞳孔直径像素长度;所述的Diris为虹膜直径像素长度;本发明所述的RGB-IR成像波长辐射产生的角膜光学反射位置检测方法,包括以下步骤:1.处理器芯片109控制LED电流驱动器108驱动LED照明光源106(106RGB或106IR)分别实时产生左侧Psrl,右侧Psrr及左右2侧Psrl&Psrr不同位置条件下的RGB和IR成像波长辐射,形成在不同位置的角膜光学反射点;2.处理器芯片109分别实时获取图像传感器105成像阵列的RGB-IR波长通道输出的实时成像图像Isr;3.处理器芯片109分别实时计算步骤2中成像图像Isr的角膜光学反射点位置数据Psr;4.根据LED照明光源106分别实时产生不同位置条件下的预设值,和步骤3中计算到的角膜光学反射点位置Psr,判断角膜光学反射点位置Psr是否符合相应LED照明光源位置条件:如LED照明光源位置为Psrl,应该符合Psr=Psrl;如LED照明光源位置为Psrr,应该符合Psr=Psrr;如LED照明光源位置为Psrl&Psrr,应该符合Psr=Psrl&Psrr;实现实时检测虹膜活体状态。图8为本发明定义虹膜图像的角膜不同位置的光学反射点示意图。如示意图8标示所示,其中Psrl,Psrr,Psrl&Psrr定义:所述的Psrl为LED照明光源产生左侧位置的角膜光学反射点;所述的Dsrr为LED照明光源产生右侧位置的角膜光学反射点;所述的Psrl&Psrr为LED照明光源产生左右2侧位置的角膜光学反射点。本发明的眼球生理运动的活性特性实时检测方法,包括实时检测眼球生理运动的产生的眼睑运动活性特性,包括以下步骤:1.处理器芯片109控制LED电流驱动器108驱动LED照明光源106(106RGB或106IR)实时产生RGB-IR成像波长辐射;2.处理器芯片109实时获取图像传感器105成像阵列的RGB-IR波长通道输出的实时成像图像Iem;3.处理器芯片109实时计算步骤2中成像图像Iem的眼球生理运动的产生的眼睑运动特性程度数据EM;其中:眼球生理运动的产生的眼睑运动特性程度EM定义为:EM=Visual_Iris/All_Iris*100%;All_Iris为成像图像Iem中虹膜全部面积区域的像素数量;Visual_Iris为成像图像Iem中眼睑运动形成的虹膜有效面积区域的像素数量;4.实时计算眼球生理运动的产生的眼睑运动特性程度EM的活性变化率值⊿EM;5.根据眼球生理运动的产生的眼睑运动特性程度的活性变化率预设值,和步骤4中计算到的眼球生理运动产生的眼睑运动特性程度数据EM的活性变化率值⊿EM,判断⊿EM>10%条件,实现实时检测虹膜活体状态。图9为本发明定义眼球生理运动的产生的眼睑运动特性程度的示意图。如示意图9标示所示,成像图像中虚线All_Iris表示虹膜全部面积区域的像素数量,实线Visual_Iris表示虹膜有效面积区域的像素数量。本发明所述的眼球生理运动的活性特性实时检测方法,包括实时检测眼球生理运动的产生的离轴斜视的活性特性,包括以下步骤:1.处理器芯片109控制LED电流驱动器108驱动LED照明光源106(106RGB或106IR)实时产生RGB-IR成像波长辐射;2.处理器芯片109实时获取图像传感器105成像阵列的RGB-IR波长通道输出的实时成像图像Ieg;3.处理器芯片实时计算步骤2中成像图像Ieg的眼球生理运动的产生的离轴斜视特性程度数据EG;其中:眼球生理运动的产生的离轴斜视特性程度EG定义为:EG=S_Iris/L_Iris*100%;S_Iris为成像图像Ieg中离轴斜视形成的虹膜短轴像素长度;L_Iris为成像图像Ieg中离轴斜视形成的虹膜长轴像素长度;4.实时计算眼球生理运动的产生的中离轴斜视特性程度EG的活性变化率值⊿EG;5.根据眼球生理运动的产生的离轴斜视特性程度的活性变化率预设值,和步骤4中计算到的眼球生理运动的产生的离轴斜视特性程度数据EG的活性变化率值⊿EG,判断⊿EG>10%条件,实现检测虹膜活体状态。图10为本发定义眼球生理运动的产生的离轴斜视生理运动活性特性程度的示意图。如示意图10标示所示,成像图像中S_Iris表示虹膜短轴像素长度,L_Iris表示虹膜长轴像素长度。本发明描述的具体实施例内容和技术特征,可以在相同或等同理解的范围内被实施,如成像波长范围变化,图像传感器变化,LED照明光源变化,光学滤光器变化,光学成像透镜变化,光路变换,器件替代也应被等同理解的。最后,还需要注意的是,以上列举的仅是本发明的若干个具体实施例。显然,本发明不限于以上实施例,还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形,均应认为是本发明的保护范围。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1