用于生成场景的输出图像的方法

文档序号:2757372阅读:140来源:国知局

专利名称::用于生成场景的输出图像的方法用于生成场景的输出图像的方法本申请为2008年4月8日提交的、申请号为200680037455.4、发明名称为“基于任务的成像系统”的专利申请的分案申请。相关申请的交叉引用本申请要求2005年9月19日提交的题为“大的间隔距离下的虹膜识别(IrisRecognitionataLargeStandoffDistance)”的第60/718,522号美国临时专利申请以及2006年3月6日提交的题为“具有波前编码的变焦透镜系统(ZoomLensSystemswithWavefrontCoding)”的第60/779,712号美国临时专利申请的优先权。本申请还是2005年9月13日提交的且共同未决的题为“虹膜图像捕获装置和相关系统(IrisImageCaptureDevicesandAssociatedSystems)”的第11/225,753号美国专利申请的部分延续申请。第11/225,753号美国专利申请要求2004年9月13日提交的题为“用于照相电话、数字照相机和个人数字助理的虹膜识别安全性(IrisRecognitionSecurityforCameraPhones,DigitalCamerasandPersonalDigitalAssistants)”的第60/609,445号美国临时专利申请的优先权。本申请还是2004年12月1日提交的题为“用于优化光学和数字系统设计的系统禾口方法(SystemandMethodforOptimizingOpticalandDigitalSystemDesigns),,的第11/000,819号美国专利申请的部分延续申请。第11/000,819号美国专利申请要求2003年12月1日提交的题为“用波前编码元件设计光学成像系统(DesigningOpticalImagingSystemswithWavefrontCodingElements),,的第60/526,216号美国临时专利申请的优先权。以上所述的每个专利申请的全文都通过引用并入本文。2004年3月25日提交的题为“用于在光学系统中修改场深度、色差容限和图像保真的机械可调的光学相位滤波器(Mechanically-AdjustableOpticalPhaseFiltersforModifyingDepthofField,Aberration-Tolerance,Anti-AliasinginOpticalSystems)”的第10/810,446号美国专利申请和2006年3月20日提交的题为“具有像素化空间光调制器的成像系统(ImagingSystemswithPixelatedSpatialLightModulators)”的第PCT/US06/09958号PCT专利申请的全文也特意通过引用并入本文。下列美国专利的全文也特意通过引用并入本文Cathey等人的题为“扩展景深光学系统(ExtendedDepthofFieldOpticalSystems)”的第5,748,371号美国专利、Dowski,Jr.等人的题为“波前编码相衬成像系统(WavefrontCodingPhaseContrastImagingSystems),,的第6,525,302号美国专利、Dowski,Jr.等人的题为“组合波前编码禾口振幅对比成像系统(CombinedWavefrontCodingandAmplitudeContrastImagingSystems),,的第6,873,733号美国专利、Dowski,Jr.等人的题为“波前编码光学器件(WavefrontCodingOptics)”的第6,842,297号美国专利、Dowski,Jr.等人的题为“波前编码变焦透镜成像系统(WavefrontCodingZoomLensImagingSystems),,的第6,911,638号美国专利、以及Dowski,Jr.等人的题为“波前编码成像系统(WavefrontCodedImagingSystems)”的第6,940,649号美国专利。美国政府权力根据美国陆军研究办公室授权给WakeForestUniversity(维克森林大学)的授权号为DAAD19-00-1-0540的转包合同,本文公开的实施方式中的一部分受到了政府的支持。美国政府具有本文的某些权利。
背景技术
:基于任务的成像系统的一个目的在于提供用于一个或多个信号处理任务的特定任务信息或图像数据。这种任务可包括生物虹膜识别、生物面部识别、用于访问控制的生物识别、用于威胁鉴别的生物识别、条形码阅读、用于装配线中的质量控制的成像、光学字符识别、生物成像、用于对象检测的汽车成像和自动装配中用于对象登记的基准符号识别。为了安全或访问的目的,上述生物识别技术例如可由基于任务的成像系统执行。作为一个实施例,当这种基于任务的成像系统的光学和数字部分提供足够详细并具有足够高的SNR(信噪比)的图像数据时,生物虹膜识别可提供非常精确的个人识别。已经知道,基于任务的成像系统的性能与成功完成任务所需的图像数据的SNR直接相关。而SNR又与成像系统的特性相关。影响系统性能的特性包括球面像差和其它像差、散焦、放大率的变化、景深、色差、对准容限、动态振动和温度变化。这些特性可使系统具有小于衍射受限系统的SNR的、特定任务的SNR。现有技术中描述的某些系统使用小孔径实现短距离的虹膜识别;例如,见R.Plemmons等人在2004年8月的Proc.SPIE上发表的“用于虹膜识别的计算成像系统(Computationalimagingsystemsforirisrecognition),,一文。然而,尽管这些系统对于短间隔距离是有效的,但是其使用小的透镜孔径,而小的透镜孔径会产生低的信号水平(即,低信噪比)和相对低的分辨率;因此这样的系统并不适合用于较长的间隔距离。
发明内容在一个实施方式中,用于获得与任务中使用的场景相关的数据的、基于任务的成像系统包括图像数据捕获装置,其用于(a)将来自所述场景的电磁能量的波前在空间频率范围上成像为中间图像,(b)修改所述波前的相位,(C)检测所述中间图像,以及(d)在所述空间频率范围上生成图像数据。所述基于任务的成像系统还包括图像数据处理装置,其用于处理所述图像数据并执行所述任务。所述图像捕获装置与所述图像数据处理装置协同工作,以使得在所述空间频率范围上,所述基于任务的成像系统的信噪比大于对所述波前不进行相位修改的基于任务的成像系统的信噪比。在另一个实施方式中,用于获得与任务中使用的场景相关的数据的、基于任务的成像系统包括至少一个光学元件,其用于(a)将来自所述场景的电磁能量波前成像为中间图像,以及(b)修改所述波前的相位;以及用于在空间频率范围上检测所述中间图像的检测器。所述至少一个光学元件配置用于与所述第一检测器协同工作,以使得在所述空间频率范围上,所述基于任务的成像系统的信噪比大于对所述波前不进行相位修改的基于任务的成像系统的信噪比。在一个实施方式中,所述任务选自以下各项中的至少之一生物虹膜识别、生物面部识别、用于访问控制的生物识别、用于威胁鉴别的生物识别、条形码阅读、装配线中用于质量控制的成像、光学字符识别、生物成像和用于对象检测的汽车成像。在另一个实施方式中,公开了一种用于生成由基于任务的成像系统的检测器捕获的场景的输出图像的方法。所述检测器包括多个像素,所述场景包括位于对象距离范围内的给定对象距离处的至少一个对象,所述对象距离由所述对象和所述基于任务的成像系统之间的距离限定。所述方法包括在空间频率范围内捕获所述场景的高分辨率图像;将所述高分辨率图像转化为所述场景的图像谱;确定所述基于任务的成像系统在所述对象距离范围内的散焦的光学传递函数;以及确定在所述检测器的所述多个像素上的像素调制传递函数。所述方法还包括将所述图像谱与所述光学传递函数和所述调制传递函数相乘,以生成所述场景的修改的图像谱;将所述修改的图像谱转化为所述场景的修改的图像;以及根据所述修改的图像生成所述输出图像。在另一个实施方式中,用于与基于任务的成像系统一起使用的方法包括将来自场景的电磁能量波前在空间频率范围上成像为所述基于任务的成像系统的中间图像;修改所述电磁能量的波前的相位;检测所述中间图像;以及基于所述中间图像,生成所述空间频率范围上的图像数据,以使得在所述空间频率范围上,所述基于任务的成像系统的信噪比大于不修改相位的基于任务的成像系统的信噪比。在另一个实施方式中,公开了一种用于优化基于任务的成像系统的方法,所述基于任务的成像系统用于获得对象距离范围内的、在任务中使用的场景的数据。所述场景包括位于对象距离范围内的给定对象距离处的至少一个对象,所述对象距离由所述对象和所述基于任务的成像系统之间的距离限定。所述方法包括1)确定所述基于任务的成像系统的目标信噪比;幻指定一组初始的光瞳函数参数和评价函数;;3)基于所述评价函数生成一组新的光瞳函数参数;4)计算所述对象距离范围上的信噪比;5)将所述信噪比与所述目标信噪比进行比较;以及6)重复步骤2)到5),直到所述信噪比在数值上至少等于所述目标信噪比。在另一个实施方式中,公开了在用于获得与在任务中使用的场景相关的数据的基于任务的成像系统中的改进。所述基于任务的成像系统包括至少一个光学元件以及检测器,所述光学元件用于将来自所述场景的电磁能量波前成像为空间频率范围内的中间图像,所述检测器用于检测所述中间图像并用于在所述空间频率上生成图像数据。所述改进包括相位修改元件,其用于修改所述波前的相位,以使所述基于任务的成像系统的信噪比大于不使用所述相位修改元件的基于任务的成像系统的信噪比。参照下文中结合以下附图进行的详细描述,可更好地理解本发明。图1示出了根据本发明的一种安全场景,其中可使用基于任务的成像系统;图2示出了根据本发明的一种安全场景,其中示出了共同操作的多功能的基于任务的成像系统;图3示出了根据本发明的一种安全场景,其中示出了共同操作的、多功能的基于任务的成像系统的非永久性装备;图4示出了根据本发明的一种安全场景,其中示出了手持式多功能的基于任务的成像系统;图5是人眼中包括用于生物识别的感兴趣的特征的一部分的图示;图6是人脸中包括用于生物识别的感兴趣的特征的一部分的图示;图7是将具有和不具有波前编码的成像系统捕获的图像进行比较的一系列2D条6形码;图8是将具有和不具有波前编码的成像系统捕获的图像进行比较的一系列灰度图像;图9是将具有和不具有波前编码的成像系统捕获的图像进行比较的一系列二进制图像;图10是不具有波前编码的成像系统捕获的、装配线上的对象的灰度图像;图11是具有波前编码的成像系统捕获的、装配线上的对象的灰度图像;图12示出了根据本发明的一种场景,其中可通过汽车成像使用基于任务的成像系统检测对象;图13是退色过的果蝇胚胎的图像,用于显示有丝分裂过程中的微管,其中示出了生物系统内感兴趣的空间频率可如何加强或维持用于成像和识别处理;图14示出了通过利用可滑动的光学元件配置和可变的波前编码而提供可变的光学功率的成像系统在第一和第二状态下的一对图解说明;图15是示出了根据本发明的基于任务的成像系统的框图;图16是根据本发明的适用于大间隔距离的虹膜识别的示例性波前编码元件的表面凹陷的等高线标绘图;图17是作为到用于虹膜识别的成像系统的间隔距离的函数的、对着虹膜的图像的像素数量的图形标绘图;图18是用于成像系统的、在间隔距离范围上散焦的波的数量的图形标绘图;图19是根据本发明的用于包括波前编码的成像系统的、模拟的经过焦点的标准化的PSF(点扩展函数)的一系列图形标绘图;图20是根据本发明的用于包括波前编码的成像系统的、模拟的经过焦点的MTF的一系列图形标绘图;图21是根据本发明的包括波前编码的示例性成像系统的极性MTF的等高线标绘图;图22是根据本发明的用于包括波前编码的成像系统的、在所有方向到+π)上均衡的、作为间隔距离的函数的、感兴趣的空间频率上的平均对比度的图形标绘图;图23是根据本发明的用于包括波前编码的成像系统的、在所有方向(-π到+π)上均衡的、作为间隔距离的函数的、感兴趣的空间频率上的平均SNR的图形标绘图;图M是根据本发明的、用于包括波前编码的成像系统的、用于处理由成像系统捕获的图像的滤波器的图形表示;图25示出了根据本发明的、用于生成模拟图像的过程的流程图,所述模拟图像与由包括波前编码的成像系统捕获的图像是可比拟的;图沈示出了用于对包括波前编码的基于任务的成像系统进行优化的系统的框图;图27示出了用于对包括波前编码的基于任务的成像系统进行优化的系统的过程的流程图;图观示出了由给定的成像系统观察到的原始图像、PSF和下采样图像的相对位置的一系列示意图四详细示出了一对关于下采样的变化原点的混叠的效果;图30示出了根据本发明的一系列模拟虹膜图像,其中并入了波前编码及相关处理的效果;图31示出了对于不具有波前编码的模拟成像系统,作为间隔距离O米到2.5米)的函数的汉明距离的图形标绘图;图32示出了根据本发明、用于并入了波前编码元件和相关处理的效果的模拟虹膜图像的、作为间隔距离O米到2.5米)的函数的汉明距离的图形标绘图,其说明了与不具有波前编码的系统相比,波前编码的存在提供了更宽的识别范围;图33是用于获得虹膜图像的实验设置的示意图;图34是根据本发明的、用于包括波前编码的成像系统的、实验获得的标准化PSF的一系列图形标绘图;图35是对应于图34所述的标准化PSF的、实验获得的标准化MTF的一系列图形标绘图;图36是包括波前编码的示例性成像系统的、实验获得的极性MTF的等高线标绘图;图37是用于包括波前编码的成像系统的、在所有方向到+π)上均衡的、作为间隔距离的函数的、感兴趣的空间频率上的实验获得的平均对比度的图形标绘图;图38是用于使用不具有波前编码的成像系统进行虹膜识别的、作为到虹膜的间隔距离的函数的汉明距离的图形标绘图;以及图39是根据本发明的用于使用包括波前编码的成像系统进行虹膜识别的、作为到虹膜的间隔距离的函数的汉明距离的图形标绘图。具体实施例方式WFC(波前编码)使得能够在大范围光学像差(包括散焦)上实现高质量的成像。例如,WCF可使成像系统能提供在大范围的间隔距离上聚焦的图像。在第60/609,445号美国临时专利申请和第11/225,753号美国专利申请中介绍了WFC和手持式装置与虹膜之间的短距离生物虹膜识别的一种组合。波前编码及相关方法(例如某些计算成像方法)可减少系统特性的某些效应,所述系统特性例如球面和高阶像差、散焦、放大、景深、色差、对准容限、动态振动和温度变化。在WFC中,以能够保持系统在这些特性大范围变化的情况下捕获图像数据的能力的方式,修改成像系统的光瞳函数。此外,WFC还能在提供将在特定的信号处理任务中使用的图像数据的同时,提供视觉上可接受的(例如对于观察人而言)图像。应该注意到,为了清楚地说明,附图中的某些元素不是按比例描绘的。图1示出了在其中可使用基于任务的成像系统的安全场景100。在本公开的范围内,成像系统可理解为照相机、照相机系统、一个或多个照相机及控制器、具有相关光学元件(透镜等)的照相机、和/或基于任务的成像应用所需的处理器(例如可选地配置有软件的处理器或计算机)的任意组合。在安全场景100中,对象160正从方向150(由箭头指示)向受控的入口点(例如门)110靠近。对象160必须通过在墙115内限定的三个不同的区域140、130和120到达入口点110。在区域120、130和140中的每个区域,都可布置有一个或多个成像系统,例如,区域120中的图像数据捕获装置125、区域130中的图像数据捕获装置135以及区域140中的图像数据捕获装置145。每个图像数据捕获装置可实现一个或多个功能。作为一种选择,全部的成像系统可实现相同的功能。每个图像数据捕获装置将来自该场景的电磁能量的波前成像为中间图像,修改该波前的相位、检测中间图像,并生成感兴趣的大范围空间频率上的图像数据。全部成像系统可实现的示例性功能是用生物测量的方法识别对象160。这种生物识别可包括虹膜识别和/或面部识别。同样,可选地,对象160可携带可由文本或条形码识别的鉴别的徽章或其它物品(未示出)。尽管在下文中根据对特定类型的电磁能量敏感的传感器(例如但不限于,IR(红外光)、UWR(长波红外光)、RGB(红绿蓝可见光)等)对安全场景100和图像数据捕获装置125、135和145进行了讨论,但是,本领域技术人员可以理解,图像数据捕获装置使用的电磁波谱的实际波长可以改变。例如,通常指定为顶系统的图像数据捕获装置可响应于可见光、OTR(近红外光)、丽IR(中波红外光)或UWR。成像系统还可设计为根据待执行的任务的需要,使用窄波带或宽波带。当对包括波长范围的电磁能量成像时,图像数据捕获装置125、135和145中的每一个都可包括适用于在波长范围的不同部分中成像和修改相位的成像和波前编码光学器件。当对象160远离成像系统时,认为对象160位于该成像系统的远场,例如当对象160在区域140中并由图像数据捕获装置125观察时。在远场中,对象160距离图像数据捕获装置的光瞳足够远,以使得由图像数据捕获装置125拍摄的对象160的图像几乎不存在波前像差误差。在这种情况下,可不必使用波前编码来扩展景深。然而,仍然可将波前编码并入到图像数据捕获装置中,以校正在高放大率下对图像数据捕获装置的操作可能引起的像差。例如,可将用于修改波前相位(即,波前编码)的调制元件集成到图像数据捕获装置中,以使得相对于不具有调制元件的基于任务的成像系统而言,具有调制元件的基于任务的成像系统中的一个或多个图像像差得以减小。如果不进行校正,这种像差可降低感兴趣的空间频率的SNR,而该SNR是成功地完成任务所必需的。在某些情况下,需要高放大率(即,放大)以从安全场景100的较大成像区域中选择用于识别对象160的区域(例如,眼睛或面部)在近距离下,对象160的图像的景深变得对波前像差误差非常敏感,并可受益于WFC的使用以在感兴趣的空间频率上获得识别所需的良好的景深和SNR。这种情况的一个实施例是当对象160进入到图像数据捕获装置(例如安全场景100中的图像数据捕获装置135)的2到4米内时。在这种情况下,为了对对象160进行生物鉴定,可要求图像数据捕获装置135追踪移动目标、自动调整放大率和景深、并维持在感兴趣的空间频率上识别所需的SNR。在对象160和图像数据捕获装置(例如成像系统125、135和145中之一)之间的中间距离上,可具有与近距离时相比更大的景深和更低的所需放大率。这些中间距离可要求中间等级的波前编码,以维持在感兴趣的空间频率上识别所需的SNR。成像系统145、135和125可连续地或并行地协同工作,以追踪、隔离对象160的面部或眼睛,然后生物地鉴别对象160。入口点110则可自动地响应于一个或多个成像系统145、135和125作出的允许对象访问的正面生物识别结果,而允许对象160访问。作为一种选择,入口点110可基于将对象160识别为威胁的负面生物识别,而拒绝其访问。图2示出了安全场景200,其中示出了共同操作的基于任务的多功能成像系统。多通道、多光学器件的成像系统210和220可为对象沈0的预览和斜视图提供安全场景200。成像系统210和220例如可为彩色可视电磁能量成像装置,例如RGB(三原色)和CMY(减色系统)成像器。可通过有线的(或无线的)路径290将成像系统210和220提供的预览信息传送到集中式的数据库、通信和控制系统270。控制系统270可包括用于与其它系统(未示出)相连的无线通信设备观0。作为成像系统(例如成像系统220)的替代或补充,控制系统270可直接控制访问,并可保持访问的记录,例如对象的时间标记记录。这些控制系统和/或成像系统还可包括数据存储单元,其用于存储例如访问记录和人眼可视图像的信息,并同时提供识别数据或其它输出。可使用预览信息来准备用于访问控制事件的询问系统。预览信息可包括但不限于这样的低分辨率图像数据,其中对象260已物理地定位但未被生物识别。预览信息例如可从成像系统210或220传送到包括成像系统230、240和250的多光学器件成像系统装配M5,用于例如进一步询问生物识别。成像系统230例如可为形成成像系统装配245的一部分的多通道成像系统,其可自我调节(例如,通过路径四0内部通信)以实现特殊任务。作为任务的一部分,成像系统230、240和250可通过路径290将图像数据在其相互之间传送。成像系统230例如可包括用于两个分离的电磁能量波段(例如RGB和LWIR)的光学器件。成像系统装配245还可包括以IR(对应于成像系统M0)和灰度级(对应于成像系统250)操作的传感器。图3示出了安全场景300,其中示出了共同操作的、多功能的基于任务的成像系统310、320和330的非永久性装备。RGB成像系统310、CMY成像系统320和顶成像系统330可共同操作,以生物地鉴定对象360。在示例性的实施方式中,成像系统310和320提供预览信息,而成像系统330实现虹膜识别。有线的(或无线的)路径390提供成像系统310、320和330之间的互连。无线通信设备380将成像系统与其它系统相连。例如由成像系统310,320和330、路径390和通信设备380形成的无线的、便携式的、多通道的、多光学器件的系统可用于例如临时安全的应用。图4示出了安全场景400的示意图,其中包括手持式基于任务的多功能成像系统410和420。成像系统410和420设置以观察对象460。成像系统410可为例如低价的手持式便携单通道部件(例如,足够低价以至于认为其可任意使用),并可用于不稳定的安全装备中。成像系统410还可允许通过无线通信配置480的无线通信。成像系统420可以是和无线通信配置480—起使用的用于识别和记录的手持式便携单通道设置。成像系统410和420可设计为轻便的、抗震的、并能忍受使用和存储条件下的极值温度。下面结合图5-15讨论根据本发明的基于任务的成像的多种应用。结合图5及图16-39详细讨论关于虹膜识别的、示例性的基于任务的成像应用。下文中讨论的关于虹膜识别的方法、过程和装置可适用于其它基于任务的成像系统的设计、优化和使用,例如结合图5-15讨论的系统,S卩,生物面部识别、用于访问控制的生物识别、用于威胁鉴别的生物识别、条形码阅读、用于装配线中的质量控制的成像、光学字符识别、生物成像和用于对象检测的汽车成像。作为基于任务的生物成像的实施例,图5中示出了人眼500的一部分。人眼500包括瞳孔区510、虹膜区520、睫状肌区530以及脉络膜区M0。众所周知,每个人的虹膜区520都是唯一的,并可用于高精度地识别每个人。虹膜区520包含这样的结构,其具有生物识别感兴趣的空间频率,使用波前编码可将这些频率选择性地增强。作为基于任务的生物成像的另一个实施例,图6中示出了人脸600的一部分。人的面部(即使是长相相同的双胞胎)都具有可用于生物识别的区别特征。这些特征例如头部的宽度610、眼睛的间隔620、眼睛的宽度630、鼻子的宽度640、嘴部的宽度650,这些特征可提供特定空间频率,这些频率可使用本公开的详细内容选择性地增强。W.Zhao等人在2003年12月的ACMComputingSurveysVol.35,No.4第399-458页发表的“面部识别文献调查(FaceRecognition=ALiteratureSurvey)”一文和Y.Zana等人2006年1月在ACMTransactionsonAppliedPerc印tion,Vol.3,No.1上发表的“基于极性频率特征的面部识别(FaceRecognitionBasedonPolarFrequencyFeatures),,一文中提供了人脸识别主题的最新调查。除了生物成像之外,其它的基于任务的成像问题可受益于包括用于增强特定空间频率的波前编码的成像系统。这种基于任务的成像问题的实施例是条形码阅读。ID(—维)和2D(二维)的条形码都具有图案结构,该图案结构具有规定的周期性并因此具有特定的空间频率。图7示出了一系列2D条形码,将具有波前编码的成像系统捕获的图像和不具有波前编码的成像系统捕获的图像进行了比较。图像710-714是从不具有波前编码的成像系统收集的。图像720-7M是从使用了波前编码的系统收集的。由包含波前编码的成像系统捕获的图像显示了少很多的模糊,并因此在到最佳焦距的大范围距离上保留了用于识别的感兴趣的空间频率。仍然参照图7,当讨论非人对象时,通常使用术语“到最佳焦距的距离(distancefrombestfocus)”替代例如“间隔距离(standoffdistance)”的术语。这两个术语之间的区别可理解为,“间隔距离”是绝对距离,而“到最佳焦距的距离”是相对距离。也就是说,可通过在最佳焦距上加上/减去超出/小于最佳焦距的距离,来确定用于非人对象的等价间隔距离。图像710和720是在最佳焦距收集的。图像711和721是在超出最佳焦距Icm处收集的。图像712和722是在超出最佳焦距2cm处收集的。图像713和723是在超出最佳焦距3cm处收集的。图像714和7M是在超出最佳焦距4cm处收集的。与用不具有波前编码的成像系统拍摄的图像710-714相比,图像720-7M显示了少得多的模糊,并因此在到最佳焦距的大范围距离上保留了用于识别的感兴趣的空间频率。图8和图9示出了同一系列图像的两个版本。图8中的一组图像800是灰度图像,图9中的一组图像900是二进制图像。比较这些图像可显示人的视觉和用于光学字符识别的成像之间的对比。人的视觉区分彩色和灰度。对于OCR(光学字符识别)而言,图像则被处理为二进制的黑白图像。与条形码类似,打印的文字也具有特定的空间频率,该频率与字体、字体大小和打字机字体相关。图像810-812和910-912是使用不具有波前编码的成像系统收集的。图像820-822和920-922是使用具有波前编码的成像系统收集的。每一列图像显示了在距最佳焦距不同距离处捕获的相关的相似图像。顶部一行图像810、820、910和920是在小于最佳焦距IOcm处收集的。中间一行图像811、821、911和921是在最佳焦距时收集的。底部一行图像812、822、912和922是在大于最佳焦距20cm处收集的。容易看到,尤其是在一组二进制图像900中可见,与由不包括波前编码的系统捕获的图像相比,由包括波前编码的成像系统捕获的图像显示了增强的与文字相关的空间频率。维持文字字符的空间频率可提供更高可能性的光学字符识别。图10和11还比较了使用不具有波前编码的成像系统获得的图像(图10)与使用具有波前编码的成像系统获得的图像(图11)。图10和11包括装配线上的对象的灰度图像1000和1100。对于将识别相似尺寸和形状的对象的机器视觉系统来说,高空间频率信息有利地被成像系统维持或增强。在图10所示的由不具有波前编码的成像系统捕获的图像1000中,中心区域1020被很好地聚焦,而区域1010和1030认为是未聚焦的,说明这些外部区域中的空间频率信息已丢失。相反,在图11所述的由包括波前编码的成像系统捕获的图像1100中,图像1100的全部区域都是聚焦的,并且相对于不具有波前编码的成像系统而言,空间频率信息已得到增强。图12示出了另一类型的基于任务的成像系统,通过在成像系统中包含波长编码,其可受益于增强或维持用于识别的感兴趣的空间频率。图12示出了基于任务的成像系统的应用的场景1200,其尤其用于通过在汽车上成像进行对象检测。在此实施例中,成像系统1240集成在汽车1230中。这类成像系统可使用例如NIR、IR或UWR电磁能量波长来提供夜间成像能力。场景1200包括在人行道1220的边界内行走的行人1210。成像系统1240可设计用于识别人行道1220,这样,在识别了人行道1220之后,成像系统则可确定行人1210是否出现在人行道上。系统1240识别人行道1220的能力的增加减小了汽车1230与行人1210接触的机会。人行道通常由着色的条纹或砖块或石头的插入排列表示。因此,尽管人行道1220具有由其构造带来的特定空间频率,但是仍然可在成像系统1240中包含波前编码,以维持或增强这些频率,从而帮助成像系统1240进行识别。可受益于增强感兴趣的空间频率的另一类基于任务的成像应用是生物成像。作为生物成像的实施例,图13是果蝇胚胎的荧光图像1300,其同步分裂的细胞核已退色,以显示有丝分裂过程中的微管。该图像已进行反向以便于观看。微管在图像中是多个小黑特征。微管是细胞的微小子部件,并且是直径为M到25纳米的长管。其形成细胞结构中称为细胞骨架的一部分。在有丝分裂过程中,微管动态地形成为束,以创建染色体在其上移动的有丝分裂纺锤体。示例性的有丝分裂纺锤体结构在框1310中示出。线状的纺锤体微管可使用光学显微镜分辨,并通过其特征结构而识别。微管提供细胞分裂的物理结构并传递细胞分裂的动态过程。微管的不适当的机能可导致染色体分隔或分离的缺陷。正确识别微管和其中的任何误差可向研究者提供关于有丝分裂的细节的信息。在例如在有丝分裂过程中用于监控微管的成像系统中增加波前编码可增强或维持感兴趣的空间频率,并有助于不规则微管的识别。如参照图1-4进行的讨论,可要求成像系统适用于多个不同的任务或情况。例如,可首先要求成像系统提供用于面部识别的数据,这种识别可仅需要有限的景深。稍后,可使用同样的系统用于虹膜识别,该虹膜识别需要更大的景深。作为一种选择,可要求成像系统不使用波前编码而捕获传统的(人眼可视的)图像。通过改变焦距(缩放能力)和改变应用的波前编码是用于实现这种可适应的成像系统的两个示例性方法。特别地,图14示出了通过利用可滑动的光学元件配置和可变的波前编码而提供可变的光学功率的成像系统的一对图解说明1400,所述可变的波前编码通过使用两个旋转相位滤波器而实现。在图解说明1402中,成像系统处于第一状态,且通过孔径1420将从对象1410反射或散发的电磁能量在检测器1470上成像为中间图像1465。根据该中间图像,检测器1470生成该对象中存在的空间频率范围上的图像数据1475(由箭头表示)。可滑动元件1430可与元件1460共同工作,以修改对象1410的放大率。附加元件1440和1450可为例如旋转相位滤波器,用于改变图像的波前编码。可滑动元件1430、附加元件1440和1450和/或元件1460对来自对象的电磁能量的波前进行相位调制(即,波前编码)。可通过DSP(数字信号处理)单元对来自检测器1470的图像数据进一步处理,然后由DSP输出期望的数据。作为一种选择,将来自1470的图像数据1475直接输出为数据1490。可由任一路径或者两个路径将数据1490输出。由DSP1480处理之后的数据1490可产生最后的人眼可视图像,而未由DSP1480处理过的数据1490可用于识别或其它任务。可由可滑动元件1430、附加元件1440和1450中的一个或多个提供电磁能量波前的相位调制,元件1460改变中间图像的特性以使成像系统1400的SNR大于不具有相位调制的成像系统的SNR。作为一种选择或补充,相位调制可配置以与DSP1480共同工作,从而,与其中不具有相位调制和数字信号处理器的相同的系统相比,可减小成像系统中的至少一个成像像差(例如,与温度有关的像差和与冲击有关的像差)。在图解说明1404中,成像系统处于放大和波前编码的第二状态。可滑动元件1430和旋转相位滤波器1450(由不同的阴影示出)相对于图解说明1402中相似的元件1430'和1450'来说位于不同的位置,从而生成不同的中间图像1465'、图像数据1475'和数据1490'。尽管结合旋转相位元件进行了讨论,但是可变的波前编码元件可根据反射的或投射的光学元件而设计以改变相位,所述光学元件例如液晶空间光调制器、可变形的反射器、液态透镜、液晶变化器、可滑动光学元件配置、滑动变化器装置、滑动孔径变化器、或者其它机电(即,DLP(数字光处理))或电光装置。根据具体应用,可需要电磁能量波前的相位变化范围为零到十个波或者更多个波。作为一种选择,可使用修改波前的振幅的光学元件来替代相位修改元件。此外,在基于任务的成像系统中可使用适应性系统,例如设计用于生物成像的系统。例如,如图13所示,利用显微镜对微管成像。在这种应用中,可需要在相同的成像系统内观察更大或更小的细胞结构(例如通过改变放大率)。此外,可使用波前编码以校正基于任务的成像系统中的成像像差。例如,可将用于修改波前相位(即,波前编码)的调制元件集成到图像数据捕获装置中,作为可滑动元件1430、附加元件1440和1450以及元件1460中的一个和多个中的至少一个,以使得与不使用调制元件的基于任务的成像系统相比,减少基于任务的成像系统中的一个或多个图像像差。图15是示出了基于任务的成像系统1510的框图1500。成像系统1510包括图像数据捕获装置1520和成像数据处理系统1530。示例性的成像系统例如为图2中的成像系统210和220以及与系统控制器270协同工作的成像系统装配对5。图像数据捕获装置1520可包括但不限于用于从场景捕获图像数据的装置、系统和处理。可包含在系统1520中的组件例如照射源、光学元件(例如反射、折射和全息元件)、相位修改元件(例如结合图16描述的相位修改元件)、可变光学元件(例如结合图14所述的可变光学元件)、检测器(例如传感器和照相机)以及可需要用来支持图像数据捕获装置的其它附属硬件。图像数据处理装置1530可包括但不限于用于对图像数据捕获装置1520从场景捕获的图像数据进行处理的装置、系统和处理。可包含在系统1530中的组件为基于照相机的处理器、系统控制器(例如图2中的270)、外部计算机、软件代码、操作系统、图像处理软件、波前编码滤波器设计、基于任务的软件程序以及用于记录图像数据的数据存储单元。在大间隔距离的虹膜识别的上下文中,可更清楚地理解在基于任务的成像系统(如上所述)中通过使用波前编码增强或维持感兴趣的空间频率的细节。在待成像的虹膜处于大间隔距离(例如大于2米)的情况下,在生物虹膜识别的实现中出现了一些困难。当待成像的虹膜位于距成像系统大于大约1米时,成像系统应该具有大的孔径,以1)提供高的空间频率的信息,以对虹膜的细节进行成像;以及2、捕获充足的光,以产生高质量的信号。增大成像光学器件的孔径导致了景深的减小,这样,当对象处于大的间隔距离时,波前编码的使用甚至更加有益。此外,对于大间隔距离应用来说,在感兴趣的空间频率范围和感兴趣的散焦范围上的高度调制是期望的。对于这种应用,可使用波前编码来增加调制(与不使用波前编码的情况相比)。在某些虹膜识别系统中可通过例如使用多个照相机来实现增加的视场和景深,所述多个照相机将全部成像体积分为多个较小的成像体积。在这种情况下,感兴趣的视场可使用机械装置(例如反射精或棱镜)转向一个或多个照相机。然而,这种机械装置可需要额外的功率和更多的维护、减小图像捕获处理的速度、并在捕获的图像中引入噪声。增大景深、视场和成像系统的分辨率有助于大间隔距离下的虹膜识别。尽管当前可用的虹膜识别成像系统可能不能同时提供大的视场和高分辨率,但是在成像光学器件中包含波前编码可提高这两方面的性能。虹膜识别系统可使用近红外的照射源,用于提高虹膜图像对比度。这些照射源的照明度应该在整个成像体积上保持在在安全水平,以防止对眼睛造成潜在的伤害。可改进虹膜识别系统的多种波前包括余弦形式、散焦面立方形式、高阶可分离形式和高阶不可分离形式。对于大间隔距离应用来说,在感兴趣的空间频率范围和感兴趣的散焦范围上的高度调制是期望的。示例性的基于任务的成像系统1510是IHONS1.1系统,其用于获得在虹膜识别任务中使用的关于场景的数据。特别地,在IHONS1.1系统中,图像数据捕获装置1520包括光学器件,其用于将来自场景的电磁能量波前成像为中间图像、修改该波前的相位(即,波前编码)、检测该中间图像、以及生成大范围空间频率上的图像数据。例如,图像数据捕获装置1520可包括一个或多个成像光学器件以及波前编码元件。作为一种选择,成像光学器件和波前编码元件可集成到单一的光学元件中,或者波前编码效应可分布在一个或多个成像光学器件上。同样,中间图像的检测和图像数据的生成可由单一的检测器实现,其用于将入射到其上的电磁能量转化为电子数据。此外,IHONS1.1系统的图像数据处理装置1530与图像捕获系统1520协同工作以解决由波前编码元件对波前的修改,并进一步实现虹膜图像识别的任务。下面,结合图16-39和大间隔距离下的虹膜识别任务详细描述IHONS1.1系统的细节。用于大间隔距离下的虹膜识别的WFC设计是一种由高阶不可分离的多项式函数,被指定为“IH0NS(虹膜高阶不可分离)”。这种设计提供了风险最小化和性能之间的折衷。IHONS设计与用于较短间隔距离下的虹膜识别的波前编码应用的“IH0S(虹膜高阶可分离)”设计具有相似性,所述IHOS设计例如R.Narayanswamy等人在Appl.Op.,vol.44,no.5,pp.701-712上发表的“扩展用于生物虹膜识别的成像体积(Extendingtheimagingvolumeforbiometricirisrecognition)”一文中所介绍的设计。IHOS设计特别地涉及用于波前编码的相位改变表面的使用,其中相位改变表面在数学上表示为Φ(χ,y)=exp{-j[f(χ)+f(y)]}公式1其中,f(χ)和f(y)是高阶多项式。尽管IHOS设计适用于小间隔距离下的虹膜识别,但是IHONS设计能够用少量的滤波器在操作间隔距离范围上实现WFC调制。表征IHONS设计的一种光瞳相位函数的数学描述是权利要求1.用于生成由基于任务的成像系统的检测器捕获的场景的输出图像的方法,所述检测器包括多个像素,所述场景包括位于对象距离范围内的给定对象距离处的至少一个对象,所述对象距离被定义为所述对象和所述基于任务的成像系统之间的距离,所述方法包括在空间频率范围内捕获所述场景的高分辨率图像;将所述高分辨率图像转化为所述场景的图像谱;确定所述基于任务的成像系统在所述对象距离范围内上散焦的光学传递函数;确定在所述检测器的所述多个像素上的像素调制传递函数;将所述图像谱与所述光学传递函数和所述调制传递函数相乘,以生成所述场景的修改的图像谱;将所述修改的图像谱转化为所述场景的修改的图像;以及根据所述修改的图像生成所述输出图像。2.如权利要求1所述的方法,其中所述生成步骤包括根据所述修改的图像形成调整大小的图像,以及根据所述调整大小的图像形成所述输出图像。3.如权利要求2所述的方法,其中形成所述调整大小的图像包括根据所述给定对象距离,将所述修改的图像下采样到最终分辨率。4.如权利要求3所述的方法,其中所述下采样包括不进行低通滤波而对所述修改的图像调整大小。5.如权利要求3所述的方法,其中所述下采样包括对于给定的下采样原点和下采样周期,处理所述修改的图像;以及通过在所述下采样周期内改变所述下采样原点,生成所述调整大小的图像的多重混叠版本。6.如权利要求2所述的方法,其中所述检测器具有散粒噪声和读噪声特性,且形成所述输出图像包括将所述散粒噪声和读噪声特性中的至少之一添加到所述调整大小的图像中。7.如权利要求2所述的方法,其中所述调整大小的图像包括至少一个边界线,所述方法进一步包括通过复制所述边界线填充所述调整大小的图像,以生成具有期望图像大小的填充图像。8.如权利要求1所述的方法,进一步包括用滤波器内核过滤所述输出图像,以生成滤波的图像。9.如权利要求1所述的方法,进一步包括从所述输出图像计算所述场景上的信噪比;修改所述成像系统的所述散焦的光学传递函数,以使所述输出图像中的信噪比大于从不修改所述散焦的光学参数的输出图像计算的信噪比。10.如权利要求9所述的方法,进一步包括在所述场景的方向范围上对所述信噪比进行平均,以生成平均信噪比;以及改变所述散焦的光学传递函数,以使所述输出图像中的所述平均信噪比大于从不改变所述散焦的光学参数的所述输出图像计算的信噪比。11.如权利要求10所述的方法,其中平均所述信噪比包括计算所述场景上的加权平均信噪比。12.如权利要求11所述的方法,其中计算所述加权平均信噪比包括根据选自信号强度的减少和不相干成像系统调制的减少的至少之一,作为所述给定对象距离的函数改变所述信噪比的加权因子。13.如权利要求11所述的方法,进一步包括将所述基于任务的成像系统的焦点设置在一定的位置,在对应于该位置的位置处计算出的、所述对象距离范围内的最小和最大对象距离的信噪比相等。14.如权利要求10所述的方法,其中所述改变操作包括修改所述基于任务的成像系统以实现以下形式的光瞳函数15.如权利要求1所述的方法,进一步包括对所述输出图像进行后处理,用于执行选自以下各项中至少之一的任务生物虹膜识别、生物面部识别、用于访问控制的生物识别、用于威胁鉴别的生物识别、条形码阅读、装配线中用于质量控制的成像、光学字符识别、生物成像和用于对象检测的汽车成像。全文摘要用于生成场景的输出图像的方法,场景由基于任务的成像系统的检测器捕获,检测器包括多个像素,场景包括位于对象距离范围内的给定对象距离处的至少一个对象,对象距离被定义为对象和基于任务的成像系统之间的距离,该方法包括在空间频率范围内捕获场景的高分辨率图像;将高分辨率图像转化为场景的图像谱;确定基于任务的成像系统在对象距离范围内上散焦的光学传递函数;确定在检测器的多个像素上的像素调制传递函数;将图像谱与光学传递函数和调制传递函数相乘,以生成场景的修改的图像谱;将修改的图像谱转化为场景的修改的图像;以及根据修改的图像生成输出图像。文档编号G02B27/00GK102147853SQ20101050008公开日2011年8月10日申请日期2006年9月19日优先权日2005年9月19日发明者保罗·E·X·西尔韦拉,小爱德华·R·道斯基,拉库马·纳拉岩斯瓦迈,格雷戈里·E·约翰逊,罗伯特·H·考麦克申请人:全视技术有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1