使用具有纵色像差的透镜单元的成像系统及其操作方法
【专利摘要】成像单元（100）的透镜单元（120）具有纵色像差的特征。根据成像场景，成像传感器单元（140）拍摄具有不同光谱含量的无色彩校正第一图像。强度处理单元（202）基于描述所述透镜单元（120）成像特性的信息，计算第一图像的宽频带亮度清晰度信息。色度处理单元（201）基于第一图像计算色度信息。合成单元（280）包括计算的色度和亮度信息，以便提供具有例如扩展景深的输出图像。成像单元（100）可以设置在例如照相机系统、数码显微镜或数码望远镜中。
【专利说明】使用具有纵色像差的透镜单元的成像系统及其操作方法
【技术领域】
[0001]本发明主要涉及后拍摄数字图像处理技术的领域。实施方式涉及包括具有纵色像差的无色彩校正透镜单元和用于后拍摄数字图像处理的处理单元的成像系统。另一实施方式讨论操作成像系统的方法，该成像系统包括具有纵色像差的无色彩校正透镜单元。
【背景技术】
[0002]F.Guichard 等人在 2009 年 SPIE 的电子成像学报“Extended Depth-of-Fieldusing Sharpness Transport across Colour Channels”讨论获得具有扩展景深的图像的方法，其中对于给定的对象距离，RGB图像的至少一个色彩平面包含对焦场景信息。OliverCossairt等人在2010年IEEE的计算摄影国际会议(ICCP)上发表的“Spectral FocalSweep:Extended Depth of Field from Chromatic Aberrations”提供了光谱聚焦扫描相机，其对利用大的纵色像差透镜获得的的二进制图像展开卷积，以便恢复具有扩展景深的图像。Shen C.H.和Chen HH在2006年消费电子国际会议(ICCE)上发表的“Robust focusmeasure for low-contrast images”建议使用用于评估聚焦和清晰度信息的离散余弦变换能量措施。
[0003]Manu Parmar 和 Brian Wandell 在 2009 年的学报上发表的 “ InterleavedImaging:An Imaging System Design Inspired by Rod-Con Vision” 建议米用具有获得灰度级图像的高感光单色像素集和获得彩色图像的低感光的三色像素集的成像架构。在低光照下，输出图像的空间信息主要从灰度级图像获取，而在光适应条件下，高感光像素饱和，输出图像仅从彩色图像获取。在中间视觉条件下，输出图像从彩色和灰度级图像两者获取，其中，通过使用距离函数和相似度函数，考虑到邻近的像素值，每个像素值被更新。相似度函数从各自彩色和灰度级图像提供信息，而灰度信息的权重由像斑中距离和相似性当前正被评估的邻近像素周围的饱和像素的分数确定。
[0004]S.Chung等人在2010年六月份的光学工程卷49 (6)上发表的“RemovingChromatic Aberration by Digital Image Processing”建议,通过在不显不色差的边缘上分析色彩的变化，消除色像差，用于评估色差信号的范围限制。违反范围限制条件的像素值被识别为由色像差产生的彩色条纹，并且用允许的值替代。
【发明内容】
[0005]本发明的目的是提供了一种用于以低计算力获得增强图像的增强成像系统。所述目的通过独立权利要求的主题实现。另一实施方式在从属权利要求中被分别限定。通过下列结合所附附图的实施方式的详细描述，本发明的细节和优势会变得更加明显。除非他们彼此排斥。否则，各个实施方式的特征可以被组合。
【专利附图】
【附图说明】
[0006]图1A示出根据本发明实施方式的成像系统的示意性框图，该成像系统包括图像处理单元和具有纵色像差的无色彩校正透镜单元。
[0007]图1B示出图1A的图像处理单元的示意性框图。
[0008]图2示出根据本发明另一个实施方式的成像系统的成像单元的示意性横截面视图。
[0009]图3A示出根据实施方式的亮度处理单元关于RGB图像的插入的细节的示意性框图。
[0010]图3B示出根据实施方式的亮度处理单元关于RGBIR图像的插入的细节的示意性框图。
[0011]图3C示出根据本发明的另一实施方式的亮度处理单元关于解卷积的细节的示意性框图。
[0012]图4A示出用于说明本发明的效果的光谱感光度的示图。
[0013]图4B示出用于说明本发明效果的常规亮度的PSF深度方差的示图。
[0014]图4C示出用于说明本发明效果的宽频带亮度的PSF深度方差的示图。
[0015]图4D示出用于说明本发明相关效果的色彩透镜组件的点扩散函数的示图。
[0016]图4E示出用于说明本发明相关效果的无色彩校正透镜组件的点扩散函数的示图。
[0017]图4F示出用于说明本发明效果的包括IR传感器的光谱感光度的示图。
[0018]图5A示出根据实施方式的关于色度处理单元生成深度映射的细节的示意性框图。
[0019]图5B示出根据有关IR传感器的实施方式的关于色度处理单元生成深度映射的细节的示意性框图。
[0020]图5C示出根据另一实施方式的合成单元细节的示意性框图。
[0021]图6A是示出根据实施方式的从RGBW图像获取输出图像的过程的示图。
[0022]图6B是示出根据实施方式的从RGBIR图像获取输出图像的过程的示图。
[0023]图6C是示出根据实施方式的从RGB图像获取输出图像的过程的示图。
[0024]图6D是示出根据实施方式的从RGBIR图像获取输出图像的过程的示图。
[0025]图7是指出根据本发明另一个实施方式的有关操作成像系统的方法的简化流程图。
【具体实施方式】
[0026]作为简化本发明文本阅读的约定，我们将可见光和红外(IR)照射光谱的任何子范围称为“色彩”。特别地，我们将IR称为色彩，即使这种命名方法从人类视觉的观点来看是不正确的。例如，仅仅透射IR光谱范围的照射的过滤器也被称为“滤色器”。
[0027]图1示出具有成像单元100的成像系统400。成像系统400可以是移动或静止照相系统，例如监控摄像机系统、用于诊断或外科手术方法的照相机、被嵌入在制造过程控制系统中的照相机、数码显微镜、数码望远镜，用于消费和专业应用的静止相机或摄像机以及用于远程控制或游戏应用的检测手势或姿势的照相机的一部分。根据其他实施方式，成像系统被集成在包括照相机系统的手持设备中，例如像蜂窝电话、个人数字辅助终端或音乐播放器。[0028]成像单元100包括光圈单元110，其被布置使得穿过光圈单元110的光圈的照射通过透镜单元120以及入射在成像传感器单元140上。光圈单元110还可以被安装在透镜单元120中，尤其是在透镜单元120的入瞳平面的位置。
[0029]透镜单元120可以为单透镜，微透镜阵列或包括多个透镜的透镜组件。透镜单元120具有纵色像差的特征，以及成像单元100不包含用于补偿纵向(轴)色像差以生成色彩校正图像的元件。例如，透镜单元120是由像玻璃或塑料的高色散材料形成的复合透镜，其中，折射率是入射光波长的函数，使得焦距随着波长的函数而变化。例如，透镜单元120使红外照射在第一焦平面Fik成像，可见红光在焦平面Fk成像，绿光在焦平面Fe成像以及蓝光在焦平面Fb成像。
[0030]根据实施方式，透镜单元120可以包括用于补偿球形和/或场相关像差的补偿元件，使得透镜单元120不呈现或仅呈现微不足道的球形和场相关像差。
[0031]成像传感器单元140包括多个像素传感器，其中，每个像素传感器包括将来自入射照射的光信号转换为电子信号的光电传感器。成像传感器单元140可以以数字形式输出包括成像传感器单元140的所有像素传感器的像素值的图像信号。
[0032]成像单元100可以提供灰度级图像和红外图像。根据其他实施方式，滤色器单元130可以被布置在透镜单元120与成像传感器单元140之间。滤色器单元130可以包括多个滤色器部件，其中，每个滤色器部件具有颜色过滤器，例如蓝色，红色，绿色，白色或IR(红外线)。每个滤色器部件可以被指定给一个单像素传感器，使得每个像素传感器接收特定颜色的图像信息。成像传感器单元140输出两个，三个，四个或更多不同的子图像，其中，每个子图像均包括与入射照射特定频率范围有关的图像信息。子图像中的一个可以描述成像场景的红外部分。
[0033]根据成像场景，成像传感器单元140拍摄不同光谱含量或成分的多个无色彩校正第一图像，例如，使用“红色”滤色器的“红色”图像，使用“蓝色”滤色器的“蓝色”图像，以及使用“绿色”滤色器的“绿色”图像。第一图像中的一个可以包括红外线范围的至少一部分，并且输出对应的图像信号。不同光谱含量的图像还可以包括具有重叠光谱含量的图像。例如，成像传感器单元140可以包括宽频带感光像素传感器，其被指定给具有对整个可见光谱近乎是透明的“白”滤色器的宽频带滤色器部件。在下文中，不同光谱含量的第一图像被称为色彩平面或图像，并且可以包括整个可见光谱信息的灰度级图像，或可以指的是在可见光范围之外，例如红外照射的光谱含量。
[0034]图像处理单元200接收包括亮度信息和色彩信息两者的色彩平面，并且计算已修改的输出图像信号。已修改的输出图像信号表示与第一图像相比已经被降低或增强景深的图像，或可以是重新聚焦的图像，或例如具有3D效果特征的图像。
[0035]已修改的图像例如可以作为表示彩色图像的一组数字值被存储在成像系统400的非易失性存储器300中。非易失性存储器310可以是照相机系统的存储卡。可供选择或附加地，已修改的图像可以在成像系统400的显示设备上显示，或可以经由有线或无线通信通道被输出到连接至成像系统400的另一个系统，或可以被提供给用于进一步处理包含在已修改输出图像中的信息的处理系统或应用软件。
[0036]图1B更详细示出图像处理单元200。根据亮度信息，强度处理单元202可以基于透镜参数，例如描述透镜单元120的成像特性的PSF (点扩散函数)，计算宽频带亮度清晰度信息(清晰强度信息)。宽度亮度与强度图像相对应。基于颜色信息，通过校正无色彩校正透镜单元120的使用产生的色像差，色度处理单元201可以计算色度信息。基于从亮度信息获得的结果清晰度信息以及基于从色彩信息获取的校正色像差信息，合成单元280合成已修改的输出图像。
[0037]根据实施方式，强度处理单元202包括亮度预处理单元250，其基于成像单元100的输出信号，例如色彩平面计算宽频带亮度信息。解卷积单元260使用描述透镜单元120的信息用于基于宽频带亮度信息计算宽频带亮度清晰度信息(清晰强度信息)。
[0038]图1A的成像传感器单元140使用像4X4或2X4RGBW马赛克图案的RGBW马赛克图案，可以提供例如其中的“白”色彩平面或灰度级图像。接着，至少在日光条件下，“白”色彩平面可以直接表示被提供给解卷积单元260的宽频带亮度信息，以及强度处理单元202基于“白”色彩平面计算清晰强度信息。
[0039]在成像传感器单元140不输出“白”色彩平面的地方，亮度预处理单元250可以基于色彩平面计算灰度级图像，以及可以向解卷积单元260提供已计算灰度级图像作为宽频带亮度信息。
[0040]虽然强度处理单元202与清晰强度信息相关，色度处理单元201与包括IR平面的色彩信息相关。由于透镜单元120的色像差，不同颜色在不同距离聚焦，其中，对用于透镜单元的普通色散材料来说，更短光波长比更大波长在更近的深度聚焦。通过测量每个色彩平面的焦距和相互比较已获得的焦距测量结果，色度处理单元201可以生成粗略深度。基于这个信息，色彩平面中的色像差可以被校正，以便消除色像差产生的渗色效应，其中所述色彩平面可以包括IR平面。
[0041]色度处理单元201可以包括预处理色彩平面(可以包括IR平面)的色度预处理单元210以及生成使深度值与颜色和IR平面的像素值关联的深度映射的深度估值器220。校正单元230校正主要源于使用无色彩校正透镜单元120而产生的色像差。例如，校正单元230分析不显示色像差的这种边缘的色彩变化，以用于评估色差信号的范围限制，识别由色像差产生的违背色彩边缘的范围限制的像素值，并且用允许的值替换这些像素值。根据另一个实施方式，校正单元230可以例如基于深度映射，在色彩平面之间交换清晰度信息。
[0042]图1的图像处理单元200的所有元件可以仅由硬件，例如集成电路、FPGA (现场可编程门阵列)、ASIC (专用集成电路)体现，仅由例如在计算机程序或微控制器存储器中可以被实施的软件体现，或由硬件和软件单元的组合体现。
[0043]图2指的是成像单元100的示意性横截面视图。成像单元100可以包括光圈单元110，其中，在曝光期间，例如，描述场景或物体的图像的可见光和/或红外照射穿过光圈单元Iio的光圈115和透镜单元120，并且入射在成像传感器单元140上。成像传感器单元140包括多个像素传感器145。每个像素传感器145包括将来自入射光的光信号转换为电子信号的光电传感器。像素传感器145可以形成在半导体基板上。像素传感器145可以被布置在一个平面或不同平面中。成像单元100可以包括滤色器单元130，其可以被布置在透镜单元120与成像传感器单元140之间或光圈单元110与透镜单元120之间。
[0044]例如，成像传感器单元140可以具有垂直整合的光电二极管结构，其具有在毗邻于半导体基板的基板表面形成的光电二极管下面几微米的基板部件中形成的深光电二极管。可见光在半导体基板的表面部件中被吸收，而红外照射更深穿透到半导体基板中。结果，深光电二极管仅接收红外照射。在另一个例子中，成像传感器单元140可以具有以阵列布置光电二极管的横向整合的光电二极管结构。
[0045]滤色器单元130可以被布置紧密接触成像传感器单元140，并且可以包括多个滤色器部件135，其中每个滤色器部件135具有例如绿色、红色、蓝色、红紫色、黄色、白色或IR(红外线)的滤色器。每个滤色器部件135被指定给一个单像素传感器145，使得每个像素传感器145接收特定颜色图像的信息。例如，滤色器部件135可以被布置在类似矩阵的列和行中。被指定给不同滤色器的滤色器部件135可以按常规的方式沿行方向和列方向交替。例如，形成2 X 2矩阵的每四个滤色器部件135可以被布置形成拜耳马赛克图案，其中，具有“绿色”滤色器的滤色器部件135被布置在2X2矩阵的第一对角线上，以及具有“红色”滤色器的一个滤色器部件135和具有“蓝色”滤色器的一个滤色器部件135被布置在2X2矩阵的另一个对角线上。通过拜耳马赛克图案，考虑到绿色传送人眼的大多数亮度信息，“绿色”滤色器的采样速率为“红色”和“蓝色”滤色器的两倍。
[0046]根据另一个实施方式，滤色器部件135可以在2X2单元矩阵中被布置作为第四滤色器形成具有“翡翠绿”的RGBE马赛克图案，具有一个青绿色和两个黄色和一个红紫色滤色器部件135的CYYM马赛克图案，或具有一个青绿色、一个黄色、一个绿色和一个红紫色滤色器部件135的CYGM马赛克图案，上述图案可以在滤色器单元130中被重复布置。根据另一个实施方式，滤色器单元130包括单元矩阵马赛克，其具有三个不同滤色器的三个滤色器部件以及没有滤色器特性并且对于可见光内的所有色彩是透明的一个透明滤色器部件。透明和色彩滤色器部件135可以被布置形成RGBW马赛克图案，例如4x4或2x4RGBW马赛克图案。
[0047]滤色器部件135的过滤范围不限于光谱的可见光部分。根据实施方式，滤色器130包括对红外照射而言为透明的至少一种滤色器部件类型。例如，滤色器130为RGBIR过滤器，其中，每个2X2单元矩阵包括一个红色、一个绿色、一个蓝色和一个红外部件135，并且所述单元矩阵通常被布置形成马赛克图案。四个色彩R、G、B和IR可以以任意排列在2X2单元矩阵内被布置。
[0048]红外照射可以穿过对滤色器部件135之间的红外照射是透明的部件133中的滤色器单元130。根据实施方式，滤色器130包括对红外照射是透明的至少一种滤色器部件类型。例如，滤色器130是RGBIR过滤器，其中每2X2单元矩阵包括一个红色、一个绿色、一个蓝色和一个红外滤色器部件135，并且所述单元矩阵通常被布置为形成马赛克图案。根据其他实施方式，由于滤色器部件135对红外照射的频率范围部分是透明的，滤色器单元130不包括被指定给深光电二极管的部件。
[0049]由于色像差，每个色彩图像，蓝色、绿色、红色和红外从近到远，分别在不同的距离聚焦，使得通过测量和比较四个图像平面中每个的清晰度，四层深的映射可以被计算。
[0050]每个透镜单元120可以被实现为包括多个分段的微透镜阵列。透镜单元120的每个透镜分段可以被指定给一个单像素传感器145和一个滤色器部件135。
[0051]根据其他实施方式，透镜单元120可以被实现为物镜，其包括适于使物体空间中的物体在传感器平面上形成图像的几个单像素透镜。由于色像差，每个色彩图像，蓝色、绿色、红色和红外线会在不同距离的另一个焦平面聚焦。在涉及具有两个或更多传感器平面的成像传感器单元的实施方式中，在用于红外照射的第一焦平面与被指定给可见光的任何第二焦平面之间的距离不和第一与第二传感器平面之间的垂直距离匹配。结果，还在这种情况下，当红外图像和可见光图像两者同时被拍摄时，第一和第二图像中的至少一个严重不聚焦。
[0052]图3A指的是亮度预处理单元250的实施方式，利用RGB拜耳马赛克滤色器，所述亮度预处理单元250从成像传感器单元140接收滤色第一图像，例如红色、绿色和蓝色的色彩平面。根据其他实施方式，成像传感器单元140可以是提供色彩平面青绿色、黄色、红紫色和绿色的CYGM传感器，或提供色彩平面青绿色、黄色和红紫色的CYYM传感器。
[0053]对于每个已接收的色彩平面，亮度预处理单元250可以包括内插单元252，由于对应的像素被指定给另一个滤色器，其将用于每个像素平面的那些像素值插入到没有可用像素值的色彩平面中。通过估算相同色彩平面的邻近像素值和/或其他色彩平面的相应像素丢失的像素值，内插可以被实现。成像单元100仅输出色彩通道的至少一些实施方式可以提供分别用于色彩通道中的一个、两个或全部的加权单元256。每个加权单元256乘以被指定具体值的色彩平面的像素值。重叠单元254可以将已内插和加权的色彩平面加起来，以便获得被提供给图1B的解卷积单元260的灰度级图像。根据涉及RGB传感器的实施方式，至少在日光条件下，以相同权重将红色、绿色和蓝色图像加起来，可以获得计算的宽频带亮度。
[0054]每个加权单元256可以是不可配置的，并且在对色彩平面赋以权重为“I”的权重时，可以是有线连接。另一个实施方式提供可配置的加权单元256和加权控制单元258，其将加权单元256的权重配置为亮度条件的函数或响应于用户输入。权重中的至少一个可以具有值“O”。根据实施方式，强度图像是包括白色和红外的传感器平面中所有可用光谱成分的加权平均。
[0055]根据实施方式，成像系统使用解释场景的光源类型的信息选择用于获得已计算宽频带亮度的权重。例如，对于至少一个特定光源类型，有关合适色彩权重的信息可以被存储在加权控制单元258中，其中所述色彩权重是预定义的，使得通过色彩感光度乘以其相应权重获得的乘以色彩成分总数的光源的光谱功率密度在可见光谱范围内是宽的和平坦的，以便实现深度不变PSF。加权控制单元258适于将照亮成像场景的光源分类为日光或人工光，例如白炽灯、萤光灯或LED灯。根据其他实施方式，加权控制单元258可以处理指示光源类型的用户命令。
[0056]根据另一个实施方式，成像单元100基于多层图像传感器，其中，像素传感器层被堆叠在透明的基板内，并且利用红色、绿色和蓝色光穿透不同深度的基板的事实，每个像素传感器层对进入光的另一个光谱范围是敏感的。在这样的情况下，在图像传感器提供全标度色彩平面时，例如在堆叠的像素传感器被使用时，内插单元252可以被忽略。
[0057]图3B指的是亮度预处理单元250的实施方式，利用RGBIR拜耳马赛克滤色器，所述亮度预处理单元250从成像传感器单元140接收滤色第一图像，例如红色、绿色、蓝色和红外线的色彩平面。根据其他实施方式，成像传感器单元140可以是提供色彩平面青绿色、黄色、红紫色、绿色和红外线的CYGMIR传感器，或提供色彩平面青绿色、黄色、红紫色和红外线的CYYMIR传感器。
[0058]在至少日光的条件下，通过把红色、绿色、蓝色和红外线图像的彩色图像以相同权重加起来，可以获得计算的宽频带亮度。[0059]图3C指的是解卷积单元260的实施方式。解卷积单元260接收例如向灰度级图像的宽频带亮度信息，以及利用描述透镜单元120的成像特性的信息来恢复清晰度信息。根据实施方式，利用描述图1的透镜单元120的成像特性的PSF，解卷积单元260对灰度级图像解卷积。点扩散函数可以被存储在存储器单元262中。解卷积子单元264执行解卷积，并且输出表示清晰强度信息的灰度级图像。
[0060]根据图3C的解卷积单元260的实施方式，存储器单元可以存储对焦PSF。根据其他实施方式，存储器单元262可以存储不同景深范围的几个点扩散函数，并且他们中的一个被选择，作为对相应用户请求的响应。例如，对焦PSF和对应于用户可选择的场景模式像“宏大”，“人像”或“风景”可以被提供，例如在PSF的深度不变不足够大的时候。
[0061]对于这样的具有宽频带频谱的物体的更大景深来说，产生的清晰强度信息近乎是深度不变。这是最真实的现实世界中的物体的情况。
[0062]图4A至图4E指的是解卷积过程的细节和效果。在上半部分，图4A示出RGB图像传感器的光谱感光度的第一曲线图。曲线422是被指定给“红色”滤色器的像素光谱感光度，曲线424是被指定给“绿色”滤色器的像素光谱感光度，以及曲线426是被指定给“蓝色”滤色器的像素的光谱感光度。在所有的曲线图中，光谱感光度被绘制为波长的函数。
[0063]在下半部分，图4A在左手侧示出用于说明“常规”亮度428的光谱感光度的第二曲线图，以及用于说明宽频带亮度429的光谱感光度的第三曲线图。照惯例，通过RGB到YUV的转换，亮度从RGB色彩平面获得，其中在YUV空间中，Y表示灰度级图像或亮度，以及UV表示两个不同色彩通道或色度，其中亮度以它密切表示由CIE (国际照明委员会)1931标准定义的视觉亮度功能的方式被定义。传统的亮度Y通过对红色信号赋以WR=0.299，蓝色信号赋以WB=0.114以及绿色信号赋以WG=0.587的权重，并且将三个加权操作的结果加起来获得。在第二曲线图中示出的常规亮度光谱感光度曲线428通过将这些权重施加到第一曲线图中的光谱感光度曲线422、424、426产生。
[0064]与此相反，宽频带亮度429根据主要对应于由全色传感器元件拍摄的黑白图像，或在日光条件下通过单色传感器拍摄的灰度级图像的实施方式计算，其中所述在日光条件下拍摄的图像具有宽频带特性。参考仅输出色彩通道的图像传感器，计算的宽频带亮度可以以类似于在HSL色彩空间中定义的强度被计算。根据涉及RGB传感器的实施方式，在日光条件下，以相同权重将红色、绿色和蓝色色彩图像加起来，获得计算的宽频带亮度。
[0065]在不是日光的照明条件下，色彩通道，例如红色、绿色和蓝色通道或红色、绿色、蓝色和IR通道的权重可以被选择，使得在成像系统给定的可用计算资源的情况下，最终的光谱感光度响应在可见光谱内尽可能宽和平坦的，以便固定深度不变的PSF，但至少比CIE1931标准所定义的视觉亮度功能更加平坦。例如，计算的宽频带亮度429在至少IOOnm或200nm的波长范围内是近乎平坦的，其中在平坦范围内，感光度改变不会超过10%或20%。根据另一个实施方式，最终光谱感光度响应的幅值在半个可见光范围内改变不会超过50%。
[0066]通过对拜耳传感器、RGB传感器、RGBIR传感器或CYGM、CYGMIR、CYYM或CYYMIR传感器的色彩通道去马赛克，并且以相等的权重将相应的像素值加起来，或通过将色彩通道加起来，其中所述色彩通道可以包括堆叠或多层RGB或GBIR传感器的IR通道，可以获得宽频带亮度。在其他照明条件下，权重可以被选择，使得他们考虑照亮图像被拍摄场景的光源，例如白炽灯、荧光灯或LED灯的光谱功率密度，使得产生的点扩散函数比利用相等权重获得的深度变量更少。
[0067]参考图4B，下半部分示出为真实透镜的光谱感光度曲线428估算的一维PSF系列402、404、406，其中所述光谱感光度曲线428是为图4B上半部分中的常规亮度给出。与此相反，图4C示出为真实透镜的光谱感光度曲线429估算的一维PSF系列412、414、416，其中，所述光谱感光度曲线429是为图4C上半部分中的宽频带亮度给出。每个单PSF描述相应的透镜装置对点源与透镜平面之间给定距离的点源的响应，其中所述透镜装置被规定在所述透镜平面中。PSF图从IOcm到无限远。
[0068]图4B和图4C示出了与常规亮度相比，宽频带亮度产生更大深度不变量PSF。更为具体地，在常规亮度的情况下，近距离的PSF改变更多。图4B和图4C指的是日光条件。在其他照明条件下，通过对每个色彩选择适当的权重，可以获得宽频带亮度。根据实施方式，在白炽灯光中，蓝色比绿色具有更多权重，以及绿色比红色具有更多权重，其中所述权重被选择，使得产生的亮度具有上述的“宽频带亮度”特性。
[0069]图4D简要示出用于常规透镜装置的一维PSF系列422、424、426，而图4E指的是无色彩校正透镜装置的一维PSF系列432、434、436。每个单PSF描述相应的透镜装置对点源与透镜平面之间给定距离的点源的响应，其中所述透镜装置被规定在所述透镜平面中。在两个图中的PSF比较示出，对于无色彩校正透镜装置，PSF彼此之间偏离的不同距离比色彩校正透镜装置的PSF之间偏离的距离明显更少。由于模糊在很宽的范围内保持深度近乎不变，虽然具有色像差的透镜装置引入模糊，利用推理的已知模糊内核的简单解卷积过程足以恢复清晰强度信息。根据实施方式，对应于对焦位置的PSF被选择用于解卷积。由于对焦位置是对称位置，并且无色彩校正透镜在近散焦位置和远散焦位置时的PSF变化类似并且缓慢，对焦PSF给出最佳的结果。
[0070]对于这样的具有宽频带频谱的物体的更大景深来说，产生的清晰强度信息近乎是深度不变。这是最真实的现实世界中的物体的情况。
[0071]在上半部分，图4F示出RGBIR图像传感器的光谱感光度的第一曲线图。曲线421是被指定给IR光谱感光度过滤器的像素的光谱感光度。曲线422是被指定给“红”滤色器的像素的光谱感光度。曲线424是被指定给“绿”滤色器的像素的光谱感光度。曲线426是被指定给“蓝”滤色器的像素的光谱感光度。在所有的曲线图中，光谱感光度被绘制为波长的函数。
[0072]在下半部分，图4F在左手侧示出，基于色彩平面红色、绿色和蓝色说明“常规”亮度428的光谱感光度的第二曲线图，以及用于说明从包括红外线的所有色彩平面产生的宽频带亮度430的光谱感光度的第三曲线图。在第二曲线图中示出的常规亮度光谱感光度曲线428通过将这些权重施加到第一曲线图中的光谱感光度曲线422、424、426产生。
[0073]与此相反，宽频带亮度430根据主要对应于由全色传感器元件拍摄的黑白图像，或在日光条件下通过单色传感器拍摄的灰度级图像的实施方式计算，其中所述在日光条件下拍摄的图像具有宽频带特性。参考仅输出色彩通道的图像传感器，计算的宽频带亮度可以以类似于在HSL色彩空间中定义的强度被计算。根据涉及RGBIR传感器的实施方式，在日光条件下，以相同权重将红色、绿色和蓝色色彩图像加起来，获得计算的宽频带亮度。
[0074]在不是日光的照明条件下，色彩通道，例如红色、绿色、蓝色和H红外线通道的权重可以被选择，使得在成像系统给定的可用计算资源的情况下，最终的光谱感光度响应在可见光谱内尽可能宽和平坦的，以便固定深度不变的PSF，但至少比CIE 1931标准所定义的视觉亮度功能更加平坦。例如，计算的宽频带亮度429在至少IOOnm或200nm的波长范围内是近乎平坦的，其中在平坦范围内，感光度改变不会超过10%或20%。根据另一个实施方式，最终光谱感光度响应的幅值在半个可见光范围内改变不会超过50%。
[0075]图5A指的是作为图1B的色度处理单元201的元件的深度映射估算器220。第一无色彩校正子图像或色彩平面可以被提供给保持用于下列操作的至少两个或所有色彩平面的存储单元222。
[0076]根据实施方式，利用例如DCT (离散余弦变换)，深度映射单元224比较临时存储在存储单元222中色彩平面之中的相对清晰度信息。例如，在色彩平面中给定位置的每个像素的邻域，通过计算局部梯度与平均梯度之间差异的归一化总和，可以测量色彩平面之间的相对清晰度。通过估算成像场景的子区域或像素的最清晰色彩平面，深度映射单元224可以生成向每个像素或每组像素指定距离信息的深度映射。根据实施方式，哈达玛变换被用于清晰度措施。哈达玛变换的结果类似于DCT的结果，但由于执行哈达玛变换只需要加法和减法，所以计算量更少。可供选择或附加地，可以使用其他已知的清晰度措施。
[0077]根据另一个实施方式，梯度在对数域中计算，由于对数域使深度估算独立于照明条件的小变化以及在不同色彩中的强度梯度的小变化，归一化步骤可以被省略。
[0078]深度映射可以被提供给图1B的校正单元230。校正单元230校正在色彩平面中的色像差。例如，基于在未示出色像差的边缘上的色彩变化，校正单元230评估色彩差异的范围限制，识别违背范围限制的像素，并且用允许的值替换这些像素的像素值。根据另一个实施方式，校正单元230可以使用被包括在深度映射中的信息，以便提供校正的色彩图像。例如，通过将用于相应图像区域的最清晰色彩平面的高频复制到另一个色彩平面，校正单元230可以执行清晰度迁移。例如，用于相应子区域的最清晰色彩平面的高通滤波版本可以被添加到色彩平面的每个已模糊子区域中。
[0079]图5B示出具有用于保持IR平面的附加存储单元222的深度映射估算器220。
[0080]图5C指的是合成单元280，其将清晰强度信息传输到由图1B的校正单元230输出的校正色彩图像中，以便获得例如具有扩展景深的已修改输出图像。根据实施方式，例如在色度信息处理期间，基于已获得的深度映射，合成单元280将清晰强度信息传输到校正图像中。例如，最清晰光谱成分的清晰强度信息被传输到未校正的光谱成分。根据另一个实施方式，基于深度映射和指示有关图片组成的用户请求的用户信息，合成单元280传输清晰强度信息。所述用户请求可以关注拍摄后焦距选择或焦点范围选择的实施。
[0081]根据涉及RGBW或RGBWIR图像传感器的实施方式，通过交错成像途径，合成单元280可以获得已修改的输出图像，其中，对于例如中型照明条件，输出图像从色彩图像和灰度级图像两者获取，其中所述色彩图像从色度路径获得，所述灰度级图像从亮度路径获得。对于每个色彩平面，通过距离函数和相似度函数的方式，基于邻近像素值，每个像素值被更新，其中所述相似度函数使用相应色彩图像和灰度级图像两者的信息，并且确定灰度级图像的信息的权重。例如，通过像斑中距离和相似度当前被评估的邻近像素周围的饱和像素的分数，权重可以被确定。
[0082]不同于常规途径，通过考虑无色彩校正透镜单元的成像特性的过程，例如通过透镜单元PSF对从成像单元获得的灰度级图像解卷积，获得与色彩图像结合的灰度级图像。[0083]根据涉及RGB或RGBIR图像传感器的其他实施方式，通过同样的交叉成像途径，合成单元280获得输出图像，其中用于相似度函数的灰度级图像可以通过对RGB信号到HSL(色调-饱和度-强度)空间的变换获得的光强度解卷积获得。光强度信号或在下面的RGB图像可以被预处理，以对应PSF更加深度不变的宽频带亮度信号。
[0084]图6A指的是基于输出R、G、B和W平面的RGBW图像传感器的实施方式(602)。在亮度路径中，W平面可以直接给出宽频带亮度信号，或可以被预处理，以表示宽频带亮度信号(650)。利用所述透镜单元的PSF，所述W平面被解卷积(660)。初始的R、G、B平面被提供给色度路径(610)。在R、G、B平面中的色像差被补偿(630)。深度映射可以从初始R、G、B平面获取(620)，并且被用于补偿或校正R、G、B平面中的色像差。解卷积的W平面被校正的R、G、B平面分别交织(680)。包括已修改RGB平面或等效信息的已修改色彩图像被输出(690)。
[0085]图6B指的是基于输出R、G、B、IR和W平面的RGBWIR图像传感器的实施方式(602)。在亮度路径中，W平面可以直接给出宽频带亮度信号，或可以被预处理，以表示宽频带亮度信号(650)。利用所述透镜单元的PSF，所述W平面被解卷积(660)。初始的R、G、B、IR平面被提供给色度路径(610)。在R、G、B、IR平面中的色像差被补偿(630)。深度映射可以从初始R、G、B、IR平面获取(620 )，并且被用于补偿或校正R、G、B、IR平面中的色像差。解卷积的W平面被校正的R、G、B、IR平面分别交织(680)。包括已修改R、G、B、IR平面或等效信息的已修改色彩图像被输出(690)。
[0086]图6C指的是基于输出R、G和B平面的RGB图像传感器的实施方式(602)。所述R、G、B平面可以被预处理，例如被变换为HSI空间(650)，从而获得色调值、饱和和光强度(652)。利用透镜PSF，所述光强度被解卷积(660)。初始的R、G、B平面可以被提供给色度路径(614)，或利用反向HSI变换，从HSI值重新计算R、G、B平面(610)。在R、G、B平面中的色像差被补偿(630)。深度映射可以从初始R、G、B平面计算(620)，并且被用于补偿或校正R、G、B平面中的色像差。解卷积的光强度被校正的R、G、B平面分别交织(680)。包括已修改RGB平面或等效信息的已修改色彩图像被输出(690)。
[0087]图6D指的是基于输出R、G、B和IR平面的RGBIR图像传感器的实施方式(602)。所述R、G、B平面可以被预处理，例如被变换为HSI空间(650)，从而获得色调值、饱和和光强度(652)。利用透镜PSF，所述光强度被解卷积(660)。初始的R、G、B、IR平面可以被提供给色度路径(614)。在R、G、B、IR平面中的色像差被补偿(630)。深度映射可以从初始R、G、B、IR平面计算(620)，并且被用于补偿或校正R、G、B、IR平面中的色像差。解卷积的光强度可以被校正的R、G、B、IR平面分别交织(680)。包括已修改R、G、B和IR平面或等效信息的已修改色彩图像可以被输出(690)。
[0088]图7指的是操作成像系统的方法。所述方法提供通过利用具有纵色像差特征的透镜单元，拍摄成像场景的至少两个无色彩校正第一图像，其中所述第一图像具有不同的光谱成分(702)，并且表示例如不同的色彩平面。通过第一图像，宽频带亮度清晰度信息(704)和色度信息(706)被计算。以计算的色度和宽频带亮度清晰度信息被结合，以提供输出图像(708)。
[0089]所述计算宽频带亮度信息可以包括，利用描述所述透镜单元的点扩散函数，对从无色彩校正第一图像中的至少一个获取的灰度级图像解卷积。所述计算色度信息可以包括，对由无色彩校正透镜单元的使用产生的色像差的效果补偿。利用基于色度和宽频带亮度清晰度信息两者的相似度函数，基于交织过程，所述结合色度和宽频带亮度清晰度信息可以被执行。
[0090]其中所述在色彩平面之间使用清晰度迁移的途径准确度仅仅取决于深度估算到更高程度的质量，本发明途径使用宽频带亮度通道已知的PSF，使得通过执行简单的解卷积，可以获得扩展的景深或其他效果。本发明途径还提供在色度通道中的色像差的校正，其中，由于人眼对色度信号畸变不像亮度畸变一样敏感的事实，剩下的小色彩人工制品不会使图像质量下降。
[0091]另一方面，涉及光谱焦点的途径扫描被包括在色彩平面中的松散的色彩信息，使得渗色的人工制品出现在最终图像中。在低计算力时，通过单独处理在第一阶段的彼此独立的宽频带亮度清晰度信息和色度信息，以及在第二阶段结合他们，本发明途径比以前的途径产生明显更好的结果，并且可感知地获得真实世界场景的更有意义的再现。
【权利要求】
1.一种成像系统，包括: 成像单元(100)，包括表现出纵色像差的透镜单元(120)和被配置为从成像场景中生成不同光谱含量的无色彩校正的第一图像的成像传感器单元(140)， 强度处理单元(202)，被配置为基于所述第一图像和描述所述透镜单元(120)的成像特性的信息，来计算宽频带亮度清晰度信息， 色度处理单元(201)，被配置为基于所述第一图像计算色度信息，以及 合成单元(280)，被配置为将所述色度信息和所述宽频带亮度清晰度信息结合在一起，以提供输出图像。
2.根据权利要求1所述的成像系统,其中， 所述成像传感器单元(140)被配置为输出灰度级图像，以及所述强度处理单元(202)被配置为基于所述灰度级图像计算所述宽频带亮度清晰度信息。
3.根据权利要求1所述的成像系统，其中， 所述成像单元(100)被配置为提供至少两个经滤色的第一图像， 所述强度处理单元(202)包括被配置为从所述至少两个经滤色的第一图像生成灰度级图像或强度函数的亮度预处理单元(250)，以及 所述强度处理单元(202)被配置为基于已生成的所述灰度级图像，计算所述宽频带亮度清晰度信息。·
4.根据权利要求2或3中任一项所述的成像系统，其中，所述强度处理单元(202)包括: 可控的加权单元(256)，每个加权单元(256)被配置为将可选的权重应用至所述第一图像中的一个，以及 加权控制单元(258)，被配置为响应于用户输入或所述第一图像的评估，选择用于所述加权单元(256)的权重。
5.根据权利要求2至4中任一项所述的成像系统，其中， 所述强度处理单元(202)包括被配置为通过用描述所述透镜单元(120)的点扩散函数对所述灰度级图像解卷积来计算所述宽频带亮度清晰度信息的解卷积单元(260)。
6.根据权利要求1至5中任一项所述的成像系统，其中， 所述色度处理单元(201)包括被配置为从所述第一图像生成深度映射的深度映射估算器(220)。
7.根据权利要求6所述的成像系统，其中， 所述色度处理单元(201)进一步包括被配置为校正所述第一图像中的色像差以从所述第一图像提供校正图像的校正单元(230)。
8.根据权利要求1至7中任一项所述的成像系统，其中， 所述合成单元(280)被配置为将来自所述宽频带亮度清晰度信息的清晰度信息传输到所述校正图像中。
9.根据权利要求7中任一项所述的成像系统，其中， 所述合成单元(280)被配置为基于所述深度映射将所述宽频带亮度清晰度信息的所述清晰度信息传输到所述校正图像中。
10.根据权利要求1至6中任一项所述的成像系统，其中，所述合成单元(280)被配置为交织从所述色度处理单元(201)获得的所述校正图像和从所述强度处理单元(202)获得的所述灰度级图像，其中，对于每个校正图像，像素值借助于距离函数和相似度函数而基于邻近像素值来更新，所述相似度函数使用来自相应校正图像和所述灰度级图像的信息并确定用于来自所述灰度级图像的所述信息的权重。
11.根据权利要求9所述的成像系统，其中， 所述合成单元(280)被配置为进一步基于用户请求来传输清晰度信息， 所述用户请求关注从包括3D效果实施、对焦距离选择和焦点范围选择的组中选择的一个或多个项。
12.根据权利要求1至11中任一项所述的成像系统，其中， 所述成像系统(400)被设置在照相机系统、数码望远镜或数码显微镜中。
13.一种操作成像系统的方法，所述方法包括: 利用具有纵色像差特征的透镜单元(120)拍摄成像场景的至少两个无色彩校正的第一图像，所述第一图像具有不同的光谱成分； 基于描述所述透镜单元(120)的成像特性的信息计算所述第一图像的宽频带亮度清晰度?目息， 计算来自所述第一图像的色度信息以获得校正图像，以及 利用合成单元(280)将所 述色度信息和宽频带亮度清晰度信息结合，以提供输出图像。
14.根据权利要求13所述的方法，其中， 计算所述宽频带亮度信息包括，利用解卷积单元(260)和描述所述透镜单元(120)的点扩散函数对从所述第一图像中的至少一个获取的灰度级图像解卷积。
15.根据权利要求13或14所述的成像方法，其中， 计算所述宽频带亮度清晰度信息包括，利用权重对所述第一图像加权，所述权重响应于照明条件来选择，使得由此产生的点扩散函数与在不同于日光的照明条件下使用相同权重获得的点扩散函数相比而为更小的深度变量。
16.根据权利要求13至15中任一项所述的成像方法，其中， 将所述色度信息和所述亮度信息结合包括，交织表示所述色度信息的所述校正图像和表示所述宽频带亮度清晰度信息的所述灰度级图像，其中，对于每个校正图像，像素值借助于距离函数和相似度函数而基于邻近像素值来更新，所述相似度函数使用来自相应校正图像和所述灰度级图像两者的信息并确定用于来自所述灰度级图像的信息的权重。
【文档编号】H04N9/04GK103430551SQ201280005368
【公开日】2013年12月4日 申请日期:2012年1月13日 优先权日:2011年1月14日
【发明者】穆罕默德·阿蒂夫, 穆罕默德·西迪基, 克里斯蒂安·翁鲁, 马库斯·卡玛 申请人:索尼公司