专利名称：采用多透镜和光圈单元的相机系统和成像方法
技术领域：
本发明涉及拍摄后数字图像处理技术。一个实施例涉及具有多个成像单元的相机系统，其中，每个成像单元包括镜头单元和光圈单元。进一步的实施例涉及操作相机系统的方法，其中，所述相机系统使用多个成像单元，每个成像单元包括透镜和光圈单元。
背景技术：
Hasinoff et al. , “ Multiple-Aperture Photography for High Dynamic Rangeand post-Capture Refocusing " , IEEE Transactions on Pattern Analysis andMachine Intelligence, Vol. l，No. 1，January 2009 描述了基于利用可变光圈按时间顺序拍摄的多幅图像生成HDR(高动态范围)图像的方法。F. Guichard et al.，〃 Extended Depth-of-Field using Sharpness Transport acrossColour Channels " , SPIE, Proceedings of Electronic Imaging，2009涉及获得具有扩大的景深的图像的方法，其中，对于给定的物距，RGB图像的至少一个颜色平面包含准焦场景信息。
发明内容
本发明的一个目的在于提供用于利用较低的计算量获得改善的图像的改善的相机系统。独立权利要求的技术方案实现了该目的。在从属权利要求中分别限定了进一步的实施例。由下面结合附图对于实施例的描述，本发明的细节和优点将变得更清楚。不同实施例的特征可以被组合，除非它们彼此不相容。
图1是根据本发明实施例的包含多个提供不同光圈尺寸的成像单元的相机系统的示意性框图。图2A是根据本发明的另一实施例的相机系统的两个成像单元的示意性横截面图。图2B是根据一种实施例的包含四个成像单元的布置的示意性俯视图。图3A是根据本发明实施例的包含高动态范围成像处理的相机系统的处理单元的细节的示意性框图。图;3B是根据其他实施例的包含超分辨率图像处理和过曝光补偿的相机系统的处理单元的细节的示意性框图。图3C是根据本发明的进一步实施例的涉及锐度转移(sharpnesstransport)的相机系统的处理单元的细节的示意性框图。图4是涉及根据本发明的另一实施例的操作相机系统的方法的简化流程图。
具体实施例方式图1示出了具有若干成像单元190的相机系统100。每个成像单元190包括光圈单元110和透镜单元120。每个光圈单元110被布置成使得通过光圈115的光通过相关的透镜单元120，其中，所述透镜单元120将光聚焦在成像传感器单元140上。每个成像传感器单元140包含多个像素传感器，其中每个像素传感器包含用于将来自入射光的光信号转换成电信号的光传感器。每个成像传感器单元140以数字化形式输出包含成像传感器单元 140的所有像素传感器的像素值的图像信号。根据一种实施例，相机系统100是灰度或黑/白相机系统。根据另一实施例，相机系统100提供颜色图像，其中，颜色过滤器单元130被布置在每个成像单元190的透镜单元 120和成像传感器单元140之间。每个颜色过滤器单元130可以包括多个颜色过滤器区，其中，每个颜色过滤器区具有过滤器颜色，例如蓝色、红色、绿色或白色。每个颜色过滤器区可以被分配给单个像素传感器，使得每个像素传感器接收特定颜色的图像信息，并且每个成像传感器单元140输出两个、三个、四个或更多个不同的图像子信号，每个图像子信号包含关于另一过滤器颜色的图像信息。相机系统100包括至少两个成像单元190，其中，成像单元190分别具有拥有不同光圈尺寸的光圈115的光圈单元110。相机系统100可以包括另外的成像单元190。所述另外的成像单元190中的一个或多个可以包含具有与上述第一两个成像单元190的光圈单元110相同的光圈尺寸的光圈单元。根据另一实施例，相机系统100的每个光圈单元110 具有相异的光圈尺寸。成像单元190可以被布置成使得它们中的一个提供参考图像单元，至少一个其他的成像单元190相对于该参考成像单元190沿第一方向位移，至少一个其他的成像单元190 相对于该参考成像单元沿第二方向位移，其中，第二方向垂直于第一方向。例如，相机系统 100包括偶数个成像单元190，其可以以行和列被矩阵状布置。根据一种实施例，相机系统 100包括四个成像单元190，其中，所有光圈单元110的光圈115的尺寸彼此不同。在图1 中，在图的顶部的成像单元190具有最窄的光圈115。光圈115的形状可以是圆形或近似圆形。根据一种实施例，光圈单元110被控制，使得光圈115在曝光时间段期间打开，在其余时间关闭。根据一种实施例，所有光圈单元110被同步控制，使得光圈115在重叠的时间段打开。例如，光圈115在相同的时间点被打开，并且保持打开相同的时间长度。根据另一实施例，光圈单元110被控制，使得对于所有成像单元190，曝光时间段开始于相同的时间点，其中，每个成像单元190的曝光时间段取决于其光圈尺寸。光圈单元110可以适于允许用于曝光的可调光圈尺寸。例如，光圈单元110可以被构造成使光圈115之间的面积关系在光圈115的全局调节期间保持不变。成像单元190输出表示初级图像的图像信号。成像单元190被构造成使得所有成像单元190的初级图像表示同一成像场景或对象的偏移版本。由此，初级图像中的一个可以被定义为参考图像，其他的初级图像则具有不同的偏移值，其中，偏移值描述了各个其他的初级图像相对于参考图像的位移。根据一种实施例，相对于参考图像，初级图像中的至少一个具有就第一方向而言的亚像素偏移，并且初级图像中的至少一个具有就第二方向而言的亚像素偏移，所述第二方向垂直于所述第一方向。根据一种实施例，偏移值不是像素分辨率的整数倍。每个偏移值可以是半个像素分辨率或沿相应方向的宽度，或者是相应的半个像素分辨率或宽度的奇数倍。
处理单元200接收这些初级图像，并且利用描述偏移值的信息和描述不同光圈尺寸的信息将初级图像合并或融合为输出图像。根据一种实施例，处理单元200包括预处理单元210，所述预处理单元210将包含于在窄光圈处得到的初级图像中的锐度信息转移到在较宽光圈处得到的初级图像中，用于获得经预处理的图像。根据一种实施例，处理单元200包含第一图像形成单元M0，所述第一图像形成单元240基于从初级图像或通过锐度转移由初级图像得到的经预处理的图像所获得的经偏移补偿的图像，执行高动态范围成像处理。对于偏移补偿，第一图像形成单元240可以从初级图像或经处理的初级图像估计经位移的图像，其中，所述位移由赋给各个初级图像或经预处理的图像的偏移值来指定。替代地或另外地，处理单元200可以包含第二图像形成单元沈0，所述第二图像形成单元260被配置来基于从初级图像或由初级图像得到的经预处理的图像所获得的经曝光补偿的图像，执行超分辨率成像处理。在执行超分辨率成像处理之前，补偿单元可以补偿在初级图像或经预处理的图像中由在不同的光圈尺寸下曝光导致的效应。高动态范围成像处理或超分辨率成像处理都可以输出输出图像，所述输出图像可以被存储在相机系统100的非易失性存储器310中，其可以被显示于相机系统100的显示装置上或可以被输出到与相机系统100连接的另一系统。处理单元200可以进一步包括光圈控制单元观0，所述光圈控制单元280控制光圈驱动器单元118，例如用于允许光圈单元 110的光圈115适用于不同的照明条件。图2A涉及两个成像单元190的示意性横截面图。每个成像单元190包括光圈单元110。在曝光时间段期间，通过光圈单元110的光圈115的光入射在透镜单元120上并通过透镜单元120，所述透镜单元120将场景或对象的图像聚焦到成像传感器单元140上。 每个成像传感器单元140包括多个像素传感器145。每个像素传感器145包含用于将来自入射光的光信号转换成电信号的光传感器。像素传感器145可被形成在半导体衬底中。根据一种实施例，每个像素传感器145接收白光图像信号。根据其它实施例，成像单元190中的全部或一些包含颜色过滤器单元130，所述颜色过滤器单元130可被布置在透镜单元120 和成像传感器单元140之间或光圈单元110和透镜单元120之间。每个颜色过滤器单元130可以包括多个颜色过滤器区135，其中，每个颜色过滤器区135具有过滤器颜色，例如绿色、红色、蓝色、品红色、黄色或白色。每个颜色过滤器区135 可以被分配给单个像素传感器145，使得每个像素传感器145接收特定颜色的图像信息。例如，颜色过滤器区135可以以行和列被矩阵状布置。分配给不同过滤器颜色的颜色过滤器区135可以以规则方式沿行方向和列方向交替。例如，形成2X2矩阵的每四个颜色过滤器区135可以被布置以形成Bayer马赛克图案，其中，其中具有过滤器颜色“绿色”的颜色过滤器区135被布置在2X2矩阵的第一对角线上，而具有过滤器颜色“红色”的一个颜色过滤器区135和具有过滤器颜色“蓝色”的一个颜色过滤器区135被布置在2X2矩阵的另一对角线上。利用Bayer马赛克图案，考虑到绿色颜色承载了对于人眼而言大部分的亮度信息，过滤器颜色“绿色”的取样速率是过滤器颜色“红色”和“蓝色”的取样速率的两倍。每个透镜单元120可以被实现为包含多个区段的微透镜阵列。透镜单元120的每个透镜区段可以被分配给一个像素传感器145和一个颜色过滤器区135。图2B是在曝光时间段期间图2A的四个成像单元190的俯视图。具有光圈单元110的成像单元190被布置成2X2矩阵。在曝光期间，光圈单元110的光圈115中的至少两个尺寸不同。根据一种实施例，所有光圈115具有不同的尺寸。根据另一实施例，在曝光期间，光圈115的一个真子集可以具有相同的光圈尺寸。光圈单元110可以是允许不同光圈尺寸的虹膜状机构。根据另一实施例，每个成像单元的光圈尺寸是固定的(例如利用沉积在透镜单元上的溅射和图案化的不透明层)，其中，另一机构实现用于限制曝光时间段的快门功能。图3A示出了用于图1的相机系统100的、允许高动态范围处理的处理单元200的第一图像形成单元240的细节。第一图像形成单元240可以接收由成像单元190输出的初级图像或通过锐度转移由初级图像得到的经预处理的图像。第一图像形成单元240可以包含偏移补偿单元对2，所述偏移补偿单元242在所接收的图像中基于已知的偏移值以及在使用经位移的图像时发生的光学失真，补偿图像之间的偏移。偏移补偿单元242可以还补偿全局移动并校正失真。偏移补偿单元242可以执行亚像素移动补偿，以输出在不同光圈尺寸下获得(因此具有不同的景深和曝光值范围)的同一场景的若干个准全等图像。高动态范围计算单元 249由上述多个准全等图像生成高动态范围输出图像。如图1中所示的具有图3A的第一图像形成单元240的相机系统100同时拍摄多个图像，使得在相机系统或图像场景中都不或几乎不发生随机移动。不需要或几乎不需要移动估计和补偿来允许图像用于高动态范围图像形成。相反，使用顺序图像拍摄的传统方法需要移动估计和补偿。但是，传统移动补偿是基于具有相同景深范围的图像的，而初级图像具有不同的景深范围。可以节省计算工作量。利用图3A的图像形成单元240和图1的成像单元190，相机系统100可以在单次拍摄中以不同的光圈设置以及彼此之间存在亚像素偏移的情况下拍摄多个图像。因为所有的图像在同一时刻获取，所以不需要移动估计并且所拍摄的图像之间的亚像素偏移由成像单元190的透镜单元120之间的已知距离设定。图;3B示出了用于图1的相机系统100的、允许超分辨率处理的处理单元200的第二图像形成单元260的细节。第二图像形成单元260可以基于经曝光补偿的图像执行超分辨率成像处理，其中经曝光补偿的图像通过补偿由于在不同的光圈尺寸下曝光导致的效应由初级图像或从初级图像得到的经预处理的初级图像获得。根据一种实施例，第二图像形成单元260包含光圈匹配单元沈2，所述光圈匹配单元沈2由每个初级图像或经预处理的图像获得经预补偿的图像，使得所述经预补偿的图像具有相同的曝光水平。根据一种实施例，光圈匹配单元262使用亮度水平和由各个光圈尺寸限定的曝光值之间的线性关系，以使得初级图像的曝光水平相等。例如，曝光水平可以被降低到采用最窄的光圈得到的初级图像的曝光水平。根据一种实施例，光圈匹配单元沈2 将由具有比相机系统的所有成像单元中的最大光圈尺寸小的光圈尺寸的那些成像单元输出的初级图像的曝光水平提高到由具有最宽光圈的成像单元输出的初级图像的曝光水平。根据进一步的实施例，第二图像形成单元260还包括饱和检测单元沈4，所述饱和检测单元264检测初级图像或经预处理的初级图像中、特别是从具有宽光圈的成像单元输出的那些初级图像中由因为过曝光而饱和的像素传感器生成的那些像素值。关于这些像素的信息被丢失并且不能被恢复，使得相关的像素值必须被插值。根据一种实施例，由具有较宽的光圈的成像单元190生成的初级图像中的饱和像素值通过利用由具有最小光圈的成像单元190(其是最少曝光的)获得的初级图像来确认。例如，如果饱和值被认为是255，并且两个图像之间的差对应于两个EV (曝光值)， 这具有较高EV的图像具有4倍大的亮度。因此，较少曝光图像中具有像素值255/4的所有像素位置确认来自具有较宽光圈的成像单元190的初级图像中的饱和像素值位置。从饱和检测单元264输出的信息确认过曝光像素值，并且可用于改善由光圈匹配单元262输出的 fn息ο根据一种实施例，第二图像形成单元260包括估计单元沈6，所述估计单元266估计在较多曝光图像中的真像素值，这例如通过如下方式进行基于亮度和曝光值之间的线性关系从最少地曝光的图像中的相应像素值外推得到较多地曝光的图像中的真像素值。估计单元266对于初级图像中的饱和值输出估计值。可以设置修补单元沈8，其将从光圈匹配单元262输出的图像信息中的过饱和像素值用由估计单元266所输出的估计像素值来代替。根据一种实施例，估计单元266也可以使用来自饱和像素邻近的像素的像素信息。类似的方法也可用于高动态范围处理。第二图像形成单元260还包括超分辨率计算单元沈9，所述超分辨率计算单元沈9 对经饱和补偿的图像应用超分辨率算法，以输出高分辨率图像。图3B的实施例允许对在不同曝光水平下获得的并且具有不同景深范围的图像应用超分辨率算法。图3C涉及图1的处理单元200的关于从使用窄光圈尺寸得到的一个或多个初级图像向使用较宽的光圈得到的一个或多个初级图像的锐度转移已获得全准焦超分辨率图像或HDR图像的细节。根据一种实施例，处理单元200的预处理单元210包含高通滤波器 212，所述高通滤波器212从具有最窄光圈的成像单元190获得的初级图像提取沿两个正交方向的空间锐度信息。求和单元214将由高通滤波器212输出的空间锐度信息加到从具有比最窄的光圈宽的光圈的成像单元190输出的各个其他初级图像上。根据其它实施例，可以采用不同的权重应用来自多于一个的成像单元的锐度信息。处理单元200的所有元件可以仅仅由硬件实现，如集成电路、FPGA(现场可编程门阵列)、ASIC(专用集成电路)，或仅仅由软件实现(所述软件可以实现为例如计算机程序或在微控制器存储器中实现)，或者由硬件和软件的组合实现。图4涉及操作相机系统的方法。该方法包括采用在曝光期间具有不同光圈尺寸的至少两个成像单元拍摄相应数量的同一场景的初级图像，其中，初级图像是同一场景的偏移版本，并且拥有不同的景深和曝光值范围G02)。利用关于不同的曝光水平和偏移值的信息，将上述至少两个初级图像彼此融合或合并以获得输出图像004)，其中所述输出图像包含从所有初级图像得到的信息。该方法可以包括将来自从具有窄光圈的成像单元得到的初级图像的锐度信息转移到从具有较宽的光圈的成像单元得到的初级图像中，以获得经预处理的图像。转移锐度信息可以包括对从具有最窄光圈的成像单元得到的初级图像进行高通滤波以提取锐度信息，然后将所得到的锐度信息加到至少一个其他初级图像上。该方法可以还包括基于通过从初级图像或经预处理的图像估计的经位移的图像而从初级图像或经预处理的初级图像所得到的经偏移补偿的图像，执行高动态范围成像处理，其中，图像之间的位移由成像单元的硬件构造预定的偏移值限定。根据另一实施例，合并初级图像可以包括基于经曝光补偿的图像的超分辨率成像处理。通过补偿由在不同的光圈尺寸下曝光导致的效应，从初级图像或经预处理的初级图像得到经曝光补偿的图像。
权利要求
1.一种相机系统(100)，包括至少两个成像单元(190)，每个成像单元(190)包含透镜单元(120)和光圈单元 (110)，其中，每个光圈单元(110)被构造为在曝光时间段期间使得光通过光圈(115)，并且每个光圈单元(110)被布置成使得通过其光圈(11 的光通过相应的所述透镜单元(120)， 以及处理单元000)，其配置来将从所述至少两个成像单元(190)得到的初级图像合并成输出图像，其中，所述至少两个光圈单元(110)的所述光圈(115)具有不同的尺寸。
2.如权利要求1所述的相机系统，其中，所述成像单元(190)的数量是偶数，并且所述成像单元(190)被布置成矩阵。
3.如权利要求1所述的相机系统，其中，每个成像单元(190)还包括被配置来输出相应的所述初级图像的成像传感器单元 (140)。
4.如权利要求1所述的相机系统，其中，这些初级图像是一个图像场景的偏移版本。
5.如权利要求1所述的相机系统，其中，所述初级图像中的一个是参考图像，其他初级图像具有描述所述其他初级图像分别相对于所述参考图像的位移的不同偏移值。
6.如权利要求5所述的相机系统，其中，所述偏移值具有低于所述成像单元(190)的像素分辨率的亚像素部分。
7.如权利要求5所述的相机系统，其中，所述处理单元(200)包括预处理单元O10)，所述预处理单元(210)被配置来将来自从具有窄光圈(115)的成像单元(190)得到的初级图像的锐度信息转移到具有宽光圈(115) 的成像单元(190)得到的初级图像中，以获得经预处理的图像。
8.如权利要求7所述的相机系统，其中，所述预处理单元(210)包含高通滤波器(21 和求和单元014)，其中，所述高通滤波器(21 被配置来从具有最窄光圈的成像单元(190)获得的初级图像提取锐度信息，每个求和单元(214)被配置来将所述锐度信息加到所述其他初级图像中的一个上，以获得所述经预处理的图像。
9.如权利要求5所述的相机系统，其中，所述处理单元(200)包含第一图像形成单元O40)，所述第一图像形成单元(MO)被配置来基于经偏移补偿的图像执行高动态范围成像处理，每个经偏移补偿的图像是通过估计各个初级图像或经预处理的图像的位移图像而从一个所述初级图像或一个所述经预处理的图像获得的，所述位移由相应的偏移值指定。
10.如权利要求5所述的相机系统，其中，所述处理单元(200)包含第二图像形成单元O60)，所述第二图像形成单元(沈0)被配置来基于经曝光补偿的图像执行超分辨率成像处理，每个经曝光补偿的图像是通过补偿由在不同的光圈尺寸下曝光导致的效应而从一个所述初级图像或一个所述经预处理的图像获得的。
11.如权利要求10所述的相机系统，其中，所述第二图像形成单元(260)包含光圈匹配单元062)，所述光圈匹配单元( 被配置来基于亮度水平与由各个光圈尺寸限定的曝光水平之间的线性关系，由每个初级图像或经预处理的图像获得经预补偿的图像，每个经预补偿的图像具有相同的曝光水平。
12.如权利要求11所述的相机系统，其中，所述第二图像形成单元(260)包括饱和检测单元064)，所述饱和检测单元(沈4)被配置来在所述初级图像或预处理图像处理中检测由于过曝光导致的饱和像素值。
13.如权利要求12所述的相机系统，其中，所述第二图像形成单元(260)包括估计单元(沈6)和修补单元068)，其中，所述估计单元(沈6)被配置来对于所述饱和像素值估计像素值，所述修补单元(沈8)被配置来在所述经预补偿的图像中用所估计的像素值代替饱和像素值。
14.一种操作相机系统的方法，包括利用在曝光时间段期间具有不同光圈尺寸的至少两个成像单元(190)拍摄同一场景的相应数量的初级图像，其中，这些初级图像是所述场景的偏移版本并具有不同的景深范围和曝光值范围，以及通过使用处理单元(200)合并所述初级图像，以获得输出图像。
15.如权利要求14所述的方法，其中，合并所述初级图像的步骤包括通过使用预处理单元(210)将来自从具有窄光圈的成像单元(190)得到的初级图像的锐度信息转移到具有宽光圈的成像单元(190)得到的初级图像中，以获得经预处理的图像。
16.如权利要求15所述的方法，其中，转移所述锐度信息的步骤包括对从具有最窄光圈的成像单元获得的初级图像进行高通滤波，以提取所述锐度信息，以及将所述锐度信息加到其他初级图像中的至少一个上，以获得各个所述经预处理的图像。
17.如权利要求15所述的方法，其中，合并所述初级图像的步骤包括基于经偏移补偿的图像执行高动态范围成像处理，每个经偏移补偿的图像是通过由所述初级图像或经预处理的图像估计位移图像而从一个所述初级图像或一个所述经预处理的图像获得的，位移是由相应的偏移指定的，该偏移限定了相对于所述初级图像中定义参考图像的那个初级图像而言的相对位移。
18.如权利要求15所述的方法，其中，合并所述初级图像的步骤包括基于经曝光补偿的图像执行超分辨率成像处理，每个经曝光补偿的图像是通过补偿由在不同的光圈尺寸下曝光导致的效应而从一个所述初级图像或一个所述经预处理的图像获得的。
全文摘要
本发明涉及采用多透镜和光圈单元的相机系统和成像方法。一种相机系统(100)包括多个成像单元(190)，每个成像单元(190)包含透镜单元(120)和光圈单元(110)，其中，光圈单元(110)的光圈(115)在曝光期间具有不同的尺寸。在曝光期间以不同的光圈尺寸拍摄同一场景的多个图像，其中，这些图像是该场景的偏移版本并具有不同的景深和曝光值范围。处理单元(200)基于所得图像应用高动态分辨率和/或超分辨率方法。
文档编号H04N5/232GK102457682SQ20111034845
公开日2012年5月16日 申请日期2011年11月3日 优先权日2010年11月3日
发明者玛利克·瓦卡斯, 穆罕默德·西迪奎 申请人:索尼公司