专利名称：透镜和颜色过滤器布置、超分辨率相机系统及方法
技术领域：
本发明涉及电子照相术领域。一个实施例涉及采用超分辨率技术的具有多个透镜单元的相机系统。另一实施例涉及用于这样的相机系统的透镜和颜色过滤器的布置。进一步的实施例涉及操作采用超分辨率的相机系统的方法以及涉及制造这样的相机系统的方法。
背景技术：
常规的数字相机使用布置在传感器阵列上方的颜色过滤器阵列，使得每个图像像素与特定的颜色过滤器相关联，每个图像像素信号涉及一种颜色(例如红色、绿色或蓝色)。因此，指派给每种颜色的像素数量仅仅是全部可用图像像素的一部分。为了对于每种过滤器颜色获得完全分辨率图像，逆马赛克(demosaic)方法对于每个过滤器颜色由周围像素的像素值估计或内插丢失的像素值。Xin Li; “ Demosaicing by SuccessiveApproximation" ；IEEE Transactions on Image Processing，Vol. 14，No. 3， March 2005中描述了采用连续近似的逆马赛克方法。此外，在电子照相术领域中，已知复眼相机，其包括透镜阵列以获得在相片探测器上获得多个低分辨率图像，每个低分辨率图像表示同一场景的偏移版本。EP1，699，233A1涉及由多个低分辨率图像估计单个高分辨率图像的方法。Sina Farsiu et al. ， 〃 Multi-Frame Demosaicing and Super-Resolution ofColour Images “，IEEE Transactions on Image Processing，Vol. 15，No. 1， PP. 141-159, Jan. 2006涉及用于将超分辨率和逆马赛克合并到一种方法中的成像系统的一般模式。
发明内容
本发明的一个目的在于提供合并超分辨率和逆马赛克处理的改善的相机系统。独立权利要求的技术方案实现了该目的。在从属权利要求中分别限定了进一步的实施例。由下面结合附图对于实施例的描述，本发明的细节和优点将变得更清楚。不同实施例的特征可以被组合，除非它们彼此不相容。
图IA是用于讨论本发明的效果的包含透镜单元、颜色过滤器单元和像素单元的布置的示意性横截面图。图IB是图IA的布置的示意性顶视图。图IC是图示了对图IA和IB的布置所得到的低分辨率图像进行逆马赛克处理的示意图。图ID是图示了基于由图IC的逆马赛克处理所得到的低分辨率图像的超分辨率处理的示意图。
图IE是测试场景的参考图像。图IF是通过用于合并如参照图IC和ID描述的逆马赛克和超分辨率处理的常规方法由图IE的测试场景得到的图像，用于讨论本发明的效果。图2A是根据本发明的实施例的包含透镜和颜色过滤布置的布置的示意性横截面图。图2B是图2A的布置的示意性顶视图。图2C是图示了基于图2A和2B的布置所得到的单色低分辨率图像获得马赛克化图像的处理的示意图。图2D是图示了对图2C的马赛克化图像进行逆马赛克处理以获得多色高分辨率图像的示意图。图3示出了通过如图2C和2D所示的处理由图IE的测试场景所得到的多色高分
辨率图像。图4是根据另一实施例的相机系统的示意性框图。图5A是涉及操作相机系统的方法的简化流程图。图5B是涉及根据本发明的另一实施例的制造相机系统的方法的简化流程图。图6是用于图示根据本发明的实施例的偏移补偿和交错的处理的示意图。
具体实施例方式图IA涉及具有若干图像传感器单元905的图像传感器装置900。每个图像传感器单元905包括透镜单元910，该透镜单元910将场景或对象的图像聚焦在各个图像传感器单元910的像素单元930上。每个像素单元930包括多个像素传感器935。颜色过滤器单元920被布置在每个透镜单元910和相应的像素单元930之间。颜色过滤器单元920包括多个颜色过滤器区925，其中，每个颜色过滤器区925具有过滤器颜色，例如绿色、红色或蓝色。每个颜色过滤器区925被分配给一个像素传感器935，使得每个像素传感器935接收特定颜色的图像信息。图IB示出了过滤器颜色R、G、B向颜色过滤器区的典型分配以及相应的像素传感器935。四个图像传感器单元905a-905d(分别包含透镜单元910、颜色过滤器单元920和像素单元930)可以被布置成形成矩阵，其中每个图像传感器单元905a-905d接收原始场景的偏移版本。现在参考图1C，四个图像传感器单元905a-905d中的每一者对于每个过滤器颜色 R、G、B生成低分辨率图像980a-980d。每个低分辨率图像980a-980d由比在每个像素单元中可用的像素传感器更低数量的像素值来描述。利用逆马赛克技术，对于每个图像传感器单元905a-905d和对于每个过滤器颜色，基于例如周围像素值的估计分配给另一过滤器颜色的图像像素的像素值。结果，对于每个图像传感器单元905a-905d和每个过滤器颜色，得到向上取样(up-sampled)的单色图像，所述向上取样的单色图像的像素值的数量例如与每个像素单元具有的像素传感器相同。图IC的下半部分示出了单色的、“膨胀的”图像的四个所得的组982a-982d。这些单色图像组982a_982d表示同一场景的偏移版本。如图ID所示，单色图像组982a_982d通过超分辨率技术被合并，以对于每个过滤器颜色得到高分辨率图像，由该高分辨率图像，通过根据所使用的过滤器颜色选择的适当的叠加技术可以获得多色高分辨率图像984。图IE示出了原始图像，而图IF示出了通过由一组低分辨率图像重建全色高分辨率图线得到的图像，其中所述一组低分辨率图像是由具有布置成Bayer马赛克图案的颜色过滤器的透镜阵列相机捕获的。图IF示出了将超分辨率方法应用于经逆马赛克处理的低分辨率图像所产生的典型赝象(artefact)。例如，在区域993，992中的栅栏中的垂直桩(在原始的测试场景中显现亮米色)发生颜色相差，并且部分显现黄色和部分显现蓝色。区域 995中的水平格栅显现为由黄色和蓝色对角线条叠加。在区域991和994中，格栅和细护栏杆出现拉链状赝象和失真(aliasing)，其中沿边缘的像素显现为交替地位于或离开边缘。 像素传感器面积越小，在低分辨率图像中导致的失真效果越强。低分辨率图像中的失真效果导致在逆马赛克处理之后的赝象，如图IF所示。图2A涉及根据本发明的实施例的透镜和颜色过滤器组件100。透镜和颜色过滤器组件100包括多个透镜单元110和颜色过滤器单元120，其中，每个颜色过滤器单元120被分配给透镜单元110中的一个。每个颜色过滤器单元120包括多个颜色过滤器区125。颜色过滤器区125可以由分隔结构彼此分隔，或者可以彼此直接相邻以形成连续的、均一结构或层。每个颜色过滤器区125按波长范围过滤光，其中描述通过的光的波长范围限定了颜色过滤器区235的过滤器颜色。根据本发明的一些实施例，透镜和颜色过滤器组件100包括至少三种不同过滤器颜色的颜色过滤器区235，其中，每个颜色过滤器单元120是单一颜色的并且仅仅包含同一过滤器颜色的颜色过滤器区125。根据一种实施例，每个透镜单元110可以被实现为由多个微透镜115形成的微透镜阵列，其中，每个微透镜115被分配给一个颜色过滤器区125。垂直入射并通过一个微透镜115的光通过一个颜色过滤器区125。例如，微透镜阵列可以由氧化硅来形成。图2A进一步涉及具有多个图像传感器单元405的图像传感器装置400。每个图像传感器单元405包括一个透镜单元110、一个颜色过滤器单元120和一个像素单元230，使得每个像素单元230被分配给一个透镜单元110和一个颜色过滤器单元120。每个像素单元230包括多个像素传感器235，其中，每个像素传感器235包含用于将来自入射光的光信号转变为电信号的光传感器。像素传感器235可以被形成在半导体衬底中，并且透明层可以将颜色过滤器单元120与像素单元230和透镜单元110分隔。每个图像传感器单元405 包含具有相同过滤器颜色的颜色过滤器区125，使得每个图像传感器单元405传输单色的场景图像。具有透镜和颜色过滤器组件100的图像传感器装置400包含至少三个具有三种不同过滤器颜色的图像传感器单元405。颜色过滤器单元120是单一颜色的，使得它们中的每个将单色图像分别投射在像素单元230上。根据一种实施例，透镜和颜色过滤器组件100包含偶数个布置成矩阵的透镜单元 110和颜色过滤器单元120。例如，透镜和颜色过滤器组件100可以包含四个透镜单元110 和四个颜色过滤器单元120，其中，颜色过滤器单元120被布置成形成Bayer马赛克图案，其中包含具有过滤器颜色“绿色”的颜色过滤器区125的颜色过滤器单元120被布置在第一对角线上，而包含具有过滤器颜色“红色”的颜色过滤器区125的一个颜色过滤器单元120 和包含具有过滤器颜色“蓝色”的颜色过滤器区125的一个颜色过滤器单元120被布置在矩阵的另一对角线上。利用Bayer马赛克图案，考虑到绿色颜色承载了用于人眼而言大部分的发光信息，过滤器颜色“绿色”的取样速率是过滤器颜色“红色”和“蓝色”的取样速率的两倍。根据另一实施例，过滤器单元120被布置以形成具有"Emerald"作为第四过滤器颜色的RGBE-马赛克图案，具有一个青色、两个黄色和一个品红色颜色过滤器单元120的 CYYM马赛克图案，或者具有一个青色、一个黄色、一个绿色和一个品红色颜色过滤器单元的 CYGM马赛克图案。根据另一实施例，透镜和颜色过滤器布置100包括三个颜色过滤器单元 120和没有颜色过滤性能并对于所有颜色透明的透明单元。例如，透明单元和颜色过滤器单元120可以被布置以形成RGBW Bayer马赛克图案，或4X4或2X4RGBW马赛克图案。图2B涉及具有布置成2X2矩阵的四个图像传感器单元405a-405d的实施例， 其中，分配给各个颜色过滤器单元的过滤器颜色形成Bayer图案。此外，图像传感器单元 405a-405d中的相应像素传感器235参考被成像的场景中的参考点彼此相对偏移，使得每个图像传感器单元405a-405d成像来自稍微偏移的位置的场景。例如，由图像传感器单元 405a-405d捕获的图像彼此之间具有亚像素的偏移。图4涉及包含透镜和颜色过滤器布置100和像素单元230的相机系统450。探测单元220从每个像素单元230获得单色的、低分辨率的图像，其中，不同像素单元230的单色低分辨率图像是同一场景或对象的偏移版本。例如，对于包含布置成MXN矩阵的多个图像传感器单元的实施例，从同一列的图像传感器单元获得的图像可以相对于从分配给相邻列的图像传感器单元获得的图像沿第一方向偏移相同的偏移值。相应地，从分配给同一行的图像传感器单元获得的图像可以相对于从分配给相邻行的图像传感器单元获得的图像沿第二方向(其可以垂直于第一方向)偏移相同的量。偏移量可以是相应方向上的半个像素宽度，或相应半个像素宽度的奇数倍。第一计算单元240通过偏移补偿并交错像素单元的像素传感器输出的像素值，将从像素单元230获得的单色低分辨率图像合并为马赛克化图像。例如，从两个沿第一方向偏移的单色低分辨率图像，可以获得第一向上取样的图画，其中，每个奇数列从第一低分辨率图像得到，每个偶数列从第二低分辨率图像得到。从这样的沿垂直于第一方向垂直的第二方向偏移的低分辨率图像对中的两个，可以获得另一向上取样的图像，其中，每个奇数列由第一对的第一向上取样的图画提供，每个偶数列可由第二对初始图像的第一向上取样的图画定义。图6图示了例如涉及从四个矩阵状布置的像素单元获得的四个单色、低分辨率图像602的交错处理。四个图像602之间的偏移对应于上方和下方的图像602之间的半个像素位移，以及左手侧和右手侧的图像602之间的半个像素位移。四个图像602被示意性地示出在附图的顶部，其中，数字1-16被用于在下面标识相应的像素值。在第一步中，从每个低分辨率图像602，通过插入零值行和零值列，获得向上取样的图像604。例如，每个偶数列是只包含零值的零值列，每个偶数行是只包含零值的零值行。 其余的值从原始低分辨率图像602获得，其中，这些值得彼此相对位置被保持。在第二步中，对应其各自的偏移值偏移向上取样的图像604中的三个中的像素值，从而得到向上取样的偏移图像606。例如，像素值被从一列移到相邻的列，和/或从一行移动相邻的行。最终，向上取样的偏移图像606被叠加或迭加，从而获得向上取样的经偏移补偿的图像608。
图2C涉及由图4的第一计算单元204执行的处理。图2C在上半部分中示出了从图2B的四个图像传感器单元405a-405d获得的四个单色图像984a_984d。交错相应的像素值可以包括如在超分辨率技术所使用的偏移补偿。例如，单色低分辨率图像中的相应像素值985a-985d可以对应于马赛克化图像986的像素簇987。根据偏移量度由所有的像素单元的相应像素传感器输出到像素簇的成组像素值可以考虑周围像素传感器的像素值。像素簇987被分组成与像素传感器的矩阵对应的矩阵。在每个像素簇987中，分配给某一过滤器颜色的像素值被分组成一个矩阵，其马赛克图案可以对应于由颜色过滤器单元形成的颜色过滤器图案。例如，在颜色过滤器单元被布置形成Bayer马赛克图案的情况下，像素簇 987的像素值可也形成Bayer马赛克图案。回到图4，相机系统450还包括第二计算单元205，用于对图2C的马赛克化图像 986进行逆马赛克处理。逆马赛克处理可以包含对于每个过滤器颜色，基于相邻像素传感器的像素值内插丢失的像素值。所得的图像可以被存储在存储单元260中，例如作为表示三个高分辨率单色图像的值。图2D示出了逆马赛克处理。马赛克化图像987被转换为一组高分辨率单色图像 988，其中，图像再现单元可以通过根据选定过滤器颜色的叠加处理由该组高分辨率单色图像988得到图像对象的高分辨率多色图像。图3示出了由图4的相机系统450输出的图像。所得图像没有颜色误差，并且减少了失真和拉链状赝象的发生。可以使用任何逆马赛克方法来得到完整向上取样的高分辨率多色图像，例如使用双线性插值、中间过滤或统计建模。较之用于将逆马赛克技术与超分辨率技术组合的已知方法，计算误差要求更低。用于颜色过滤器单元的制造方法被显著简化， 因为所有颜色过滤器单元是单色的，这也使得由与马赛克颜色过滤器相关的制造问题导致的色差更小。上述的实施例的要素，例如图4的相机系统450的第一计算单元240和第二计算单元250可以以各种形式实现，例如仅仅由硬件实现，如集成电路、现场可编程门阵列 (FPGA)、专用集成电路(ASIC)，或仅仅由软件实现(该软件可以实现为例如计算机程序或在微控制器存储器中实现)，或者由硬件和软件的组合实现。图5A涉及操作相机系统的方法。该方法包括引导光通过被分配给至少三个不同颜色的三个单色颜色过滤器单元的至少三个透镜单元，从而得到不同颜色的至少三个单色低分辨率图像(502)。该至少三个单色低分辨率图像被融合成多色高分辨率图像(504)。透镜单元被布置成使得所述至少三个单色低分辨率图像被彼此偏移。将至少三个单色低分辨率图像合并成多色高分辨率图像可以包括通过包含偏移补偿的超分辨率技术将单色低分辨率图像融合成马赛克化图像。该方法可以还包括通过对于每个过滤器颜色基于相邻像素传感器的像素值来内插虚拟的像素值，对马赛克化多色图像进行逆马赛克处理。图5B涉及制造透镜和颜色过滤器组件的方法。该方法包括布置至少三个透镜单元和至少三个单色颜色过滤器单元，其中，所述多个颜色过滤器单元包括具有至少三个不同过滤器颜色的颜色过滤器区(552)。颜色过滤器单元是单色的，使得每个透镜单元被分配给至少三个过滤器颜色中的一个。计算单元被设置来利用偏移补偿和逆马赛克处理将来自颜色过滤器单元的至少三个单色低分辨率图像融合为多色高分辨率图像(554)。
权利要求
1.一种透镜和颜色过滤器组件(100)，包括至少三个透镜单元(110)；以及至少三个颜色过滤器单元(120)，每个颜色过滤器单元(120)被分配给所述至少三个透镜单元(110)中的一个并且包含多个颜色过滤器区(125)，其中，这些颜色过滤器区(125)具有至少三个不同的过滤器颜色，并且每个颜色过滤器单元 (120)是单色的。
2.如权利要求1所述的透镜和颜色过滤器组件，其中，每个透镜单元(110)包括微透镜阵列，所述微透镜阵列包含多个布置成矩阵的微透镜 (115)。
3.如权利要求1所述的透镜和颜色过滤器组件，其中，分配给所述透镜单元(Iio)中的一个透镜单元的每个颜色过滤器区(125)被布置成使得垂直入射在所述透镜单元(110)中的所述一个透镜单元上并经过所述透镜单元(110)中的所述一个透镜单元的光经过这个颜色过滤器区(125)。
4.如权利要求1所述的透镜和颜色过滤器组件，其中，透镜单元(110)的数量是偶数，并且所述透镜单元(110)被布置成矩阵。
5.一种相机系统，包括根据前述权利要求中任一项所述的透镜和颜色过滤器组件(100)；至少三个像素单元(230)，每个像素单元(230)被分配给所述透镜单元(110)中的一个透镜单元并包含多个被布置成矩阵的像素传感器(235)，其中，每个像素传感器(235)被分配给所述颜色过滤器区(125)中的一个颜色过滤器区。
6.如权利要求5所述的相机系统，其中，不同像素单元(230)中的相应像素传感器(235)彼此偏移。
7.如权利要求5所述的相机系统，其中，分配给所述颜色过滤器区(125)中的一个颜色过滤器区的每个像素传感器(235)被布置成使得垂直入射在这个颜色过滤器(125)上并通过这个颜色过滤器区(125)的光入射在这个像素传感器(235)上。
8.如权利要求6所述的相机系统，还包括第一计算单元(240)，其被配置来通过以常规方式对由所述像素单元(230)的所述像素传感器(235)输出的像素值进行偏移补偿，而将从所述像素单元(210)获得的单色低分辨率图像合并为马赛克化图像。
9.如权利要求8所述的相机系统，还包括第二计算单元(250)，其被配置来通过对于每个过滤器颜色基于相邻像素传感器 (235)的像素值来内插虚拟像素值，而对所述多色图像进行逆马赛克处理。
10.一种用于操作相机系统的方法，所述方法包括引导光通过至少三个透镜单元(110)，每个透镜单元(110)被分配给一个单色颜色过滤器单元(120)，每个单色颜色过滤器单元(120)具有不同的过滤器颜色，以获得至少三个不同颜色的单色低分辨率图像；以及将所述至少三个单色低分辨率图像融合为多色高分辨率图像。
11.如权利要求10所述的方法，其中，所述透镜单元(110)被布置成使得所述至少三个单色低分辨率图像彼此偏移。
12.如权利要求11所述的方法，其中，将所述至少三个单色低分辨率图像融合成多色高分辨率图像的步骤包括通过对由所述像素传感器(235)输出的像素值进行交错，将从所述像素单元(230)获得的所述单色低分辨率图像合并为马赛克化多色图像，其中，所述像素值受到偏移补偿。
13.如权利要求12所述的方法，其中，交错所述像素值的步骤包括将所有像素单元(230)的相应像素传感器(235)输出的像素值分组为像素簇(987)，其中，每个像素簇(987)包含的像素值的数目对应于像素单元(230)的数目，并且其中，每个像素簇(987)的每个像素值由另一像素单元(230)得到，以及将所述像素簇(987)分组成与所述像素矩阵对应的矩阵。
14.如权利要求12所述的方法，其中，将所述至少三个单色低分辨率图像融合为多色高分辨率图像的步骤包括通过对于每个过滤器颜色基于相邻像素传感器(235)的像素值来内插或估计虚拟像素值，而对所述马赛克化多色图像进行逆马赛克处理。
15.一种制造透镜和颜色过滤器组件(100)的方法，所述方法包括布置至少三个透镜单元(110)和至少三个颜色过滤器单元(120)，每个颜色过滤器单元(120)包含具有至少三个不同过滤器颜色的多个颜色过滤器区(125)，使得每个颜色过滤器单元(120)是单色的并被分配给所述至少三个透镜单元(110)中的一个；以及设置计算单元(240，250)，用于将所述至少三个单色低分辨率图像融合为多色高分辨率图像。
全文摘要
本发明涉及透镜和颜色过滤器布置、超分辨率相机系统及方法。透镜和颜色过滤器组件包括透镜单元(110)，其中每个透镜单元(110)被分配给单色颜色过滤器单元(120)。透镜和颜色过滤器组件(100)可以与像素单元(230)组合，从而可以获得多个单色低分辨率图像，其中，该单色图像涉及同一图像对象的偏移版本。通过包括偏移补偿的超分辨率技术，获得马赛克化图像，然后该马赛克化图像被逆马赛克处理。在所得的图像中，仅仅出现少量的赝象。简单的颜色过滤器阵列允许简化的制造方法并以较小的计算量提供较小的色差。
文档编号H04N5/335GK102457683SQ201110348499
公开日2012年5月16日 申请日期2011年11月3日 优先权日2010年11月3日
发明者曼弗雷德·曼茨, 玛利克·瓦卡斯, 穆罕默德·西迪奎, 马库斯·凯姆 申请人:索尼公司