用于减少复合图像中的彩色镶边的方法和设备的制造方法
【专利摘要】公开了用于记录来自透镜阵列的复合图像的方法和设备。使用以第一颜色提供成像数据的第一透镜、以第二颜色提供成像数据的第二透镜和以第三颜色提供成像数据的第三透镜，记录第一复合图像，其中，所述第一颜色、所述第二颜色和所述第三颜色是不同颜色。使用所述第一透镜、以所述第二颜色提供成像数据的第四透镜和以第三颜色提供成像数据的第五透镜，记录第二复合图像。比较所述第一复合图像和所述第二复合图像，以识别彩色镶边区域。基于所述第一复合图像和所述第二复合图像中的彩色镶边区域的相对尺寸和位置，将去边算法应用至复合图像中的至少一个，以减轻所述彩色镶边区域中的彩色镶边。
【专利说明】
用于减少复合图像中的彩色镶边的方法和设备
技术领域
[0001 ] 本公开涉及减少彩色镶边(color fringing)，并且更特别地，涉及用于减少使用透镜阵列记录的复合图像中的彩色镶边。
【背景技术】
[0002]—些相机(诸如，所谓的“光场”或“全光”相机)利用透镜阵列来捕捉针对场景的光信息。在一些这样的相机中，使用不同单色透镜，这些单色透镜中的每个以给定颜色的阴影记录光。例如，可以使用相邻透镜，这些相邻透镜中的每个以红色、绿色或蓝色(RGB)的一个阴影记录成像数据。然后，可以组合来自RGB透镜的成像数据，以形成复合图像。因为RGB透镜彼此相邻，所以它们从稍微不同的有利位置提供成像数据，这可能造成所记录的复合图像中的彩色镶边。
[0003]过去，使用视差估计和相关技术来解决这样的彩色镶边。根据该技术，一次一个像素地扫描所记录图像，以找到颜色的最大相关位置，并且必须计算深度图。该技术的计算量大且无效率。
【发明内容】
[0004]根据本公开的一方面，公开了一种使用包括多个单色透镜的透镜阵列记录复合图像的方法，所述多个单色透镜中的每个以单个颜色的阴影提供成像数据。使用以第一颜色提供成像数据的第一透镜、以第二颜色提供成像数据的第二透镜和以第三颜色提供成像数据的第三透镜记录第一复合图像，其中，所述第一颜色、所述第二颜色和所述第三颜色是不同颜色。使用所述第一透镜、以所述第二颜色提供成像数据的第四透镜和以所述第三颜色提供成像数据的第五透镜记录第二复合图像。所述第二透镜和所述第四透镜位于所述第一透镜的相反侧，所述第三透镜和所述第五透镜也位于所述第一透镜的相反侧。识别所述第一复合图像和所述第二复合图像中的彩色镶边区域。基于所述第一复合图像和所述第二复合图像中的彩色镶边区域的相对尺寸和位置，将去边算法应用至复合图像中的至少一个，以减轻所述彩色镶边区域中的彩色镶边。
[0005]在一个或更多个实施方式中，应用去边算法包括:覆盖至少所述第一复合图像和所述第二复合图像的彩色镶边部分。针对在所述第一复合图像中被彩色镶边而在所述第二复合图像中不被彩色镶边的区域，用来自所述第二复合图像的那些区域的成像数据代替针对所述第一复合图像的那些区域的成像数据以形成修改后的第一复合图像。针对在所述第二复合图像中被彩色镶边而在所述第一复合图像中不被彩色镶边的区域，用来自所述第一复合图像的那些区域的成像数据代替针对所述第二复合图像中的那些区域的成像数据，以形成修改后的第二复合图像。可以根据需要进行重复，以基于来自透镜的成像数据的不同对准，进一步修改第一复合图像和第二复合图像。
[0006]根据本公开的另一方面，公开了一种相机，所述相机包括透镜阵列和处理器电路。所述透镜阵列包括多个单色透镜，所述多个单色透镜中的每个被构造成以单个颜色的阴影记录成像数据。所述处理器电路被构造成:使用以第一颜色提供成像数据的第一透镜、以第二颜色提供成像数据的第二透镜和以第三颜色提供成像数据的第三透镜记录第一复合图像，其中，所述第一颜色、所述第二颜色和所述第三颜色是不同颜色。所述处理器电路还被构造成使用所述第一透镜、以所述第二颜色提供成像数据的第四透镜和以所述第三颜色提供成像数据的第五透镜记录第二复合图像。所述第二透镜和所述第四透镜位于所述第一透镜的相反侧，并且所述第三透镜和所述第五透镜位于所述第一透镜的相反侧。所述处理器电路还被构造成识别所述第一复合图像和所述第二复合图像中的彩色镶边区域；以及基于所述第一复合图像和所述第二复合图像中的彩色镶边区域的相对尺寸和位置，将去边算法应用至复合图像中的至少一个，以减轻所述彩色镶边区域中的彩色镶边。
[0007]在一个或更多个实施方式中，为了应用去边算法，所述处理器电路被构造成覆盖至少所述第一复合图像和所述第二复合图像的彩色镶边部分。针对在所述第一复合图像中被彩色镶边而在所述第二复合图像中不被彩色镶边的区域，用来自所述第二复合图像的那些区域的成像数据代替针对所述第一复合图像的那些区域的成像数据，以形成修改后的第一复合图像。针对在所述第二复合图像中被彩色镶边而在所述第一复合图像中不被彩色镶边的区域，用来自所述第一复合图像的那些区域的成像数据代替针对所述第二复合图像的那些区域的成像数据，以形成修改后的第二复合图像。这可以根据需要进行重复，以基于来自透镜的成像数据的不同对准，进一步修改第一复合图像和第二复合图像。
[0008]当然，本公开不限于以上特征和优点。事实上，本领域技术人员将在阅读下面的【具体实施方式】并且查看附图时认识到附加特征和优点。
【附图说明】
[0009]图1示出示例场景、被定向以记录该场景的图像的相机、以及场景的预期图像。
[0010]图1A示出图1的场景的俯视图。
[0011 ]图2示出包括多个单色透镜的示例透镜阵列。
[0012]图2A示出图2的透镜阵列中的透镜的子集。
[0013]图2B示出图2的透镜阵列中的透镜的另一个子集。
[0014]图3示出由图2A的透镜的子集记录的并且包括彩色镶边的示例复合图像。
[0015]图4示出记录来自相机阵列的复合图像的方法，其减轻彩色镶边。
[0016]图5A至图5B示出图4的方法的示例实现。
[0017]图6示出由图2B的透镜的子集记录的并且包括彩色镶边的示例复合图像。
[0018]图7A和图7B示出图6的复合图像。
[0019]图8A和图8B示出图7A和图7B的复合图像的修改版本。
[0020]图9示出图8A和图8B的复合图像的覆盖。
[0021]图1OA和图1OB示出图8A和图8B的复合图像的修改版本。
[0022 ]图11A和图11B示出图7A和图7B的复合图像的重新对准版本。
[0023 ]图12A和图12B示出图1OA和图1OB的复合图像的修改版本。
[0024]图13示出被构造成实现图4的方法的相机的主要功能元件。
【具体实施方式】
[0025]本公开描述了使用透镜阵列(例如，NX N相机阵列)记录图像的方法和设备，其中，阵列内的各种单色透镜均以单个颜色的阴影提供成像数据。记录多个复合图像，每个复合图像利用以三种不同颜色提供成像数据的三个透镜被记录。在多个复合图像中识别彩色镶边区域，并且将去边算法应用至复合图像中的至少一个，以减轻彩色镶边并且生成校正后的复合图像。为方便起见，贯穿附图使用类似参考标号来指示类似元件。
[0026]图1示出示例场景10、被定向以记录该场景的图像的相机12、和场景10的预期图像14。场景10包括房子16和树18。相机12包括透镜阵列20，透镜阵列包括多个单色透镜，并且相机可操作以使用单色透镜记录复合图像。如图1A(其示出场景10的俯视图)中所示，房子16离相机12第一距离Dl，树18离相机12较小的第二距离D2(其中，D1>D2)。
[0027]图2示出图12的相机12中可以使用的示例4X4透镜阵列20。透镜阵列20包括多个单色透镜22，多个单色透镜22中的每个仅以单个颜色的阴影提供图像数据。透镜阵列20包括:多个第一类型的透镜A1-A8，其以第一颜色提供成像数据;多个第二类型的透镜B1-B4，其以第二颜色提供成像数据；多个第三类型的透镜C1-C4，其以第三颜色提供成像数据。对于以下论述，将假设第一颜色是绿色，第二颜色是红色，以及第三颜色是蓝色，使得透镜阵列20中的透镜22模仿拜耳滤波器(Bayer Filter)。当然，将理解，这仅是示例，并且可以使用其它颜色和布置和/或其它透镜阵列尺寸。
[0028]如图2中所示，透镜阵列20包括A透镜和C透镜交错的第一类型的行24(8卩，第一行和第三行)，并且还包括A透镜和B透镜交错的第二类型的行25(8卩，第二行和第四行)。第一类型的行24和第二类型的行25本身在阵列22中交错。另外，行24中的A透镜从行25中的A透镜偏移。透镜阵列20包括前侧26和后侧27。如果来自透镜中的多个透镜的一个组合单色成像数据形成多色复合图像，则因为透镜从稍微不同的有利位置记录给定场景的图像，将出现彩色镶边。另外，因为相机12与房子16和树18之间的不同距离Dl和D2，很可能在由相机12记录的复合图像中针对房子16和树18出现不同彩色镶边量。
[0029]图3示出使用来自透镜阵列20(参见图2A)中的透镜的子集28的成像数据记录的复合图像如何呈现彩色镶边。由来自包括透镜A3、B1和Cl的透镜组30的成像数据形成第一复合图像34。如图3中所示，复合图像34包括非彩色镶边区域40A、42A，但是还包括彩色镶边区域44A、46A、48A、50A、52A和54A。由来自包括透镜A3、B2和C2的透镜组32的成像数据形成第二复合图像38。如图3中所示，复合图像38包括非彩色镶边区域40B、42B，但是还包括彩色镶边区域44B、46B、48B和50B、52B和54B。然而，通过将去边算法应用至镶边区域44-54，可以得到校正后的复合图像56。
[0030]图4示出减轻彩色镶边的由透镜阵列(例如，透镜阵列20)记录复合图像的方法100。如以上论述的，透镜阵列20包括多个单色透镜，多个单色透镜中的每个以单个颜色的阴影提供成像数据。使用以第一颜色提供成像数据的第一透镜(例如，透镜A3)、以第二颜色提供成像数据的第二透镜(例如，透镜BI)和以第三颜色提供成像数据的第三透镜(例如，透镜Cl)，记录第一复合图像(例如，图像34)(框102)。第一颜色、第二颜色和第三颜色是不同颜色。使用第一透镜、以第二颜色提供成像数据的第四透镜(例如，透镜B2)和以第三颜色提供成像数据的第五透镜(例如，透镜C2)，记录第二复合图像(例如，图像38)(框104)。第二透镜和第四透镜位于第一透镜的相反侧，并且第三透镜和第五透镜也位于第一透镜的相反侦U。识别第一复合图像和第二复合图像中的彩色镶边区域(框106)。基于第一复合图像和第二复合图像中的彩色镶边区域的相对尺寸和位置，将去边算法应用至复合图像中的至少一个，以减轻所识别的彩色镶边区域中的彩色镶边(框108)。
[0031]在一个或更多个实施方式中，通过分析红色、绿色和蓝色(RGB)通道并且查找不同通道之间的大偏移，执行识别彩色镶边区域(框106)。在一个或更多个实施方式中，识别彩色镶边区域包括:查找RGB通道的梯度值的异常变化(例如，如美国专利N0.8，385，642中描述的)。在“Method for Removing Color Fringe in Digital Image”(美国公开申请N0.2011/0158514)中描述了一些另外示例技术。还可以使用各种边缘检测技术。因为本领域普通技术人员已知用于识别彩色镶边的各种技术，所以在本申请中对其不进行详细论述。一旦识别出彩色镶边区域，就基于复合图像中的彩色镶边区域的相对尺寸和位置，将去边算法应用至复合图像中的至少一个，以减轻彩色镶边区域中的彩色镶边。
[0032]图5A和图5B示出图4的方法100的示例实现200。为了便于说明，结合使用来自透镜阵列20 (参见图2B和图6)中的透镜的子集29的图像数据的简化示例来论述图5A和图5B，透镜阵列20包括透镜A3、B1和B2。对于以下论述，将假设框102的“第一复合图像”对应于图6的图像64’(还在图7A中示出)，框104的“第二复合图像”对应于图6的图像68’(还在图7B中示出)，并且在图5A至图5B的框之前已经发生(图7A、图7B的)复合图像64、68的记录。
[0033]参照图7A，复合图像64包括来自包括透镜BI和A3的子集29的透镜组62的成像数据，并且复合图像68包括来自包括透镜A3和B2的子集29的透镜组66的成像数据。每个图像64、68包括多个非彩色镶边区域70、71。然而，因为透镜則)3和82彼此偏移(即使仅存在小偏移量)，各个复合图像64、68包括彩色镶边区域72、73、74和75。
[0034]现在参照图5A，从第一透镜和第二透镜(例如，透镜A3和BI)获得成像数据(框202)，并且还从第一透镜和第三透镜(例如，透镜A3和B2)获得成像数据(框204)。对于以下论述，假设所获得的成像数据是复合图像64、68的成像数据(8卩，来自透镜4331、82)。还在图7A、图7B中示出图像64、68。
[0035]根据第一对准来对准来自第一透镜和第二透镜的成像数据(参见框206和图8A)，根据第二对准来对准来自第一透镜和第三透镜的成像数据(参见框208和图SB)。基于第一对准记录复合图像A(参见框210和图8A的图像64’)。基于第二对准记录复合图像B(参见框212和图8B的图像68’)。在一个或更多个实施方式中，第一对准和第二对准最小化针对在离透镜阵列20给定距离(例如，距离Dl)处的对象的彩色镶边。在一个或更多个实施方式中，框206、208的对准基于在对准之前在给定距离处的彩色镶边的宽度(例如，如果彩色镶边是5个像素宽，则将来自对应透镜的数据移动5个像素)。
[0036]如图7A、图7B中所示，复合图像64、68均包括彩色镶边区域72、73(其中，房子16被彩色镶边)和彩色镶边区域74、75(其中，树18被彩色镶边)。然而，如果针对在离相机12距离Dl处的对象对准来自透镜B1、A3的成像数据，则可以显著减少并且甚至有可能消除彩色镶边区域74A、75A(参见图8A中的复合图像64’)，并且还可以减少彩色镶边区域42A、43A(参见图8A中的彩色镶边区域72A’、73A’)。类似地，如果针对离相机12距离Dl处的对象对准来自组76的成像数据，则可以显著减少并且甚至有可能消除彩色镶边区域74B、75B(参见图SB中的复合图像68’)，并且还可以减少彩色镶边区域72B、73B(参见图5B中的彩色镶边区域72B，、73B，)。
[0037]还可以通过用图像68’的部分代替图像64’的部分，进一步减少彩色镶边区域72’、73’，反之亦然。该代替基于识别图像64’和图像68’的彩色镶边部分(框214、216)，并且覆盖至少图像64’、68’的彩色镶边区域(框218)。基于覆盖，确定哪些区域在图像64’、68’中被彩色镶边、以及哪些区域在图像64’、68’中的仅一个中被彩色镶边。
[0038]图9示出覆盖图像64’、68’的图像部分78A、78B的结果。如图9中所示，区域80和82在图像64’、68’二者中被彩色镶边。也就是说，区域80对于区域72A’和72B’被彩色镶边，区域82对于区域73A’和73B’被彩色镶边。然而，区域72A’的一部分84仅在图像68’中被彩色镶边，区域73B ’的一部分86仅在图像64 ’中被彩色镶边。
[0039]再次参照图5A，对于在图像A中而不在图像B中被彩色镶边的区域(S卩，区域86)，通过用来自图像68’中的相同对应位置的成像数据代替区域73A’的部分86来修改复合图像64’以减小区域73A’的尺寸，生成具有较小彩色镶边区域73A〃的修改后的复合图像64〃(参见图1OA和框220)。类似地，通过用来自图像64’中的相同对应位置的成像数据代替区域42B’的部分84来修改图像68 ’以减小区域72B ’的尺寸，生成具有较小彩色镶边区域72B〃’的修改后的复合图像68’(参见图1OB和框222)。如图1OA中所示，区域84不再被彩色镶边。同样地，在图1OB中，区域84不再被彩色镶边。
[0040]然后执行检验以确定在图像A’或B’中是否存在剩余彩色镶边区域(参见图10A、图1OB和框224)。如果不再存在彩色镶边区域，则将图像A ’和B ’中的一个或二者输出为校正后的复合图像(框226)。否则，如果仍然存在彩色镶边区域(在图10A、图1OB的示例中存在彩色镶边区域)，则执行检验以确定那些区域的尺寸是否超过预定阈值(框228)。在一个或更多个实施方式中，尺寸阈值是宽度阈值。如果没有超过尺寸阈值，则通过例如使图像A’、B’中的一个或二者的色调通道模糊，忽略或者消除剩余彩色镶边区域(框230)，并且将图像A’和B’中的一个或二者输出为校正后的复合图像(框226)。
[0041]否则，如果彩色镶边区域的尺寸超过阈值，则根据第三对准(框232)和第四对准(框234)重新对准来自透镜的成像数据。在一个或更多个实施方式中，第三对准和第四对准最小化针对在离透镜阵列20不同距离(例如，距离D2)处的对象的彩色镶边。如图1lA中所示，基于第三对准记录复合图像C(框236)，并且如图1lB中所示，基于第三对准记录复合图像D(框238)。在图11A、图1IB的示例中，针对在离相机第二距离(例如，相机12和房子16之间的距离D2)的对象，重新对准来自透镜组62的成像数据，这消除彩色镶边区域72A、73B(参见图1lA中的复合图像90)，但是生成彩色镶边区域74A、75A。类似地，如果针对在距离D2处的对象重新对准来自透镜组66的成像数据，则可以消除彩色镶边区域72B、73B(参见图1lB中的复合图像92)，同时生成彩色镶边区域74B、75B。
[0042]识别图像C和D的彩色镶边部分(框240、242)。在图11A、图1IB中示出的示例中，仅有的彩色镶边区域是与树相邻的区域74、75。然后，覆盖图像A’和C的彩色镶边区域(框244)。因为在图像C中挨着房子不存在彩色镶边，该覆盖将导致确定区域72A’、73A 〃在图像A ’中而不在图像C中被彩色镶边(参见对应区域94、95)。因此，将用来自图像C的区域94、95的成像数据代替区域72A’、73A〃中的成像数据，以生成修改后的图像A〃(框248)。如图12A中所示，图像A〃(也用数字64〃’标识)是已经分别使用图像C的区域94、95代替先前彩色镶边区域72A ’和73A"的图像A ’的修改版本。
[0043]类似地，还覆盖图像B’和D的彩色镶边区域(框246)。因为在图像D中挨着房子不存在彩色镶边，该覆盖将导致确定区域72B〃、73B’在图像B’中而不是在图像D中被彩色镶边(参见对应区域96、97)。因此，将用图像0的成像数据区96、97代替区域728〃、738’中的成像数据，以生成修改后的图像B〃(框250)。如图12B中所示，图像B〃 (也用数字68〃 ’标识)是已经分别使用图像C的区域96、97代替先前彩色镶边区域72B〃和73B’的图像B’的修改版本。
[0044]然后执行检验以确定在图像A〃或B"中是否存在任何剩余彩色镶边区域(框252)。如果不再存在彩色镶边区域，则将图像A〃和/B 〃输出为校正后的复合图像(框254)。否则，如果仍然存在彩色镶边，则执行检验以确定那些彩色镶边区域的尺寸是否超过预定阈值的尺寸(框256)。如果尺寸没有超过阈值，则通过例如使图像A”、B”中的一个或二者的色调通道模糊，忽略或者消除剩余彩色镶边区域(框258)。然而，如果剩余彩色镶边区域的尺寸超过阈值，则可以基于不同对准来重复框232-250，以保持减少彩色镶边区域(框260)(例如，基于离相机12不同距离D3的某个对象)。
[0045]已经结合仅使用透镜组62、66的简化实施方式论述了图5至图12。然而，本领域普通技术人员将想到，可以将相同技术应用至图3的透镜组30、32。主要差异在于，框202、204将从三个透镜(例如，透镜组50、54)获得成像数据，并且框206、208、232和234将对准来自那些相同透镜(例如，透镜组30、32)的成像数据。
[0046]在一个或更多个实施方式中，同时记录复合图像34、38，使得在复合图像64和68二者中使用来自透镜A3的相同成像数据。在一个或更多个这样的实施方式中，仅将单个校正后的图像56输出为校正后的复合图像。在一个或更多个其它实施方式中，连续记录复合图像34、38(例如，作为视频记录的部分)，使得分别在复合图像64和68中使用在不同时间从透镜A3获得的成像数据。在一个或更多个这样的实施方式中，这两个复合图像被修改以减少彩色镶边并且被输出作为校正后的复合图像。
[0047]图13示出作为图1的相机12的示例实现的相机200的主要功能元件。如图13中所示，相机200包括透镜阵列202和处理器206，透镜阵列202包括多个单色透镜(例如，透镜阵列20)，多个单色透镜中的每个被构造成以单个颜色的阴影提供成像数据。处理器206被构造成使用以第一颜色提供成像数据的第一透镜、以第二颜色提供成像数据的第二透镜、和以第三颜色提供成像数据的第三透镜来记录第一复合图像(例如，图像64’)，其中，第一颜色、第二颜色和第三颜色是不同颜色。处理器206还被构造成使用第一透镜、以第二颜色提供成像数据的第四透镜和以第三颜色提供成像数据的第五透镜来记录第二复合图像(例如，图像68’)。处理器206被构造成识别第一复合图像和第二复合图像中的彩色镶边区域，并且基于第一复合图像和第二复合图像中的所识别的彩色镶边区域的相对尺寸和位置，被构造成将去边算法应用至复合图像中的至少一个，以减轻彩色镶边区域中的彩色镶边。第二透镜和第四透镜(例如，透镜BI和B2)位于第一透镜(例如，透镜A3)的相反侧，并且第三透镜和第五透镜(例如，透镜Cl和C2)也位于第一透镜的相反侧。
[0048]在一个或更多个实施方式中，透镜阵列202是图2中示出的相同透镜阵列20。位于透镜阵列202后面的成像传感器204记录来自透镜阵列202的成像数据。处理器206被构造成经由成像传感器204从透镜阵列202接收成像数据，并且被构造成将该数据存储在存储器电路208中。处理器206包括一个或更多个处理器电路，包括例如一个或更多个微处理器、微控制器、数字信号处理器等，并且被配置有合适软件和/或固件，以执行以上论述的技术中的一个或更多个。存储器电路208包括一种或多种类型的存储器(诸如，只读存储器(R0M)、随机存取存储器、高速缓存存储器、闪存存储装置、光学存储装置等)。在一个或更多个实施方式中，存储器208包括配置上述处理器206的程序指令。电子显示器210被构造成向相机的用户显示信息。在一个或更多个实施方式中，电子显示器210是显示使用透镜阵列202记录的图像的液晶显示器(LCD)。输入装置212被构造成将用户输入发送到处理器206(例如，将用于记录复合图像的设置)。在一个或更多个实施方式中，输入装置212包括结合电子显示器210使用的一个或更多个输入按钮和/或触摸屏传感器。电源214向需要电力的相机200的各种组件(例如，处理器206、电子显示器210等)供电。
[0049]相机200可以被结合到任何数量的装置(诸如，手持数码相机、包括相机的智能电话、平板计算装置、膝上型计算装置、独立摄像机、或任何其它成像装置)中。在一个或更多个实施方式中，透镜阵列20中的每个透镜是微透镜，使得透镜阵列20具有适于被包括在智能电话中的小尺寸。在一个或更多个实施方式中，相机200是在已经记录成像数据之后能够进行图像再聚焦的“光场”或“全光”相机。
[0050]通过使用以上技术，可以以更有效方式减轻彩色镶边，该方式比现有技术的计算量更小。例如，如果期望，可以完全省略先前要求最小化彩色镶边的深度图。
[0051]因此，以上说明和附图表示本文中教导的方法和设备的非限制性示例。同样地，本公开不受以上说明和附图限制。作为替代，本公开仅由所附权利要求及其合法等同物限制。
【主权项】
1.一种使用包括多个单色透镜的透镜阵列记录复合图像的方法，所述多个单色透镜中的每个以单个颜色的阴影提供成像数据，所述方法的特征在于: 使用以第一颜色提供成像数据的第一透镜、以第二颜色提供成像数据的第二透镜和以第三颜色提供成像数据的第三透镜记录第一复合图像，其中，所述第一颜色、所述第二颜色和所述第三颜色是不同颜色； 使用所述第一透镜、以所述第二颜色提供成像数据的第四透镜和以所述第三颜色提供成像数据的第五透镜记录第二复合图像； 识别所述第一复合图像和所述第二复合图像中的彩色镶边区域；以及基于所述第一复合图像和所述第二复合图像中的所述彩色镶边区域的相对尺寸和位置，将去边算法应用至所述复合图像中的至少一个，以减轻所述彩色镶边区域中的彩色镶边； 其中，所述第二透镜和所述第四透镜位于所述第一透镜的相反侧；以及 其中，所述第三透镜和所述第五透镜也位于所述第一透镜的相反侧。2.根据权利要求1所述的方法，其中，将去边算法应用至所述复合图像中的至少一个以减轻所述彩色镶边区域中的彩色镶边的特征在于: 覆盖至少所述第一复合图像和所述第二复合图像的彩色镶边部分； 针对在所述第一复合图像中被彩色镶边而在所述第二复合图像中不被彩色镶边的区域，用来自所述第二复合图像的那些区域的成像数据代替针对所述第一复合图像的那些区域的成像数据，以形成修改后的第一复合图像;以及 针对在所述第二复合图像中被彩色镶边而在所述第一复合图像中不被彩色镶边的区域，用来自所述第一复合图像的那些区域的成像数据代替针对所述第二复合图像的那些区域的成像数据，以形成修改后的第二复合图像。3.根据权利要求2所述的方法: 其中，记录所述第一复合图像的特征在于: 记录来自所述第一透镜、所述第二透镜和所述第三透镜的成像数据； 根据第一对准，对准来自所述第一透镜、所述第二透镜和所述第三透镜的所述成像数据；以及 基于所述第一对准记录所述第一复合图像；以及 其中，记录所述第二复合图像的特征在于: 记录来自所述第一透镜、所述第四透镜和所述第五透镜的成像数据； 根据第二对准，对准来自所述第一透镜、所述第四透镜和所述第五透镜的所述成像数据；以及 基于所述第二对准记录所述第二复合图像。4.根据权利要求3所述的方法，所述方法的特征还在于: 基于源自所述第一对准的彩色镶边区域的宽度，根据与所述第一对准和所述第二对准不同的第三对准，重新对准来自所述第一透镜、所述第二透镜和所述第三透镜的成像数据；基于所述第三对准记录第三复合图像； 基于源自所述第二对准的彩色镶边区域的宽度，根据与所述第一对准、所述第二对准和所述第三对准不同的第四对准，重新对准来自所述第一透镜、所述第四透镜和所述第五透镜的成像数据； 基于所述第四对准记录第四复合图像； 针对在所述修改后的第一复合图像中被彩色镶边而在所述第三复合图像中不被彩色镶边的区域，用来自所述第三复合图像的那些区域的成像数据代替针对所述修改后的第一复合图像的那些区域的成像数据；以及 针对在所述修改后的第一复合图像中被彩色镶边而在所述第四复合图像中不被彩色镶边的区域，用来自所述第四复合图像的那些区域的成像数据代替针对所述修改后的第一复合图像的那些区域的成像数据。5.根据权利要求1至4中的任一项所述的方法，其中，所述透镜阵列是NXN透镜阵列，其特征在于: 所述第一透镜和所述第二透镜交错的第一类型的行；以及 所述第一透镜和所述第三透镜交错的第二类型的行； 其中，所述第一类型的行和所述第二类型的行在所述NXN阵列中交错；以及 其中，所述第一类型的行中的所述第一透镜从第二类型的相邻行中的第一透镜偏移。6.根据权利要求1至5中的任一项所述的方法， 其中，所述第一透镜、所述第二透镜和所述第三透镜彼此相邻；以及 其中，所述第一透镜、所述第四透镜和所述第五透镜彼此相邻。7.—种相机，其特征在于: 透镜阵列，所述透镜阵列包括多个单色透镜，所述多个单色透镜中的每个被构造成以单个颜色的阴影提供成像数据；以及 处理器电路，所述处理器电路被构造成: 使用以第一颜色提供成像数据的第一透镜、以第二颜色提供成像数据的第二透镜和以第三颜色提供成像数据的第三透镜记录第一复合图像，其中，所述第一颜色、所述第二颜色和所述第三颜色是不同颜色； 使用所述第一透镜、以所述第二颜色提供成像数据的第四透镜和以所述第三颜色提供成像数据的第五透镜记录第二复合图像； 识别所述第一复合图像和所述第二复合图像中的彩色镶边区域；以及基于所述第一复合图像和所述第二复合图像中的所识别的彩色镶边区域的相对尺寸和位置，将去边算法应用至所述复合图像中的至少一个，以减轻所述彩色镶边区域中的彩色镶边； 其中，所述第二透镜和所述第四透镜位于所述第一透镜的相反侧；以及 其中，所述第三透镜和所述第五透镜也位于所述第一透镜的相反侧。8.根据权利要求7所述的相机，其中，为了将去边算法应用至所述复合图像中的至少一个以减轻所述彩色镶边区域中的彩色镶边，所述处理器电路被构造成: 覆盖至少所述第一复合图像和所述第二复合图像的彩色镶边部分； 针对在所述第一复合图像中被彩色镶边而在所述第二复合图像中不被彩色镶边的区域，用来自所述第二复合图像的那些区域的成像数据代替针对所述第一复合图像的那些区域的成像数据，以形成修改后的第一复合图像;以及 针对在所述第二复合图像中被彩色镶边而在所述第一复合图像中不被彩色镶边的区域，用来自所述第一复合图像的那些区域的成像数据代替针对所述第二复合图像的那些区域的成像数据，以形成修改后的第二复合图像。9.根据权利要求8所述的相机: 其中，为了记录所述第一复合图像，所述处理器电路被构造成: 记录来自所述第一透镜、所述第二透镜和所述第三透镜的成像数据； 根据第一对准，对准来自所述第一透镜、所述第二透镜和所述第三透镜的所述成像数据；以及 基于所述第一对准记录所述第一复合图像；以及 其中，为了记录所述第二复合图像，所述处理器电路被构造成: 记录来自所述第一透镜、所述第四透镜和所述第五透镜的成像数据； 根据第二对准，对准来自所述第一透镜、所述第四透镜和所述第五透镜的所述成像数据；以及 基于所述第二对准记录所述第二复合图像。10.根据权利要求9所述的相机，其中，所述处理器电路还被构造成: 基于源自所述第一对准的彩色镶边区域的宽度，根据与所述第一对准和所述第二对准不同的第三对准，重新对准来自所述第一透镜、所述第二透镜和所述第三透镜的成像数据；基于所述第三对准记录第三复合图像； 基于源自所述第二对准的彩色镶边区域的宽度，根据与所述第一对准、所述第二对准和所述第三对准不同的第四对准，重新对准来自所述第一透镜、所述第四透镜和所述第五透镜的成像数据； 基于所述第四对准记录第四复合图像； 针对在所述修改后的第一复合图像中被彩色镶边而在所述第三复合图像中不被彩色镶边的区域，用来自所述第三复合图像的那些区域的成像数据代替针对所述修改后的第一复合图像的那些区域的成像数据；以及 针对在所述修改后的第一复合图像中被彩色镶边而在所述第四复合图像中不被彩色镶边的区域，用来自所述第四复合图像的那些区域的成像数据代替针对所述修改后的第一复合图像的那些区域的成像数据。11.根据权利要求7至10中的任一项所述的相机，其中，所述透镜阵列是NXN透镜阵列，其特征在于: 所述第一透镜和所述第二透镜交错的第一类型的行；以及 所述第一透镜和所述第三透镜交错的第二类型的行； 其中，所述第一类型的行和所述第二类型的行在所述NXN阵列中交错；以及 其中，所述第一类型的行中的所述第一透镜从所述第二类型的相邻行中的第一透镜偏移。12.根据权利要求7至11中的任一项所述的相机: 其中，所述第一透镜、所述第二透镜和所述第三透镜彼此相邻；以及 其中，所述第一透镜、所述第四透镜和所述第五透镜彼此相邻。
【文档编号】H04N9/64GK105981378SQ201480074994
【公开日】2016年9月28日
【申请日】2014年2月7日
【发明人】J·艾尔格, D·林纳克, J·古斯塔夫森, M·温尔松, A·约翰逊
【申请人】索尼公司