用于对滤色器阵列图像去马赛克的方法和装置的制造方法
【专利说明】用于对滤色器阵列图像去马赛克的方法和装置
[0001]相关申请的交叉引用
[0002]本公开要求于2013年12月9日提交的第61/913，652号美国临时专利申请的优先权，通过引用方式将其整体并入于此。
技术领域
[0003]本公开的实施例涉及图像处理，并且具体涉及用于对经由滤色器阵列生成的图像去马赛克的方法和装置。
【背景技术】
[0004]彩色图像传感器(例如彩色胶片、使用CXD或者CMOS传感器的数码相机等)通常感测在有限数目的截然不同的光谱分量中的光强度。各种类型的彩色图像传感器的不同在于它们如何分离和测量截然不同的光谱分量。例如，数码相机或者其它人造彩色图像传感器布置通常使用空间滤色器阵列(CFA)，例如拜耳(Bayer)滤色器阵列，该滤色器阵列定位于图像传感器之上以按照对应标称像素类型捕获光的不同光谱分量。
[0005]在很多数字图像传感器中使用三色CFA。拜耳过滤器马赛克(mosaic)是用于在光传感器的方形网格上布置红(R)、绿(G)和蓝(B)滤色器的CFA。过滤器图案通常为50%绿、25%红和25%蓝。CFA包括在图像传感器前方的滤色器的马赛克。例如，图像传感器包括像素传感器的阵列，并且CFA包括滤色器的阵列，使得CFA的每个过滤器叠加在图像传感器的对应像素传感器之上。典型的CFA包括针对奇数行的交替红(R)过滤器和绿(G)过滤器，以及针对偶数行的交替绿(G)过滤器和蓝(B)过滤器(虽然R过滤器、G过滤器和B过滤器的任何其它不同布置也可以是可能的)，其中每个过滤器叠加在图像传感器的对应像素之上。
[0006]由于图像传感器的每个像素在对应的滤色器后方，图像传感器的输出是像素值的阵列，每个像素值指示来自图像传感器的对应像素的三种颜色之一的光的原始强度。即，由于对图像传感器的各种像素进行过滤以仅记录三种颜色中的一种，所以来自每个像素的数据不能靠其自身完全确定三种颜色。
[0007]为了获得全彩色图像，可以使用各种去马赛克算法以针对图像传感器的每个像素插值一套完整的红、绿和蓝值。例如，对于与CFA的绿过滤器叠加的像素，图像传感器输出对应于该像素的绿光的原始强度。去马赛克算法的目标在于针对该像素插值红颜色和蓝颜色的像素值。因此，去马赛克算法是用于从不完整的颜色样本重建全彩色图像的数字图像处理，其中不完整的颜色样本从与CFA叠加的图像传感器输出。去马赛克算法还被称为去除马赛克、去马赛克化或者去拜耳化、CFA插值、颜色重建等。为了确保由去马赛克算法产生的图像的清晰和质量，期望拥有一种有效的去马赛克算法。
【发明内容】
[0008]在各种实施例中，本公开提供了一种方法，其包括:接收包括多个像素的源图像，其中源图像的多个像素的各个像素包括与多种颜色的对应颜色相关的对应像素值，并且其中源图像的多个像素的第一像素包括与多种颜色的第一颜色相关的第一像素值；以及针对源图像的多个像素的第一像素，估算Q)与多种颜色的第二颜色相关的第二像素值以及(?)与多种颜色的第三颜色相关的第三像素值，其中估算第二像素值和第三像素值包括:生成像素窗口，该像素窗口包括(i)第一像素以及(ii)多个像素中的围绕第一像素的像素组；基于像素窗口，生成一个或者多个水平颜色梯度值以及一个或者多个竖直颜色梯度值；基于一个或者多个水平颜色梯度值以及一个或者多个竖直颜色梯度值，将第一像素分类为包括在源图像的多种类型的区域之一中；并且基于将第一像素分类为包括在源图像的多种类型的区域之一中，针对第一像素，估算(i)与多种颜色的第二颜色相关的第二像素值以及(ii)与多种颜色的第三颜色相关的第三像素值。在实施例中，方法还包括:使用滤色器阵列以及图像传感器生成源图像，其中图像传感器包括多个像素传感器，其中滤色器阵列包括多个滤色器，其中滤色器阵列的多个滤色器的每个滤色器被配置为输出多种颜色中的对应颜色的光，其中滤色器阵列的多个滤色器的每个滤色器被叠加在图像传感器的多个像素传感器中的对应像素传感器之上，其中滤色器阵列的多个滤色器中的第一滤色器被配置为(i)输出第一颜色的光并且(ii)叠加在图像传感器的多个像素传感器中的第一像素传感器之上，并且其中图像传感器的多个像素传感器中的第一像素传感器生成源图像的第一像素的第一像素值。在实施例中，生成一个或者多个水平或者竖直颜色梯度值包括:基于第一多个颜色梯度生成第一颜色梯度值，第一多个颜色梯度的每个颜色梯度基于在多种颜色中的相同对应颜色的两个或者多个对应水平或者竖直像素之间的对应色差；以及基于第二多个颜色梯度生成第二颜色梯度值，第二多个颜色梯度的每个颜色梯度基于在多种颜色中的两种或者多种对应颜色的两个或者多个对应水平或者竖直像素之间的对应色差。在实施例中，源图像的多种类型的区域包括源图像的竖直边缘区、源图像的水平边缘区、源图像的非边缘区、以及源图像的繁杂区。在实施例中，将第一像素分类为包括在源图像的多种类型的区域之一中包括:生成第一像素的初始分类，其中第一像素被初始分类为包括在源图像的多种类型的区域之一中；以及选择性完善第一像素的初始分类以生成第一像素的最终分类。
[0009]在各种实施例中，本公开提供了一种装置，其包括:图像传感器，被配置为生成包括多个像素的源图像，其中源图像的多个像素的各个像素包括与多种颜色中的对应颜色相关的对应像素值，并且其中源图像的多个像素的第一像素包括与多种颜色的第一颜色相关的第一像素值；以及去马赛克模块，被配置为针对源图像的多个像素的第一像素，估算(i)与多种颜色的第二颜色相关的第二像素值以及(ii)与多种颜色的第三颜色相关的第三像素值，其中去马赛克模块包括:像素窗口生成模块，被配置为生成像素窗口，该像素窗口包括(i)第一像素以及(ii)多个像素中的围绕第一像素的像素组；颜色梯度生成模块，被配置为基于像素窗口，生成一个或者多个水平颜色梯度值以及一个或者多个竖直颜色梯度值；像素分类模块，被配置为基于一个或者多个水平颜色梯度值以及一个或者多个竖直颜色梯度值，将第一像素分类为包括在源图像的多种类型的区域之一中；以及像素值估算模块，被配置为基于第一像素的分类，针对第一像素估算(i)与多种颜色的第二颜色相关的第二像素值以及(ii)与多种颜色的第三颜色相关的第三像素值。在实施例中，装置还包括:滤色器阵列，其中图像传感器包括多个像素传感器，其中滤色器阵列包括多个滤色器，其中滤色器阵列的多个滤色器中的每个滤色器被配置为输出多种颜色中的对应颜色的光，其中滤色器阵列的多个滤色器中的每个滤色器被叠加在图像传感器的多个像素传感器中的对应像素传感器之上，其中滤色器阵列的多个滤色器中的第一滤色器被配置为(i)输出第一颜色的光并且(ii)叠加在图像传感器的多个像素传感器中的第一像素传感器之上，并且其中图像传感器的多个像素传感器中的第一像素传感器生成源图像的第一像素的第一像素值。在实施例中，颜色梯度生成模块被配置为通过如下步骤生成一个或者多个水平颜色梯度值以及一个或者多个竖直颜色梯度值:基于第一多个水平颜色梯度生成第一水平颜色梯度值，第一多个水平颜色梯度的每个水平颜色梯度基于在多种颜色中的相同对应颜色的两个或者多个对应水平像素之间的对应色差；基于第二多个水平颜色梯度生成第二水平颜色梯度值，第二多个水平颜色梯度的每个水平颜色梯度基于在多种颜色中的两种或者多种对应颜色的两个或者多个对应水平像素之间的对应色差；基于第一多个竖直颜色梯度生成第一竖直颜色梯度值，第一多个竖直颜色梯度的每个竖直颜色梯度基于在多种颜色中的相同对应颜色的两个或者多个对应竖直像素之间的对应色差；以及基于第二多个竖直颜色梯度生成第二竖直颜色梯度值，第二多个竖直颜色梯度的每个竖直颜色梯度基于在多种颜色中的两种或者多种对应颜色的两个或者多个对应竖直像素之间的对应色差。在实施例中，源图像的多种类型的区域包括源图像的竖直边缘区、源图像的水平边缘区、源图像的非边缘区、以及源图像的繁杂区。像素分类模块被配置为通过如下步骤将第一像素分类为包括在源图像的多种类型的区域之一中:生成第一像素的初始分类，其中第一像素被初始分类为包括在源图像的多种类型的区域之一中；并且选择性完善第一像素的初始分类以生成第一像素的最终分类。在实施例中，在数码相机、摄像机或者扫描仪中的一个中包括该装置。
【附图说明】
[0010]通过以下结合附图的【具体实施方式】将容易理解本公开的实施例。为了便于描述，相同的附图标记指定相同的结构元件。在附图的图中通过示例的方式而不是通过限制的方式图示各种实施例。
[0011]图1示意性地图示包括用于将源图像去马赛克并且生成全彩色图像的去马赛克模块的系统。
[0012]图2图示图1中的系统的CFA的示例。
[0013]图3A至图3C图示源图像的一部分以及从源图像生成的对应像素窗口。
[0014]图4示意性地图示图1中的系统的去马赛克模块。
[0015]图5图示图像的示例。
[0016]图6是将经由滤色器阵列生成的图像去马赛克的示例方法的流程图。
【具体实施方式】
[0017]1.系统架构
[0018]图1示意性地图示了包括用于将源图像112去马赛克并且生成全彩色图像114的去马赛克模块106 (此后称为“模块106”)的系统100。系统100被包括在任何数字图像感测设备中，例如数码相机、摄像机、扫描仪和/或类似物。
[0019]系统100包括图像传感器104，滤色器阵列(CFA) 102被叠加在该图像传感器之上。图像传感器104包括像素传感器阵列，并且CFA 102包括滤色器阵列，使得CFA 102的每个过滤器叠加在图像传感器104的对应像素传感器之上。
[0020]图2图示了图1的系统100中的CFA 102的示例。CFA 102包括示例马赛克图案，该马赛克图案具有以重复模式布置的红颜色、蓝颜色和绿颜色透射过滤器。例如，CFA 102针对偶数行具有交替的红过滤器和绿过滤器，以及针对奇数行具有交替的绿过滤器和蓝过滤器。有是红过滤器或者蓝过滤器两倍的绿过滤器，以满足人眼对于绿光更高的灵敏度。每个过滤器叠加在图像传感器104的对应像素传感器之上。
[0021]在示例中，CFA 102接收光108，并且选择性地过滤该光以生成经过滤的光110。例如，光108被CFA 102的每个过滤器过滤以生成光110的对应部分。例如，光110被CFA102的红过滤器过滤的部分将基本上仅包括红光。因此，光110将具有多个部分，每个部分由CFA 102的对应过滤器生成并且将具有红颜色、绿颜色或者蓝颜色中的一种对应颜色。
[0022]图像传感器104接收经过滤的光110。图像传感器104具有像素传感器阵列，每个像素传感器被CFA 102的对应过滤器叠加。因此，图像传感器104的每个像素传感器接收光110的具有特定颜色的部分。图像传感器104生成源图像112。源图像112的每个像素由图像传感器104的对应像素传感器生成。因此，源图像112的每个像素具有R颜色、G颜色、B颜色中的一种颜色。因为源图像112基于CFA 102生成，源图像112还被称为滤色器阵列图像(或者经由滤色器阵列生成的图像)。
[0023]模块106接收源图像112，并且例如通过将去马赛克算法应用于源图像112，生成全彩色图像114。例如，如果源图像112的像素仅具有红颜色分量，模块106在生成全彩色图像114的同时使用去马赛克算法解译或者估算针对该像素的绿颜色分量和蓝颜色分量。
[0024]图3A至图3C图示了源图像112的一部分，以及从源图像生成的对应像素窗口。参照图3A，源图像112包括多个像素，其中源图像112的每个像素包括表示绿颜色、蓝颜色以及红颜色中的一种对应颜色的像素值。例如，源图像112的像素的颜色对应于CFA 102的对应过滤器的颜色，该CFA 102叠加在生成源图像112的像素的图像传感器104的像素传感器之上。
[0025]例如，假设CFA 102的第一过滤器(该过滤器是例如绿色过滤器)叠加在图像传感器104的第一像素传感器之上。那么由图像传感器104的第一像素传感器生成的源图像112的第一像素将具有表示绿光的原始强度的像素值，该绿光经由CFA 102的第一过滤器暴露于图像传感器104的第一像素传感器。为了简单起见，源图像112的这种第一像素被称为绿色像素。如图3A所示，源图像112包括多个像素(例如R像素、G像素和B像素)，这些像素被布置为对应于CFA 102的布置。
[0026]图4示意性地图示了图1中的去马赛克模块106。在实施例中，模块106包括像素窗口生成模块440、颜色梯度生成模块444、像素分类模块448、以及像素值估算模块452，这些模块中的每个模块将在本文后续部分中详细讨论。
[0027]I1.像素窗口的生成
[0028]模块106接收源图像112，并且处理源图像112以生成全彩色图像114。处理源图像112包括在源图像112内生成像素的移动窗口。例如，在处理源图像112的第一像素的同时，像素窗口生成模块440生成对应的像素窗口，该像素窗口包括(i)第一像素和(ii)源图像112中的多个像素，该多个像素围绕第一像素(例如，与第一像素相邻)使得第一像素是像素窗口的中心像素。当模块106继续处理源图像112的各种像素时，像素窗口继续在源图像112中到处移动。像素窗口可以具有任何适合的大小，例如可以包括5x 5像素、7x 7像素、9x 9像素等的阵列。
[0029]图3A还