去马赛克方法、图像处理器及图像传感器的制造方法
【专利摘要】本申请提供了一种图像传感器，图像传感器的滤波掩膜阵列中包含有透明掩膜，可以提高图像生成过程中对光线的利用率，生成的彩色图像具有更加锐利的边界，从而清晰度更好。该种效果在弱光环境下效果更加明显。另外，透明掩膜分布在各个有色掩膜的中间，使得有色掩膜并未集中分布，从而白色插值即确定出的每个像素的白色值更加精确，进一步提高了图像的清晰度。相对应地，本申请还提供了去马赛克方法，以对图像传感器输出的图像进行去马赛克，以得到彩色图像。另外，本申请还提供了图像处理器，用以保证上述方法在实际中的应用及实现。
【专利说明】
去马赛克方法、图像处理器及图像传感器
技术领域
[0001] 本申请设及图像处理技术领域，更具体地，设及去马赛克方法、图像处理器及图像 传感器。
【背景技术】
[0002] 图像传感器，是摄像头内部用于接收光学信号的元件，配合图像处理器可W实现 拍摄照片的功能。具体地，图像传感器包括掩膜阵列及感光元件，其中，掩膜阵列覆盖在感 光元件上，光束通过掩膜阵列后，掩膜阵列会对光束进行滤波，由感光元件采集后输出像素 阵列图像，再由图像处理器对像素阵列图像进行处理后，得到彩色的照片。
[0003] 掩膜阵列的主要作用是，对光束进行滤波。掩膜阵列中包含的掩膜具有红色、绿色 和蓝色=种颜色，光束通过掩膜阵列后，每个掩膜仅能通过与自身颜色一样的光谱，因此， 感光元件采集到的每个像素仅具有一种颜色的强度。
[0004] 见图1所示的现有图像传感器的掩膜阵列，方格表示掩膜，整个掩膜阵列可W划分 为多个组，组中包含有图中指示有颜色的四个掩膜，即两个绿色掩膜、一个蓝色掩膜及一个 红色掩膜。如图1所示，现有的掩膜阵列仅包括=种颜色的掩膜，光束通过该掩膜阵列后，光 束的大部分光强度均被过滤掉，导致图像处理器生成的图像清晰度较低。
【发明内容】
[0005] 有鉴于此，本申请提供了一种图像传感器，用W解决现有的图像传感器输出的图 像清晰度不高的技术问题。相对应地，本申请还提供了去马赛克方法，W对图像传感器输出 的图像进行去马赛克，W得到彩色图像。另外，本申请还提供了图像处理器，用W保证上述 方法在实际中的应用及实现。
[0006] 为实现所述目的，本申请提供的技术方案如下：
[0007] 本申请的第一方面提供了一种去马赛克方法，用于对图像传感器输出的像素阵列 图像进行去马赛克处理，W将所述像素阵列图像还原为彩色图像，其中，所述图像传感器包 含滤波掩膜阵列，所述滤波掩膜阵列由不同颜色的有色掩膜及透明掩膜组成，且在行方向 及列方向上不同颜色的有色掩膜之间均间隔相同数量的透明掩膜;该方法包括：
[000引获取所述像素阵列图像中白色像素的白色值;其中，所述白色像素是所述透明掩 膜对光进行滤波后生成的像素；
[0009] 依据所述白色像素的白色值，确定所述像素阵列图像中有色像素的白色值;所述 有色像素是所述有色掩膜对光进行滤波后生成的像素，且所述有色像素的白色值是由W所 述有色像素为中屯、的周围区域中的白色像素的白色值确定的；
[0010] 获取所述有色像素的色彩值；
[0011] 依据所述有色像素的白色值及色彩值，确定所述白色像素的色彩值。
[0012] 本申请的第二方面提供了一种图像处理器，用于对图像传感器输出的像素阵列图 像进行去马赛克处理，W将所述像素阵列图像还原为彩色图像，其中，所述图像传感器包含 滤波掩膜阵列，所述滤波掩膜阵列由不同颜色的有色掩膜及透明掩膜组成，且在行方向及 列方向上不同颜色的有色掩膜之间均间隔相同数量的透明掩膜;该处理器用于：
[0013] 获取所述像素阵列图像中白色像素的白色值;其中，所述白色像素是所述透明掩 膜对光进行滤波后生成的像素；
[0014] 依据所述白色像素的白色值，确定所述像素阵列图像中有色像素的白色值;所述 有色像素是所述有色掩膜对光进行滤波后生成的像素，且所述有色像素的白色值是由W所 述有色像素为中屯、的周围区域中的白色像素的白色值确定的；
[0015] 获取所述有色像素的色彩值；
[0016] 依据所述有色像素的白色值及色彩值，确定所述白色像素的色彩值。
[0017] 本申请的第=方面提供了一种图像传感器，包括:感光元件及覆盖在所述感光元 件上的滤波掩膜阵列;其中：
[0018] 所述滤波掩膜阵列由不同颜色的有色掩膜及透明掩膜组成，且在行方向及列方向 上不同颜色的有色掩膜之间均间隔相同数量的透明掩膜。
[0019] 由W上技术方案可知，本申请提供了一种图像传感器，图像传感器的滤波掩膜阵 列中包含有透明掩膜，可W提高图像生成过程中对光线的利用率，生成的彩色图像具有更 加锐利的边界，从而清晰度更好。该种效果在弱光环境下效果更加明显。另外，透明掩膜分 布在各个有色掩膜的中间，使得有色掩膜并未集中分布，从而白色插值即确定出的每个像 素的白色值更加精确，进一步提高了图像的清晰度。
【附图说明】
[0020] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可W根据 提供的附图获得其他的附图。
[0021 ]图1为现有图像传感器的掩膜阵列的示例图；
[0022] 图2A为本申请提供的图像传感器的滤波掩膜阵列的一个示例图；
[0023] 图2B为本申请提供的图像传感器的滤波掩膜阵列的另一示例图；
[0024] 图3为本申请提供的去马赛克方法实施例1的流程图；
[0025] 图4为本申请提供的确定白色像素的色彩值的流程图。
【具体实施方式】
[0026] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于 本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本申请保护的范围。
[0027] 针对现有图像传感器的问题，本申请提供了一种新的图像传感器。为了便于理解 本方案，首先对图像传感器的结构进行说明。
[0028] 图像传感器包括滤波掩膜阵列（也可简称为掩膜阵列）及感光元件，其中，滤波掩 膜阵列也可被称为CFA(color filter array,颜色滤波阵列）。滤波掩膜阵列，覆盖在感光 元件上，由有色掩膜及透明掩膜组成，有色掩膜包括多种不同的颜色。根据目前的图像颜色 处理技术，有色掩膜的颜色可W为红色R、蓝色B及绿色G=种颜色中的任意两种或=种。
[0029] 需要说明的是，在本申请提供的图像传感器中，滤波掩膜阵列的行方向上，不同颜 色的有色掩膜之间间隔相同数量的透明掩膜，并且，在列方向上，不同颜色的有色掩膜之间 也间隔相同数量的透明掩膜。优选地，行方向及列方向上间隔的透明掩膜的数量是相同的。
[0030] 参见图2A，其示出了滤波掩膜阵列的一种示例。如图2所示，斜线框表示有色掩膜， 无斜线框表示透明掩膜。不同方向的斜线框表示不同颜色的有色掩膜。在具体实施中，有色 掩膜可W是红色R、绿色G及蓝色B =种颜色中的任意两种，如红色R和蓝色B。其中，所述透明 掩膜占据滤波掩膜阵列的九分之八，蓝色的有色掩膜及所述红色的有色掩膜各占据滤波掩 膜阵列的十八分之一。
[0031] 当然，有色掩膜的种类数也不并局限于两种，也可W是RGBS种。如图2B所示，S种 类型的斜线框表示=种不同颜色的有色掩膜。在具体实施中，每行中都包含的网状框表示 的可W是绿色G的有色掩膜，另外两种有色掩膜分别为蓝色和红色的有色掩膜。其中，所述 透明掩膜占据滤波掩膜阵列的九分之八，绿色的有色掩膜占据滤波掩膜阵列的十八分之 一，红色的有色掩膜及蓝色的有色掩膜分别占据滤波掩膜阵列的=十六分之一。
[0032] 相较于图2A示出的滤波掩膜阵列，图2B示出的滤波掩膜阵列中增加了绿色的有色 掩膜，绿色的有色掩膜可W提高颜色分量的获取量，从而提高确定各个像素的绿色颜色分 量的精准度。
[0033] 滤波掩膜阵列中，有色掩膜的作用是对光进行滤波。光通过滤波掩膜阵列时，每个 有色掩膜仅允许特定的一部分光谱通过，即允许有色掩膜的颜色所对应的光谱通过，再由 感光元件采集后输出对应颜色的像素。例如，光通过一个红色的有色掩膜后，感光元件输出 一个红色像素。同理，光通过其他颜色的有色掩膜后，会输出对应颜色的像素。光通过透明 颜色的有色掩膜后，输出的像素称为白色像素。
[0034] 感光元件输出的像素阵列可W称为像素阵列图像。像素阵列图像中的像素中包含 有色像素(即通过有色掩膜生成的像素)及白色像素。
[0035] 例如，图2A所示的滤波掩膜阵列中，有色掩膜W红色R和蓝色B为例，此种形式的滤 波掩膜阵列生成的像素阵列图像中，九分之八的像素为白色像素，其余九分之一中，一半为 红色像素，一半为蓝色像素。
[0036] 又如，图2B所示的滤波掩膜阵列中，每行中均包含的有色掩膜W绿色G为例，此种 形式的滤波掩膜阵列生成的像素阵列图像中，九分之八的像素为白色像素，绿色像素占十 八分之一，其余红色像素及蓝色像素分别占=十六分之一。
[0037] 图像传感器中滤波掩膜阵列中包含有透明掩膜，可W提高图像生成过程中对光线 的利用率，生成的彩色图像具有更加锐利的边界，从而清晰度更好。该种效果在弱光环境下 效果更加明显。另外，透明掩膜分布在各个有色掩膜的中间，使得有色掩膜并未集中分布， 从而白色插值即确定出的每个像素的白色值更加精确，进一步提高了图像的清晰度。
[0038] 由于有色掩膜对光的滤波作用，使得感光元件仅能采集到一部分颜色分量，而颜 色的表示需要RGBS种颜色分量，因此，有色像素的其余两个分量均需要根据其他像素预测 得到，运个过程即被称为CFA差值。又因为像素阵列图像类似马赛克，因此通过CFA差值的方 式获得全彩色图像的过程也可W被称为去马赛克。
[0039] 为了对图像传感器输出的像素阵列图像进行处理，W将像素阵列图像还原为彩色 图像，本申请提供了一种去马赛克方法。
[0040] 如图3所示，去马赛克方法实施例1的具体流程可W包括步骤S301~步骤S304。
[0041] 步骤S301:获取像素阵列图像中白色像素的白色值;其中，白色像素是透明掩膜对 光进行滤波后生成的像素。
[0042] 如上，像素阵列图像包括有色像素也包括白色像素。白色像素是光直接通过透明 掩膜后，由感光元件生成的像素。白色像素的光强度值可W称为白色值，白色像素的白色值 可W从感光元件处直接获取到，其他有色像素的白色值需要使用白色像素的白色值确定出 来，具体如下一步骤。
[0043] 步骤S302:依据白色像素的白色值，确定像素阵列图像中有色像素的白色值;有色 像素是有色掩膜对光进行滤波后生成的像素，且有色像素的白色值是由W有色像素为中屯、 的周围区域中的白色像素的白色值确定的。
[0044] 上述有色掩膜阵列中，对于非边界的有色掩膜而言，每个有色掩膜的周围均匀分 布有透明掩膜，可W使用有色掩膜周围区域中的白色像素的白色值来确定自身的白色值。 需要说明的是，为了确定的精确性，该周围区域可W是W有色掩膜为中屯、的规则形状所表 示的周围区域，规则形状可W是圆形、正方形等。
[0045] W图2A所示的滤波掩膜阵列为例，假设第四行第S个斜线框表示的蓝色像素，W 该蓝色像素为中屯、，确定一个半径为3*3的圆，该圆内的白色像素的白色值可W用来确定该 蓝色像素的白色值。
[0046] 在实施中，可W使用兰索斯Lanczos算法、高阶线性滤波算法等，来根据周围区域 中白色像素的白色值，确定非白色像素即有色像素的白色值。此些算法要求白色像素与有 色像素之间的距离需要是规则的，运样才能保证较高的精准度。本申请中，周围区域中的白 色像素符合上述要求，即W有色像素为中屯、，各个方向上的白色像素对称分布，因此，使用 本申请提供的滤波掩膜阵列及确定周围区域的方法，对有色像素确定出来的白色值精准度 较高。
[0047] 一个示例中，在有色像素的邻域取一个3x3或5巧的像素块，并W该有色像素为中 屯、，确定一个周围区域，将该像素块与该周围区域中的像素块进行匹配，得到失真在某阔值 之下的最匹配的若干个像素块，然后将运些像素块中屯、像素的白色值的平均值确定为该有 色像素的白色值。
[0048] 在另一示例中，可W W有色像素为中屯、，确定形状规则的第一区域;对第一区域内 的白色像素的白色值进行高阶线性滤波运算，获得有色像素的白色值。
[0049] 步骤S303:获取有色像素的色彩值。
[0050] 由于滤波掩膜阵列包括多种不同颜色的掩膜，因此，有色像素的颜色种类也存在 多种。在同一滤波掩膜阵列中，每种颜色的有色像素的色彩值的确定方式是相同的，因此， W下W某一种颜色的有色像素为例，对获取蓝色像素的色彩值进行说明，当然，其他颜色的 有色像素，也可W按照W下方式获得自身的色彩值。
[0051] 需要说明的是，针对某一种颜色的有色像素而言，色彩值即组成像素的每个颜色 分量的值。在现有的技术中，颜色使用RGBS种颜色表示，因此，有色像素的色彩值即红色分 量值、绿色分量值及蓝色分量值。
[0052] 在一种示例中，滤波掩膜阵列包括两种颜色类型。对于每种颜色的有色像素而言， 可W首先根据另一颜色的像素，来确定该有色像素的该另一颜色的颜色分量值，再根据RGB =种颜色分量与白色值之间的线性关系，来确定该有色像素的剩下一种颜色的颜色分量 值。需要补充的是，对于每种颜色的有色像素而言，该有色像素在自身颜色上的颜色分量值 可W直接从感光元件处获取到。例如，蓝色像素的蓝色像素值可W直接从感光元件处获取。
[0053] W图2A所示的滤波掩膜阵列为例，包含红色掩膜及蓝色掩膜，则对于像素阵列图 像中的蓝色像素而言，可W首先根据红色像素，来确定蓝色像素的红色分量值，再根据蓝色 像素的红色分量值、蓝色分量值及绿色分量值与白色值之间的关系，来确定蓝色像素的绿 色分量值。
[0054] 在另一示例中，滤波掩膜阵列包括=种颜色类型。对于每种颜色的有色像素，除了 自身颜色的颜色分量值而言，其余两种颜色的颜色分量值与上一示例中同理，可W根据相 同颜色的有色像素确定出来。
[0055] 那么，W下具体说明如何根据某种颜色的像素，来确定某有色像素在该颜色上的 颜色分量值。为了便于描述，该有色像素可W称为待确定像素，需要确定的颜色分量值可W 称为目标颜色分量值，因此，所根据的像素可W称为目标像素。
[0056] W待确定像素为中屯、，确定形状规则的目标区域，对将该目标区域中的目标像素 的目标颜色分量进行加权平均计算，从而得到该待确定像素的目标颜色分量值。
[0057] 假设图2A的滤波掩膜阵列中包含蓝色掩膜及红色掩膜，生成的像素阵列图像中， 假设第四行第=个斜线框为蓝色像素。W该蓝色像素为中屯、，划定3*3的圆形，圆形包含四 个红色像素，则可W将该四个红色像素的红色像素值按照距离进行加权平均后的值作为该 蓝色像素的红色像素分量值。
[005引同理，可W根据蓝色像素来确定红色像素的蓝色像素值。
[0059] 运样，针对包含=种颜色类型的滤波掩膜阵列生成的像素阵列图像，每种颜色的 像素在其他颜色上的颜色分量值均可W被确定出来。针对包含两种颜色类型的滤波掩膜阵 列生成的像素阵列图像，每种颜色的像素在另一种颜色上的颜色分量值可W按照W上方式 被确定出来，最后，剩余一种颜色的分量值，可W按照线性关系式a*R+b*G+c*B = W确定出 来。
[0060] 其中，a、b及C均为预设权重系数，W为有色像素的白色值，R为有色像素的红色像素 值，G为有色像素的绿色像素值，B为有色像素的蓝色像素值。对于任一有色像素而言，确定 出该有色像素的白色值、其中两种颜色分量值后，均可W根据该线性关系式确定出剩余一 种的颜色分量值。
[0061] 因此，不论包含两种还是=种颜色类型的滤波掩膜阵列生成的像素阵列图像，均 可W确定出每个有色像素的=个颜色分量值，该=个颜色分量值可W被称为色彩值。
[0062] 步骤S304:依据有色像素的白色值及色彩值，确定白色像素的色彩值。
[0063] 对于白色像素而言，也需要确定白色像素在=个颜色分量上的颜色分量值。白色 像素的色彩值，需要根据白色像素的周围的有色像素的白色值及色彩值确定。具体的过程 如图4所示，包括步骤S401~步骤S403。
[0064] 步骤S401:使用有色像素的白色值及色彩值，确定有色像素的线性参数值。
[0065] 具体地，使用有色像素的白色值及有色像素与自身颜色相同的颜色分量值，来确 定自身的线性参数值。其中，线性参数值为预设线性方程中的线性参数的值，预设线性方程 表示的是任一像素的白色值与色彩值之间的线性关系。
[0066] 例如，预设线性方程可W是X = a*W+c;其中，X表示某一种颜色的颜色分量值，如蓝 色分量值B、红色分量值R; W表示白色值;a及C为线性参数值。
[0067] 有色像素的线性参数值的具体确定方式可W包括W下步骤Al及步骤A2。
[0068] 步骤Al: W有色像素为中屯、，确定形状规则的第二区域;其中，第二区域中包含与 有色像素颜色相同的其他有色像素。
[0069] 其中，W某有色像素为中屯、，确定出一个形状规则的区域，该区域可W称为第二区 域，该第二区域中包括多个与该某有色像素颜色像素的其他像素。为了便于描述，该其他像 素即其他有色像素，使用该其他有色像素的白色值及色彩值按照步骤A2的方式，计算中屯、 的有色像素的线性参数值。
[0070] 需要说明的是，其他有色像素的色彩值是与自身颜色对应的颜色分量值。
[0071] 例如，W某个蓝色像素为中屯、确定出的圆形区域中，除了自身外，还包括四个蓝色 像素，W该四个蓝色像素各自的白色值及各自的蓝色分量值，来计算中屯、的蓝色像素的线 性参数值。
[0072] 步骤A2:使用最小二乘法，对其他有色像素的色彩值及白色值进行线性拟合，获得 有色像素的线性参数值。
[0073] 对于其他有色像素而言，其白色值可W通过步骤S302获得，与自身颜色对应的颜 色分量值也可W直接从感光元件处获取到，因此，对于其他有色像素而言，将白色值及颜色 分量值代入上述预设线性方程后，便可W获得一个有关线性参数值(如a和C)的表达式。
[0074] 将多个其他有色像素的线性参数值的表达式进行线性拟合运算，从而便可W获得 中屯、的有色像素的线性参数值(如a和C)。对每个有色像素均执行上述Al及步骤A2,则可W 确定每个有色像素自身的线性参数值。
[0075] 步骤S402:使用有色像素的线性参数值，确定白色像素的线性参数值。
[0076] 白色像素的周围区域中包含有色像素，有色像素的线性参数值是已知的，则可W 根据周围区域中有色像素的线性参数值，来确定该白色像素的线性参数值。其中，该周围区 域同样可W是W白色像素为中屯、的规则形状的区域。
[0077] 具体地，白色像素的线性参数值的具体确定方式可W包括W下步骤Bl及步骤B2。
[0078] 步骤BI:在上下左右四个方向上，确定距离白色像素最近的四个有色像素。
[0079] W图2A所示的滤波掩膜阵列生成的像素阵列图像为例，第S行第四个为白色像 素，在上下左右四个方向上，距离该白色像素的距离最近的四个蓝色像素分别为，第一行第 二个斜线框、第四行第一个斜线框、第四行第=个斜线框、第屯行第二个斜线框。该四个蓝 色像素距离白色像素的距离分别为2、3、3及4。
[0080] 步骤B2:使用双线性算法，对四个有色像素的线性参数值进行插值运算，获得白色 像素的线性参数值。
[0081] 双线性算法，可W将W上距离作为有色像素的线性参数值的权重，进过运算后可 W获得新的线性参数值，该线性参数即白色像素的线性参数值。
[0082] W上述四个蓝色像素的线性参数值a为例，四个线性参数值a可W分别为a 1、a2、a3 及a4，则白色像素的线性参数值为al巧+a2*3+a3*3+a4*4/( 2+3+3+4)。
[0083] 步骤S403:将白色像素的白色值及白色像素的线性参数值代入预设线性方程后， 获得白色像素的色彩值。
[0084] 需要说明的是，线性参数值是与步骤S401中的有色像素对应的，即步骤S401中的 有色像素为何种颜色的有色像素，则确定的白色像素的线性参数值即何种颜色对应的线性 参数值，进而步骤S403将该线性参数值代入预设线性方程后，获得的色彩值为何种颜色的 颜色分量值。
[00化]例如，上述步骤S401中使用蓝色像素为例，则al、a2、a3及曰4为与蓝色对应的线性 参数值，因此，上述曰1巧+曰2*3+曰3*3+曰4*4/(化3+3+4)确定出的线性参数值为白色像素的蓝 色分量值。
[0086] 当然，按照W上步骤S401及步骤S403可W确定其他如白色像素的红色分量值及绿 色分量值。
[0087] 由W上可知，步骤S301可W获得白色像素的白色值，步骤S302可W获得有色像素 的白色值，步骤S303可W获得有色像素的色彩值，步骤S304可W获得白色像素的色彩值。因 此，根据本申请提供的技术方案，可W确定出每个像素的白色值及各个颜色上的颜色分量 值，从而完成了去马赛克流程，将图像传感器输出的像素阵列图像还原为了彩色图像。
[0088] 在实际应用中，W上步骤S303获取有色像素的色彩值的另一种实现方式可W是：
[0089] 使用引导双边滤波算法，确定有色像素的色彩值。其中，W获取有色像素的红色分 量值为例，对引导双边滤波算法的具体内容进行说明。获取有色像素的其他的颜色分量值 的过程可W参见W下。
[0090] 对于某个有色像素（非红色像素），W该有色像素为中屯、，确定某个半径大小的圆 形，需要说明的是，圆形内需要包含有红色像素。
[0091] 其中，该有色像素的位置可W使用RU, y)表示，所有红色像素的位置的集合使用G 表示，白色像素值平面为L (X，y)表示，本算法W亮度像素值计算双边引导的加权值。
[0092] 其中，针对红色像素的引导双边滤波算法的表达式如下所示：
[0093]
12345 其中，e及6均为预设的已知数，（x，y)是有色像素的位置坐标，（z，w)是集合G中的 位置坐标，L(x，y)是位置坐标(x，y)处的白色像素值，R(z，w)是位置坐标(z，w)处的红色像 素值。 2
[00M] W下对本申请提供的图像处理器进行介绍，需要说明的是，下文有关图像处理器 的说明可W参见上文提供的去马赛克方法，W下并不寶述。 3 图像处理器用于对图像传感器输出的像素阵列图像进行去马赛克处理，W将所述 像素阵列图像还原为彩色图像，其中，所述图像传感器包含滤波掩膜阵列，所述滤波掩膜阵 列由不同颜色的有色掩膜及透明掩膜组成，且在行方向及列方向上不同颜色的有色掩膜之 间均间隔相同数量的透明掩膜； 4 其中，图像处理器用于执行图3中的步骤S301~步骤S304、图4中的步骤S401~步 骤S404、W上步骤Al及步骤A2、W上步骤Bl及步骤B2。 5 需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重 点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0099] 还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个 实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示运些实体或操作之间 存在任何运种实际的关系或者顺序。而且，术语"包括"、"包含"或者其任何其他变体意在涵 盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要 素，而且还包括没有明确列出的其他要素，或者是还包括为运种过程、方法、物品或者设备 所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在 包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0100] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。 对运些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的 一般原理可W在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请 将不会被限制于本文所示的运些实施例，而是要符合与本文所公开的原理和新颖特点相一 致的最宽的范围。
【主权项】
1. 一种去马赛克方法，其特征在于，用于对图像传感器输出的像素阵列图像进行去马 赛克处理，以将所述像素阵列图像还原为彩色图像，其中，所述图像传感器包含滤波掩膜阵 列，所述滤波掩膜阵列由不同颜色的有色掩膜及透明掩膜组成，且在行方向及列方向上不 同颜色的有色掩膜之间均间隔相同数量的透明掩膜;该方法包括： 获取所述像素阵列图像中白色像素的白色值;其中，所述白色像素是所述透明掩膜对 光进行滤波后生成的像素； 依据所述白色像素的白色值，确定所述像素阵列图像中有色像素的白色值;所述有色 像素是所述有色掩膜对光进行滤波后生成的像素，且所述有色像素的白色值是由以所述有 色像素为中心的周围区域中的白色像素的白色值确定的； 获取所述有色像素的色彩值； 依据所述有色像素的白色值及色彩值，确定所述白色像素的色彩值。2. 根据权利要求1所述的去马赛克方法，其特征在于，所述依据所述白色像素的白色 值，确定所述像素阵列图像中有色像素的白色值，包括： 以所述有色像素为中心，确定形状规则的第一区域； 对所述第一区域内的白色像素的白色值进行高阶线性滤波运算，获得所述有色像素的 白色值。3. 根据权利要求1所述的去马赛克方法，其特征在于，所述依据所述有色像素的白色值 及色彩值，确定所述白色像素的色彩值，包括： 使用所述有色像素的白色值及色彩值，确定所述有色像素的线性参数值;其中，所述线 性参数值为预设线性方程中的线性参数的值，所述预设线性方程表示的是任一像素的白色 值与色彩值之间的线性关系； 使用所述有色像素的线性参数值，确定所述白色像素的线性参数值； 将所述白色像素的白色值及所述白色像素的线性参数值代入所述预设线性方程后，获 得所述白色像素的色彩值。4. 根据权利要求3所述的去马赛克方法，其特征在于，所述使用所述有色像素的白色值 及色彩值，确定所述有色像素的线性参数值，包括： 以所述有色像素为中心，确定形状规则的第二区域;其中，所述第二区域中包含与所述 有色像素颜色相同的其他有色像素； 使用最小二乘法，对所述其他有色像素的色彩值及白色值进行线性拟合，获得所述有 色像素的线性参数值。5. 根据权利要求3所述的去马赛克方法，其特征在于，所述使用所述有色像素的线性参 数值，确定所述白色像素的线性参数值，包括： 在上下左右四个方向上，确定距离所述白色像素最近的四个有色像素； 使用双线性算法，对所述四个有色像素的线性参数值进行插值运算，获得所述白色像 素的线性参数值。6. 根据权利要求1所述的去马赛克方法，其特征在于，所述获取所述有色像素的色彩 值，包括： 使用引导双边滤波算法，确定所述有色像素的色彩值。7. -种图像处理器，其特征在于，用于对图像传感器输出的像素阵列图像进行去马赛 克处理，以将所述像素阵列图像还原为彩色图像，其中，所述图像传感器包含滤波掩膜阵 列，所述滤波掩膜阵列由不同颜色的有色掩膜及透明掩膜组成，且在行方向及列方向上不 同颜色的有色掩膜之间均间隔相同数量的透明掩膜;该处理器用于： 获取所述像素阵列图像中白色像素的白色值;其中，所述白色像素是所述透明掩膜对 光进行滤波后生成的像素； 依据所述白色像素的白色值，确定所述像素阵列图像中有色像素的白色值;所述有色 像素是所述有色掩膜对光进行滤波后生成的像素，且所述有色像素的白色值是由以所述有 色像素为中心的周围区域中的白色像素的白色值确定的； 获取所述有色像素的色彩值； 依据所述有色像素的白色值及色彩值，确定所述白色像素的色彩值。8. 根据权利要求7所述的图像处理器，其特征在于，在依据所述白色像素的白色值，确 定所述像素阵列图像中有色像素的白色值方面，所述图像处理器用于： 以所述有色像素为中心，确定形状规则的第一区域； 对所述第一区域内的白色像素的白色值进行高阶线性滤波运算，获得所述有色像素的 白色值。9. 根据权利要求7所述的图像处理器，其特征在于，在依据所述有色像素的白色值及色 彩值，确定所述白色像素的色彩值方面，所述图像处理器用于： 使用所述有色像素的白色值及色彩值，确定所述有色像素的线性参数值;其中，所述线 性参数值为预设线性方程中的线性参数的值，所述预设线性方程表示的是任一像素的白色 值与色彩值之间的线性关系； 使用所述有色像素的线性参数值，确定所述白色像素的线性参数值； 将所述白色像素的白色值及所述白色像素的线性参数值代入所述预设线性方程后，获 得所述白色像素的色彩值。10. 根据权利要求9所述的图像处理器，其特征在于，在所述使用所述有色像素的白色 值及色彩值，确定所述有色像素的线性参数值方面，所述图像处理器用于： 以所述有色像素为中心，确定形状规则的第二区域;其中，所述第二区域中包含与所述 有色像素颜色相同的其他有色像素； 使用最小二乘法，对所述其他有色像素的色彩值及白色值进行线性拟合，获得所述有 色像素的线性参数值。11. 根据权利要求9所述的图像处理器，其特征在于，在所述使用所述有色像素的线性 参数值，确定所述白色像素的线性参数值方面，所述图像处理器用于： 在上下左右四个方向上，确定距离所述白色像素最近的四个有色像素； 使用双线性算法，对所述四个有色像素的线性参数值进行插值运算，获得所述白色像 素的线性参数值。12. 根据权利要求7所述的图像处理器，其特征在于，在所述获取所述有色像素的色彩 值方面，所述图像处理器用于： 使用引导双边滤波算法，确定所述有色像素的色彩值。13. -种图像传感器，其特征在于，包括:感光元件及覆盖在所述感光元件上的滤波掩 膜阵列;其中： 所述滤波掩膜阵列由不同颜色的有色掩膜及透明掩膜组成，且在行方向及列方向上不 同颜色的有色掩膜之间均间隔相同数量的透明掩膜。14. 根据权利要求13所述的图像传感器，其特征在于，所述滤波掩膜阵列中包括两种颜 色的有色掩膜，且分别为蓝色的有色掩膜及红色的有色掩膜； 其中，所述透明掩膜占据滤波掩膜阵列的九分之八，蓝色的有色掩膜及所述红色的有 色掩膜各占据滤波掩膜阵列的十八分之一。15. 根据权利要求13所述的图像传感器，其特征在于，所述滤波掩膜阵列中包括三种颜 色的有色掩膜，且分别为蓝色的有色掩膜、红色的有色掩膜及绿色的有色掩膜； 其中，所述透明掩膜占据滤波掩膜阵列的九分之八，绿色的有色掩膜占据滤波掩膜阵 列的十八分之一，红色的有色掩膜及蓝色的有色掩膜分别占据滤波掩膜阵列的三十六分之 〇
【文档编号】H04N9/04GK105979233SQ201610514267
【公开日】2016年9月28日
【申请日】2016年6月30日
【发明人】朱洪波
【申请人】北京奇艺世纪科技有限公司