处理镶嵌图像的方法
【专利摘要】本发明提供一种处理镶嵌图像的方法。首先，沿着一第一方向上取样该镶嵌图像，产生一第一中间图像。接着，沿着该第一方向调整该第一中间图像的尺寸，产生一第二中间图像。然后，沿着一第二方向上取样该第二中间图像，产生一第三中间图像。之后，沿着该第二方向调整该第三中间图像的尺寸，产生一已调整尺寸并部分去镶嵌的图像。本发明可确保好的图像品质。
【专利说明】处理镶嵌图像的方法 【【技术领域】】
[0001] 本发明关于图像处理，尤其关于一种处理镶嵌图像（mosaicked image)的方法。 【【背景技术】】
[0002] 现在，数码相机几乎无处不在。不仅有单机（Stand-along)数码相机，也有嵌入各 种类型的电子设备(例如智能机及平板电脑）内的数码相机。甚至，数码摄像机也可被当做 是数码相机。
[0003] 通常来说，数码相机至少具有一个色彩感测器（color sensor)及叠加在该色 彩感测器上的一个色彩滤波矩阵（color filter array, CFA)。举几个例子，色彩感测 器可以是电荷稱合装置（charge coupled device, CO))传感器或互补金属氧化物半 导体（complementary metal oxide semiconductor，CMOS)传感器；色彩滤波矩阵可 以是拜耳（Bayer)色彩滤波矩阵，RGBC(Red, Green, Blue, Clean)色彩滤波矩阵，或者 CYYM (Cyan, Yellow, Yellow, Magenta)色彩滤波矩阵。
[0004] 数码相机产生的原始图像（raw image)为镶嵌图像，具有不同颜色的像素，这些像 素在像素的每一水平线条及像素的每一垂直线条上交替。要想做到有效，经常需要处理镶 嵌图像。一些图像处理方法会以更复杂的计算为代价来确保更好的图像品质。另一些图像 处理方法可具有较简单的计算但会导致较差的图像品质。 【
【发明内容】
】
[0005] 有鉴于此，本发明提供一种处理镶嵌图像的方法。
[0006] 本发明实施例提供一种处理镶嵌图像的方法。首先，沿着一第一方向上取样该镶 嵌图像，产生一第一中间图像。接着，沿着该第一方向调整该第一中间图像的尺寸，产生一 第二中间图像。然后，沿着一第二方向上取样该第二中间图像，产生一第三中间图像。之后， 沿着该第二方向调整该第三中间图像的尺寸，产生一已调整尺寸并部分去镶嵌的图像。
[0007] 本发明另一实施例提供一种处理镶嵌图像的方法。首先沿着一第一方向上取样该 镶嵌图像，产生一第一中间图像。接着，沿着该第一方向调整该第一中间图像的尺寸，产生 一第二中间图像。然后，沿着一第二方向上取样该第二中间图像，产生一第三中间图像。之 后，沿着该第二方向调整该第三中间图像的尺寸，产生一已调整尺寸并部分去镶嵌的图像。 接着，处理该已调整尺寸并部分去镶嵌的图像，产生一去镶嵌并处理过的图像。
[0008] 上述处理镶嵌图像的方法可确保好的图像品质。 【【专利附图】
【附图说明】】
[0009] 图1为依据本发明实施例的处理镶嵌图像的图像处理方法的示意图；
[0010] 图2及图3为进一步说明图1所示方法的两个示意图。 【【具体实施方式】】 toon] 图1为依据本发明实施例的处理镶嵌图像的图像处理方法的示意图。该图像处理 方法包含镶嵌图像调整尺寸（resize)方法100,其范例如图2及图3中描述，以及图像信号 处理（image signal processing, ISP)方法900,其仅在图1中描述。
[0012] 为简洁起见，图1，2, 3描述的每一示范性图像被拆分为不同颜色的平面（plane)。 举例来说，如果使用拜耳色彩滤波矩阵来产生镶嵌图像，则颜色平面可包含红（R)平面、蓝 (B)平面以及绿（G)平面。在另一范例中，可使用其他类型的色彩滤波矩阵(例如，RGBC色 彩滤波矩阵或CYYM色彩滤波矩阵）来产生该镶嵌图像。
[0013] 在图中，包围字母"X"的矩形代表对应颜色平面中丢失的像素；包围字母 或"G"的矩形代表对应颜色平面中的红、蓝或绿像素。如果颜色平面不具有任何丢失的像 素，则其被称为完整取样（full-sampled)的颜色平面。另一方面，如果颜色平面有某些像 素丢失，则其被称为子取样（sub-sampled)颜色平面。使用图1描述的镶嵌图像和已调整 尺寸并部分去镶嵌的（demosaicked)图像为例，前者具有子取样R平面、子取样B平面以及 子取样G平面，后者具有子取样R平面、子取样B平面以及完整取样G平面。
[0014] 图1描述的图像处理方法使电子设备能够将镶嵌图像转换成去镶嵌并处理过的 图像。镶嵌图像具有Μ行N列像素，其中Μ及N为两个正整数。换句话说，镶嵌图像的分辨 率为ΜΧΝ。去镶嵌并处理过的图像的分辨率为Μ〃ΧΝ〃，其中Μ"为小于或等于Μ的正整数， Ν"为小于或等于Ν的正整数。
[0015] 图1、图2及图3描述的镶嵌图像调整尺寸的方法100使电子设备能够首先将镶嵌 图像转换成已调整尺寸并部分去镶嵌的图像。已调整尺寸并部分去镶嵌的图像的分辨率为 Μ'ΧΝ'，其中Μ'为小于或等于Μ的正整数，Ν'为小于或等于Ν的正整数。举例来说，Μ'及 Ν'可分别等于Μ〃及Ν"。
[0016] 修饰语"部分去镶嵌的"表示已调整尺寸并部分去镶嵌的图像可具有至少一个完 整取样的颜色平面。换句话说，已调整尺寸并部分去镶嵌的图像可具有至少一个无丢失像 素的颜色平面。在镶嵌图像调整尺寸方法100之后，图1描述的图像信号处理方法900使 电子设备能够将该已调整尺寸并部分去镶嵌的图像转换成去镶嵌并处理过的图像。举几 个例子，图像信号处理方法900可包含去镶嵌、图像灰度校正（gamma correction)、色彩校 正、噪声消减以及边缘增强（edge enhancement)等等。
[0017] 请参考图2及图3。在镶嵌图像调整尺寸方法100中，电子设备首先沿着第一方 向上执行上取样（up-sample)及调整尺寸，接着沿着第二方向上执行上取样及调整尺寸。 虽然在所述范例中第一方向及第二方向分别为水平方向及垂直方法，但是在其他范例中该 第一方向及第二方向可以分别为垂直方向及水平方向。请注意，如果第一方向及第二方向 分别为水平方向及垂直方法，则沿着第一方向的线条及沿着第二方向的线条会分别是行和 列。另一方面，如果第一方向及第二方向分别为垂直方向及水平方向，则沿着第一方向的线 条及沿着第二方向的线条会分别是列和行。
[0018] 请参考图2。在镶嵌图像调整尺寸方法的步骤120,电子设备沿着第一方向上取样 镶嵌图像以产生第一中间图像，其分辨率可仍为MXN。换句话说，在步骤120,电子设备在 每一颜色平面沿着第一方向上取样线条。在被上取样后，原始子取样线条会变成完整取样 的线条或变成具有较少丢失像素的子取样线条，原始未取样的线条可保持未取样（即保持 原封不动)，以及原始完整取样的线条可保持完整取样（即保持原封不动)。如此处使用的， 如果交替了丢失像素(每一个在图中表示为符号'X'）及现有像素(每一个在图中表示为符 号' R'、' G'或' B'），则线条为子取样；如果没有丢失像素，则线条为完整取样；如果仅有丢 失像素，则线条为未取样。举例来说，子取样线条的交替期间可为η像素，其中η为大于1 的整数，且每一交替期间可具有1个现有像素及（η-1)个丢失像素。换句话说，子取样线条 的1/η像素可为现有像素，而其余（η-1)/η像素可为丢失像素。
[0019] 使用图1及图2的镶嵌图像为例，在其R平面，奇水平线条为子取样以及偶水平线 条为未取样。在步骤120,电子设备通过例如水平插值，将子取样奇水平线条转换成完整取 样线条。在此期间，R平面的偶水平线条保持未取样。类似地，在镶嵌图像的Β平面，偶水 平线条为子取样以及奇水平线条为未取样。在步骤120,电子设备通过例如水平插值，将子 取样偶水平线条转换成完全取样线条。在此期间，Β平面的奇水平线条保持未取样。在镶 嵌图像的G平面，所有水平线条为子取样。在步骤120,电子设备通过例如水平插值，将所有 水平线条转换成完整取样线条。因为第一中间图像中产生的G平面只有完整取样线条，所 以G平面已成为完整取样颜色平面。
[0020] 接着，在镶嵌图像调整尺寸方法的步骤140,电子设备沿着第一方向调整第一中间 图像的尺寸，以产生第二中间图像，其分辨率可为Μ' ΧΝ。换句话说，在步骤140,电子设备 将沿着第一方向Μ像素的线条转换成沿着第一方向Μ'像素的线条。第二中间图像的G平 面为完整取样，其中的每一线条为完整取样。
[0021] 第二中间图像的R平面为子取样颜色平面。举例来说，其中的奇水平线条及奇垂 直线条为子取样，而其中的偶水平线条及偶垂直线条为未取样。作为另一个范例，其中的奇 水平线条及偶垂直线条为子取样，而其中的偶水平线条及奇垂直线条为未取样。当然，丢失 像素及现有像素在子取样R平面中可用不同于上述两个例子的方式来设置。类似地，第二 中间图像的Β平面为子取样颜色平面。举例来说，其中的偶水平线条及偶垂直线条为子取 样，而其中的奇水平线条及奇垂直线条为未取样。作为另一个范例，其中的偶水平线条及奇 垂直线条为子取样，而其中的奇水平线条及偶垂直线条为未取样。当然，丢失像素及现有像 素在子取样Β平面中可用不同于上述两个例子的方式来设置。
[0022] 请参考图3。在镶嵌图像调整尺寸方法的步骤160,电子设备沿着第二方向上取样 第二中间图像，以产生第三中间图像，其分辨率可仍为Μ' ΧΝ。换句话说，在步骤160,电子 设备在每一颜色平面沿着第二方向上取样线条。
[0023] 举例来说，假设在第二中间图像的R平面中，奇垂直线条为子取样及偶垂直线条 为未取样。在步骤160,电子设备通过例如垂直插值，将子取样奇垂直线条转换成完整取样 线条。在此期间，R平面中的偶垂直线条保持未取样。类似地，假设在第二中间图像的Β平 面中，偶垂直线条为子取样及奇垂直线条为未取样。在步骤160,电子设备通过例如垂直插 值，将子取样偶垂直线条转换成完整取样线条。在此期间，Β平面中的奇垂直线条保持未取 样。在第二中间图像的G平面中，所有垂直线条已经为完整取样。因此，电子设备可任G平 面保持在步骤160中。换句话说，G平面可在步骤160之后保持原封不动。
[0024] 接着，在镶嵌图像调整尺寸方法的步骤180,电子设备沿着第二方向调整第三中间 图像的尺寸，以产生已调整尺寸并部分去镶嵌的图像，其分辨率可为Μ' ΧΝ'。换句话说，在 步骤180,电子设备将沿着第二方向的Ν像素线条转换成沿着第二方向的Ν'像素线条。已 调整尺寸并部分去镶嵌图像的G平面为完整取样，其中的每一线条(无论是水平或垂直）为 完整取样。
[0025] 已调整尺寸并部分去镶嵌图像的R平面为子取样颜色平面。举例来说，其中的奇 水平线条及奇垂直线条为子取样，而其中的偶水平线条及偶垂直线条为未取样。作为另一 个范例，其中的偶水平线条及奇垂直线条为子取样，而其中的奇水平线条及偶垂直线条为 未取样。当然，丢失像素及现有像素在子取样R平面中可用不同于上述两个例子的方式来 设置。类似地，已调整尺寸并部分去镶嵌图像的B平面为子取样颜色平面。举例来说，其中 的偶水平线条及偶垂直线条为子取样，而其中的奇水平线条及奇垂直线条为未取样。作为 另一个范例，其中的奇水平线条及偶垂直线条为子取样，而其中的偶水平线条及奇垂直线 条为未取样。当然，丢失像素及现有像素在子取样B平面中可用不同于上述两个例子的方 式来设置。
[0026] 上述图像处理方法具有数个优势，其中一些浅谈如下。首先，因为已调整尺寸并部 分去镶嵌图像(而不是镶嵌图像，其分辨率会比已调整尺寸并部分去镶嵌图像的分辨率高 得多）在步骤900被处理，所以步骤900具有相对较低的计算需求。另外，因为在镶嵌图像 调整尺寸方法中，仅在水平上取样之后执行水平调整尺寸，仅在垂直上取样之后执行垂直 调整尺寸，所以已调整尺寸并部分去镶嵌图像会具有相对较好的品质。正因为如此，去镶嵌 并处理过的图像也会保持相对较好的品质。举例来说，去镶嵌并处理过的图像会具有较少 失真（art if act),例如混淆现象（aliasing)及假彩色（false color)。
[0027] 总而言之，上述图像处理方法不仅可降低计算需求，也可确保好的图像品质。
[0028] 虽然本发明已以具体实施例揭露如上，然其仅为了易于说明本发明的技术内容， 而并非将本发明狭义地限定于该实施例，任何本领域技术人员，在不脱离本发明的精神和 范围内，当可作些许的更动与润饰，因此本发明的保护范围当视本发明的权利要求所界定 者为准。
【权利要求】
1. 一种处理镶嵌图像的方法，包含： 沿着第一方向上取样该镶嵌图像，产生第一中间图像； 沿着该第一方向调整该第一中间图像的尺寸，产生第二中间图像； 沿着第二方向上取样该第二中间图像，产生第三中间图像；以及 沿着该第二方向调整该第三中间图像的尺寸，产生已调整尺寸并部分去镶嵌的图像。
2. 如权利要求1所述的处理镶嵌图像的方法，其特征在于，该第二中间图像包含至少 一个完整取样颜色平面及至少一个子取样颜色平面。
3. 如权利要求1所述的处理镶嵌图像的方法，其特征在于，产生该第一中间图像的该 步骤包含： 在该镶嵌图像的每一颜色平面中，通过沿着该第一方向的插值，沿着该第一方向上取 样每一子取样线条。
4. 如权利要求1所述的处理镶嵌图像的方法，其特征在于，产生该第三中间图像的该 步骤包含： 在该第二中间图像的每一颜色平面中，通过沿着该第二方向的插值，沿着该第二方向 上取样每一子取样线条。
5. 如权利要求1所述的处理镶嵌图像的方法，其特征在于，在该镶嵌图像的第一颜色 平面中，沿着该第一方向的奇线条为子取样；在该镶嵌图像的第二颜色平面中，沿着该第一 方向的偶线条为子取样；以及在该镶嵌图像的第三颜色平面中，沿着该第一方向的所有线 条为子取样；以及产生该第一中间图像的该步骤包含： 将该第一颜色平面中沿着该第一方向的该奇线条转换成完整取样线条； 将该第二颜色平面中沿着该第一方向的该偶线条转换成完整取样线条；以及 将该第三颜色平面中沿着该第一方向的该所有线条转换成完整取样线条。
6. 如权利要求1所述的处理镶嵌图像的方法，其特征在于，在该第二中间图像的第一 颜色平面中，沿着该第二方向的奇线条为子取样；在该第二中间图像的第二颜色平面中，沿 着该第二方向的偶线条为子取样；以及在该第二中间图像的第三颜色平面中，沿着该第二 方向的所有线条为完整取样；以及产生该第三中间图像的该步骤包含： 将该第一颜色平面中沿着该第二方向的该奇线条转换成完整取样线条；以及 将该第二颜色平面中沿着该第二方向的该偶线条转换成完整取样线条。
7. 如权利要求1所述的处理镶嵌图像的方法，其特征在于，该镶嵌图像的分辨率与该 第一中间图像的分辨率相同。
8. 如权利要求1所述的处理镶嵌图像的方法，其特征在于，该第二中间图像的分辨率 与该第三中间图像的分辨率相同。
9. 如权利要求1所述的处理镶嵌图像的方法，其特征在于，该已调整尺寸并部分去镶 嵌的图像的分辨率小于该镶嵌图像的分辨率。
10. 如权利要求1所述的处理镶嵌图像的方法，其特征在于，该处理镶嵌图像的方法还 包含：处理该已调整尺寸并部分去镶嵌的图像，产生去镶嵌并处理过的图像。
11. 如权利要求10所述的处理镶嵌图像的方法，其特征在于，产生该去镶嵌并处理过 的图像的该步骤包含： 执行去镶嵌、图像灰度校正、色彩校正、噪声消减以及边缘增强。
【文档编号】H04N9/04GK104125443SQ201310319313
【公开日】2014年10月29日 申请日期:2013年7月18日 优先权日:2013年4月25日
【发明者】魏鸣圻 申请人:联发科技股份有限公司