图像放大方法和装置制造方法
【专利摘要】本发明涉及一种图像放大方法和装置。该图像放大方法用于逐块地对拜耳格式的原始图像进行放大，其中每个原始图像块包括两个第一颜色分量、一个第二颜色分量以及一个第三颜色分量，该图像放大方法包括以下步骤：逐块地以预定的对应关系将原始图像块的各个颜色分量填充到放大图像块中，作为已知颜色分量；对于放大图像块中的至少一个未知颜色分量，通过与其颜色相同的已知颜色分量，分别求出未知颜色分量在水平方向的、垂直方向的以及两个对角线方向的梯度值；选择梯度值最小的一个，通过使用对应的滤波模板系数，对于位于梯度值最小的方向上的、与未知颜色分量颜色相同的已知颜色分量执行加权求和来计算未知颜色分量。
【专利说明】图像放大方法和装置
【技术领域】
[0001] 本发明涉及一种图像放大方法和装置，尤其涉及用于拜耳格式图像的放大方法和 装直。
【背景技术】
[0002] 存在对于拜耳格式图像进行放大的各种现有技术，例如双线性过滤插值技术、边 缘方向插值技术等等。但是这些已知方法都有自身的缺陷。例如，通过双线性过滤插值技 术放大的拜耳格式图像通常边缘模糊。又例如，边缘方向插值技术常常导致放大后的拜耳 格式图像具有虚假边缘。因此，通过已知方法放大后的图像通常不清晰。另外，现有的技术 还普遍存在计算量大的缺点。
[0003] 针对现有技术中存在的缺陷，提出本申请。
【发明内容】
[0004] 在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理 解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关 键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念， 以此作为稍后论述的更详细描述的前序。
[0005] 本发明的一个主要目的在于提供一种图像放大方法和装置，以至少克服在现有的 拜耳格式图像放大技术中存在的放大后的图像不清晰并且计算量大的问题。
[0006] 根据本发明的一个方面，提供了一种图像放大方法，用于逐块地对拜耳格式的原 始图像进行放大，其中每个原始图像块包括两个第一颜色分量、一个第二颜色分量以及一 个第三颜色分量。该图像放大方法包括以下步骤：逐块地以预定的对应关系将所述原始图 像块的各个颜色分量填充到所述放大图像块中，作为已知颜色分量；对于所述放大图像块 中的未知的第一颜色分量、第二颜色分量和第三颜色分量中的至少一个未知颜色分量，通 过与所述未知颜色分量颜色相同的已知颜色分量，分别求出所述未知颜色分量在水平方向 的梯度值、垂直方向的梯度值以及两个对角线方向的梯度值；以及从所得到的水平方向的 梯度值、垂直方向的梯度值以及两个对角线方向的梯度值中选择梯度值最小的一个，通过 使用对应的滤波模板系数，对于位于梯度值最小的方向上的、与所述未知颜色分量颜色相 同的已知颜色分量执行加权求和来计算所述未知颜色分量。
[0007] 上述图像放大方法还可以包括以下步骤：通过使用对应的滤波模板系数，对于位 于已求出的梯度值最小的方向上的、相邻的已知第一颜色分量和已知第二颜色分量的差值 执行加权求和来计算至少一个未知的第二颜色分量和与其相邻的已知第一颜色分量的差 值，从而计算所述至少一个未知的第二颜色分量，以及通过使用对应的滤波模板系数，对于 位于已求出的梯度值最小的方向上的、相邻的已知第一颜色分量和已知第三颜色分量的差 值执行加权求和来计算至少一个未知的第三颜色分量和与所述其相邻的已知第一颜色分 量的差值，从而计算所述至少一个未知的第三颜色分量。
[0008] 根据本发明的另一个方面，提供了一种图像放大装置，用于逐块地对拜耳格式的 原始图像进行放大，其中每个原始图像块包括两个第一颜色分量、一个第二颜色分量以及 一个第三颜色分量。该图像放大装置包括：填充模块，被配置成逐块地以预定的对应关系将 原始图像块的各个颜色分量填充到放大图像块中，作为已知颜色分量；梯度获取模块，被配 置成对于放大图像块中的未知的第一颜色分量、第二颜色分量和第三颜色分量中的至少一 个未知颜色分量，通过与该未知颜色分量颜色相同的已知颜色分量，分别求出所述未知颜 色分量在水平方向的梯度值、垂直方向的梯度值以及两个对角线方向的梯度值；以及第一 计算模块，被配置成从所得到的水平方向的梯度值、垂直方向的梯度值以及两个对角线方 向的梯度值中选择梯度值最小的一个，通过使用对应的滤波模板系数，对于位于梯度值最 小的方向上的、与所述未知颜色分量颜色相同的已知颜色分量执行加权求和来计算所述未 知颜色分量。
[0009] 上述图像放大装置还可以包括：第二计算模块，被配置成通过使用对应的滤波模 板系数，对于位于已求出的梯度值最小的方向上的、相邻的已知第一颜色分量和已知第二 颜色分量的差值执行加权求和来计算至少一个未知的第二颜色分量和与其相邻的已知第 一颜色分量的差值，从而计算所述至少一个未知的第二颜色分量；以及第三计算模块，被 配置成通过使用对应的滤波模板系数，对于位于已求出的梯度值最小的方向上的、相邻的 已知第一颜色分量和已知第三颜色分量的差值执行加权求和来计算至少一个未知的第三 颜色分量和与所述其相邻的已知第一颜色分量的差值，从而计算所述至少一个未知的第三 颜色分量。
[0010] 另外，本发明的实施例还提供了用于实现上述方法的计算机程序。
[0011] 此外，本发明的实施例还提供了至少计算机可读介质形式的计算机程序产品，其 上记录有用于实现上述方法的计算机程序代码。
[0012] 本申请实施例的图像放大方法和装置通过将原始图像中的像素映射到放大图像， 根据图像本身的特点进行基于方向的自适应插值。由于基于方向的自适应插值方法插值结 果精确，因此使得放大后的图像清晰。
[0013] 此外，本申请实施例的图像放大方法和装置利用了在拜耳格式图像中红色像素与 绿色像素的差值图像以及蓝色像素与绿色像素的差值图像更平坦的特点，因此使得放大后 的图像更清晰。
[0014] 另外，本申请实施例的图像放大方法和装置计算量小，从而使得功耗低并且片上 存储量小。
[0015] 通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其它优 点将更加明显。
【专利附图】
【附图说明】
[0016] 参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其 它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似 的技术特征或部件将采用相同或类似的附图标记来表示。
[0017] 图1是示意性地示出根据本发明的实施例的图像放大方法的流程图；
[0018] 图2是示意性地示出根据本发明的实施例的拜耳格式的原始图像的示意图；
[0019] 图3是示意性地示出根据本发明的实施例将原始图像中的像素映射到放大图像 之后的布局不意图；
[0020] 图4示出了根据本发明的实施例的一个未知第一颜色分量的水平方向、垂直方 向以及两个对角线方向的示意图；
[0021] 图5A-ro示出根据本发明的实施例的在图4中所示的水平方向、垂直方向、从左上 到右下对角线方向以及从右上到左下对角线方向的滤波模板；
[0022] 图6示出根据本发明的实施例的另一个未知第一颜色分量的周围区域；
[0023] 图7A-7D示出根据本发明的实施例分别与另一个未知第一颜色分量对应的水平 方向、垂直方向、从左上到右下对角线方向以及从右上到左下对角线方向的滤波模板；
[0024] 图8示出根据本发明的实施例的又一个未知第一颜色分量的周围区域；
[0025] 图9-11示出根据本发明的实施例与剩余的未知第一颜色分量分别对应的周围区 域；
[0026] 图12示出根据本发明的实施例在求得所有第一颜色分量之后的已知颜色分量分 布图；
[0027] 图13A-13D示出根据本发明的实施例与一个未知第二蓝色分量对应的水平方向、 垂直方向、从左上到右下对角线方向以及从右上到左下对角线方向的滤波模板；
[0028] 图14示出根据本发明的实施例的与另一个未知第二蓝色分量对应的滤波模板；
[0029] 图15示出根据本发明的实施例的与又一个未知第二蓝色分量对应的滤波模板；
[0030] 图16是示意性地示出根据本发明的实施例的图像放大装置的框图；
[0031] 图17是示意性地示出根据本发明的实施例图16中的梯度获取模块的一种可能的 示例结构的框图；
[0032] 图18是示意性地示出根据本发明的实施例图16中的填充模块的一种可能的示例 结构的框图；
[0033] 图19示出了可以用于实施本发明的图像放大方法和装置的计算设备的举例的结 构图。
【具体实施方式】
[0034] 下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描 述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应 当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知 的部件和处理的表示和描述。
[0035] 本发明实施例的图像放大方法，用于逐块地对拜耳格式的原始图像进行放大。每 个原始图像块包括两个第一颜色分量、一个第二颜色分量以及一个第三颜色分量。第一颜 色分量是绿色分量，第二颜色分量是红色分量和蓝色分量中的一种颜色分量，第三颜色分 量是红色分量和蓝色分量中的另一种颜色分量。在下面的实施例中，以第一颜色分量为绿 色分量、第二颜色分量为蓝色分量并且第三颜色分量为红色分量作为示例进行描述。当然， 本实施例的图像放大方法也可以应用于第一颜色分量为绿色分量、第二颜色分量为红色分 量并且第三颜色分量为蓝色分量的情况。
[0036] 图1是示意性地示出根据本发明的实施例的图像放大方法的流程图。以下参照图 1来描述根据本发明的实施例的图像放大方法。
[0037] 在图1的步骤S101中，当对拜耳格式的原始图像进行放大时，逐块地以预定的对 应关系将原始图像块的各个颜色分量填充到放大图像块中，作为已知颜色分量。
[0038] 图2示意性地示出根据本发明的实施例的拜耳格式的原始图像。如图2所示，以 2X2像素矩阵区域为单位将拜耳格式的原始图像划分为多个原始图像块bl 〇ckl、bl〇ck2 等。每个2 X 2像素矩阵包括G、Gy、B及R四个像素，像素 G、Gy具有绿色分量，像素 B具有 蓝色分量，以及像素 R具有红色分量。在下文的描述中，为了简单，有时用像素来直接表示 颜色分量，即，G、Gy可以直接表示绿色分量，B可以直接表示蓝色分量，R可以直接表示红色 分量7等等。
[0039] 图3是示意性地示出根据本发明的实施例将原始图像中的像素映射到放大图像 之后的布局示意图。如图3所示，以4X4像素矩阵区域为单位将放大后的图像划分为多个 放大图像块，每一个原始图像块在原始图像中的相对位置与每一个放大图像块在放大后的 图像中的相对位置相同，即，原始图像块blockl、block2等在原始图像中的相对位置与图3 中的放大后的图像块blockl'、block2'等在放大后的图像中的相对位置相同。每个放大图 像块包括 G'、Gy'、Gl、G2、G3、G4、G5、G6、B'、Bl、B2、B3、R'、Rl、R2 及 R3 十六个像素，像素 G'、Gy'、Gl、G2、G3、G4、G5及G6具有第一颜色分量，即绿色分量，像素 B'、Bl、B2及B3具 有第二颜色分量，即蓝色分量，像素 R'、Rl、R2及R3具有第三颜色分量，即红色分量。将每 一个原始图像块的像素 G、Gy、B及R具有的颜色分量分别填充到对应的每一个放大图像块 中的像素 G'、Gy'、B'及R'，从而图3所示的放大图像块中的像素 G'、Gy'、B'及R'具有已 知颜色分量，而其余的像素 Gl、G2、G3、G4、G5、G6、Bl、B2、B3、Rl、R2、R3具有未知的颜色分 量。
[0040] 在图1的步骤S102中，对于图3所示的放大图像块中的未知的第一颜色分量、第 二颜色分量和第三颜色分量中的至少一个未知颜色分量，通过与该未知颜色分量颜色相同 的已知颜色分量，分别求出该未知颜色分量在水平方向的梯度值、垂直方向的梯度值以及 两个对角线方向的梯度值。
[0041] 例如，在一个实施例中，对于图4所示的放大图像块block2'中的、由网格表示的 像素 G1的未知绿色分量，通过已知的绿色分量，分别求出未知绿色分量G1在水平方向的梯 度值、垂直方向的梯度值以及两个对角线方向的梯度值。水平方向、垂直方向以及两个对角 线方向分别是图4中沿箭头所指的方向。
[0042] 具体地，如图4所示，放大后的图像包括由放大图像块构成的多行和多列像素。将 未知绿色分量G1所处的行和列分别定义为第j行和第i列，从G1向左的四列分别为第i+1 列、第i+2列、第i+3列及第i+4列，从G1向右的四列分别为第i_l列、第i_2列、第i_3列 及第i_4列，从G1向上的四行分别为第j-Ι行、第j_2行、第j_3行及第j_4行，从G1向下 的四行分别为第j+Ι行、第j+2行、第j+3行及第j+4行。为了简单,没有标示出其它的行 和列。选择位于未知绿色分量G1所处的第j行以及与第j行邻近的第j+2行和第j-2行 中的、与未知绿色分量G1邻近并且同样是绿色的第一预定数量的已知绿色分量，即8个已 知绿色分量Gj，i_ 2 (Gj，i_2表不处在第j行和第i_2列位置上的已知绿色分量)、Gj，i+2、Gj_ 2，i_4、 Gj-2, i、Gj-2, i+4、Gj+2，i-4、Gj+2, i、Gj+2，i+4,分别在每一行上将所选择的已知绿色分量两两依次相减， 将所得到的差进行加权求和来求出未知绿色分量G1在水平方向的梯度值。例如，计算未知 绿色分量G1在水平方向的梯度值的公式可以表示为下列公式1 :
[0043] 水平方向梯度值
【权利要求】
1. 一种图像放大方法，用于逐块地对拜耳格式的原始图像进行放大，其中每个原始图 像块包括两个第一颜色分量、一个第二颜色分量以及一个第三颜色分量，所述图像放大方 法包括以下步骤： 逐块地以预定的对应关系将所述原始图像块的各个颜色分量填充到所述放大图像块 中，作为已知颜色分量； 对于所述放大图像块中的未知的第一颜色分量、第二颜色分量和第三颜色分量中的至 少一个未知颜色分量，通过与所述未知颜色分量颜色相同的已知颜色分量，分别求出所述 未知颜色分量在水平方向的梯度值、垂直方向的梯度值以及两个对角线方向的梯度值；以 及 从所得到的水平方向的梯度值、垂直方向的梯度值以及两个对角线方向的梯度值中选 择梯度值最小的一个，通过使用对应的滤波模板系数，对于位于梯度值最小的方向上的、与 所述未知颜色分量颜色相同的已知颜色分量执行加权求和来计算所述未知颜色分量。
2. 根据权利要求1所述的图像放大方法，其中，放大后的图像包括由所述放大图像块 构成的多行和多列颜色分量， 选择在所述未知颜色分量所处的行以及与该行邻近的行中的、与所述未知颜色分量邻 近并且颜色相同的第一预定数量的已知颜色分量，分别在每一行上将所选择的已知颜色分 量两两依次相减，将所得到的差进行加权求和来求出所述未知颜色分量在水平方向的梯度 值； 选择在所述未知颜色分量所处的列以及与该列邻近的列中的、与所述未知颜色分量邻 近并且颜色相同的第二预定数量的已知颜色分量，分别在每一列上将所选择的已知颜色分 量两两依次相减，将所得到的差进行加权求和来求出所述未知颜色分量在垂直方向的梯度 值； 选择处在所述未知颜色分量周围的、与所述未知颜色分量颜色相同的第三预定数量的 已知颜色分量，第三预定数量的已知颜色分量分别处于所述放大后的图像的从左上到右下 的对角线方向或与该对角线方向平行的方向的位置上，分别在从左上到右下的对角线方向 以及与该对角线方向平行的方向上将所选择的已知颜色分量两两依次相减，将所得到的差 进行加权求和来求出所述未知颜色分量在从左上到右下的对角线方向的梯度值；以及 选择处在所述未知颜色分量周围的、与所述未知颜色分量颜色相同的第四预定数量的 已知颜色分量，第四预定数量的已知颜色分量分别处于所述放大后的图像的从右上到左下 的对角线方向或与该对角线方向平行的方向的位置上，分别在从右上到左下的对角线方向 以及与该对角线方向平行的方向上将所选择的已知颜色分量两两依次相减，将所得到的差 进行加权求和来求出所述未知颜色分量在从右上到左下的对角线方向的梯度值， 其中，所述第一预定数量、所述第二预定数量、所述第三预定数量以及第四预定数量相 等。
3. 根据权利要求1或2所述的图像放大方法，还包括以下步骤： 通过使用对应的滤波模板系数，对于位于已求出的梯度值最小的方向上的、相邻的已 知第一颜色分量和已知第二颜色分量的差值执行加权求和来计算至少一个未知的第二颜 色分量和与其相邻的已知第一颜色分量的差值，从而计算所述至少一个未知的第二颜色分 量，以及 通过使用对应的滤波模板系数，对于位于已求出的梯度值最小的方向上的、相邻的已 知第一颜色分量和已知第三颜色分量的差值执行加权求和来计算至少一个未知的第三颜 色分量和与所述其相邻的已知第一颜色分量的差值，从而计算所述至少一个未知的第三颜 色分量。
4. 根据权利要求1或2所述的图像放大方法，其中，在求出所述放大图像块中的一个未 知的第一颜色分量之后，对于所述放大图像块中的另一个未知的第一颜色分量，通过使用 对应的滤波模板系数，对于位于所述另一个未知的第一颜色分量的周围区域内的、已求出 的梯度值最小的方向上的已知第一颜色分量，执行加权求和来计算所述另一个未知的第一 颜色分量。
5. 根据权利要求4所述的图像放大方法，其中，在求出放大图像块中的两个未知的第 一颜色分量之后，对于所述放大图像块中的又一个未知的第一颜色分量，通过使用对应的 滤波模板系数，对于位于所述又一个未知的第一颜色分量的周围区域内的已知第一颜色分 量执行加权求和来求出所述又一个未知的第一颜色分量。
6. 根据权利要求3所述的图像放大方法，在求出放大图像块中的一个未知的第二颜色 分量之后，对于所述放大图像块中的另一个未知的第二颜色分量，通过使用对应的滤波模 板系数，对于位于所述另一个未知的第二颜色分量的周围区域内的、相邻的已知第一颜色 分量和已知第二颜色分量的差值执行加权求和来计算所述另一个未知的第二颜色分量和 与其相邻的已知第一颜色分量的差值，从而计算所述另一个未知的第二颜色分量。
7. 根据权利要求3所述的图像放大方法，在求出放大图像块中的一个未知的第三颜色 分量之后，对于所述放大图像块中的另一个未知的第三颜色分量，通过使用对应的滤波模 板系数，对于位于所述另一个未知的第三颜色分量的周围区域内的、相邻的已知第一颜色 分量和已知第三颜色分量的差值执行加权求和来计算所述另一个未知的第三颜色分量和 与其相邻的已知第一颜色分量的差值，从而计算所述另一个未知的第三颜色分量。
8. -种图像放大装置，用于逐块地对拜耳格式的原始图像进行放大，其中每个原始图 像块包括两个第一颜色分量、一个第二颜色分量以及一个第三颜色分量，所述图像放大装 置包括： 填充模块，被配置成逐块地以预定的对应关系将原始图像块的各个颜色分量填充到放 大图像块中，作为已知颜色分量； 梯度获取模块，被配置成对于放大图像块中的未知的第一颜色分量、第二颜色分量和 第三颜色分量中的至少一个未知颜色分量，通过与该未知颜色分量颜色相同的已知颜色分 量，分别求出所述未知颜色分量在水平方向的梯度值、垂直方向的梯度值以及两个对角线 方向的梯度值；以及 第一计算模块，被配置成从所得到的水平方向的梯度值、垂直方向的梯度值以及两个 对角线方向的梯度值中选择梯度值最小的一个，通过使用对应的滤波模板系数，对于位于 梯度值最小的方向上的、与所述未知颜色分量颜色相同的已知颜色分量执行加权求和来计 算所述未知颜色分量。
9. 根据权利要求8所述的图像放大装置，其中，放大后的图像包括由所述放大图像块 构成的多行和多列颜色分量，其中，所述梯度获取模块进一步包括： 水平方向梯度获取模块，被配置成选择在所述未知颜色分量所处的行以及与该行邻近 的行中的、与所述未知颜色分量邻近并且颜色相同的第一预定数量的已知颜色分量，分别 在每一行上将所选择的已知颜色分量两两依次相减，将所得到的差进行加权求和来求出所 述未知颜色分量在水平方向的梯度值； 垂直方向梯度获取模块，被配置成选择在所述未知颜色分量所处的列以及与该列邻近 的列中的、与所述未知颜色分量邻近并且颜色相同的第二预定数量的已知颜色分量，分别 在每一列上将所选择的已知颜色分量两两依次相减，将所得到的差进行加权求和来求出所 述未知颜色分量在垂直方向的梯度值； 第一对角线方向梯度获取模块，被配置成选择处在所述未知颜色分量周围的、与所述 未知颜色分量颜色相同的第三预定数量的已知颜色分量，第三预定数量的已知颜色分量分 别处于所述放大图像的从左上到右下的对角线方向或与该对角线方向平行的方向的位置 上，分别在从左上到右下的对角线方向以及与该对角线方向平行的方向上将所选择的已知 颜色分量两两依次相减，将所得到的差进行加权求和来求出所述未知颜色分量在从左上到 右下的对角线方向的梯度值；以及 第二对角线方向梯度获取模块，被配置成选择处在所述未知颜色分量周围的、与所述 未知颜色分量颜色相同的第四预定数量的已知颜色分量，第四预定数量的已知颜色分量分 别处于所述放大图像的从右上到左下的对角线方向或与该对角线方向平行的方向的位置 上，分别在从右上到左下的对角线方向以及与该对角线方向平行的方向上将所选择的已知 颜色分量两两依次相减，将所得到的差进行加权求和来求出所述未知颜色分量在从右上到 左下的对角线方向的梯度值， 其中，所述第一预定数量、所述第二预定数量、所述第三预定数量以及第四预定数量相 等。
10.根据权利要求8或9所述的图像放大装置，还包括： 第二计算模块，被配置成通过使用对应的滤波模板系数，对于位于已求出的梯度值最 小的方向上的、相邻的已知第一颜色分量和已知第二颜色分量的差值执行加权求和来计算 至少一个未知的第二颜色分量和与其相邻的已知第一颜色分量的差值，从而计算所述至少 一个未知的第二颜色分量；以及 第三计算模块，被配置成通过使用对应的滤波模板系数，对于位于已求出的梯度值最 小的方向上的、相邻的已知第一颜色分量和已知第三颜色分量的差值执行加权求和来计算 至少一个未知的第三颜色分量和与所述其相邻的已知第一颜色分量的差值，从而计算所述 至少一个未知的第三颜色分量。
【文档编号】G06T3/40GK104143176SQ201310170740
【公开日】2014年11月12日 申请日期:2013年5月10日 优先权日:2013年5月10日
【发明者】叶姜莉, 付轩 申请人:富士通株式会社