图像处理装置、图像处理方法以及电子设备的制作方法
【专利摘要】本发明提供了图像处理装置、图像处理方法以及电子设备，以克服利用现有的图像处理技术对图像中像素的缺失颜色分量进行补偿时所得到的结果图像的精度较低和/或质量较差的问题。上述装置包括：梯度计算单元，用于计算图像的待处理像素在多个预定方向上的梯度；方向确定单元，用于根据计算的梯度确定多个预定方向中与待处理像素在颜色特征上最关联的至少一个方向；以及缺失颜色分量获得单元，用于针对待处理像素所缺失的至少部分缺失颜色分量中的每一个，获得待处理像素分别在至少一个方向中的每一个上的该缺失颜色分量，以得到待处理像素在图像中的该缺失颜色分量。本发明的上述技术能够应用于图像处理领域。
【专利说明】图像处理装置、图像处理方法以及电子设备
【技术领域】
[0001]本发明涉及图像处理领域，尤其涉及图像处理装置、图像处理方法以及电子设备。
【背景技术】
[0002]图像处理逐渐成为一个热门的研究领域。在诸如去马赛克处理、图像恢复等一些图像处理技术中，图像中的某些像素往往缺失部分颜色信息(或称颜色分量)，使得显示设备在显示这些包含缺失颜色信息的图像时，呈现出来的图像往往精度较差，或者不够准确，甚至可能会严重影响图像的质量。
[0003]然而，现有的一些图像技术(诸如，使用双线性过滤来恢复RGB像素的图像处理技术，基于边缘的插值方法使用简单的水平梯度或者垂直梯度来选择插值方向以恢复RGB像素的图像处理技术等)常常存在假色和/或锯齿效果，从而导致利用上述现有的图像处理技术对图像中像素的缺失颜色分量进行补偿时所得到的结果图像的精度较低和/或质量较差。
【发明内容】
[0004]在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
[0005]鉴于此，本发明提供了图像处理装置、图像处理方法以及电子设备，以至少解决利用现有的图像处理技术对图像中像素的缺失颜色分量进行补偿时所得到的结果图像的精度较低和/或质量较差的问题。
[0006]根据本发明的一个方面，提供了一种图像处理装置，该图像处理装置包括:梯度计算单元，其被配置用于计算图像的待处理像素在多个预定方向上的梯度；方向确定单元，其被配置用于根据梯度计算单元计算的梯度来确定多个预定方向中与待处理像素在颜色特征上最关联的至少一个方向；以及缺失颜色分量获得单元，其被配置用于针对待处理像素所缺失的至少部分缺失颜色分量中的每一个，利用图像中包含待处理像素的预定大小区域中的、具有该缺失颜色分量的像素的该缺失颜色分量，获得待处理像素分别在至少一个方向中的每一个上的该缺失颜色分量，以得到待处理像素在图像中的该缺失颜色分量。
[0007]根据本发明的另一个方面，还提供了一种图像处理方法，该图像处理方法包括:计算图像的待处理像素在多个预定方向上的梯度；根据计算的梯度确定多个预定方向中与待处理像素在颜色特征上最关联的至少一个方向；以及针对待处理像素所缺失的至少部分缺失颜色分量中的每一个，利用图像中包含待处理像素的预定大小区域中的、具有该缺失颜色分量的像素的该缺失颜色分量，获得待处理像素分别在至少一个方向上的该缺失颜色分量，以得到待处理像素在图像中的该缺失颜色分量。
[0008]根据本发明的另一个方面，还提供了一种电子设备，该电子设备包括如上所述的图像处理装置。
[0009]根据本发明的又一个方面，还提供了一种存储有机器可读取的指令代码的程序产品，上述程序产品在执行时能够使上述机器执行如上所述的图像处理方法。
[0010]此外，根据本发明的其他方面，还提供了一种计算机可读存储介质，其上存储有如上所述的程序产品。
[0011]上述根据本发明实施例的图像处理装置、图像处理方法以及电子设备，其利用图像的待处理像素在多个预定方向上的梯度来确定与待处理像素在颜色特征上最关联的至少一个方向，并针对所缺失的至少缺失颜色分量中的每个来求得待处理像素在这至少一个方向的该缺失颜色分量，以最终得到待处理像素在上述图像中的该缺失颜色分量，由此使得所得到的图像的精度较高和/或质量较好。
[0012]通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。
【专利附图】
【附图说明】
[0013]本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中:
[0014]图1是示意性地示出根据本发明的实施例的图像处理装置的一种示例结构的框图；
[0015]图2是示出拜耳图案的RBG像素的典型分布的一个示例的示意图；
[0016]图3A-3D是示出了在多种拜耳图案的情况下待处理像素的预定大小区域的四种可能情况的示意图；
[0017]图4A-4D是分别示出图3A-3D中的预定大小区域中的多个预定方向的示例的示意图；
[0018]图5是示意性示出图1所示的缺失颜色分量获得单元的一种可能的示例结构的框图；
[0019]图6A-6H是分别示出如图3A所示的待处理像素B5在N、S、W、E、NE、SE、NW和SW8个预定方向上对应的、G分量的预定权重矩阵的示例的示意图；
[0020]图7A-7H是分别示出如图3C所示的待处理像素G7在N、S、W、E、NE、SE、NW和SW8个预定方向上对应的、R分量的预定权重矩阵的示例的示意图；
[0021]图8A-8H是分别示出如图3D所示的待处理像素G7在N、S、W、E、NE、SE、NW和SW8个预定方向上对应的、R分量的预定权重矩阵的示例的示意图；
[0022]图9是示意性地示出根据本发明的实施例的图像处理方法的一种示例性处理的流程图；
[0023]图10是示意性地示出图9中所示的步骤S940的一种可能的示例性处理的流程图；以及
[0024]图11是示出了可用来实现根据本发明的实施例的图像处理装置和图像处理方法的一种可能的信息处理设备的硬件配置的结构简图。
[0025]本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本发明实施例的理解。
【具体实施方式】
[0026]在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
[0027]在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
[0028]本发明的实施例提供了一种图像处理装置，该图像处理装置包括:梯度计算单元，其被配置用于计算图像的待处理像素在多个预定方向上的梯度；方向确定单元，其被配置用于根据梯度计算单元计算的梯度来确定多个预定方向中与待处理像素在颜色特征上最关联的至少一个方向；以及缺失颜色分量获得单元，其被配置用于针对待处理像素所缺失的至少部分缺失颜色分量中的每一个，利用图像中包含待处理像素的预定大小区域中的、具有该缺失颜色分量的像素的该缺失颜色分量，获得待处理像素分别在至少一个方向中的每一个上的该缺失颜色分量，以得到待处理像素在图像中的该缺失颜色分量。
[0029]在根据本发明的实施例的图像处理装置的具体现实方式中，该图像处理装置可以用于在图像中某个或某些像素缺少部分颜色分量的情况下来根据其附近的像素的特征信息获得这个或这些像素所缺少的颜色分量。下文中，为清楚起见，将像素所缺少(或缺失)的颜色分量称为“缺失颜色分量”。
[0030]下面结合图1来详细描述根据本发明的实施例的图像处理装置的一个示例。
[0031]如图1所示，根据本发明的实施例的图像处理装置100包括梯度计算单元110、方向确定单元120以及缺失颜色分量获得单元130。
[0032]梯度计算单元110用于计算图像的待处理像素在多个预定方向上的梯度。
[0033]目前，数字相机等电子设备使用诸如CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件)等传感器来捕获图像数据，并且在传感器上方设置滤色器阵列(CFA，Color FilterArray)。滤色器阵列中的每个滤色器对入射到其上的光进行过滤，仅使RGB三原色(红色、绿色和蓝色，分别表示为R、G和B)中一种颜色分量通过，该滤色器下方的相应传感器元件对这种颜色分量的光执行光电转换和模数转换等处理，从而形成只包含一个颜色分量的像素值。由所有传感器元件获得的像素值是图像的原始图像数据。也就是说，在原始图像数据所表示的图像中，每个像素的像素值仅包括R分量、G分量和B分量之一。
[0034]作为滤色器阵列的布置方式，拜耳图案(也称拜耳阵列)被广泛使用。图2示出拜耳图案的像素格式。在图2中，仅示出了 2X2的阵列，拜耳图案实际上是该2X2阵列在二维方向上的重复。如图2所示，I个像素位置仅包括一个颜色分量R、G或者B，并且G像素(即，只包括G分量的像素)的数量是R像素或B像素数量的两倍。
[0035]为了使得各个像素能够正确显示，需要对每个像素的缺失分量(例如对于R像素而言，缺失分量是G分量和B分量)进行插值或者恢复，从而使其包括RGB三种分量。该处理称为去马赛克(demosaic)。在数字相机等电子设备中，对像素中的缺失RGB分量的插值或者恢复在数字图像处理流水线中是非常重要的。
[0036]由此，在根据本发明的实施例的图像处理装置的具体实现方式中，图像处理装置100所处理的图像可以是具有马赛克的图像，也可以是部分(或全部)像素分别缺少部分颜色分量的其他类型图像等。
[0037]在一个实现方式中，上述图像例如可以采用某个预定的颜色分布图案。其中，预定的颜色分布图案例如可以是任一种类型的拜耳图案，或者也可以是除拜耳图案之外的其他图案(例如，包括蓝绿色、品红色、黄色和白色的CMYW型图案，或包括红色、绿色、蓝色和白色的RGBW型图案，等等)。
[0038]其中，拜耳图案中的每个像素仅具有RGB三原色分量中的一种颜色分量(B卩，红、绿或蓝)，如图2所示(其中，B表示蓝，G表示绿，R表示红)。然而，拜耳图案中像素的分布方式有多种(即多种类型的拜耳图案)，后面将详细描述。
[0039]需要说明的是，在根据本发明的实施例的图像处理装置的具体实现方式中，待处理像素可以是图像中的那些缺少某个或某些颜色分量的像素中的任一个，例如，仅具有一种颜色分量(如红、绿或蓝)的像素，具有RGB三原色中的任两种而缺少另外一种颜色的像素。此外，在上述图像是具有马赛克的图像的情况下，待处理像素可以是该图像中的马赛克部分中的某个像素。
[0040]此外，在根据本发明的实施例的图像处理装置的具体实现方式中，可以根据具体需要和情况来设定上述多个预定方向。在一个实现方式中，上述多个预定方向例如可以包括东、南、西、北四个方向。特别地，在一个优选的实现方式中，上述多个预定方向例如可以包括东、南、西、北、东南、东北、西南以及西北八个方向。需要说明的是，这里所说的东、南、西、北等方向是与地图方位方向一致的。需要注意的是，虽然上面给出了多个预定方向为四个方向或八个方向的示例，但上述多个预定方向并不限于此。
[0041]在根据本发明的实施例的图像处理装置的具体实现方式中，梯度计算单元110可以利用图像中待处理像素周围的像素来计算待处理像素在各个预定方向上的梯度。
[0042]在一个优选的实现方式中，在计算待处理像素在每个预定方向上的梯度的过程中，梯度计算单元110还可以为待处理像素周围的像素设置权重(即下文中所说的梯度权重)，用于通过加权计算来得到待处理像素在每个预定方向上的梯度。例如，以上述多个预定方向中任一个预定方向do为例，梯度计算单元110可以在计算待处理像素在预定方向do上的梯度的过程中，对于待处理像素周围的一些像素，如果某个像素距离待处理像素越近，则将该像素对应的梯度权重设置得越大。在该实现方式中，在每个预定方向上，对不同位置的像素分配了不同的梯度权重(即梯度贡献程度)，能够使得最终计算的待处理像素的梯度更加准确。
[0043]需要说明的是，在计算待处理像素在某个预定方向上的梯度时所利用的“待处理像素周围的一些像素”可以根据需要来选择，或者也可以根据经验或通过试验方法来确定。例如，在计算待处理像素在某个预定方向上的梯度时，可以选定包含该待处理像素的一个区域(比如以该待处理像素为中心的NXN像素的区域，N例如可以是大于I的奇数)，利用这个区域中的像素来计算待处理像素在上述某个预定方向上的梯度。
[0044]下面以拜耳图案的情况为例来描述梯度计算单元110的示例性处理。在以下示例中，为了简化说明和降低计算复杂度，对于每个待处理像素，分别选择以该待处理像素为中心的5 X 5像素的区域来计算待处理像素的梯度。对于数字相机之类的便携装置，当N=5时，处理(例如包括梯度计算单元110的用于计算梯度的处理以及后文中将要描述的缺失颜色分量获得单元130的处理)的计算量小，处理时间短，并且在硬件实现上比较简单，同时计算精度基本上也能满足便携装置的要求。当然，也可以选择其他大小的像素块，例如7X7、9X9等等。
[0045]图3A-3D示出了在拜耳图案的情况下上述5 X 5像素的区域的四种可能情况。其中,在图3A-3D中，5X5像素区域(如区域SI?S4)中的每个小方格代表一个像素，而每个小方格中的字母表示该像素所具有的颜色分量，其中的数字表示该像素在对应的5X5像素区域的具有相同种颜色分量的所有像素中的序数(该序数用于区分各个像素，并没有次序、顺序等方面的限制)。
[0046]图4A-4D分别示出了图3A-3D中的5X5像素区域中的多个预定方向。在图4A-4D所示的各个示例中，上述多个预定方向为北(N)、南(S)、西(W)、东(E)、东北(NE)、东南(SE)、西北(NW)和西南(SW)JP 5X5像素区域的中心像素的上、下、左、右、右上、右下、左上和左下八个方向。
[0047]在如图3A和图4A所示的示例中，假设某个待处理像素为图3A所示的拜耳图案中的B5。在图3A所示的包含待处理像素B5的5X5像素区域SI中，存在4个R像素Rl?R4、12个G像素Gl?G12和9个B像素BI?B9，其中，待处理像素B5是这个5X5像素区域SI的中心像素。在一个例子中，可以根据如下的公式一.一?公式一.八来分别计算待处理像素B5在N、S、W、E、NE、SE、NW和SW八个方向上的梯度。
[0048]公式一.一:
[0049]Gradient_N=|B2 - B5| + |G4 - G9| + |Gl - G6|/2+|G2 - G7|/2+|Rl - R3|/4+|R2 -R4|/4+|Bl - B4I/4+1B3 - B6|/4 ；
[0050]公式一.二:
[0051 ] Gradient_S=|B5 - B8| +1G4 - G9| +1G6 - Gl 11/2+|G7 - G12|/2+1Rl - R3|/4+1R2 -R4I/4+1B7 - B4|/4+1B9 - B6|/4 ；
[0052]公式一.三:
[0053]Gradient_W=|B5 - B4| + |G6 - G7| + |G4 - G3|/2+|G9 - G8|/2+|Rl - R2|4+|R4 -R3|/4+|Bl -B2|/4+|B7 -B8|/4 ；
[0054]公式一.四:
[0055]Gradient_E=|B5 - B6| +1G7 - G6| +1G4 - G5|/2+1G9 - GlO|/2+|B2 - B3|/4+|B8 -B9I/4+1G4 - G5|/4+1G9 - GlO|/4 ；
[0056]公式一.五:
[0057]Gradient_NE=|B3 - B5| + |R2 - R3| + |G4 - G6|/2+|G7 - G9|/2+|G2 - G4|/4+|G5 -G7I/4+1B2 - B4|/4+1B6 - B8|/4 ；
[0058]公式一.六:
[0059]Gradient_SE=|B5 - B9| +1Rl - R4| + |G4 - G7|/2+|G6 - G9|/2+1G9 - G12|/4+1G7 -GlO I/4+1B4 - B8|/4+1B2 - B6|/4 ；
[0060]公式一.七:
[0061]Gradient_Nff=|Rl - R4| + |B1 - B5 | + | G4 - G7 |/2+| G6 -G9|/2+|Gl - G4 | /4+ | G6 -G3I/4+1B4 - B8|/4+1B2 - B6|/4 ；
[0062]公式一.八:
[0063]Gradient_Sff=|B7 - B5| + |R2 - R3| + |G4 - G6|/2+|G7 - G9|/2+|G6 - G8|/4+|G9 -Gll|/4+|B2 -B4|/4+|B6 -B8|/4。
[0064]其中，在公式一.一?公式一.八中，Gradient_N、Gradient_S、Gradient_W、Gradient_E> Gradient_NE> Gradient_SE> Gradient_NW 和 Gradient_SW 分别表不待处理像素B5在N、S、W、E、NE、SE、NW和SW方向上的梯度。在上面的计算中，以各个像素的名字来表示该像素的像素值，即该像素中包含的分量的值，例如B5表示像素B5的像素值，即像素B5的B分量的值。
[0065]此外，在公式一.一?公式一.八中，还对待处理像素B5周围的其他像素根据其在对应的预定方向上距离待处理像素B5的远近而为这些其他像素设定了梯度权重。例如以公式一.一为例，|B2-B5|这一项的梯度权重为I (相当于B2和B5的梯度权重分别为1)，而|G1-G6 I/2这一项的梯度权重为1/2 (相当于Gl和G6的梯度权重分别为1/2)，以及|R1-R3 I/4这一项的梯度权重为1/4 (相当于Rl和R3的梯度权重分别为1/4)，等等。对于各个预定方向，在计算待处理像素B5在其中每个预定方向的梯度时对各个像素分配的梯度权重可以参考公式一.一?公式一.八，这里不再一一赘述。需要注意的是，在实际处理中，权重可以不限于公式一.一?公式一.八所示，可以根据具体情况和需要来设置。
[0066]在图3B和图4B所述的包含待处理像素R5的5X5像素区域S2中，可以利用与上文中结合图3A和图4A所描述的例子中计算梯度的处理相类似的处理来计算待处理像素R5在N、S、W、E、NE、SE、NW和SW八个方向上的梯度。例如，可以将公式一.一?公式一.八中原来的R字母全部替换为B字母(如将原来的R1、R2、R3和R4分别对应地替换为B1、B2、B3和B4)，而将公式一.一?公式一.八中原来的B字母全部替换为R字母(如将原来的B1、B2、……、89分别对应地替换为町、1?2、……、R9)，得到的八个公式可以用于计算待处理像素R5在上述八个方向上的梯度。
[0067]此外，在图3C和图4C所示的包含待处理像素G7的5X5像素区域S3中，例如可以根据如下的公式二.一?公式二.八来分别计算待处理像素G7在N、S、W、E、NE、SE、NW和SW八个方向上的梯度。
[0068]公式二.一:
[0069]Gradient_N=|R2 - R5| +1G2 - G7| +1G4 - G9|/2+1G5 - GlO|/2+|B1- B3|/4+|B2 -B4|/4+|Gl - G6I/4+1G3 - G8|/4 ；
[0070]公式二.二:
[0071 ] Gradient_S=|R2 - R5| +1G12 - G7| + |G4 - G9|/2+|G5 - GlO|/2+|B3 - B5|4+|B6 -B4 I 4+1 Gll -G6|/4+|G13 -G8|/4 ；
[0072]公式二.三:
[0073]Gradient_W=|B3 - B4| + |G6 - G7| + |G4 - G5|/2+|G9 - GlO|/2+|Rl - R2|4+|R4 -R5|/4+|Gl -G2|/4+|Gll _G12|/4 ；
[0074]公式二.四:
[0075]Gradient_E=|B3 - B4| +1G7 - G8| +1G4 - G5|/2+1G9 - GlO|/2+|R2 - R3|/4+|R5 -R6I/4+1G2 - G3|/4+1G12 - G13|/4 ；
[0076]公式二.五:
[0077]Gradient_NE= | G5 - G9 | + | G3 - G7 | + | R3 - R5 | /2+ | B2 - B3 | /2+ | G8 -G10|/4+|G2 -G4|/4 ；
[0078]公式二.六:
[0079]Gradient_SE= | G4 - GlO | + | G7 - G13 | + | R2 - R6 | /2+ | B3 - B6 | /2+ | G5 -G8|/4+|G9 -G12|/4 ；
[0080]公式二.七:
[0081]Gradient_Nff= | G4 - GlO M Gl - G7 M B1- B4 | /2+ | Rl - R5 | /2+ | G2 -G5I/4+1G6 - G9|/4 ；
[0082]公式二.八:
[0083]Gradient_Sff= | G5 - G9 | + | G7 - Gll | + | B4 - B5 | /2+ | R2 - R4 | /2+ | GlO -G12|/4+|G4 -G6|/4。
[0084]其中，在公式二.一?公式二.八中，Gradient_N、Gradient_S、Gradient_W、Gradient_E> Gradient_NE> Gradient_SE> Gradient_NW 和 Gradient_SW 分别表不待处理像素G7在N、S、W、E、NE、SE、NW和SW方向上的梯度。类似地，以各个像素的名字来表示该像素的像素值，即该像素中包含的分量的值。此外，在公式二.一?公式二.八中对各个像素的梯度权重的设置原理类似于公式一.一?公式一.八，故这里不再详述。
[0085]另外，在另一个示例中，待处理像素G7周围像素的分布可以如图3D和图4D所示。其中，在包含待处理像素G7的5X5像素区域S4中，例如可以根据如下的公式三.一?公式三.八来分别计算待处理像素G7在N、S、W、E、NE、SE、NW和SW八个方向上的梯度。
[0086]公式三.一:
[0087]Gradient_N=|B2 - B5| +1G2 - G7| +1G4 - G9|/2+1G5 - GlO|/2+|Rl - R3|/4+|R2 -R4I/4+IG1-G6I/4+|G3-G8|/4 ；
[0088]公式三.二:
[0089]Gradient_S=|B2 - B5| +1G12 - G7| + |G4 - G9|/2+|G5 - GlO|/2+|R3 - R5|4+|R6 -R4I 4+1 Gl1-G6|/4+1G13-G8|/4 ；
[0090]公式三.三:
[0091]GradientJV= IR3 - R4| + |G6 - G7| + |G4 - G5|/2+|G9 - GlO|/2+|B1-B2|4+|B4 -B5|/4+|Gl-G2|/4+|Gll _G12|/4 ；
[0092]公式三.四:
[0093]Gradient_E=|R3 - R4| +1G7 - G8| +1G4 - G5|/2+1G9 - GlO|/2+|B2 - B3|/4+|B5 -B6I/4+1G2 - G3|/4+1G12 - G13|/4 ；
[0094]公式三.五:
[0095]Gradient_NE= | G5 - G9 | + | G3 - G7 | + | B3 - B5 | /2+ | R2 - R3 | /2+ | G8 -G10|/4+|G2 -G4|/4 ；
[0096]公式三.六:
[0097]Gradient_SE= | G4-G10 | + | G7 - G13 | + | B2 - B6 | /2+ | R3 - R6 | /2+ | G5 -G8|/4+|G9 -G12|/4 ；
[0098]公式三.七:
[0099]Gradient_Nff= | G4 - GlO | + | Gl - G7 | + | Rl - R4 | /2+ | B1- B5 | /2+ | G2 -G5I/4+1G6 - G9|/4 ；
[0100]公式三.八:
[0101]Gradient_Sff= | G5 - G9 M G7 - Gll | + | R4 - R5 | /2+ | B2 - B4 | /2+ GlO -G12|/4+|G4 -G6|/4。
[0102]其中，在公式三.一?公式三.八中，Gradient_N、Gradient_S、Gradient_W、Gradient_E> Gradient_NE> Gradient_SE> Gradient_NW 和 Gradient_SW 分别表不待处理像素G7在N、S、W、E、NE、SE、NW和SW方向上的梯度。类似地，以各个像素的名字来表示该像素的像素值，即该像素中包含的分量的值。此外，在公式三.一?公式三.八中对各个像素的梯度权重的设置原理类似于公式一.一?公式一.八，故这里不再详述。
[0103]在计算得到待处理像素沿多个预定方向的梯度之后，方向确定单元120根据梯度计算单元110所计算的上述梯度来在这多个预定方向中选择与待处理像素在颜色特征上最关联的至少一个方向。
[0104]在根据本发明的实施例的图像处理装置的一种实现方式中，在待处理像素在多个预定方向上的梯度中，方向确定单元120可以选择其中小于或等于预定阈值的至少一个梯度，并将所选择的这至少一个梯度所对应的预定方向作为与待处理像素在颜色特征上最关联的至少一个方向。
[0105]在根据本发明的实施例的图像处理装置的另一种实现方式中，方向确定单元120也可以在待处理像素在多个预定方向上的梯度中选择其中最小的预定数量个梯度(预定数量例如为I个、2个或更多个)，然后将所选择的上述预定数量个梯度所对应的预定方向作为与待处理像素在颜色特征上最关联的至少一个方向。
[0106]方向确定单元120所确定的与待处理像素在颜色特征上最关联的至少一个方向实际上反映了图像中的哪个方向上的像素值与待处理像素的像素值是最接近的。这样，在后续的处理中，利用这些与待处理像素在颜色特征上最关联的至少一个方向上的某种颜色的像素信息(例如，待处理像素所缺失的某种颜色)来补偿待处理像素的这种颜色，可以使得补偿结果更加准确。
[0107]以图3A和图4A所示的情况为例，方向确定单元120可以将梯度计算单元110计算得到的8个梯度与预定阈值T进行比较，然后选择梯度小于或等于阈值T的那些梯度所对应的预定方向作为上述与待处理像素在颜色特征上最关联的至少一个方向。假设待处理像素B5在S、W和NE方向的梯度小于阈值T，而在其余预定方向的梯度均大于阈值T，则可以将S、W和NE这三个方向作为与待处理像素B5在颜色特征上最关联的至少一个方向。
[0108]这样，在通过方向确定单元120的处理确定了与待处理像素在颜色特征上最关联的至少一个方向之后，对于待处理像素所缺失的至少部分缺失颜色分量中的每一个，缺失颜色分量获得单元130能够利用图像中包含该待处理像素的预定大小区域中的那些具有该缺失颜色分量的像素的该缺失颜色分量，来获得待处理像素在图像中的该缺失颜色分量。
[0109]在根据本发明的实施例的图像处理装置的一种实现方式中，缺失颜色分量获得单元130在计算过程中所利用的“包含该待处理像素的预定大小区域”例如可以与上文所述的梯度计算单元110在计算过程中所利用的预定大小区域相类似，比如可以是以待处理像素为中心的NXN像素的区域，其中，N例如可以是大于I的奇数(例如5)。
[0110]在根据本发明的实施例的图像处理装置的一种实现方式中，缺失颜色分量获得单元130可以具有如图5所示的结构配置。
[0111]如图5所示，缺失颜色分量获得单元130可以包括第一计算子单元510和第二计算子单元520。
[0112]其中，用颜色分量CO来表示待处理像素所缺失的至少部分缺失颜色分量中的任一个，则第一计算子单元510可以基于上述预定大小区域中的具有颜色分量CO的像素的颜色分量CO来计算待处理像素在上述“与待处理像素在颜色特征上最关联的至少一个方向”中每个方向上的颜色分量CO。然后，第二计算子单元520可以将第一计算子单元510所计算获得的待处理像素在上述“与待处理像素在颜色特征上最关联的至少一个方向”中所有方向上的颜色分量CO进行加权计算，将得到的结果作为待处理像素的颜色分量CO。
[0113]在一个例子中，对于待处理像素所缺失的某个缺失颜色分量，第一计算子单元510例如可以利用与每个方向对应的、该缺失颜色分量的预定权重矩阵来计算待处理像素在该方向上的该缺失颜色分量。
[0114]例如，用方向d0表示上述“与待处理像素在颜色特征上最关联的至少一个方向”中的任一个方向、以及用颜色分量CO来表示待处理像素所缺失的至少部分缺失颜色分量中的任一个，下面以方向d0和颜色分量c0为例来描述第一计算子单兀510利用与方向d0对应的、颜色分量CO的预定权重矩阵计算待处理像素在方向d0上的颜色分量CO的具体示例。在该具体示例(第一具体示例)中，第一计算子单元510和第二计算子单元520可以利用方向d0对应的、颜色分量CO的预定权重矩阵来确定上述预定大小区域中具有颜色分量CO的像素各自的滤波权重，然后将这些滤波权重分别赋予对应的像素来将上述预定大小区域中具有颜色分量CO的像素的颜色分量CO进行加权计算(例如加权求和)，然后将结果(如加权和)作为待处理像素在方向d0上的颜色分量CO。其中，方向d0对应的、颜色分量CO的预定权重矩阵中包括多个滤波权重，而每一个滤波权重是与上述预定大小区域中具有颜色分量CO的像素相对应的。
[0115]在另一个具体示例(第二具体示例)中，与第一具体示例不同的是，方向d0对应的、颜色分量CO的预定权重矩阵中除了可以包括上述预定大小区域中具有颜色分量CO的像素所分别对应的滤波权重之外，还可以包括上述预定大小区域中不具有颜色分量CO的像素的滤波权重。例如，优选地，可以将这些不具有颜色分量CO的像素的滤波权重设为0，其余的像素可以采用与上文的第一具体示例中的设置方法来设置，这里不再赘述。
[0116]以待处理像素为图3A所示的B5的情况为例，其周围像素分布如图3A所示。由图3A可知，待处理像素B5所缺少的缺失颜色分量包括G分量(即绿色分量)和R分量(即红色分量)，其本身所具有的颜色分量为B分量(即蓝色分量)。以待处理像素B5所缺少的G分量为例，下面描述如何利用待处理像素B5周围具有G分量的像素来计算待处理像素B5的G分量，其他情况可以参考该示例来进行。
[0117]在一个例子中，待处理像素B5在N、S、W、E、NE、SE、NW和SW这8个预定方向上对应的、G分量的预定权重矩阵的各个示例分别如图6A-6H所示。假设梯度计算单元110计算的待处理像素B5在N、S、W、E、NE、SE、NW和SW这8个预定方向上的梯度中，待处理像素B5在S、W和NE方向上的梯度大于预定阈值T，而其余的梯度均小于预定阈值T。于是，方向确定单元120将S、W和NE这三个方向确定为与待处理像素B5在颜色特征上最关联的三个方向。S、W和NE这三个方向所对应的G分量的预定权重矩阵分别如图6B、图6C和图6E所示。
[0118]于是，第一计算子单元510可以根据如下的公式四.一至公式四.三来分别计算待处理像素B5在S、W和NE这三个方向上的G分量。
[0119]公式四.一:
[0120]GB5S=(1 XG3+4XG4+1XG5+2XG6+2XG7+1 XG8+4XG9 + 1XG10+2XG11+2XG12)/20
[0121]公式四.二:
[0122]GB5ff=(l XG1 + 1 XG2 + 2XG3+2XG4+4XG6+4XG7+2XG8+2XG9 + 1 XG11 + 1 XG12)/20
[0123]公式四.三:
[0124]Gb5ne= (2 X G2+4 X G4+2 X G5+4 X G6+4 X G7+4 X G9) /20
[0125]其中，GB5S、GB5W和Gb5ne分别表示待处理像素B5在、W和NE这三个方向上的G分量，而公式四.一至公式四.三中的“G1”、“G2”等则表示对应像素的G分量的大小。需要注意的是，在公式四.一至公式四.三中，每个像素的滤波权重是经过归一化处理的。例如，在公式四.一中，G3对应的归一化的滤波权重实际上是1/20，G4对应的归一化的滤波权重实际上是4/20 (即1/5)，等等；而在公式四.二中，G3对应的归一化的滤波权重实际上是2/20(即1/10)，G4对应的归一化的滤波权重实际上也是2/20 (即1/10)，等等。
[0126]然后，可以根据GB5S、GB5W和&_来计算获得待处理像素B5的G分量。在一个例子中，可以将GB5S、GB5dPGb5ne的平均值作为待处理像素B5的G分量，即，GB5=(GB5S+GB5W+GB5NE)/3。在一个例子中，也可以将GB5S、Gb5w和Gb5ne的加权和(权重例如可以是归一化的)作为待处理像素B5的G分量。
[0127]以上举例描述了如何计算如图3A所示的待处理像素B5的G分量，而对于待处理像素B5所缺失的R分量，可以采用与上述处理相类似的处理来获得。例如，在与各个预定方向对应的、R分量的预定权重矩阵中，可以类似地将不具有R分量的像素的滤波权重设置为0，而将具有R分量的那些像素(即Rl、R2等)的滤波权重按照其在对应方向上距离待处理像素的远近来设置(例如，越近的像素的滤波权重越大)。
[0128]对于如图3B所示的待处理像素R5来说，针对其缺失的G分量，可以首先利用梯度计算单元110计算待处理像素R5在N、S、W、E、NE、SE、NW和SW八个预定方向上的梯度。然后，类似地，方向确定单元120在这八个梯度中选择小于预定阈值T的梯度，并将小于预定阈值T的梯度所对应的方向确定为与待处理像素R5在颜色特征上最关联的至少一个方向。在一个例子中，可以将图7A至图7H所示的原来的具有R分量的像素(简称为R像素)替换为具有B分量的像素(简称为B像素)，而将图7A至图7H所示的原来的B像素替换为R像素，这样得到的替换后的8个预定权重矩阵则可以作为N、S、W、E、NE、SE、NW和SW八个预定方向对应的、B分量的预定权重矩阵的可能的示例。在确定了与待处理像素R5在颜色特征上最关联的至少一个方向之后，第一计算子单元510可以根据“N、S、W、E、NE、SE、NW和SW八个预定方向对应的、B分量的预定权重矩阵”来计算待处理像素R5在上述至少一个方向中每个方向上的G分量。
[0129]对于待处理像素R5所缺失的B分量，可以采用与上述处理相类似的处理来获得。例如，在与各个预定方向对应的、B分量的预定权重矩阵中，可以类似地将不具有B分量的像素的滤波权重设置为0，而将具有B分量的那些像素(即B1、B2等)的滤波权重按照其在对应方向上距离待处理像素R5的远近来设置(例如，越近的像素的滤波权重越大)。
[0130]此外，对于如图3C所示的待处理像素G7 (待处理像素G7为具有G分量的像素)来说，针对其所缺失的R分量，可以首先利用梯度计算单元110计算待处理像素G7在N、S、W、E、NE、SE、NW和SW八个预定方向上的梯度。然后，类似地，方向确定单元120在这八个梯度中选择小于预定阈值T的梯度，并将小于预定阈值T的梯度所对应的方向确定为与待处理像素G7在颜色特征上最关联的至少一个方向。其中，图7A至图7H给出了在如图3C所示情况下，N、S、W、E、NE、SE、NW和SW八个预定方向对应的、R分量的预定权重矩阵的可能的示例。假设与待处理像素G7在颜色特征上最关联的至少一个方向为S、W和NE，则第一计算子单元510可以利用以下的公式五.一至公式五.三来分别计算待处理像素G7在S、W和NE这三个方向上的R分量。
[0131]公式五.一:
[0132]Rg7s= (I X Rl+2 X R2+1 X R3+1 X R4+2 X R5+1 X R6) /8
[0133]公式五.二:
[0134]Rc7ff= (I X Rl+1 X R2+1 X R4+1 X R5) /4
[0135]公式五.三:
[0136]Rg7ne= (2 XR2+1X R3+1 X G4+2 X R5) /6
[0137]在公式五.一至公式五.三中，Rl、R2等像素对应的滤波权重同样是经过归一化的。归一化的具体过程对于本领域技术人员来说是可以根据现有技术和公知常识而获知的，这里不再详述。其中，RcpRe7w和Re7NE分别表示待处理像素G7在S、W和NE这三个方向上的R分量。
[0138]然后，在一个例子中，可以将Re7S、&7?和Rctne进行平均，将平均值作为待处理像素G7的R分量，即，Rct=(URctZRctne)Z^c在另一个例子中，也可以利用加权求和的方法，这里不再详述。
[0139]此外，对于如图3C所示的待处理像素G7来说，计算其所缺失的B分量的过程可以和上面计算其缺失的R分量的过程类似，这里不再赘述。
[0140]另外，对于如图3D所示的待处理像素G7 (待处理像素G7为具有G分量的像素)来说，针对其所缺失的R分量，可以首先利用梯度计算单元110计算图3D中的待处理像素G7在N、S、W、E、NE、SE、NW和SW八个预定方向上的梯度。然后，类似地，方向确定单元120在这八个梯度中选择小于预定阈值T的梯度，并将小于预定阈值T的梯度所对应的方向确定为与图3D中的待处理像素G7在颜色特征上最关联的至少一个方向。其中，图8A至图8H给出了在如图3D所示情况下，N、S、W、E、NE、SE、NW和SW八个预定方向对应的、R分量的预定权重矩阵的可能的示例。假设与图3D中的待处理像素G7在颜色特征上最关联的至少一个方向为S、w和NE，则第一计算子单元510可以利用以下的公式六.一至公式六.三来分别计算图3D中的待处理像素G7在S、W和NE这三个方向上的R分量。
[0141]公式六.一:
[0142]Rg7s= (I X R3+1 X R4+1 X R5+1 X R6) /4
[0143]公式六.二:
[0144]Rc7ff= (I XR1+1X R2+2 X R3+2 XR4+1X R5+1 X R6) /8
[0145]公式六.三:
[0146]Rg7ne= (I X R2+2 X R3+2 XG4+1X R5) /6
[0147]在公式六.一至公式六.三中，Rl、R2等像素对应的滤波权重同样是经过归一化的。
[0148]类似地，可以将公式六.一至公式六.三得到的Re7S、RCTW和Rctne进行平均，将平均值作为图3D中的待处理像素G7的R分量，即，Re7= (RG7S+RG7ff+RG7NE) /3。在另一个例子中，也可以利用加权求和的方法，这里不再详述。
[0149]此外，对于如图3D所示的待处理像素G7来说，计算其所缺失的B分量的过程可以和上面计算其缺失的R分量的过程类似，这里不再赘述。
[0150]在以上所描述的利用预定权重矩阵来计算待处理像素缺失的某个缺失颜色分量的例子中，对于待处理像素附近的不同方向上和不同位置处的像素，结合考虑每个像素的方向性和位置信息，分别对其配置了独立的滤波权重(可能相同或不同)。这样，在利用这些像素计算待处理像素的某个缺失颜色分量时，可以将那些与待处理像素位置接近(在与待处理像素在颜色特征上最关联的至少一个方向中的某个方向上)的像素的权重(贡献)设置的较大，其他的相对较小，以使得计算的结果更为准确。
[0151]在根据本发明的实施例的图像处理装置的一种实现方式中，上述各个预定权重矩阵可以是预先存储在图像处理装置中的，例如，预先存储在图像处理装置内部的某个存储器中。这样，能够相应地提高整个图像处理装置的处理速度，提高处理效率。
[0152]此外，在另一种实现方式中，上述各个预定权重矩阵也可以是通过实时计算获得的。在一个例子中，第一计算子单元510中可以包括权重设置模块(图中未示出)，在这种情况下，第一计算子单元510中还包括其他组成部件以实现上文所述的功能和处理，这里不再详述。针对待处理像素所缺失的每一种颜色，权重设置模块例如可以用于将待处理像素的预定大小区域中的具有该缺失颜色分量的像素中的那些距离待处理像素越近的像素所对应的滤波权重设置得越大。在另一个例子中，权重设置模块还可以根据图像所采用的颜色分布图案来设置与上述至少一个方向中的每个方向对应的、缺失的每种缺失颜色分量的预定权重矩阵。这样，对于不同图案类型的图像，可以通过权重设置模块来适应性地调整预定权重矩阵，以得到适合每个像素的滤波权重，进而能够适于处理各种图案的图像。此外，由于处理的灵活度较高，因此能够使得针对某种特定图案的图像的处理可以方便地调整。
[0153]需要说明的是，在本发明的各个实施例中，可能存在多个待处理像素，例如拜耳图案中的每个像素都可作为待处理像素。在这种情况下，可以顺次对各个像素进行处理，即顺次选择各个像素作为待处理像素来计算各个像素的缺失分量。处理的顺序可以是从左到右、从上到下，也可以是任何其他的顺序(例如螺旋)，甚至可以采用伪随机数来确定顺序。
[0154]此外，需要说明的是，不一定所有像素都可以作为待处理像素(即中心像素)。例如当采用5X5的像素块来进行处理时，图像的最上方两行、最下方两行、最左侧两列和最右侧两列像素无法作为5X5像素块的中心像素。此时，可以利用更简单的方法对这些像素进行处理，例如简单的线性插值，等等。或者，也可以利用镜像方法等等在像素边缘外侧添加虚拟像素，从而形成5X5的像素块，在此情况下就可以使用本发明的处理方法。
[0155]另外，还需要说明的是，在一些情况下，也不必将图像中的所有像素都作为待处理像素来处理，例如，可以仅对图像中的部分像素进行上文所述的处理，即可改善图像的质量。
[0156]通过以上描述可知，上述根据本发明实施例的图像处理装置，利用图像的待处理像素在多个预定方向上的梯度来确定与待处理像素在颜色特征上最关联的至少一个方向，并针对所缺失的至少部分缺失颜色分量中的每一种求得待处理像素在这至少一个方向的该种缺失颜色分量，以最终得到待处理像素在上述图像中的该种缺失颜色分量，由此使得所得到的图像的精度较高和/或质量较好。该图像处理装置可以用于去除图像中的马赛克，用于拜耳图案CFA (滤色器阵列)的去马赛克插值方法也可以应用于其他类型的图像处理中，例如，图像恢复处理等。
[0157]此外，本发明的实施例还提供了一种图像处理方法，该图像处理方法包括:计算图像的待处理像素在多个预定方向上的梯度；根据计算的梯度确定多个预定方向中与待处理像素在颜色特征上最关联的至少一个方向；以及针对待处理像素所缺失的至少部分缺失颜色分量中的每一个，利用图像中包含待处理像素的预定大小区域中的、具有该缺失颜色分量的像素的该缺失颜色分量，获得待处理像素分别在至少一个方向上的该缺失颜色分量，以得到待处理像素在图像中的该缺失颜色分量。
[0158]下面结合图9来描述上述图像处理方法的一种示例性处理。
[0159]如图9所示，根据本发明的实施例的图像处理方法的处理流程900开始于步骤S910，然后执行步骤S920。
[0160]在步骤S920中，计算图像的待处理像素在多个预定方向上的梯度。然后执行步骤S930。
[0161]在一个实现方式中，在步骤S920中计算待处理像素在每个预定方向上的梯度的过程中，可以将位于待处理像素周围的、距离待处理像素越近的像素所对应的梯度权重设置得越大。
[0162]此外，在一个实现方式中，多个预定方向例如可以包括如下8个反向:东、南、西、北、东南、东北、西南以及西北。
[0163]其中，步骤S920中所执行的处理例如可以与上文中结合图1所描述的梯度计算单元110的处理相同，并能够达到类似的技术效果，在此不再赘述。
[0164]在步骤S930中，根据计算的梯度确定多个预定方向中与待处理像素在颜色特征上最关联的至少一个方向。然后执行步骤S940。其中，步骤S930中所执行的处理例如可以与上文中结合图1所描述的方向确定单元120的处理相同，并能够达到类似的技术效果，在此不再赘述。
[0165]在步骤S940中，计算待处理像素所缺失的至少部分缺失颜色分量中的每一个。例如，在步骤S940中，针对待处理像素所缺失的至少部分缺失颜色分量中的每一个，利用上述图像中包含待处理像素的预定大小区域中的、具有该缺失颜色分量的像素的该缺失颜色分量，获得待处理像素分别在至少一个方向上的该缺失颜色分量，以得到待处理像素在图像中的该缺失颜色分量。然后执行步骤S950。其中，步骤S940中所执行的处理例如可以与上文中结合图1所描述的缺失颜色分量获得单元130的处理相同，并能够达到类似的技术效果，在此不再赘述。
[0166]在根据本发明的实施例的图像处理方法的一种实现方式中，在步骤S940中，可以通过如图10所示的步骤S1010和S1020来获得待处理像素的所缺失的至少部分缺失颜色分量中的每一个。
[0167]如图10所示，在步骤S1010中，可以基于预定大小区域中的具有该缺失颜色分量的像素的该缺失颜色分量，计算待处理像素在至少一个方向中每个方向上的该缺失颜色分量。然后执行步骤S1020。
[0168]在一个例子中，在步骤S1010中，例如可以按照如下方式来计算待处理像素在至少一个方向中每个方向上的该缺失颜色分量:针对待处理像素所缺失的至少部分缺失颜色分量中的每一个缺失颜色分量以及上述至少一个方向中的每一个方向，将利用该方向对应的、该缺失颜色分量的预定权重矩阵对预定大小区域中具有该缺失颜色分量的像素的该缺失颜色分量进行加权计算所得到的结果作为待处理像素在该方向上的该缺失颜色分量，其中，该方向对应的、该缺失颜色分量的预定权重矩阵包括有预定大小区域中的具有该缺失颜色分量的像素中每个像素所对应的滤波权重。
[0169]在一个优选的例子中，在步骤S1010中，在预定大小区域中的具有该缺失颜色分量的像素中，例如可以将距离待处理像素越近的像素所对应的滤波权重设置得越大。
[0170]其中，步骤S1010中所执行的处理例如可以与上文中结合图5所描述的第一计算子单元510的处理相同，并能够达到类似的技术效果，在此不再赘述。
[0171]在步骤S1020中，可以将待处理像素在至少一个方向中的所有方向上的该缺失颜色分量进行加权计算所得到的结果作为待处理像素在图像中的该缺失颜色分量。其中，步骤S1020中所执行的处理例如可以与上文中结合图5所描述的第二计算子单元520的处理相同，并能够达到类似的技术效果，在此不再赘述。
[0172]处理流程900结束于步骤S950。
[0173]需要说明的是，在上述根据本发明实施例的图像处理方法的具体处理中，其各个步骤、子步骤可以分别采用与上文中结合图1或图5所描述的图像处理装置中的对应的单元、子单元或者模块的处理相同的处理，并能够达到相类似的功能和效果，这里不再一一赘述。
[0174]通过以上描述可知，上述根据本发明实施例的图像处理方法，利用图像的待处理像素在多个预定方向上的梯度来确定与待处理像素在颜色特征上最关联的至少一个方向，并针对所缺失的至少部分缺失颜色分量中的每一种求得待处理像素在这至少一个方向的该种缺失颜色分量，以最终得到待处理像素在上述图像中的该种缺失颜色分量，由此使得所得到的图像的精度较高和/或质量较好。该图像处理方法可以用于去除图像中的马赛克(例如用于拜耳图案CFA (滤色器阵列)的去马赛克插值方法)，也可以应用于其他类型的图像处理中，例如，图像恢复处理等。
[0175]此外，本发明的实施例还提供了一种电子设备，该电子设备包括如上所述的图像处理装置。在根据本发明的实施例的上述电子设备的具体实现方式中，上述电子设备可以是以下设备中的任意一种设备:数字相机(如基于拜耳图案的数字相机)；计算机；平板电脑；个人数字助理；多媒体播放设备；手机以及电纸书等等。其中，该电子设备具有上述图像处理装置的各种功能和技术效果，这里不再赘述。
[0176]上述根据本发明的实施例的图像处理装置中的各个组成单元、子单元、模块等可以通过软件、固件、硬件或其任意组合的方式进行配置。在通过软件或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的机器(例如图5所示的通用机器500)安装构成该软件或固件的程序，该机器在安装有各种程序时，能够执行上述各组成单元、子单元的各种功能。
[0177]图11是示出了可用来实现根据本发明的实施例的图像处理装置和图像处理方法的一种可能的信息处理设备的硬件配置的结构简图。
[0178]在图11中，中央处理单元(CPU) 1101根据只读存储器(ROM) 1102中存储的程序或从存储部分1108加载到随机存取存储器(RAM) 1103的程序执行各种处理。在RAMl 103中，还根据需要存储当CPUl 101执行各种处理等等时所需的数据。CPUl 101、R0M1102和RAMl 103经由总线1104彼此连接。输入/输出接口 1105也连接到总线1104。
[0179]下述部件也连接到输入/输出接口 1105:输入部分1106 (包括键盘、鼠标等等)、输出部分1107(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1108 (包括硬盘等)、通信部分1109 (包括网络接口卡例如LAN卡、调制解调器等)。通信部分1109经由网络例如因特网执行通信处理。根据需要，驱动器1110也可连接到输入/输出接口 1105。可拆卸介质1111例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器1110上，使得从中读出的计算机程序可根据需要被安装到存储部分1108 中。
[0180]在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质1111安装构成软件的程序。
[0181]本领域的技术人员应当理解，这种存储介质不局限于图11所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1111。可拆卸介质1111的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(⑶-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROMl 102、存储部分1108中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
[0182]此外，本发明还提出了一种存储有机器可读取的指令代码的程序产品。上述指令代码由机器读取并执行时，可执行上述根据本发明的实施例的图像处理方法。相应地，用于承载这种程序产品的例如磁盘、光盘、磁光盘、半导体存储器等的各种存储介质也包括在本发明的公开中。
[0183]在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
[0184]此外，本发明的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
[0185]此外，显然，根据本发明的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
[0186]而且，本发明的目的也可以通过下述方式实现:将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。
[0187]此时，只要该系统或者设备具有执行程序的功能，则本发明的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。
[0188]上述这些机器可读存储介质包括但不限于:各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。
[0189]另外，客户计算机通过连接到因特网上的相应网站，并且将依据本发明的计算机程序代码下载和安装到计算机中然后执行该程序，也可以实现本发明。
[0190]最后，还需要说明的是，在本文中，诸如左和右、第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0191]综上，在根据本发明的实施例中，本发明提供了如下方案但不限于此:
[0192]附记1.一种图像处理装置，包括:
[0193]梯度计算单元，其被配置用于计算图像的待处理像素在多个预定方向上的梯度；
[0194]方向确定单元，其被配置用于根据梯度计算单元计算的梯度来确定所述多个预定方向中与所述待处理像素在颜色特征上最关联的至少一个方向；以及
[0195]缺失颜色分量获得单元，其被配置用于针对所述待处理像素所缺失的至少部分缺失颜色分量中的每一个，利用所述图像中包含所述待处理像素的预定大小区域中的、具有该缺失颜色分量的像素的该缺失颜色分量，获得所述待处理像素分别在至少一个方向中的每一个上的该缺失颜色分量，以得到所述待处理像素在所述图像中的该缺失颜色分量。
[0196]附记2.根据附记I所述的图像处理装置，其中，所述缺失颜色分量获得单元包括:
[0197]第一计算子单元，其被配置用于基于所述预定大小区域中的具有该缺失颜色分量的像素的该缺失颜色分量，计算所述待处理像素在所述至少一个方向中每个方向上的该缺失颜色分量；以及
[0198]第二计算子单元，其被配置用于将所述待处理像素在所述至少一个方向中的所有方向上的该缺失颜色分量进行加权计算所得到的结果作为所述待处理像素在所述图像中的该缺失颜色分量。
[0199]附记3.根据附记2所述的图像处理装置，其中，所述第一计算子单元被配置用于:
[0200]针对所述待处理像素所缺失的至少部分缺失颜色分量中的每一个以及所述至少一个方向中的每一个，
[0201]将利用该方向对应的、该缺失颜色分量的预定权重矩阵对所述预定大小区域中具有该缺失颜色分量的像素的该缺失颜色分量进行加权计算所得到的结果作为所述待处理像素在该方向上的该缺失颜色分量，其中，该方向对应的、该缺失颜色分量的预定权重矩阵包括有所述预定大小区域中的具有该缺失颜色分量的像素中每个像素所对应的滤波权重。
[0202]附记4.根据附记3所述的图像处理装置，其中，所述第一计算子单元中包括:
[0203]权重设置模块，其被配置用于将所述预定大小区域中的具有该缺失颜色分量的像素中距离所述待处理像素越近的像素所对应的滤波权重设置得越大。
[0204]附记5.根据附记3或4所述的图像处理装置，其中:
[0205]所述图像采用预定的颜色分布图案；以及
[0206]所述第一计算子单元中包括的权重设置模块被配置用于根据所述图像所采用的颜色分布图案来设置与所述至少一个方向中的每个方向对应的、所述至少部分缺失颜色分量中的每一个的预定权重矩阵。
[0207]附记6.根据附记1-5中任一项所述的图像处理装置，其中，所述梯度计算单元还被配置用于:
[0208]在计算所述待处理像素在每个所述预定方向上的梯度的过程中，将位于所述待处理像素周围的、距离所述待处理像素越近的像素所对应的梯度权重设置得越大。
[0209]附记7.根据附记1-6中任一项所述的图像处理装置，其中，所述方向确定单元被配置用于:
[0210]将所述待处理像素在多个预定方向上的梯度中小于或等于预定阈值的至少一个梯度所对应的预定方向作为与所述待处理像素在颜色特征上最关联的至少一个方向；或
[0211]将所述待处理像素在多个预定方向上的梯度中最小的预定数量个梯度所对应的预定方向作为与所述待处理像素在颜色特征上最关联的至少一个方向。
[0212]附记8.根据附记1-7中任一项所述的图像处理装置，其中，所述多个预定方向包括:
[0213]东、南、西、北、东南、东北、西南以及西北。
[0214]附记9.根据附记5中任一项所述的图像处理装置，其中，所述预定的颜色分布图案为以下图案中的任一种:拜耳图案。
[0215]附记10.根据附记1-9中任一项所述的图像处理装置，其中，所述待处理像素所缺失的至少部分缺失颜色分量包括:RGB三原色中的至少一个颜色分量。
[0216]附记11.根据附记1-10中任一项所述的图像处理装置，其中，所述图像处理装置为去马赛克装置，所述待处理像素为所述图像的马赛克部分中的像素。
[0217]附记12.—种图像处理方法，包括:
[0218]计算图像的待处理像素在多个预定方向上的梯度；
[0219]根据计算的梯度确定所述多个预定方向中与所述待处理像素在颜色特征上最关联的至少一个方向；以及
[0220]针对所述待处理像素所缺失的至少部分缺失颜色分量中的每一个，
[0221]利用所述图像中包含所述待处理像素的预定大小区域中的、具有该缺失颜色分量的像素的该缺失颜色分量，获得所述待处理像素分别在至少一个方向上的该缺失颜色分量，以得到所述待处理像素在所述图像中的该缺失颜色分量。
[0222]附记13.根据附记12所述的图像处理方法，其中，通过如下方式来获得所述待处理像素的所缺失的至少部分缺失颜色分量中的每个缺失颜色分量:
[0223]基于所述预定大小区域中的具有该缺失颜色分量的像素的该缺失颜色分量，计算所述待处理像素在所述至少一个方向中每个方向上的该缺失颜色分量；以及
[0224]将所述待处理像素在所述至少一个方向中的所有方向上的该缺失颜色分量进行加权计算所得到的结果作为所述待处理像素在所述图像中的该缺失颜色分量。
[0225]附记14.根据附记13所述的图像处理方法，其中，所述的计算所述待处理像素在所述至少一个方向中每个方向上的该缺失颜色分量的步骤包括:
[0226]针对所述待处理像素所缺失的至少部分缺失颜色分量中的每一个以及所述至少一个方向中的每一个，
[0227]将利用该方向对应的、该缺失颜色分量的预定权重矩阵对所述预定大小区域中具有该缺失颜色分量的像素的该缺失颜色分量进行加权计算所得到的结果作为所述待处理像素在该方向上的该缺失颜色分量，其中，该方向对应的、该缺失颜色分量的预定权重矩阵包括有所述预定大小区域中的具有该缺失颜色分量的像素中每个像素所对应的滤波权重。
[0228]附记15.根据附记12-14中任一项所述的图像处理方法，其中:
[0229]在计算所述待处理像素在每个所述预定方向上的梯度的过程中，位于所述待处理像素周围的、距离所述待处理像素越近的像素所对应的梯度权重越大。
[0230]附记16.根据附记12-15中任一项所述的图像处理方法，其中，所述多个预定方向包括:
[0231]东、南、西、北、东南、东北、西南以及西北。
[0232]附记17.—种电子设备，包括如附记1-11中任一所述的图像处理装置。
[0233]附记18.根据附记17所述的电子设备，其中，所述电子设备是以下设备中的任意一种:
[0234]数字相机；计算机；平板电脑；个人数字助理；多媒体播放设备；手机以及电纸书。
[0235]附记19.一种存储有机器可读取的指令代码的程序产品，所述程序产品在执行时能够使所述机器执行根据附记12-16中任一所述的图像处理方法。
[0236]附记20.—种计算机可读存储介质，其上存储有根据附记19所述的程序产品。
【权利要求】
1.一种图像处理装置，包括: 梯度计算单元，其被配置用于计算图像的待处理像素在多个预定方向上的梯度；方向确定单元，其被配置用于根据梯度计算单元计算的梯度来确定所述多个预定方向中与所述待处理像素在颜色特征上最关联的至少一个方向；以及 缺失颜色分量获得单元，其被配置用于针对所述待处理像素所缺失的至少部分缺失颜色分量中的每一个，利用所述图像中包含所述待处理像素的预定大小区域中的、具有该缺失颜色分量的像素的该缺失颜色分量，获得所述待处理像素分别在至少一个方向中的每一个上的该缺失颜色分量，以得到所述待处理像素在所述图像中的该缺失颜色分量。
2.根据权利要求1所述的图像处理装置，其中，所述缺失颜色分量获得单元包括: 第一计算子单元，其被配置用于针对所述至少部分缺失颜色分量中的每一个，基于所述预定大小区域中的具有该缺失颜色分量的像素的该缺失颜色分量及其方向和位置信息，计算所述待处理像素在所述至少一个方向中每个方向上的该缺失颜色分量；以及 第二计算子单元，其被配置用于针对所述至少部分缺失颜色分量中的每一个，将所述待处理像素在所述至少一个方向中的所有方向上的该缺失颜色分量进行加权计算所得到的结果作为所述待处理像素在所述图像中的该缺失颜色分量。
3.根据权利要求2所述的图像处理装置，其中，所述第一计算子单元被配置用于: 针对所述待处理像素所缺失的至少部分缺失颜色分量中的每一个以及所述至少一个方向中的每一个， 将利用该方向对应的、该缺失颜色分量的预定权重矩阵对所述预定大小区域中具有该缺失颜色分量的像素的该缺失颜色分量进行加权计算所得到的结果作为所述待处理像素在该方向上的该缺失颜色分量，其中，该方向对应的、该缺失颜色分量的预定权重矩阵包括有所述预定大小区域中的具有该缺失颜色分量的像素中每个像素所对应的滤波权重。
4.根据权利要求3所述的图像处理装置，其中，所述第一计算子单元中包括: 权重设置模块，其被配置用于将所述预定大小区域中的具有该缺失颜色分量的像素中距离所述待处理像素越近的像素所对应的滤波权重设置得越大。
5.根据权利要求3或4所述的图像处理装置，其中: 所述图像采用多个预定的颜色分布图案中的任一种；以及 所述第一计算子单元中包括的权重设置模块被配置用于根据所述图像所采用的颜色分布图案来设置与所述至少一个方向中的每个方向对应的、所述至少部分缺失颜色分量中的每一个的预定权重矩阵。
6.根据权利要求1-5中任一项所述的图像处理装置，其中，所述梯度计算单元还被配置用于: 在计算所述待处理像素在每个所述预定方向上的梯度的过程中，将位于所述待处理像素周围的、距离所述待处理像素越近的像素所对应的梯度权重设置得越大。
7.根据权利要求1-6中任一项所述的图像处理装置，其中，所述方向确定单元被配置用于: 将所述待处理像素在多个预定方向上的梯度中小于或等于预定阈值的至少一个梯度所对应的预定方向作为与所述待处理像素在颜色特征上最关联的至少一个方向；或 将所述待处理像素在多个预定方向上的梯度中最小的预定数量个梯度所对应的预定方向作为与所述待处理像素在颜色特征上最关联的至少一个方向。
8.根据权利要求1-7中任一项所述的图像处理装置，其中，所述多个预定方向包括: 东、南、西、北、东南、东北、西南以及西北。
9.一种图像处理方法，包括: 计算图像的待处理像素在多个预定方向上的梯度； 根据计算的梯度确定所述多个预定方向中与所述待处理像素在颜色特征上最关联的至少一个方向；以及 针对所述待处理像素所缺失的至少部分缺失颜色分量中的每一个， 利用所述图像中包含所述待处理像素的预定大小区域中的、具有该缺失颜色分量的像素的该缺失颜色分量，获得所述待处理像素分别在至少一个方向上的该缺失颜色分量，以得到所述待处理像素在所述图像中的该缺失颜色分量。
10.一种电子设备，包括如权利要求1-8中任一项所述的图像处理装置。
【文档编号】G06T5/00GK104240182SQ201310224471
【公开日】2014年12月24日 申请日期:2013年6月6日 优先权日:2013年6月6日
【发明者】叶姜莉, 付轩 申请人:富士通株式会社