图像处理装置、图像处理方法和程序的制作方法
图像处理装置、图像处理方法和程序的制作方法
【专利摘要】本发明公开了一种图像处理装置、图像处理方法和程序。所述图像处理装置包括：代表值计算单元，它从第一图像选择指定区，并且计算在所述指定区中的所述各颜色分量的代表值；类别分类单元，它对所述指定区进行类别分类；系数读取单元，它读取预先存储的系数；颜色分量变换单元，它将所述指定区内的预定的像素有关的像素值设定为预测抽头，将一个颜色分量的像素值设定为基准，并将各颜色分量的像素值变换成变换值；和积和计算单元，它将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值。根据本发明，在进行分辨率变换的图像处理时，从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出可以获得各颜色分量的图像信号，而不会降低图像质量。
【专利说明】图像处理装置、图像处理方法和程序
[0001]相关申请的交叉参考
[0002]本申请要求于2013年3月29日提交的日本在先专利申请JP2013-074577的权益，其全部内容以引用的方式并入本文。
【技术领域】
[0003]本技术涉及一种图像处理装置、图像处理方法和程序，尤其涉及一种在进行分辨率变换的图像处理时能够从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出获得各颜色分量的图像信号而不会降低图像质量的图像处理装置、图像处理方法和程序。
【背景技术】
[0004]近年来，对诸如所谓的4k2k或8k4k等图像分辨率的改善的需求日益增加。然而，例如，即使图像传感器的尺寸可以增大，但是由于光学系统的尺寸、重量等，也难以实现分辨率的足够改善。此外，在图像传感器的灵敏度方面也难以提高帧速率。
[0005]由此，已经提出了其中在不会降低图像传感器的胞的面积超过预定程度的情况下改善分辨率的技术。例如，已经提出了其中生成输出图像的像素并且通过对低分辨率的输入图像进行图像处理获得高分辨率的输出图像的技术。
[0006]此外，目前主要有两种使用图像传感器的成像装置。一种是使用一个图像传感器的单芯式(one-chip)装置(以下称为单芯式相机)。另一种是使用三个图像传感器的三芯式装置(以下称为三芯式相机)。
[0007]在三芯式相机中，例如，使用三个图像传感器，S卩，R信号用的图像传感器、G信号用的图像传感器和B信号用的图像传感器，因此通过三个图像传感器获得三原色信号。然后，从三原色信号产生的彩色图像信号被存储在记录介质中。
[0008]在单芯式相机中，使用其中由分配给每个像素的彩色滤波器阵列制成的彩色编码滤波器安装在前面的一个图像传感器，并且针对每个像素获得由彩色编码滤波器彩色编码的颜色分量的信号。作为构成彩色编码滤波器的彩色滤波器阵列，例如，使用红色(R)、绿色(G)和蓝色(B)的原彩色滤波器阵列或黄色(Ye)、青色(Cy)和品红色(Ma)的互补滤波器阵列。然后，在单芯式相机中，通过图像传感器针对一个像素获得一种颜色分量的信号，并且通过进行线性插值处理产生由每个像素保持的颜色分量的信号以外的其他颜色信号，从而获得接近由三芯式相机获得的图像的图像。在摄像机中，为了小型化和轻量化而使用单芯式方式。
[0009]作为构成彩色编码滤波器的彩色滤波器阵列，在大部分时间使用拜耳(Bayer)布局的彩色滤波器阵列。在拜耳布局中，G色滤波器被排列为棋盘图案，R和B色滤波器在每行中交替排列在剩余部分上。
[0010]在这种情况下，在图像传感器中，从其中配置三原色R、G和B之一颜色的滤波器的各像素中，只有对应于该滤波器颜色的图像信号被输出。即，从其中配置R色滤波器的像素中，R分量的图像信号被输出，但是G分量和B分量的图像信号没有被输出。按相同方式，从G像素中，仅有G分量的图像信号被输出，R分量和B分量的图像信号没有被输出。从B像素中，仅有B分量的图像信号被输出，R分量和G分量的图像信号没有被输出。
[0011]然而,在图像处理的下游侧中，在各像素的信号的处理时，R分量、G分量和B分量的图像信号是必要的。因此，在现有的技术中，从来自nXm(n和m是正整数)个像素构成的图像传感器的输出通过各自的插值计算获得nXm个R像素的图像信号、nXm个G像素的图像信号和η Xm个B像素的图像信号，并输出到下游侧。
[0012]此外，提出了以下的技术，其中从nXm个R像素的图像信号通过插值计算获得2nX 2m个R像素的图像信号，从nXm个G像素的图像信号通过插值计算获得2ηX 2m个G像素的图像信号，从nXm个B像素的图像信号通过插值计算获得2ηX 2m个B像素的图像信号(例如，参照日本未经审查的专利申请公开N0.2000-341705)。
[0013]在日本未经审查的专利申请公开N0.2000-341705中，对应于关注像素的像素和其邻近的像素值被设定为输入图像中的变量，并且通过使用由预先学习获得的系数的积和计算来预测输出图像的关注像素的像素值。通过这样做，从来自单芯式相机的图像传感器的输出可以生成三原色信号，并且可以生成像素密度是原始图像的4倍的图像信号。
[0014]顺便说一下，在日本未经审查的专利申请公开N0.2000-341705中，对应于图像传感器中各R、G和B的像素值原样地用作抽头(tap，夕〃 7 )，即，预测计算的变量。
[0015]然而，由于R、G和B的像素值中的相关性初始很低，例如，即使在关注像素附近的多个像素值被作为抽头输入，也难以在预测计算中产生足够的效果。
[0016]此外，在单芯式相机的图像传感器中，为了避免伪色、假像等的影响，入射在图像传感器上的光通常被设置成通过光学低通滤波器。
[0017]然而，按这种方式通过将入射到图像传感器光被设置成通过光学低通滤波器使图像褪色。
[0018]即，在现有的技术中，在单芯式相机中，在不会造成图像质量下降的情况下，例如图像的褪色、伪色或假像，很难获得三原色信号。
[0019]在这种条件下，由于在从低分辨率的输入图像获得高分辨率的输出图像的图像处理中，在现有的技术中，诸如在拜耳变换时发生的伪色或假像等图像质量劣化突出，因此难以达到足够的效果。
【发明内容】
[0020]希望在进行分辨率变换的图像处理时，从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出获得各颜色分量的图像信号，而不会降低图像质量。
[0021]根据本技术的实施方案，提供了一种图像处理装置，包括:代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值；类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数；颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。
[0022]在所述图像处理装置中，所述单芯式像素单元可以是具有R、G和B颜色分量的像素单元；和其中所述代表值计算单元可以基于R或B像素附近的G像素计算R或B像素的插值g，可以基于G像素附近的R像素或B像素计算G像素的插值r和插值b，可以通过使用从G像素直接获得的输入值G和插值g的平均值计算G的代表值，可以基于插值r和输入值G之间的差、从R像素直接获得的输入值R和插值g之间的差以及G的代表值，计算R的代表值，和可以基于插值b和输入值G之间的差、从B像素直接获得的输入值B和插值g之间的差以及G的代表值，计算B的代表值。
[0023]在所述图像处理装置中，如果第二图像是仅由G像素构成的图像，所述颜色分量变换单元可以通过使用R的代表值和G的代表值之间的差抵消输入值R，和可以通过使用B的代表值和G的代表值之间的差抵消输入值B ;其中如果第二图像是仅由R像素构成的图像，所述颜色分量变换单元可以通过使用G的代表值和R的代表值之间的差抵消输入值G，和可以通过使用B的代表值和R的代表值之间的差抵消输入值B，和其中如果第二图像是仅由B像素构成的图像，所述颜色分量变换单元可以通过使用G的代表值和B的代表值之间的差抵消输入值G，和可以通过使用R的代表值和B的代表值之间的差抵消输入值R。
[0024]在所述图像处理装置中，所述单芯式图像单元可以被设定为倾斜拜耳布局的像素单元，其中拜耳布局的像素倾斜配置。
[0025]在所述图像处理装置中，如果在具有多个颜色分量的图像中，生成仅由第一颜色分量构成的第二图像，和在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么可以从仅由第一颜色分量构成的第二图像获取所述预测抽头。
[0026]所述图像处理装置还可以包括:计算所述预测抽头的虚拟色差的虚拟色差计算单元，其中如果在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么所述积和计算单元可以将所述预测抽头的虚拟色差设定为变量并可以通过使用读取的系数进行积和运算来计算第二图像的虚拟色差，和其中可以从第一图像中的指定区获取仅由对应于第二颜色分量的像素构成的所述预测抽头。
[0027]在所述图像处理装置中，所述虚拟色差计算单元可以通过构成所述预测抽头的像素的值乘以由色空间的规格规定的矩阵系数来计算所述虚拟色差。
[0028]所述图像处理装置还可以包括:另一个颜色分量变换单元，所述另一个颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为类别抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述类别抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值，其中所述类别分类单元可以基于从所述另一个颜色分量变换单元变换获得的变换值确定所述类别抽头的特征量。
[0029]在所述图像处理装置中，可以通过预先学习获得由所述系数读取单元读取的系数，其中在所述预先学习中，通过使用在所述单芯式像素单元和被写体之间配置的光学低通滤波器，由使用从在靠近所述被写体的位置中配置并仅由对应于所述多个颜色分量的像素构成的多个像素单元输出的图像信号构成的图像可以被设定为教师图像，其中由使用从所述单芯式像素单元输出的图像信号构成的图像可以被设定为学生图像，和其中可以通过求解其中所述学生图像的像素和所述教师图像的像素彼此映射的正规方程式来计算所述系数。
[0030]根据本技术的另一个施方案，提供了一种图像处理方法，包括:使代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且计算在所述指定区中的所述各颜色分量的代表值；使类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；使系数读取单元基于进行所述类别分类的结果读取预先存储的系数；使颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和使积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。
[0031]根据本技术的另一个施方案，提供了一种使计算机起到图像处理装置功能的程序，包括:代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值；类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数；颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。
[0032]根据本技术的实施方案，从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且计算在所述指定区中的所述各颜色分量的代表值；基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；基于进行所述类别分类的结果读取预先存储的系数；将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和所述变换值被设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。
[0033]根据本技术，在进行分辨率变换的图像处理时，从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出可以获得各颜色分量的图像信号，而不会降低图像质量。
【专利附图】
【附图说明】
[0034]图1是用于说明在单芯式相机的图像传感器中获取图像信号的方法的图；
[0035]图2是示出根据本技术适用的图像处理装置的一个实施方案的构成例的方框图；
[0036]图3是示出指定区的例子的图；
[0037]图4是用于说明计算插值g的方法的例子的图；
[0038]图5是用于描述计算插值r的方法的例子的图；
[0039]图6是用于说明计算插值b的方法的例子的图；
[0040]图7是示出对应于图2的图像处理装置的学习装置的构成例的方框图；
[0041]图8A?8D是示出在图2的图像处理装置或图7的学习装置中获取的类别抽头或预测抽头的结构的例子的示意图；
[0042]图9是说明由图2的图像处理装置进行的图像处理的例子的流程图；
[0043]图10是说明代表RGB计算处理的例子的流程图；
[0044]图11是说明由图7的学习装置进行的系数学习处理的例子的流程图；
[0045]图12是示出本技术适用的根据另一个实施方案的图像处理装置的构成例的方框图；
[0046]图13A?13D是示出在图12的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；
[0047]图14A?14D是示出在图12的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；
[0048]图15A?I?是示出在图12的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；
[0049]图16是示出本技术适用的根据另一个实施方案的图像处理装置的构成例的方框图；
[0050]图17A?17D是示出在图16的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；
[0051]图18A?18D是示出在图12的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；
[0052]图19A?19D是说明在图2的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；
[0053]图20是说明拜耳布局的像素的配置的图；
[0054]图21是说明倾斜拜耳布局的像素的配置的图；
[0055]图22k和图22B是说明在图2的图像处理装置中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；
[0056]图23A?23D是说明在图12的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的例子的图；
[0057]图24A和图24B是说明在图12的图像处理装置中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的例子的图；
[0058]图25A?2?是说明在图16的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；
[0059]图26A?26D是说明在图16的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图
[0060]图27A?27D是说明在图16的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；
[0061]图28A和图28B是说明在图16的图像处理装置中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的例子的图；
[0062]图29A和图29B是说明在图16的图像处理装置中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；和
[0063]图30是示出个人电脑的构成例的方框图。
【具体实施方式】
[0064]下面参照【专利附图】
【附图说明】本说明书中所公开的技术的实施方案。
[0065]图1是用于说明在单芯式相机的图像传感器中获取图像信号的方法的图。
[0066]在这个例子中，从被写体11反射的光通过光学低通滤波器12，并且被图像传感器13接收。
[0067]在单芯式相机中，使用其中由分配给每个像素的彩色滤波器阵列制成的彩色编码滤波器安装在前面的一个图像传感器，并且针对每个像素获得由彩色编码滤波器彩色编码的颜色分量的信号。
[0068]在这点上，拜耳布局的彩色滤波器阵列用于图像传感器13中，G色滤波器被排列为棋盘图案，R和B色滤波器在每行中交替排列在剩余部分上。即，在图像传感器13中的矩形区域内的4个像素由两个G像素、一个R像素和一个B像素构成。
[0069]在单芯式相机中，在图像处理的下游侧中，在各像素的信号的处理时，R分量、G分量和B分量的图像信号是必要的。因此，必须基于从图像传感器13输出的像素值，通过进行插值运算以获得针对每个像素的R分量、G分量和B分量的像素值。
[0070]此外，在图像传感器13中，为了避免伪色、假像等的影响，入射在图像传感器上的光被设置为通过光学低通滤波器。然而，按这种方式通过将入射到图像传感器光设置为通过光学低通滤波器使图像褪色。
[0071 ] 因此，根据本技术，基于从图像传感器13输出的像素值，可以获得当分别对应于R分量、G分量和B分量的三个图像传感器配置成框(由图中的虚线表示的矩形)14时获得的像素值。
[0072]图2是示出根据本技术适用的图像处理装置的一个实施方案的构成例的方框图。在图像处理装置100中，对应于关注像素的像素和其邻近的像素值被设定为输入图像中的变量，并且通过使用由预先学习获得的系数的积和计算来预测输出图像的关注像素的像素值。
[0073]输入图像被输入到图像处理装置100中，例如，被设置为由其中使用拜耳布局的彩色滤波器阵列的图像传感器的输出值构成的图像。即，输入图像被设置为对应于信号是从图1的图像传感器13输出的信号的图像。因此，在输入图像中，从其中配置R色滤波器的像素中，获得R分量的图像信号，但是没有获得G分量和B分量的图像信号。按相同方式，从G像素中，仅获得G分量的图像信号，没有获得R分量和B分量的图像信号。然后，从B像素中，仅获得B分量的图像信号，没有获得R分量和G分量的图像信号。
[0074]图2的图像处理装置100由代表RGB计算单元101以及分别对应于RGB色的类别抽头选择单元、分别对应于RGB色的预测抽头选择单元、分别对应于RGB色的色变换单元、分别对应于RGB色的类别分类单元、分别对应于RGB色的系数存储器和分别对应于RGB色的积和计算单元构成。
[0075]在下述的用于获取类别抽头或预测抽头的图像的区域(称为指定区)中，代表RGB计算单元101计算被设置为分别作为R、G和B的颜色分量的像素值的基准的代表值Dr、Db和Dg。
[0076]例如，如图3的粗线框所示，指定区被设定。在图3中，图中的每个圆圈表示输入图像的像素，并且中央的阴影圆圈表示的像素被设定为类别抽头或预测抽头的中心像素。此夕卜，每个圆圈内写入的字母R、G、B表示各像素的颜色分量。
[0077]指定区，即，中心像素被设定为中心的包括类别抽头或预测抽头的区域，被任意地设定，但是当指定区设定为大幅地超出类别抽头或预测抽头的区域时，根据图像的区域的最佳处理难以进行。由此，优选的是，指定区被设定为与类别抽头或预测抽头相同的区域。
[0078]此外，在下面的说明中，通过运算计算出的平均值、插值、代表值等被适当地参照，但是运算前的输入图像的像素值根据各像素的颜色分量分别称为输入值G、输入值R和输入值B，以区分各像素值。即，从其中拜耳布局的图像传感器的R色滤波器被配置的像素直接获得的像素值被设定为输入值R，从其中拜耳布局的图像传感器的G色滤波器被配置的像素直接获得的像素值被设定为输入值G，从其中拜耳布局的图像传感器的B色滤波器被配置的像素直接获得的像素值被设定为输入值B。
[0079]在这个例子中，由图中的粗线包围并且由中心像素被设定为中心的25(=5X5)个像素构成的区域被设定为指定区。
[0080]首先，代表RGB计算单元101计算G分量的代表值Dg。
[0081]此时，如图4所示，其中指定区内的R分量像素或B分量像素被设定为中心，代表RGB计算单元101对像素Gl?G4(即，中心像素附近(上下左右方向)的4个G像素)的输入值Gl?输入值G4取平均，从而计算出插值g，它是在中心像素的像素位置中的插值的G分量的值。通过这样做，在输入图像中不具有G分量的R分量像素和B分量像素具有插值的G分量(插值g)。
[0082]然后，代表RGB计算单元101计算指定区内的所有G像素(这里，12个)的输入值G和插值g的平均值作为代表值Dg。
[0083]接下来,代表RGB计算单元101计算R分量的代表值Dr。此时,代表RGB计算单元101计算插值r，它是在指定区内的G像素的各像素位置中的插值的R分量的值。例如，如果计算图4中的像素Gl或像素G4所示位置中的插值r，那么如图5所示，分别紧挨着G像素左侧和紧挨着G像素右侧的像素Rl和R2的平均值被设定为插值r。
[0084]通过这样做，可以在指定区内的G像素的像素位置中获得输入值G和插值r，并且可以在指定区内的R像素的像素位置中获得输入值R和插值g。
[0085]然后，在各像素位置中，计算(插值r-输入值G)和(输入值R-插值g)，并且计算代表值Dr，它是从将代表值Dg加到计算出的(插值r-输入值G)和(输入值R-插值g)的平均值上得到的值。
[0086]此外，代表RGB计算单元101计算B分量的代表值Db。此时，代表RGB计算单元101计算插值b，它是在指定区内的G像素的各像素位置中的插值的B分量的值。例如，如果计算图4中的像素Gl或像素G4所示位置中的插值b，那么如图6所示，分别紧挨着G像素上侧和紧挨着G像素下侧的像素BI和像素B的平均值被设定为插值b。
[0087]通过这样做，可以在指定区内的G像素的像素位置中获得输入值G和插值b，并且可以在指定区内的B像素的像素位置中获得输入值B和插值g。
[0088]然后，在各像素位置中，计算(插值b_输入值G)和(输入值B-插值g)，并且计算代表值Db，它是从将代表值Dg加到计算出的(插值b-输入值G)和(输入值B-插值g)的平均值上得到的值。
[0089]返回参照图2，G类别抽头选择单元102-1从输入图像中选择G类别抽头，它是生成G分量图像需要的类别抽头，并且获取G类别抽头。例如，G类别抽头由预定数量的像素构成，其中在对应于输出图像的关注像素的位置中的输入图像的像素被设定为中心像素，并且中心像素被设定为中心。
[0090]G类别抽头选择单元102-1选择的G类别抽头被供给到G变换单元105_11。G变换单元105-11被设定成对构成G类别抽头的各像素值进行G变换处理。
[0091]例如，G变换处理如下进行。如果构成G类别抽头的像素值是输入值G，那么计算变换值G’，如果构成G类别抽头的像素值是输入值R，那么计算变换值R’，如果构成G类别抽头的像素值是输入值B，那么计算变换值B’。
[0092]在这点上，变换值G’、变换值R’和变换值B’使用下式⑴~(3)计算。
[0093]G' =G(I)
[0094]R，=R- (Dr-Dg) (2)
[0095]B，=B- (Db-Dg) (3)
[0096]构成G类别抽头的各像素值之间的相关性通过进行G变换处理提高。即，输入图像的R像素和B像素的各像素值抵消被设定为基准的G像素的像素值，因此，可以除去由于构成G类别抽头的各像素值之间的颜色分量的差异带来的变化。
[0097]返回参照2，从G变换单元105-11输出的G类别抽头被供给到G类别分类单元106-1。此外，从G变换单元105-11输出的G类别抽头由使用上式(I)~(3)计算的变换值G’、变换值R’和变换值B’构成。
[0098]G类别分类单元106-1使用自适应动态范围编码(ADRC)对供给的G类别抽头进行编码，从而生成类别代码。这里生成的类别代码被输出到G系数存储器107-1。
[0099]G系数存储器107-1读取被映射到从G类别分类单元106_1输出的类别代码的存储的系数。然后，G系数存储器107-1将读取的系数供给到G积和计算单元108-1。此外，作为预先学习获得的系数并且用在下述的积和计算中的系数被映射到类别代码而存储在G系数存储器107-1中。
[0100]G预测抽头选择单元103-1从输入图像中选择G预测抽头，它是生成G分量图像需要的预测抽头，并且获取G预测抽头。例如，G预测抽头由预定数量的像素构成，其中在对应于输出图像的关注像素的位置中的输入图像的像素被设定为中心像素，并且中心像素被设定为中心。
[0101]G预测抽头选择单元103-1选择的G预测抽头被供给到G变换单元105_12。G变换单元105-12被设定成对构成G预测抽头的各像素值进行G变换处理。
[0102]G变换单元105-12进行的G变换处理与G变换单元105-11的相同。即，使用上式
(I)~(3)，如果构成G预测抽头的像素值是输入值G，那么计算变换值G’，如果构成G预测抽头的像素值是输入值R，那么计算变换值R’，如果构成G预测抽头的像素值是输入值B，那么计算变换值B’。
[0103]从G变换单元105-12输出的G预测抽头被供给到G积和计算单元108_1。此外，从G变换单元105-12输出的G预测抽头由使用上式(I)~(3)计算的变换值G’、变换值R’和变换值B’构成。
[0104]G积和计算单元108-1在预先构造的线性一次式中代入从G变换单元105-12输出的G预测抽头作为变量，并且使用从G系数存储器107-1供给的系数进行预测值运算。即，基于G预测抽头，G积和计算单元108-1对成为输出图像的G分量图像(称为G输出图像)的关注像素的像素值进行预测计算。
[0105]在这点上，说明输出图像的关注像素的像素值的预测计算。
[0106]下面，例如，从具有拜耳布局的彩色滤波器阵列的图像传感器输出的图像数据被定义为第一图像数据，从配置在图1的框14中的G分量图像传感器输出的图像数据被定义为第二图像数据。然后，考虑使用预定的预测计算从第一图像数据的像素值获得第二图像数据的像素值。
[0107]当例如采用作为预定的预测计算的线性一次预测计算时，使用下面的线性一次式获得第二图像数据(下文中适当地称为第二图像的像素)的像素的像素值y。
【权利要求】
1.一种图像处理装置，包括: 代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值； 类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类； 系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数； 颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。
2.如权利要求1所述的图像处理装置， 其中所述单芯式像素单元是具有R、G和B颜色分量的像素单元，和 其中所述代表值计算单元， 基于R或B像素附近的G像素计算R或B像素的插值g, 基于G像素附近的R像素或B像素计算G像素的插值r和插值b， 通过使用从G像素直接获得的输入值G和插值g的平均值计算G的代表值， 基于插值r和输入值G之间的差、从R像素直接获得的输入值R和插值g之间的差以及G的代表值，计算R的代表值，和 基于插值b和输入值G之间的差、从B像素直接获得的输入值B和插值g之间的差以及G的代表值，计算B的代表值。
3.如权利要求2所述的图像处理装置， 其中如果第二图像是仅由G像素构成的图像， 所述颜色分量变换单元通过使用R的代表值和G的代表值之间的差抵消输入值R，和 通过使用B的代表值和G的代表值之间的差抵消输入值B， 其中如果第二图像是仅由R像素构成的图像， 所述颜色分量变换单元通过使用G的代表值和R的代表值之间的差抵消输入值G，和 通过使用B的代表值和R的代表值之间的差抵消输入值B，和 其中如果第二图像是仅由B像素构成的图像， 所述颜色分量变换单元通过使用G的代表值和B的代表值之间的差抵消输入值G，和 通过使用R的代表值和B的代表值之间的差抵消输入值R。
4.如权利要求3所述的图像处理装置， 其中所述单芯式图像单元被设定为倾斜拜耳布局的像素单元，其中拜耳布局的像素倾斜配置。
5.如权利要求1所述的图像处理装置，其中如果在具有多个颜色分量的图像中，生成仅由第一颜色分量构成的第二图像，和在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么 从仅由第一颜色分量构成的第二图像获取所述预测抽头。
6.如权利要求1所述的图像处理装置，还包括: 计算所述预测抽头的虚拟色差的虚拟色差计算单元， 其中如果在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么 所述积和计算单元将所述预测抽头的虚拟色差设定为变量并通过使用读取的系数进行积和运算来计算第二图像的虚拟色差，和 其中从第一图像中的指定区获取仅由对应于第二颜色分量的像素构成的所述预测抽 头。
7.如权利要求6所述的图像处理装置， 其中所述虚拟色差计算单元通过构成所述预测抽头的像素的值乘以由色空间的规格规定的矩阵系数来计算所述虚拟色差。
8.如权利要求1所述的图像处理装置，还包括: 另一个颜色分量变换单元，所述另一个颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为类别抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述类别抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值， 其中所述类别分类单元基于从所述另一个颜色分量变换单元变换获得的变换值确定所述类别抽头的特征量。
9.如权利要求1所述的图像处理装置， 其中通过预先学习获得由所述系数读取单元读取的系数， 其中在所述预先学习中， 通过使用在所述单芯式像素单元和被写体之间配置的光学低通滤波器，由使用从在靠近所述被写体的位置中配置并仅由对应于所述多个颜色分量的像素构成的多个像素单元输出的图像信号构成的图像被设定为教师图像， 其中由使用从所述单芯式像素单元输出的图像信号构成的图像被设定为学生图像，和其中通过求解其中所述学生图像的像素和所述教师图像的像素彼此映射的正规方程式来计算所述系数。
10.一种图像处理方法，包括: 使代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且计算在所述指定区中的所述各颜色分量的代表值； 使类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类； 使系数读取单元基于进行所述类别分类的结果读取预先存储的系数；使颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和 使积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。
11.一种使计算机起到图像处理装置功能的程序，包括: 代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值， 类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类， 系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数， 颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将 所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值，和 积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。
【文档编号】H04N9/04GK104079899SQ201410055886
【公开日】2014年10月1日 申请日期:2014年2月19日 优先权日:2013年3月29日
【发明者】奥村明弘, 藤沢一郎, 安藤胜俊, 土屋隆史 申请人:索尼公司
【专利摘要】本发明公开了一种图像处理装置、图像处理方法和程序。所述图像处理装置包括：代表值计算单元，它从第一图像选择指定区，并且计算在所述指定区中的所述各颜色分量的代表值；类别分类单元，它对所述指定区进行类别分类；系数读取单元，它读取预先存储的系数；颜色分量变换单元，它将所述指定区内的预定的像素有关的像素值设定为预测抽头，将一个颜色分量的像素值设定为基准，并将各颜色分量的像素值变换成变换值；和积和计算单元，它将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值。根据本发明，在进行分辨率变换的图像处理时，从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出可以获得各颜色分量的图像信号，而不会降低图像质量。
【专利说明】图像处理装置、图像处理方法和程序
[0001]相关申请的交叉参考
[0002]本申请要求于2013年3月29日提交的日本在先专利申请JP2013-074577的权益，其全部内容以引用的方式并入本文。
【技术领域】
[0003]本技术涉及一种图像处理装置、图像处理方法和程序，尤其涉及一种在进行分辨率变换的图像处理时能够从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出获得各颜色分量的图像信号而不会降低图像质量的图像处理装置、图像处理方法和程序。
【背景技术】
[0004]近年来，对诸如所谓的4k2k或8k4k等图像分辨率的改善的需求日益增加。然而，例如，即使图像传感器的尺寸可以增大，但是由于光学系统的尺寸、重量等，也难以实现分辨率的足够改善。此外，在图像传感器的灵敏度方面也难以提高帧速率。
[0005]由此，已经提出了其中在不会降低图像传感器的胞的面积超过预定程度的情况下改善分辨率的技术。例如，已经提出了其中生成输出图像的像素并且通过对低分辨率的输入图像进行图像处理获得高分辨率的输出图像的技术。
[0006]此外，目前主要有两种使用图像传感器的成像装置。一种是使用一个图像传感器的单芯式(one-chip)装置(以下称为单芯式相机)。另一种是使用三个图像传感器的三芯式装置(以下称为三芯式相机)。
[0007]在三芯式相机中，例如，使用三个图像传感器，S卩，R信号用的图像传感器、G信号用的图像传感器和B信号用的图像传感器，因此通过三个图像传感器获得三原色信号。然后，从三原色信号产生的彩色图像信号被存储在记录介质中。
[0008]在单芯式相机中，使用其中由分配给每个像素的彩色滤波器阵列制成的彩色编码滤波器安装在前面的一个图像传感器，并且针对每个像素获得由彩色编码滤波器彩色编码的颜色分量的信号。作为构成彩色编码滤波器的彩色滤波器阵列，例如，使用红色(R)、绿色(G)和蓝色(B)的原彩色滤波器阵列或黄色(Ye)、青色(Cy)和品红色(Ma)的互补滤波器阵列。然后，在单芯式相机中，通过图像传感器针对一个像素获得一种颜色分量的信号，并且通过进行线性插值处理产生由每个像素保持的颜色分量的信号以外的其他颜色信号，从而获得接近由三芯式相机获得的图像的图像。在摄像机中，为了小型化和轻量化而使用单芯式方式。
[0009]作为构成彩色编码滤波器的彩色滤波器阵列，在大部分时间使用拜耳(Bayer)布局的彩色滤波器阵列。在拜耳布局中，G色滤波器被排列为棋盘图案，R和B色滤波器在每行中交替排列在剩余部分上。
[0010]在这种情况下，在图像传感器中，从其中配置三原色R、G和B之一颜色的滤波器的各像素中，只有对应于该滤波器颜色的图像信号被输出。即，从其中配置R色滤波器的像素中，R分量的图像信号被输出，但是G分量和B分量的图像信号没有被输出。按相同方式，从G像素中，仅有G分量的图像信号被输出，R分量和B分量的图像信号没有被输出。从B像素中，仅有B分量的图像信号被输出，R分量和G分量的图像信号没有被输出。
[0011]然而,在图像处理的下游侧中，在各像素的信号的处理时，R分量、G分量和B分量的图像信号是必要的。因此，在现有的技术中，从来自nXm(n和m是正整数)个像素构成的图像传感器的输出通过各自的插值计算获得nXm个R像素的图像信号、nXm个G像素的图像信号和η Xm个B像素的图像信号，并输出到下游侧。
[0012]此外，提出了以下的技术，其中从nXm个R像素的图像信号通过插值计算获得2nX 2m个R像素的图像信号，从nXm个G像素的图像信号通过插值计算获得2ηX 2m个G像素的图像信号，从nXm个B像素的图像信号通过插值计算获得2ηX 2m个B像素的图像信号(例如，参照日本未经审查的专利申请公开N0.2000-341705)。
[0013]在日本未经审查的专利申请公开N0.2000-341705中，对应于关注像素的像素和其邻近的像素值被设定为输入图像中的变量，并且通过使用由预先学习获得的系数的积和计算来预测输出图像的关注像素的像素值。通过这样做，从来自单芯式相机的图像传感器的输出可以生成三原色信号，并且可以生成像素密度是原始图像的4倍的图像信号。
[0014]顺便说一下，在日本未经审查的专利申请公开N0.2000-341705中，对应于图像传感器中各R、G和B的像素值原样地用作抽头(tap，夕〃 7 )，即，预测计算的变量。
[0015]然而，由于R、G和B的像素值中的相关性初始很低，例如，即使在关注像素附近的多个像素值被作为抽头输入，也难以在预测计算中产生足够的效果。
[0016]此外，在单芯式相机的图像传感器中，为了避免伪色、假像等的影响，入射在图像传感器上的光通常被设置成通过光学低通滤波器。
[0017]然而，按这种方式通过将入射到图像传感器光被设置成通过光学低通滤波器使图像褪色。
[0018]即，在现有的技术中，在单芯式相机中，在不会造成图像质量下降的情况下，例如图像的褪色、伪色或假像，很难获得三原色信号。
[0019]在这种条件下，由于在从低分辨率的输入图像获得高分辨率的输出图像的图像处理中，在现有的技术中，诸如在拜耳变换时发生的伪色或假像等图像质量劣化突出，因此难以达到足够的效果。
【发明内容】
[0020]希望在进行分辨率变换的图像处理时，从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出获得各颜色分量的图像信号，而不会降低图像质量。
[0021]根据本技术的实施方案，提供了一种图像处理装置，包括:代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值；类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数；颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。
[0022]在所述图像处理装置中，所述单芯式像素单元可以是具有R、G和B颜色分量的像素单元；和其中所述代表值计算单元可以基于R或B像素附近的G像素计算R或B像素的插值g，可以基于G像素附近的R像素或B像素计算G像素的插值r和插值b，可以通过使用从G像素直接获得的输入值G和插值g的平均值计算G的代表值，可以基于插值r和输入值G之间的差、从R像素直接获得的输入值R和插值g之间的差以及G的代表值，计算R的代表值，和可以基于插值b和输入值G之间的差、从B像素直接获得的输入值B和插值g之间的差以及G的代表值，计算B的代表值。
[0023]在所述图像处理装置中，如果第二图像是仅由G像素构成的图像，所述颜色分量变换单元可以通过使用R的代表值和G的代表值之间的差抵消输入值R，和可以通过使用B的代表值和G的代表值之间的差抵消输入值B ;其中如果第二图像是仅由R像素构成的图像，所述颜色分量变换单元可以通过使用G的代表值和R的代表值之间的差抵消输入值G，和可以通过使用B的代表值和R的代表值之间的差抵消输入值B，和其中如果第二图像是仅由B像素构成的图像，所述颜色分量变换单元可以通过使用G的代表值和B的代表值之间的差抵消输入值G，和可以通过使用R的代表值和B的代表值之间的差抵消输入值R。
[0024]在所述图像处理装置中，所述单芯式图像单元可以被设定为倾斜拜耳布局的像素单元，其中拜耳布局的像素倾斜配置。
[0025]在所述图像处理装置中，如果在具有多个颜色分量的图像中，生成仅由第一颜色分量构成的第二图像，和在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么可以从仅由第一颜色分量构成的第二图像获取所述预测抽头。
[0026]所述图像处理装置还可以包括:计算所述预测抽头的虚拟色差的虚拟色差计算单元，其中如果在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么所述积和计算单元可以将所述预测抽头的虚拟色差设定为变量并可以通过使用读取的系数进行积和运算来计算第二图像的虚拟色差，和其中可以从第一图像中的指定区获取仅由对应于第二颜色分量的像素构成的所述预测抽头。
[0027]在所述图像处理装置中，所述虚拟色差计算单元可以通过构成所述预测抽头的像素的值乘以由色空间的规格规定的矩阵系数来计算所述虚拟色差。
[0028]所述图像处理装置还可以包括:另一个颜色分量变换单元，所述另一个颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为类别抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述类别抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值，其中所述类别分类单元可以基于从所述另一个颜色分量变换单元变换获得的变换值确定所述类别抽头的特征量。
[0029]在所述图像处理装置中，可以通过预先学习获得由所述系数读取单元读取的系数，其中在所述预先学习中，通过使用在所述单芯式像素单元和被写体之间配置的光学低通滤波器，由使用从在靠近所述被写体的位置中配置并仅由对应于所述多个颜色分量的像素构成的多个像素单元输出的图像信号构成的图像可以被设定为教师图像，其中由使用从所述单芯式像素单元输出的图像信号构成的图像可以被设定为学生图像，和其中可以通过求解其中所述学生图像的像素和所述教师图像的像素彼此映射的正规方程式来计算所述系数。
[0030]根据本技术的另一个施方案，提供了一种图像处理方法，包括:使代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且计算在所述指定区中的所述各颜色分量的代表值；使类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；使系数读取单元基于进行所述类别分类的结果读取预先存储的系数；使颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和使积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。
[0031]根据本技术的另一个施方案，提供了一种使计算机起到图像处理装置功能的程序，包括:代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值；类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数；颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。
[0032]根据本技术的实施方案，从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且计算在所述指定区中的所述各颜色分量的代表值；基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类；基于进行所述类别分类的结果读取预先存储的系数；将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和所述变换值被设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。
[0033]根据本技术，在进行分辨率变换的图像处理时，从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出可以获得各颜色分量的图像信号，而不会降低图像质量。
【专利附图】
【附图说明】
[0034]图1是用于说明在单芯式相机的图像传感器中获取图像信号的方法的图；
[0035]图2是示出根据本技术适用的图像处理装置的一个实施方案的构成例的方框图；
[0036]图3是示出指定区的例子的图；
[0037]图4是用于说明计算插值g的方法的例子的图；
[0038]图5是用于描述计算插值r的方法的例子的图；
[0039]图6是用于说明计算插值b的方法的例子的图；
[0040]图7是示出对应于图2的图像处理装置的学习装置的构成例的方框图；
[0041]图8A?8D是示出在图2的图像处理装置或图7的学习装置中获取的类别抽头或预测抽头的结构的例子的示意图；
[0042]图9是说明由图2的图像处理装置进行的图像处理的例子的流程图；
[0043]图10是说明代表RGB计算处理的例子的流程图；
[0044]图11是说明由图7的学习装置进行的系数学习处理的例子的流程图；
[0045]图12是示出本技术适用的根据另一个实施方案的图像处理装置的构成例的方框图；
[0046]图13A?13D是示出在图12的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；
[0047]图14A?14D是示出在图12的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；
[0048]图15A?I?是示出在图12的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；
[0049]图16是示出本技术适用的根据另一个实施方案的图像处理装置的构成例的方框图；
[0050]图17A?17D是示出在图16的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；
[0051]图18A?18D是示出在图12的图像处理装置中获取的类别抽头或预测抽头的结构的例子的示意图；
[0052]图19A?19D是说明在图2的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；
[0053]图20是说明拜耳布局的像素的配置的图；
[0054]图21是说明倾斜拜耳布局的像素的配置的图；
[0055]图22k和图22B是说明在图2的图像处理装置中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；
[0056]图23A?23D是说明在图12的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的例子的图；
[0057]图24A和图24B是说明在图12的图像处理装置中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的例子的图；
[0058]图25A?2?是说明在图16的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；
[0059]图26A?26D是说明在图16的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图
[0060]图27A?27D是说明在图16的图像处理装置中在变换由拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；
[0061]图28A和图28B是说明在图16的图像处理装置中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的例子的图；
[0062]图29A和图29B是说明在图16的图像处理装置中在变换由倾斜拜耳布局的像素构成的图像的分辨率的情况下类别抽头或预测抽头的图；和
[0063]图30是示出个人电脑的构成例的方框图。
【具体实施方式】
[0064]下面参照【专利附图】
【附图说明】本说明书中所公开的技术的实施方案。
[0065]图1是用于说明在单芯式相机的图像传感器中获取图像信号的方法的图。
[0066]在这个例子中，从被写体11反射的光通过光学低通滤波器12，并且被图像传感器13接收。
[0067]在单芯式相机中，使用其中由分配给每个像素的彩色滤波器阵列制成的彩色编码滤波器安装在前面的一个图像传感器，并且针对每个像素获得由彩色编码滤波器彩色编码的颜色分量的信号。
[0068]在这点上，拜耳布局的彩色滤波器阵列用于图像传感器13中，G色滤波器被排列为棋盘图案，R和B色滤波器在每行中交替排列在剩余部分上。即，在图像传感器13中的矩形区域内的4个像素由两个G像素、一个R像素和一个B像素构成。
[0069]在单芯式相机中，在图像处理的下游侧中，在各像素的信号的处理时，R分量、G分量和B分量的图像信号是必要的。因此，必须基于从图像传感器13输出的像素值，通过进行插值运算以获得针对每个像素的R分量、G分量和B分量的像素值。
[0070]此外，在图像传感器13中，为了避免伪色、假像等的影响，入射在图像传感器上的光被设置为通过光学低通滤波器。然而，按这种方式通过将入射到图像传感器光设置为通过光学低通滤波器使图像褪色。
[0071 ] 因此，根据本技术，基于从图像传感器13输出的像素值，可以获得当分别对应于R分量、G分量和B分量的三个图像传感器配置成框(由图中的虚线表示的矩形)14时获得的像素值。
[0072]图2是示出根据本技术适用的图像处理装置的一个实施方案的构成例的方框图。在图像处理装置100中，对应于关注像素的像素和其邻近的像素值被设定为输入图像中的变量，并且通过使用由预先学习获得的系数的积和计算来预测输出图像的关注像素的像素值。
[0073]输入图像被输入到图像处理装置100中，例如，被设置为由其中使用拜耳布局的彩色滤波器阵列的图像传感器的输出值构成的图像。即，输入图像被设置为对应于信号是从图1的图像传感器13输出的信号的图像。因此，在输入图像中，从其中配置R色滤波器的像素中，获得R分量的图像信号，但是没有获得G分量和B分量的图像信号。按相同方式，从G像素中，仅获得G分量的图像信号，没有获得R分量和B分量的图像信号。然后，从B像素中，仅获得B分量的图像信号，没有获得R分量和G分量的图像信号。
[0074]图2的图像处理装置100由代表RGB计算单元101以及分别对应于RGB色的类别抽头选择单元、分别对应于RGB色的预测抽头选择单元、分别对应于RGB色的色变换单元、分别对应于RGB色的类别分类单元、分别对应于RGB色的系数存储器和分别对应于RGB色的积和计算单元构成。
[0075]在下述的用于获取类别抽头或预测抽头的图像的区域(称为指定区)中，代表RGB计算单元101计算被设置为分别作为R、G和B的颜色分量的像素值的基准的代表值Dr、Db和Dg。
[0076]例如，如图3的粗线框所示，指定区被设定。在图3中，图中的每个圆圈表示输入图像的像素，并且中央的阴影圆圈表示的像素被设定为类别抽头或预测抽头的中心像素。此夕卜，每个圆圈内写入的字母R、G、B表示各像素的颜色分量。
[0077]指定区，即，中心像素被设定为中心的包括类别抽头或预测抽头的区域，被任意地设定，但是当指定区设定为大幅地超出类别抽头或预测抽头的区域时，根据图像的区域的最佳处理难以进行。由此，优选的是，指定区被设定为与类别抽头或预测抽头相同的区域。
[0078]此外，在下面的说明中，通过运算计算出的平均值、插值、代表值等被适当地参照，但是运算前的输入图像的像素值根据各像素的颜色分量分别称为输入值G、输入值R和输入值B，以区分各像素值。即，从其中拜耳布局的图像传感器的R色滤波器被配置的像素直接获得的像素值被设定为输入值R，从其中拜耳布局的图像传感器的G色滤波器被配置的像素直接获得的像素值被设定为输入值G，从其中拜耳布局的图像传感器的B色滤波器被配置的像素直接获得的像素值被设定为输入值B。
[0079]在这个例子中，由图中的粗线包围并且由中心像素被设定为中心的25(=5X5)个像素构成的区域被设定为指定区。
[0080]首先，代表RGB计算单元101计算G分量的代表值Dg。
[0081]此时，如图4所示，其中指定区内的R分量像素或B分量像素被设定为中心，代表RGB计算单元101对像素Gl?G4(即，中心像素附近(上下左右方向)的4个G像素)的输入值Gl?输入值G4取平均，从而计算出插值g，它是在中心像素的像素位置中的插值的G分量的值。通过这样做，在输入图像中不具有G分量的R分量像素和B分量像素具有插值的G分量(插值g)。
[0082]然后，代表RGB计算单元101计算指定区内的所有G像素(这里，12个)的输入值G和插值g的平均值作为代表值Dg。
[0083]接下来,代表RGB计算单元101计算R分量的代表值Dr。此时,代表RGB计算单元101计算插值r，它是在指定区内的G像素的各像素位置中的插值的R分量的值。例如，如果计算图4中的像素Gl或像素G4所示位置中的插值r，那么如图5所示，分别紧挨着G像素左侧和紧挨着G像素右侧的像素Rl和R2的平均值被设定为插值r。
[0084]通过这样做，可以在指定区内的G像素的像素位置中获得输入值G和插值r，并且可以在指定区内的R像素的像素位置中获得输入值R和插值g。
[0085]然后，在各像素位置中，计算(插值r-输入值G)和(输入值R-插值g)，并且计算代表值Dr，它是从将代表值Dg加到计算出的(插值r-输入值G)和(输入值R-插值g)的平均值上得到的值。
[0086]此外，代表RGB计算单元101计算B分量的代表值Db。此时，代表RGB计算单元101计算插值b，它是在指定区内的G像素的各像素位置中的插值的B分量的值。例如，如果计算图4中的像素Gl或像素G4所示位置中的插值b，那么如图6所示，分别紧挨着G像素上侧和紧挨着G像素下侧的像素BI和像素B的平均值被设定为插值b。
[0087]通过这样做，可以在指定区内的G像素的像素位置中获得输入值G和插值b，并且可以在指定区内的B像素的像素位置中获得输入值B和插值g。
[0088]然后，在各像素位置中，计算(插值b_输入值G)和(输入值B-插值g)，并且计算代表值Db，它是从将代表值Dg加到计算出的(插值b-输入值G)和(输入值B-插值g)的平均值上得到的值。
[0089]返回参照图2，G类别抽头选择单元102-1从输入图像中选择G类别抽头，它是生成G分量图像需要的类别抽头，并且获取G类别抽头。例如，G类别抽头由预定数量的像素构成，其中在对应于输出图像的关注像素的位置中的输入图像的像素被设定为中心像素，并且中心像素被设定为中心。
[0090]G类别抽头选择单元102-1选择的G类别抽头被供给到G变换单元105_11。G变换单元105-11被设定成对构成G类别抽头的各像素值进行G变换处理。
[0091]例如，G变换处理如下进行。如果构成G类别抽头的像素值是输入值G，那么计算变换值G’，如果构成G类别抽头的像素值是输入值R，那么计算变换值R’，如果构成G类别抽头的像素值是输入值B，那么计算变换值B’。
[0092]在这点上，变换值G’、变换值R’和变换值B’使用下式⑴~(3)计算。
[0093]G' =G(I)
[0094]R，=R- (Dr-Dg) (2)
[0095]B，=B- (Db-Dg) (3)
[0096]构成G类别抽头的各像素值之间的相关性通过进行G变换处理提高。即，输入图像的R像素和B像素的各像素值抵消被设定为基准的G像素的像素值，因此，可以除去由于构成G类别抽头的各像素值之间的颜色分量的差异带来的变化。
[0097]返回参照2，从G变换单元105-11输出的G类别抽头被供给到G类别分类单元106-1。此外，从G变换单元105-11输出的G类别抽头由使用上式(I)~(3)计算的变换值G’、变换值R’和变换值B’构成。
[0098]G类别分类单元106-1使用自适应动态范围编码(ADRC)对供给的G类别抽头进行编码，从而生成类别代码。这里生成的类别代码被输出到G系数存储器107-1。
[0099]G系数存储器107-1读取被映射到从G类别分类单元106_1输出的类别代码的存储的系数。然后，G系数存储器107-1将读取的系数供给到G积和计算单元108-1。此外，作为预先学习获得的系数并且用在下述的积和计算中的系数被映射到类别代码而存储在G系数存储器107-1中。
[0100]G预测抽头选择单元103-1从输入图像中选择G预测抽头，它是生成G分量图像需要的预测抽头，并且获取G预测抽头。例如，G预测抽头由预定数量的像素构成，其中在对应于输出图像的关注像素的位置中的输入图像的像素被设定为中心像素，并且中心像素被设定为中心。
[0101]G预测抽头选择单元103-1选择的G预测抽头被供给到G变换单元105_12。G变换单元105-12被设定成对构成G预测抽头的各像素值进行G变换处理。
[0102]G变换单元105-12进行的G变换处理与G变换单元105-11的相同。即，使用上式
(I)~(3)，如果构成G预测抽头的像素值是输入值G，那么计算变换值G’，如果构成G预测抽头的像素值是输入值R，那么计算变换值R’，如果构成G预测抽头的像素值是输入值B，那么计算变换值B’。
[0103]从G变换单元105-12输出的G预测抽头被供给到G积和计算单元108_1。此外，从G变换单元105-12输出的G预测抽头由使用上式(I)~(3)计算的变换值G’、变换值R’和变换值B’构成。
[0104]G积和计算单元108-1在预先构造的线性一次式中代入从G变换单元105-12输出的G预测抽头作为变量，并且使用从G系数存储器107-1供给的系数进行预测值运算。即，基于G预测抽头，G积和计算单元108-1对成为输出图像的G分量图像(称为G输出图像)的关注像素的像素值进行预测计算。
[0105]在这点上，说明输出图像的关注像素的像素值的预测计算。
[0106]下面，例如，从具有拜耳布局的彩色滤波器阵列的图像传感器输出的图像数据被定义为第一图像数据，从配置在图1的框14中的G分量图像传感器输出的图像数据被定义为第二图像数据。然后，考虑使用预定的预测计算从第一图像数据的像素值获得第二图像数据的像素值。
[0107]当例如采用作为预定的预测计算的线性一次预测计算时，使用下面的线性一次式获得第二图像数据(下文中适当地称为第二图像的像素)的像素的像素值y。
【权利要求】
1.一种图像处理装置，包括: 代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值； 类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类； 系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数； 颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。
2.如权利要求1所述的图像处理装置， 其中所述单芯式像素单元是具有R、G和B颜色分量的像素单元，和 其中所述代表值计算单元， 基于R或B像素附近的G像素计算R或B像素的插值g, 基于G像素附近的R像素或B像素计算G像素的插值r和插值b， 通过使用从G像素直接获得的输入值G和插值g的平均值计算G的代表值， 基于插值r和输入值G之间的差、从R像素直接获得的输入值R和插值g之间的差以及G的代表值，计算R的代表值，和 基于插值b和输入值G之间的差、从B像素直接获得的输入值B和插值g之间的差以及G的代表值，计算B的代表值。
3.如权利要求2所述的图像处理装置， 其中如果第二图像是仅由G像素构成的图像， 所述颜色分量变换单元通过使用R的代表值和G的代表值之间的差抵消输入值R，和 通过使用B的代表值和G的代表值之间的差抵消输入值B， 其中如果第二图像是仅由R像素构成的图像， 所述颜色分量变换单元通过使用G的代表值和R的代表值之间的差抵消输入值G，和 通过使用B的代表值和R的代表值之间的差抵消输入值B，和 其中如果第二图像是仅由B像素构成的图像， 所述颜色分量变换单元通过使用G的代表值和B的代表值之间的差抵消输入值G，和 通过使用R的代表值和B的代表值之间的差抵消输入值R。
4.如权利要求3所述的图像处理装置， 其中所述单芯式图像单元被设定为倾斜拜耳布局的像素单元，其中拜耳布局的像素倾斜配置。
5.如权利要求1所述的图像处理装置，其中如果在具有多个颜色分量的图像中，生成仅由第一颜色分量构成的第二图像，和在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么 从仅由第一颜色分量构成的第二图像获取所述预测抽头。
6.如权利要求1所述的图像处理装置，还包括: 计算所述预测抽头的虚拟色差的虚拟色差计算单元， 其中如果在具有多个颜色分量的图像中，生成仅由不同于第一颜色分量的第二颜色分量构成的第二图像，那么 所述积和计算单元将所述预测抽头的虚拟色差设定为变量并通过使用读取的系数进行积和运算来计算第二图像的虚拟色差，和 其中从第一图像中的指定区获取仅由对应于第二颜色分量的像素构成的所述预测抽 头。
7.如权利要求6所述的图像处理装置， 其中所述虚拟色差计算单元通过构成所述预测抽头的像素的值乘以由色空间的规格规定的矩阵系数来计算所述虚拟色差。
8.如权利要求1所述的图像处理装置，还包括: 另一个颜色分量变换单元，所述另一个颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为类别抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述类别抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值， 其中所述类别分类单元基于从所述另一个颜色分量变换单元变换获得的变换值确定所述类别抽头的特征量。
9.如权利要求1所述的图像处理装置， 其中通过预先学习获得由所述系数读取单元读取的系数， 其中在所述预先学习中， 通过使用在所述单芯式像素单元和被写体之间配置的光学低通滤波器，由使用从在靠近所述被写体的位置中配置并仅由对应于所述多个颜色分量的像素构成的多个像素单元输出的图像信号构成的图像被设定为教师图像， 其中由使用从所述单芯式像素单元输出的图像信号构成的图像被设定为学生图像，和其中通过求解其中所述学生图像的像素和所述教师图像的像素彼此映射的正规方程式来计算所述系数。
10.一种图像处理方法，包括: 使代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且计算在所述指定区中的所述各颜色分量的代表值； 使类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类； 使系数读取单元基于进行所述类别分类的结果读取预先存储的系数；使颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值；和 使积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。
11.一种使计算机起到图像处理装置功能的程序，包括: 代表值计算单元，所述代表值计算单元从由使用图像信号构成的第一图像选择作为由预定数量的像素构成的区域的指定区，所述图像信号从其中对应于多个颜色分量中的各颜色分量的像素在平面上规则地配置的单芯式像素单元输出，并且所述代表值计算单元计算在所述指定区中的所述各颜色分量的代表值， 类别分类单元，所述类别分类单元基于从所述指定区的像素值获得的特征量对所述指定区进行类别分类， 系数读取单元，所述系数读取单元基于进行所述类别分类的结果读取预先存储的系数， 颜色分量变换单元，所述颜色分量变换单元将所述指定区内的预定的像素有关的像素值设定为预测抽头，将 所述多个颜色分量中的一个颜色分量的像素值设定为基准，并将所述预测抽头的各颜色分量的像素值变换成使用所述代表值进行抵消而获得的变换值，和 积和计算单元，所述积和计算单元将所述变换值设定为变量并通过使用读取的系数进行积和运算来计算第二图像的各像素值，第二图像仅由对应于所述多个颜色分量中的各颜色分量的像素构成并且是分辨率不同于第一图像的图像。
【文档编号】H04N9/04GK104079899SQ201410055886
【公开日】2014年10月1日 申请日期:2014年2月19日 优先权日:2013年3月29日
【发明者】奥村明弘, 藤沢一郎, 安藤胜俊, 土屋隆史 申请人:索尼公司
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1