专利名称：图像处理设备、图像处理方法、程序、存储介质和学习设备的制作方法
技术领域：
本技术涉及图像处理设备、图像处理方法、程序、存储介质和学习设备，更具体地说，涉及能够高精度地生成从Bayer阵列的图像放大的彩色图像的图像处理设备、图像处理方法、程序、存储介质和学习设备。
背景技术：
过去，存在为了便于小型化，只包括一个成像元件，比如电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器的成像设备。在该成像设备中，不同的滤色器通常用于成像元件的各个像素，从而从各个像素获得诸如红色、绿色和蓝色(RGB)之类多种颜色中的任意之一的信号。例如，按照这种方式，利用成像元件获得的图像变成图I中图解说明的彩色阵列的图像。下面，图I的彩色阵列被称为“Bayer阵列”。
·
一般，利用称为去马赛克处理的插值处理，把用成像元件获得的Bayer阵列的图像转换成其中每个像素具有诸如RGB之类多种颜色分量中的任意之一的像素值的彩色图像。作为生成从Bayer阵列的图像放大的彩色图像的方法，一种方法是利用去马赛克处理，从Bayer阵列的图像生成彩色图像，然后对彩色图像进行放大处理(例如，参见日本专利申请公开No. 2006-54576)。图2是图解说明利用以上的方法，生成放大的彩色图像的图像处理设备的结构的方框图。图2的图像处理设备10包括成像元件11、去马赛克处理单元12和放大处理单元13。图像处理设备10的成像元件11把不同的滤色器用于相应的像素。成像元件11为每个像素，获得来自被摄物体的光的R分量、G分量和B分量任意之一的模拟信号，对模拟信号进行模-数(AD)转换，从而生成Bayer阵列的图像。成像元件11把生成的Bayer阵列的图像提供给去马赛克处理单元12。去马赛克处理单元12对从成像元件11供给的Bayer阵列的图像进行去马赛克处理，生成具有各个像素的R分量、G分量和B分量的像素值的彩色图像(下面称为“RGB图像”)。随后，去马赛克处理单元12把生成的RGB图像提供给放大处理单元13。放大处理单元13根据从外部输入的水平方向和垂直方向的放大率，对从去马赛克处理单元12供给的RGB图像进行放大处理，然后输出放大的RGB图像，作为输出图像。作为以任意倍率放大RGB图像的方法，存在一种利用类别分类自适应处理的方法(例如，参见日本专利No. 4441860)。类别分类自适应处理指的是把处理后的图像中的关注像素(它是所关注的像素)分类到预定类别，然后通过线性组合对应于该类别，通过学习获得的预测系数，和对应于关注像素的未处理图像的像素值，预测关注像素的像素值的处理
发明内容
例如，当类别分类自适应处理被用作图I的图像处理设备10中的去马赛克处理和放大处理时，诸如存在于Bayer阵列的图像中的细线部分之类的信息可能因去马赛克处理而丢失，从而输出图像的精度降低。具体地说，当诸如细线部分之类的信息因去马赛克处理而丢失，从而RGB图像具有平坦部分时，对放大处理单元13来说，很难识别RGB图像的平坦部分是本来存在的平坦部分，还是因细线部分的丢失而引起的平坦部分。从而，即使当诸如细线部分之类的信息已因去马赛克处理而丢失时，放大处理单元13仍然类似于其中诸如细线部分之类的信息未被丢失的RGB图像，对从去马赛克处理单元12供给的RGB图像进行放大处理。因此，输出图像变成与通过平滑未经过去马赛克处理的Bayer阵列的图像而获得的图像对应的图像，从而，输出图像的精度降低。类似地，甚至当由于去马赛克处理，生成不存在于Bayer阵列的图像中的颜色的边缘等时，输出图像的精度被降低。鉴于上面所述，做出了本技术，理想的是高精度地生成从Bayer阵列的图像放大·的彩色图像。按照本技术的一个实施例，提供一种图像处理设备，包括预测计算单元，所述预测计算单元借助通过利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，进行关于教师图像的各个像素的各个颜色分量的预测系数和预测抽头的计算，为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素并以第一放大率放大的学生图像的像素的像素值、和预测系数之间的关系的公式而学习的，所述预测抽头包括以第二放大率放大的Bayer阵列的预定图像的像素的像素值，并且对应于关注像素。按照本技术的第一方面的图像处理方法、程序和记录在存储介质中的程序对应于按照本技术的第一方面的图像处理设备。按照本实施例，在图像处理设备，借助利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，关于教师图像的各个像素的各个颜色分量，和作为教师图像的每个像素在学生图像中的位置与最接近该位置的学生图像的像素的位置之间的距离的每个像素间距离的预测系数和预测抽头的计算，能够为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素的学生图像的像素的像素值、和预测系数之间的关系的公式学习的预测系数之中的，对应于关注像素间距离的预测系数，所述关注像素间距离是Bayer阵列的预定图像中的关注像素的位置和最接近关注像素的像素(它是Bayer阵列的预定图像的最接近该位置的像素)的位置之间的距离，所述预测抽头包括Bayer阵列的预定图像的像素的像素值，并且对应于关注像素。按照本发明的另一个实施例，提供一种学习设备，所述学习设备包括学习单元，所述学习单元通过利用预测抽头和关注像素的像素值，关于教师图像的各个像素的各个颜色分量和各个像素间距离，求解表示教师图像的各个像素的像素值、对应像素的预测抽头和预测系数之间的关系的公式，计算每个颜色分量和每个像素间距离的预测系数，所述像素间距离是教师图像的各个像素在学生图像中的位置和最接近该位置的学生图像的各个像素的位置之间的距离，所述预测抽头包括与关注像素对应的像素的像素值，所述关注像素是教师图像中的所关注的像素，所述教师图像是包括用于预测系数的学习，并且对应于Bayer阵列的预定图像的学生图像之中，以第二放大率放大的学生图像的各个像素的多个颜色分量的像素值的彩色图像，所述预测系数用于把Bayer阵列的预定图像转换成包括以第一放大率放大的Bayer阵列的预定图像的各个像素的多个颜色分量的像素值的预定彩色图像。按照本技术的第二方面的学习方法、程序和记录在存储介质中的程序对应于按照本技术的第二方面的学习设备。按照本实施例，通过利用预测抽头和关注像素的像素值，关于教师图像的各个像素的各个颜色分量，求解表示教师图像的各个像素的像素值、该像素的预测抽头和预测系·数之间的关系的公式，能够计算每个颜色分量的预测系数，所述预测抽头包括与关注像素对应的像素的像素值，所述关注像素是教师图像中的所关注的像素，所述教师图像是与通过在对应图像中，根据第二放大率，放大学生图像而获得的图像对应的彩色图像，所述学生图像用于预测系数的学习，并且对应于Bayer阵列的预定图像，所述预测系数用于把Bayer阵列的预定图像转换成包括以第一放大率放大的Bayer阵列的预定图像的各个像素的多个颜色分量的像素值的预定彩色图像。按照本实施例的另一个实施例，提供一种图像处理设备，包括预测计算单元，所述预测计算单元借助利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，关于教师图像的各个像素的各个颜色分量和各个像素间距离的预测系数和预测抽头的计算，为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述像素间距离是教师图像的各个像素在学生图像中的位置与最接近该位置的学生图像的像素的位置之间的距离，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素的学生图像的像素的像素值、和预测系数之间的关系的公式学习的预测系数之中的，对应于关注像素间距离的预测系数，所述关注像素间距离是Bayer阵列的预定图像中的关注像素的位置和最接近关注像素的像素(它是Bayer阵列的预定图像的最接近该位置的像素)的位置之间的距离，所述预测抽头包括Bayer阵列的预定图像的像素的像素值，并且对应于关注像素。按照本实施例，借助利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，关于教师图像的各个像素的各个颜色分量和各个像素间距离的预测系数和预测抽头的计算，能够为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述像素间距离是教师图像的各个像素在学生图像中的位置与最接近该位置的学生图像的像素的位置之间的距离，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素的学生图像的像素的像素值、和预测系数之间的关系的公式学习的预测系数之中的，对应于关注像素间距离的预测系数，所述关注像素间距离是Bayer阵列的预定图像中的关注像素的位置和最接近关注像素的像素(它是Bayer阵列的预定图像的最接近该位置的像素)的位置之间的距离，所述预测抽头包括Bayer阵列的预定图像的像素的像素值，并且对应于关注像素。按照本实施例，学习设备包括学习单元，所述学习单元利用预测抽头和关注像素的像素值，关于教师图像的各个像素的各个颜色分量，求解表示教师图像的各个像素的像素值、该像素的预测抽头和预测系数之间的关系的公式，计算每个颜色分量的预测系数，所述预测抽头包括与关注像素对应的像素的像素值，所述关注像素是教师图像中的所关注的像素，所述教师图像是与通过在对应图像中，根据第二放大率，放大学生图像而获得的图像对应的彩色图像，所述学生图像用于预测系数的学习，并且对应于Bayer阵列的预定图像，所述预测系数用于把Bayer阵列的预定图像转换成包括以第一放大率放大的Bayer阵列的预定图像的各个像素的多个颜色分量的像素值的预定彩色图像。
·
按照本技术的另一个实施例，通过利用预测抽头和关注像素的像素值，关于教师图像的各个像素的各个颜色分量，求解表示教师图像的各个像素的像素值、该像素的预测抽头和预测系数之间的关系的公式，能够计算每个颜色分量的预测系数，所述预测抽头包括与关注像素对应的像素的像素值，所述关注像素是教师图像中的所关注的像素，所述教师图像是与通过在对应图像中，根据第二放大率，放大学生图像而获得的图像对应的彩色图像，所述学生图像用于预测系数的学习，并且对应于Bayer阵列的预定图像，所述预测系数用于把Bayer阵列的预定图像转换成包括以第一放大率放大的Bayer阵列的预定图像的各个像素的多个颜色分量的像素值的预定彩色图像。按照本技术的第一和第三方面，能够高精度地生成从Bayer阵列的图像放大的彩色图像。此外，按照本技术的第二和第四方面，能够学习用于高精度地生成从Bayer阵列的图像放大的彩色图像的预测系数。
图I是图解说明Bayer阵列的例子的示图；图2是图解说明图像处理设备的例证结构的方框图；图3是图解说明按照本技术的第一实施例的图像处理设备的例证结构的方框图；图4是图解说明放大处理单元的详细例证结构的方框图；图5是图解说明放大预测处理单元的详细例证结构的方框图；图6是图解说明输出图像的像素的位置的第一示图；图7图解说明图5的放大预测处理单元中的类别抽头的抽头结构的例子的示图；图8是图解说明图5的放大预测处理单元中的预测抽头的抽头结构的例子的示图；图9是图解说明与用图5中图示的插值单元插值的类别抽头对应的位置的示图；图10是说明放大处理单元的图像处理的流程图11是图解说明学习图5的放大预测处理单元中的预测系数的学习设备的例证结构的方框图；图12是说明图11的学习设备的学习处理的流程图；图13A和13B是图解说明输出图像的例子的示图；图14是图解说明按照本技术的第二实施例的图像处理设备的放大预测处理单元的例证结构的方框图；图15是图解说明输出图像的像素的位置的第二示图；图16是图解说明图14的放大预测处理单元中的类别抽头的抽头结构的例子的示·
图17是图解说明图14的放大预测处理单元中的预测抽头的抽头结构的例子的示图；图18是说明中心像素的位置的示图；图19是图解说明包括在图14的放大预测处理单元中的放大处理单元的图像处理的流程图；图20是图解说明学习图14的放大预测处理单元中的预测系数的学习设备的例证结构的方框图；图21是说明图20的学习设备的学习处理的流程图；图22是图解说明按照一个实施例的计算机的例证结构的示图。
具体实施例方式下面参考附图，详细说明本公开的优选实施例。注意在说明书和附图中，功能和结构基本相同的构成元件用相同的附图标记表示，这些构成元件的重复说明被省略。<第一实施例>[图像处理设备的例证结构]图3是图解说明按照本技术的第一实施例的图像处理设备的例证结构的方框图。在图3中，和图2中相同的组件用相同的附图标记表示。将适当地省略所述相同组件的冗余说明。图3的图像处理设备30的结构和图2的结构的主要不同之处在于代替去马赛克处理单元12和放大处理单元13，设置了放大处理单元31。图像处理设备30利用类别分类自适应处理，直接生成从Bayer阵列的图像放大的RGB图像。具体地说，图像处理设备30的放大处理单元31根据用户(未示出)等从外部输入的水平方向和垂直方向的放大率，放大利用成像元件11生成的Bayer阵列的图像。水平方向和垂直方向的放大率可以彼此相同或不同。水平方向和垂直方向的放大率可以是整数或分数。放大处理单元31对Bayer阵列的放大图像进行类别分类自适应处理，从而生成RGB图像。放大处理单元31输出生成的RGB图像，作为输出图像。[放大处理单元的例证结构]图4是图解说明在图3中图示的放大处理单元31的详细例证结构的方框图。图4的放大处理单元31包括缺陷像素校正单元51、箝位处理单元52、白平衡单元53和放大预测处理单元54。放大处理单元31的缺陷像素校正单元51、箝位处理单元52和白平衡单元53对Bayer阵列的图像进行预处理，以便提高输出图像的质量。具体地说，放大处理单元31的缺陷像素校正单元51从供给自图3的成像元件11的Bayer阵列的图像中，检测成像元件11中的缺陷像素的像素值。成像元件11中的缺陷像素指的是不论由于什么原因，对入射光没有反应的元件，或者电荷始终蓄积在其中的元件。缺陷像素校正单元51利用周围的非缺陷像素的像素值，校正成像元件11中的缺陷像素的检测像素值，然后把Bayer阵列的校正图像提供给箝位处理单元52。箝位处理单元52对从缺陷像素校正单元51供给的Bayer阵列的校正图像进行箝位。具体地说，为了防止负值被删除，成像元件11沿着正向移动模拟信号的信号值，随后进行AD转换。从而，箝位处理单元52对Bayer阵列的校正图像进行箝位，以致在AD转换时的移动部分能够被取消。箝位处理单元52把Bayer阵列的箝位图像提供给白平衡单元53。
·
白平衡单元53通过校正从箝位处理单元52供给的Bayer阵列的图像的颜色分量的增益，调整白平衡。白平衡单元53把白平衡已被调整的Bayer阵列的图像提供给放大预测处理单元54。放大预测处理单元54根据从外部输入的水平方向和垂直方向的放大率，放大从白平衡单元53供给的Bayer阵列的图像。随后，放大预测处理单元54对Bayer阵列的放大图像进行类别分类自适应处理，从而生成RGB图像。放大预测处理单元54输出生成的RGB图像，作为输出图像。[放大预测处理单元的详细例证结构]图5是图解说明在图4中图示的放大预测处理单元54的详细例证结构的方框图。图5的放大预测处理单元54包括插值单元71、预测抽头获取单元72、类别抽头获取单元73、类别号生成单元74、系数生成单元75和预测计算单元76。放大预测处理单元54的插值单元71起放大处理单元的作用，根据从外部输入的水平方向和垂直方向的放大率，确定待预测的输出图像的各个像素在从图4的白平衡单元53供给的Bayer阵列的图像中的位置。插值单元71顺序把输出图像的各个像素设定为关注像素。插值单元71确定Bayer阵列的图像中的，与用于预测关注像素的像素值的一个或多个像素值(下面称为“预测抽头”)对应的位置。具体地说，插值单元71把对于Bayer阵列的图像中，在与输出图像中的关注像素的位置相同的位置，在空间上具有预定位置关系的位置确定为对应于预测抽头的位置。插值单元71对Bayer阵列的图像进行预定插值处理，插入存在于对应于预测抽头的位置的各个颜色分量的像素值。插值单元71把通过插值而获得的每个颜色分量的预测抽头提供给预测抽头获取单元72。插值单元71确定Bayer阵列的图像中，与用于进行类别分类的一个或多个像素值(下面称为“类别抽头”)对应的位置，所述类别分类用于把关注像素分类到一个或多个类别中的任意一个类别。具体地说，插值单元71把对于Bayer阵列的图像中，在与输出图像中的关注像素的位置相同的位置，在空间上具有预定位置关系的位置确定为对应于类别抽头的位置。插值单元71对Bayer阵列的图像进行预定插值处理，插入存在于对应于类别抽头的位置的各个颜色分量的像素值。插值单元71把通过插值而获得的每个颜色分量的类别抽头提供给类别抽头获取单元73。例如，利用双三次技术的插值处理、线性插值处理等可用作插值单元71中的插值处理。预测抽头和类别抽头可以具有相同的抽头结构或者不同的抽头结构。不过，与放大率无关，预测抽头和类别抽头的抽头结构是不变的。预测抽头获取单元72获得从插值单元71供给的每个颜色分量的预测抽头，然后把获得的预测抽头提供给预测计算单元76。类别抽头获取单元73获得从插值单元71供给的每个颜色分量的类别抽头，然后把获得的类别抽头提供给类别号生成单元74。类别号生成单元74起类别分类单元的作用，根据从类别抽头获取单元73供给的每个颜色分量的类别抽头，为每个颜色分量，对关注像素进行类别分类。类别号生成单元74生成与作为结果获得的类别对应的类别号，然后把生成的类别号提供给系数生成单元75。 例如，利用自适应动态范围编码(ADRC)的方法可被用作进行类别分类的方法。当利用ADRC的方法被用作进行类别分类的方法时，构成类别抽头的像素值经历ADRC处理，然后按照作为结果获得的再量化码，确定关注像素的类别号。具体地说，作为ADRC处理，进行依据以下的公式(I)，用指定的比特数P均匀分割类别抽头的最大值MAX和最小值MIN之间的值，随后再量化分割结果的处理。qi=[(ki-MIN+0. 5)*2~p/DR]... (I)在公式(I)中，[]意味[]中的数值的在小数点之后的数字被舍位。此外，Iii表示类别抽头的第i个像素值，Qi表示类别抽头的第i个像素值的再量化码。另外，DR表示动态范围，为 “MAX-MIN+1”。随后，利用如上所述获得的再量化码qi;如以下公式(2)中那样计算关注像素的类别号class。[数学式I]class = 丨(2 P),丨…(2)
i~l在公式⑵中，η表示构成类别抽头的像素值的数目。除了利用ADRC的方法之外，利用通过应用诸如离散余弦变换(DCT)、向量量化(VQ)、或差分脉冲码调制(DPCM)之类数据压缩技术而压缩的数据的数量作为类别号的方法也可用作进行类别分类的方法。系数生成单元75保存利用后面参考图11和12说明的学习而获得的每个颜色分量和类别的预测系数。系数生成单元75读取保存的预测系数之中，与从类别号生成单元74供给的每个颜色分量的类别号对应的类别的预测系数，然后把读取的预测系数提供给预测计算单元76。预测计算单元76利用从预测抽头获取单元72供给的每个颜色分量的预测抽头，和从系数生成单元75供给的每个颜色分量预测系数，对每个颜色分量，进行计算关注像素的像素值的真值的预测值的预定预测计算。从而，预测计算单元76生成关注像素的每个颜色分量的像素值的预测值，作为输出图像的关注像素的每个颜色分量的像素值，然后输出生成的像素值。[输出图像的每个像素的位置的例子]图6是图解说明当水平方向和垂直方向的放大率为2倍时，输出图像的各个像素的位置的示图。在图6中，白色圆点代表输入插值单元71的Bayer阵列的图像的像素的位置，黑色圆点代表输出图像的像素的位置。如图6中图解所示，当水平方向和垂直方向的放大率为2倍时，输出图像的各个像素的位置之间的水平方向间隔为输入插值单元71的Bayer阵列的图像的各个像素的位置之间的水平方向间隔的一半(1/2)。此外，输出图像的各个像素的位置之间的垂直方向间隔为输入插值单元71的Bayer阵列的图像的各个像素的位置之间的垂直方向间隔的一半(1/2)。·[类别抽头的抽头结构的例子]图7是图解说明类别抽头的抽头结构的例子的示图。类别抽头可具有和图7中图解说明的结构不同的抽头结构。在图7中，X标记代表和输出图像中的关注像素的位置相同的Bayer阵列的图像中的位置(下面称为“关注像素对应位置”)。在图7中，环形标记代表与关注像素的类别抽头对应的Bayer阵列的图像中的位置。在图7的例子中，与以关注像素对应位置为中心，分别沿着水平方向和垂直方向，间隔Bayer阵列的图像的像素单元排列5个像素值的总共9个位置对应的像素值被视为类别抽头。这种情况下，对应于类别抽头的位置等同于以从外部输入的水平方向和垂直方向的放大率放大的Bayer阵列的图像的各个像素任意之一的位置。即，类别抽头包括以从外部输入的水平方向和垂直方向的放大率放大的Bayer阵列的图像中的9个像素值。此外，关注像素对应位置和对应于类别抽头的位置之间的关系是不变的，与从外部输入的水平方向和垂直方向的放大率无关。[预测抽头的抽头结构的例子]图8是图解说明预测抽头的抽头结构的例子的示图。预测抽头可以具有和图8中图解说明的结构不同的抽头结构。在图8中，X标记代表关注像素对应位置。在图8中，环形标记代表与关注像素的预测抽头对应的Bayer阵列的图像中的位置。在图8的例子中，与总共13个位置对应的像素值被视为预测抽头，所述13个位置包括以关注像素对应位置为中心，分别沿着水平方向和垂直方向，间隔Bayer阵列的图像的像素单元排列5个像素值的总共9个位置，和分别在所述9个位置之中，位于关注像素对应位置的左右两侧的两个相邻位置的上下方，间隔Bayer阵列的图像的像素单元排列I个像素值的总共4个位置。即，与构成预测抽头的像素值对应的位置被排列成菱形。这种情况下，对应于预测抽头的位置等同于以从外部输入的水平方向和垂直方向的放大率放大的Bayer阵列的图像的任意一个像素的位置。即，类别抽头包括以从外部输入的水平方向和垂直方向的放大率放大的Bayer阵列的图像中的13个像素值。此外，关注像素对应位置和对应于预测抽头的位置之间的关系是不变的，与从外部输入的水平方向和垂直方向的放大率无关。[利用插值单元的插值的说明]图9是图解说明与利用图5的插值单元71插值的类别抽头对应的位置的示图。在图9中,X标记代表关注像素对应位置。此外,在图9中，白色圆点代表输入插值单元71的Bayer阵列的图像的各个像素的位置，而黑色圆点代表输出图像的各个像素的位置。此外，在图9的例子中，水平方向和垂直方向的放大率为2倍，类别抽头具有在图7中图示的结构。如图9中图解所示，例如，插值单元71插入与以关注像素对应位置为中心，分别沿着水平方向和垂直方向，间隔Bayer阵列的图像的像素单元排列5个像素值的总共9个位置对应的像素值，作为类别抽头。即，在图9中，插入在用虚线圆环绕的黑色圆点表示的各个位置的像素值，作为类别抽头。
·
利用Bayer阵列的图像的各个颜色分量的像素值之中，在对应于构成类别抽头的各个像素值的位置的周边位置的像素值，对每个颜色分量进行类别抽头的插值。例如，利用在图9中，用环绕以虚线圆的黑色圆点表示的9个位置的周边位置的R分量的像素值，插入R分量的类别抽头，所述R分量的类别抽头用于生成在图9的关注像素对应位置的关注像素的R分量的像素值。[预测计算的说明]下面说明图5的预测计算单元76中的预测计算，和用于预测计算的预测系数的学习。例如，当线性一阶预测计算被用作预定预测计算时，利用以下的线性一阶公式，获得输出图像的每个像素的每个颜色分量的像素值[数学式2]
0y = Σ Wi Xj…(3)
i'= I在公式(3)中，Xi代表构成关于像素值I的预测抽头的像素值之中的第i个像素值，Wi代表被乘以第i个像素值的第i个预测系数。此外，η代表构成预测抽头的像素值的数目。此外，当yk'代表第k个样本的输出图像的像素的各个颜色分量的像素值的预测值时，该预测值用以下的公式(4)表示。yk' =W1 Xxkl+W2XXk2+…+WnXXkn …(4)在公式⑷中，xki代表构成关于预测值的真值的预测抽头的像素值之中的第i个像素值，Wi代表被乘以第i个像素值的第i个预测系数。此外，η代表构成预测抽头的像素值的数目。此外，当yk代表预测值yk'的真值时，预测误差ek用以下的公式(5)表示。Gk=Yk-Iff1 X xkl+W2 X Xk2+…+WnX XkJ …(5)在公式(5)中，Xki代表构成关于预测值yi/的真值的预测抽头的像素值之中的第i个像素值，Wi代表被乘以第i个像素值的第i个预测系数。此外，η代表构成预测抽头的像素值的数目。对真值yk的预测来说，使公式(5)的预测误差ek变为O的预测系数Wi最佳，不过当用于学习的样本的数目小于η时，预测系数Wi不被唯一地确定。在这方面，例如，当最小二乘法被用作代表预测系数Wi为最佳的规范时，通过使用以下的公式(6)表示的平方误差之和E最小化，能够获得最佳的预测系数I。[数学式3]
Ill
权利要求
1.一种图像处理设备，包括 预测计算单元，所述预测计算单元通过利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像、和对应于Bayer阵列的图像的学生图像，计算教师图像的各个像素的各个颜色分量的预测系数和预测抽头，为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素并以第一放大率放大的学生图像的像素的像素值、和预测系数之间的关系的公式而学习的，所述预测抽头由对应于关注像素的、以第二放大率放大的Bayer阵列的预定图像的像素的像素值构成。
2.按照权利要求I所述的图像处理设备，还包括 根据第二放大率放大Bayer阵列的预定图像的放大处理单元， 其中预测计算单元通过计算各个颜色分量的预测系数和预测抽头，为各个颜色分量计算关注像素的像素值，所述预测抽头由对应于关注像素的、用放大处理单元以第二放大率放大的Bayer阵列的预定图像的像素的像素值构成。
3.按照权利要求2所述的图像处理设备，其中 放大处理单元根据第二放大率，为每个关注像素，放大Bayer阵列的预定图像的一部分，从而生成预测抽头。
4.按照权利要求2所述的图像处理设备， 其中放大处理单元通过根据第二放大率，为每个颜色分量，对对应颜色分量的Bayer阵列的预定图像的像素值进行差值，来进行放大，和 预测计算单元通过计算每个颜色分量的预测系数和预测抽头的每个颜色分量，为每个颜色分量计算关注像素的像素值，所述预测抽头由对应于关注像素的、用放大处理单元为每个颜色分量放大的Bayer阵列的预定图像的像素的像素值构成。
5.按照权利要求I所述的图像处理设备，还包括 预测抽头获取单元，所述预测抽头获取单元获得对应于关注像素，以第二放大率放大的Bayer阵列的预定图像的像素的像素值，作为预测抽头， 其中预测计算单元通过计算每个颜色分量的预测系数和预测抽头获取单元获得的预测抽头，为每个颜色分量计算关注像素的像素值。
6.按照权利要求I所述的图像处理设备，还包括 类别抽头获取单元，所述类别抽头获取单元获得对应于关注像素的、以第二放大率放大的Bayer阵列的预定图像的像素的像素值，作为类别抽头，所述类别抽头用于进行把关注像素分类到多个类别任意之一的类别分类； 类别分类单元，所述类别分类单元根据类别抽头获取单元获得的类别抽头，对关注像素进行类别分类， 其中为每个类别和教师图像的各个像素的颜色分量，学习预测系数，和 预测计算单元通过计算与通过类别分类单元的类别分类而获得的关注像素的类别对应的每个颜色分量的预测系数以及预测抽头，为每个颜色分量计算关注像素的像素值。
7.按照权利要求6所述的图像处理设备，还包括放大处理单元，所述放大处理单元根据第二放大率，为每个关注像素，放大Bayer阵列的预定图像的一部分，从而生成预测抽头和类别抽头；和 预测抽头获取单元，所述预测抽头获取单元获得利用放大处理单元生成的预测抽头， 其中类别抽头获取单元获得利用放大处理单元生成的类别抽头。
8.按照权利要求6所述的图像处理设备，还包括 放大处理单元，所述放大处理单元通过根据第二放大率为每个颜色分量对对应颜色分量的Bayer阵列的预定图像的像素值进行差值，来进行放大；和 预测抽头获取单元，所述预测抽头获取单元获得对应于关注像素的、由放大处理单元为每个颜色分量放大的Bayer阵列的预定图像的像素的像素值，作为对应颜色分量的预测抽头， 其中类别抽头获取单元获得对应于关注像素的、由放大处理单元为每个颜色分量放大的Bayer阵列的预定图像的像素的像素值，作为对应颜色分量的类别抽头， 类别分类单元根据类别抽头获取单元获得的每个颜色分量的类别抽头，为每个颜色分量，对关注像素进行类别分类，和 预测计算单元通过计算与通过类别分类单元的类别分类而获得的关注像素的每个颜色分量的类别对应的预测系数以及预测抽头获取单元获得的每个颜色分量的预测抽头，为每个颜色分量计算关注像素的像素值。
9.按照权利要求2所述的图像处理设备， 其中，所述放大处理单元存储关注像素与中心像素之间的每个距离的预测系数，而不是存储每个放大率的预测系数，所述中心像素是Bayer阵列的图像的最接近关注像素的位置的像素。
10.一种图像处理方法，包括 在图像处理设备处，通过利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，计算关于教师图像的各个像素的各个颜色分量的预测系数和预测抽头，来计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素并以第一放大率放大的学生图像的像素的像素值、和预测系数之间的关系的公式而学习的，所述预测抽头由对应于关注像素的、包括以第二放大率放大的Bayer阵列的预定图像的像素的像素值构成。
11.一种使计算机执行下述步骤的程序 借助利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，关于教师图像的各个像素的各个颜色分量的预测系数和预测抽头的计算，计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值，对应于该像素，并以第一放大率放大的学生图像的像素的像素值，和预测系数之间的关系的公式学习的，所述预测抽头对应于关注像素，包括以第二放大率放大的Bayer阵列的预定图像的像素的像素值。
12.—种记录按照权利要求11所述的程序的存储介质。
13.—种学习设备,包括 学习单元，所述学习单元通过利用预测抽头和关注像素的像素值，关于教师图像的各个像素的各个颜色分量，求解表示教师图像的各个像素的像素值、该像素的预测抽头以及预测系数之间的关系的公式，计算每个颜色分量的预测系数，所述预测抽头由与关注像素对应的像素的像素值构成，所述关注像素是教师图像中的所关注的像素，所述教师图像是与通过在对应图像中根据第二放大率放大学生图像而获得的图像对应的彩色图像，所述学生图像用于预测系数的学习，并且对应于Bayer阵列的预定图像，所述预测系数用于把Bayer阵列的预定图像转换成包括以第一放大率放大的Bayer阵列的预定图像的各个像素的多个颜色分量的像素值的预定彩色图像。
14.一种图像处理设备，包括 预测计算单元，所述预测计算单元通过利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，计算关于教师图像的各个像素的各个颜色分量和各个像素间距离的预测系数和预测抽头，来为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述像素间距离是教师图像的各个像素在学生图像中的位置与学生图像的最接近该位置的像素的位置之间的距离，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素的学生图像的像素的像素值、以及预测系数之间的关系的公式而学习的预测系数之中的对应于关注像素间距离的预测系数，所述关注像素间距离是Bayer阵列的预定图像中的关注像素的位置和最接近关注像素的像素的位置之间的距离，所述最接近关注像素的像素是Bayer阵列的预定图像的最接近所述关注像素的位置的像素，所述预测抽头由对应于所述关注像素的、Bayer阵列的预定图像的像素的像素值构成。
15.按照权利要求14所述的图像处理设备， 其中为教师图像的每个像素的每个颜色分量、每个像素间距离、和与教师图像的每个像素在学生图像中的位置最接近的学生图像的像素的每个颜色分量，学习预测系数，和 预测计算单元通过计算预测抽头和预测系数中的、与所述关注像素间距离和最接近所述关注像素的像素的颜色分量对应的预测系数，来为每个颜色分量计算所述关注像素的像素值。
16.按照权利要求14所述的图像处理设备，还包括 类别抽头获取单元，所述类别抽头获取单元获得与最接近所述关注像素的像素对应的Bayer阵列的预定图像的像素的像素值，作为用于进行把关注像素分类到多个类别任意之一的类别分类的预测抽头；和 类别分类单元，所述类别分类单元根据类别抽头获取单元获得的类别抽头，对关注像素进行类别分类， 其中为每个类别、教师图像的每个像素的每个颜色分量、和每个像素间距离，学习预测系数，以及预测计算单元通过计算预测抽头和预测系数之中的、与通过类别分类单元的类别分类而获得的关注像素的类别和关注像素间距离对应的预测系数，为每个颜色分量计算关注像素的像素值。
17.按照权利要求14所述的图像处理设备，还包括 根据第二放大率放大Bayer阵列的预定图像的放大处理单元， 其中，所述放大处理单元存储关注像素与中心像素之间的每个距离的预测系数，而不是存储每个放大率的预测系数，所述中心像素是Bayer阵列的图像的最接近关注像素的位置的像素。
18.—种图像处理方法，包括 在图像处理设备处，通过利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像、和对应于Bayer阵列的图像的学生图像，计算关于教师图像的各个像素的各个颜色分量和各个像素间距离的预测系数和预测抽头，为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述像素间距离是教师图像的各个像素在学生图像中的位置与学生图像的最接近该位置的像素的位置之间的距离，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值、对应于该像素的学生图像的像素的像素值、和预测系数之间的关系的公式而学习的预测系数之中的对应于关注像素间距离的预测系数，所述关注像素间距离是Bayer阵列的预定图像中的关注像素的位置和最接近关注像素的像素的位置之间的距离，所述最接近关注像素的像素是Bayer阵列的预定图像的最接近所述关注像素的位置的像素，所述预测抽头由对应于所述关注像素的、Bayer阵列的预定图像的像素的像素值构成。
19.一种使计算机执行下述步骤的程序 借助利用与包括以第一放大率放大的Bayer阵列的图像的像素的多个预定颜色分量的像素值的彩色图像对应的教师图像，和对应于Bayer阵列的图像的学生图像，关于教师图像的各个像素的各个颜色分量和各个像素间距离的预测系数和预测抽头的计算，为每个颜色分量计算关注像素的像素值，并输出包括每个颜色分量的关注像素的像素值的预定彩色图像，所述像素间距离是教师图像的各个像素在学生图像中的位置与最接近该位置的学生图像的像素的位置之间的距离，所述关注像素是与以第二放大率放大的Bayer阵列的预定图像对应的预定彩色图像中的所关注的像素，所述预测系数是通过求解表示所述教师图像的各个像素的像素值，对应于该像素的学生图像的像素的像素值，和预测系数之间的关系的公式学习的预测系数之中的，对应于关注像素间距离的预测系数，所述关注像素间距离是Bayer阵列的预定图像中的关注像素的位置和最接近关注像素的像素，即，Bayer阵列的预定图像的最接近该位置的像素的位置之间的距离，所述预测抽头包括Bayer阵列的预定图像的像素的像素值，并且对应于关注像素。
20.一种记录按照19所述的程序的存储介质。
21.—种学习设备,包括 学习单元，所述学习单元通过利用预测抽头和关注像素的像素值，关于教师图像的各个像素的各个颜色分量和各个像素间距离，求解表示教师图像的各个像素的像素值、对应像素的预测抽头以及预测系数之间的关系的公式，来计算每个颜色分量和每个像素间距离的预测系数，所述像素间距离是教师图像的各个像素在学生图像中的位置和学生图像的最接近该位置的各个像素的位置之间的距离，所述预测抽头由与关注像素对应的像素的像素值构成，所述关注像素是教师图像中的所关注的像素，所述教师图像是包括用于预测系数的学习并且对应于Bayer阵列的预定图像的学生图像之中的、以第二放大率放大的学生图像的各个像素的多个颜色分量的像素值的彩色图像， 所述预测系数用于把Bayer阵列的预定图像转换成包括以第一放大率放大的Bayer阵列的预定图像的各个像素的多个颜色分量的像素值的预定彩色图像。
全文摘要
本发明公开了图像处理设备、图像处理方法、程序、存储介质和学习设备。预测计算单元借助学习的预测系数和预测抽头的计算，为每个颜色分量计算关注像素的像素值，然后输出包括每个颜色分量的关注像素的像素值的输出图像。例如，本技术可应用于图像处理设备。
文档编号G06T3/40GK102789630SQ20121014491
公开日2012年11月21日 申请日期2012年5月11日 优先权日2011年5月20日
发明者千田圭祐, 宫井岳志, 高桥纪晃 申请人:索尼公司