图像处理设备和图像处理方法
图像处理设备和图像处理方法
【专利摘要】本发明涉及一种图像处理设备和图像处理方法。存在如下问题：当进行倍率色像差校正时，不进行位置偏移校正的颜色和进行了位置偏移校正的颜色之间根据空间位置的高频成分的再现性的差异可能影响输出图像的图像质量。为了进行倍率色像差校正，从没有进行位置偏移校正的颜色提取由于进行了位置偏移校正的颜色的位置偏移校正而损失的高频成分，并且将该高频成分相加至进行了位置偏移校正的颜色。因此，可以疑似地恢复该高频成分。
【专利说明】图像处理设备和图像处理方法
[0001]本申请是申请日为2009年7月21日、国家申请号为200980160575.7、发明名称为“用于校正色像差的图像处理设备、图像处理方法、程序和存储介质”的PCT申请(国际申请号为PCT/JP2009/063044)的分案申请。
【技术领域】
[0002]本发明涉及一种用于校正图像中发生的色像差(chromatic aberration)的方法。【背景技术】
[0003]通过拍摄获得的图像包含由拍摄使用的镜头的色像差所导致的色偏移。
[0004]用于检测这类色偏移的方法之一是用于预先存储与镜头的状态相对应的色偏移量的方法(例如，参考专利文献I)。可选地，另一方法是用于通过计算图像中的不同颜色信号之间的相关性来计算颜色信号之间的位置的偏移量、并检测色偏移量的方法(例如，参考专利文献2)。
[0005]色偏移量是连续变化值。因此，为了校正数字图像中以上述方式所确定的色偏移量，需要以小于一个像素为单位来校正色偏移量。作为用于以小于一个像素为单位校正色偏移量的方法，提出了诸如双线性插值和双三次插值等的插值算法。
[0006]文献列表
[0007]专利文献
[0008]专利文献1:日本特开平8-205181
[0009]专利文献2:日本特开2006-020275
【发明内容】
[0010]本发明要解决的技术问题
[0011]在双线性插值、双三次插值或其它类似插值计算中，使用系数根据插值位置而改变的FIR滤波器。如果使用这些插值计算，则带域消失的方式根据偏移位置而不同，结果导致输出图像中的通带域的变化。因此，发生降低图像质量的问题。
[0012]将说明双线性插值中带域消失的方式不同的原因。
[0013]图10是用于说明使用双线性插值的计算的图。P1、P2、P3和P4表示在摄像元件上垂直和水平排列的4个像素的重心。为了获得位于重心Pl?P4之间的、且与摄像元件上排列的任一像素的重心都不一致的坐标Q处的信号电平，必须根据具有重心Pl?P4的相邻像素的信号电平，通过插值来计算该信号电平。α和β表示坐标Q相对于重心Pl?Ρ4的偏移量。在双线性插值中，当分别以Psl、Ps2、Ps3和Ps4表示重心P1、P2、P3和P4处的信号电平时，使用公式(I)确定坐标Q处的信号电平Qs:
[0014]Qs={(l-a ) XPsl+α XPs2} X (1-β ) + {(1_α ) XPs4+a XPs3} X β (I)
[0015]公式(I)相当于应用在水平方向上具有系数(1-a)和a的2个抽头(tap)的FIR低通滤波器和应用在垂直方向上具有系数(l-β)和β的2个抽头的FIR低通滤波器。因此，水平低通效果根据α的值而改变，并且垂直低通效果根据β的值而改变。注意，α和β在大于或等于O、且小于或等于I的范围内取值。
[0016]图11示出由偏移量α的值的不同所导致的、坐标Q处的信号的振幅特性的不同。当α为0.0或1.0时，包括奈奎斯特频率的高频处的信号的振幅增益没有降低，而当α为
0.5时，奈奎斯特频率处的振幅增益为O。随着α接近0.0或1.0,以奈奎斯特频率为中心的高频处的振幅增益的降低量减小。随着α接近0.5，以奈奎斯特频率为中心的高频处的振幅增益的降低量增大。这同样适用于垂直方向上的β。
[0017]因此，如果使用双线性插值来确定特定坐标处的信号电平，则根据该距离，信号电平的高频成分的消失程度不同。参考作为例子的图10，在坐标Q的位置更靠近重心Pl?Ρ4的中间的区域中，信号电平Qs的高频成分的消失程度增大，并且在坐标Q的位置更靠近重心Pl?Ρ4之一的区域中，信号电平Qs的高频成分的消失程度减小。由于在图像中存在大量具有如上所述的4个像素的块，所以对由倍率色像差所导致的色偏移的校正可能导致出现信号电平的高频成分极大量损失的区域和高频成分损失不大的区域，结果导致高频成分的斑块分布。
[0018]另一问题是，由于色像差的校正不涉及位置基准点处的颜色的信号电平的位置偏移，所以出现未进行位置偏移的颜色和进行了位置偏移的颜色之间的带域的变化，结果图像质量劣化。
_9] 用于解决问题的技术方案
[0020]为了解决上述问题，本发明的图像处理设备包括:图像获得部件，用于获得使用包括多个像素的摄像元件而生成的、具有多个颜色的图像；偏移量获得部件，用于获得第二颜色的光束相对于第一颜色的光束的偏移量，其中，该偏移量是由到达所述摄像元件的光束所透过的镜头的光学特性所导致的；偏移校正部件，用于根据像差坐标周围的具有所述第二颜色的像素的信号电平，对所述像差坐标处的所述第二颜色的信号电平进行插值，其中，所述像差坐标表示从关注像素的位置偏移所述偏移量的位置；高频提取部件，用于根据所述像差坐标处的所述第二颜色的信号电平中的高频信号电平的降低程度，提取所述关注像素的所述第一颜色的高频信号电平，其中，所述降低是由所述偏移校正部件进行的插值所导致的；以及输出部件，用于输出通过将所述高频提取部件所提取的信号电平相加至所述偏移校正部件所计算出的所述第二颜色的像素的信号电平而获得的信号电平，作为所述关注像素中的所述第二颜色的像素的信号电平。
[0021]另外，为了解决上述问题，本发明的图像处理方法包括以下步骤:图像获得步骤，用于获得使用包括多个像素的摄像元件而生成的、具有多个颜色的图像；偏移量获得步骤，用于获得第二颜色的光束相对于第一颜色的光束的偏移量，其中，该偏移量是由到达所述摄像元件的光束所透过的镜头的光学特性所导致的；偏移校正步骤，用于根据像差坐标周围的具有所述第二颜色的像素的信号电平，对所述像差坐标处的所述第二颜色的信号电平进行插值，其中，所述像差坐标表示从关注像素的位置偏移所述偏移量的位置；高频提取步骤，用于根据所述像差坐标处的所述第二颜色的信号电平中的高频信号电平的降低程度，提取所述关注像素的所述第一颜色的高频信号电平，其中，所述降低是由在所述偏移校正步骤中进行的插值所导致的；以及输出步骤，用于输出通过将在所述高频提取步骤中所提取的信号电平相加至在所述偏移校正步骤中所计算出的所述第二颜色的像素的信号电平而获得的信号电平，作为所述关注像素中的所述第二颜色的像素的信号电平。
[0022]本发明的有益效果
[0023]根据本发明，可以提供一种进行色像差校正以防止图像中信号电平的高频成分的斑块分布的图像处理设备和图像处理方法。
【专利附图】
【附图说明】
[0024]图1是示出根据本发明第一实施例的数字照相机的结构的框图。
[0025]图2是用于说明将图像分成各个颜色的信号和对各个颜色的信号进行的插值处理的图。
[0026]图3是用于说明由色像差导致的位置偏移的图。
[0027]图4是示出色像差校正之后的坐标的图像高度相对于色像差校正之前的坐标的图像高度的倍率的图。
[0028]图5是示出本发明第一实施例中的像差坐标的例子的图。
[0029]图6包括用于说明第一高频抑制单元通过使用偏移量α和β进行双线性插值而计算关注像素的高频成分减少的绿色信号电平的方法的图。
[0030]图7是示出根据本发明第二实施例的数字照相机的结构的框图。
[0031]图8是示出本发明第二实施例中的像差坐标的例子的图。
[0032]图9是用于说明对绿色信号进行的插值处理的图。
[0033]图10是用于说明使用双线性插值的计算的图。
[0034]图11示出在由偏移量α的值的差所导致的坐标Q处的信号的振幅特性的差异。【具体实施方式】
[0035]下面将参考【专利附图】
【附图说明】本发明的实施例。
[0036]注意，通过权利要求书限定本发明的技术范围，并且本发明的技术范围不局限于下面的各个实施例。另外，实施例中所述的特征的所有组合并非是本发明所必需的。
[0037]第一实施例
[0038]在本实施例中，作为例子，在数字照相机的情况下说明一种校正作为一种类型的色像差的倍率色像差的图像处理设备。图1是示出根据本实施例的数字照相机的结构的框图。
[0039]在图1中，附图标记100表示包括变焦透镜和调焦透镜的镜头单元。附图标记101表示具有Bayer图案的摄像元件,摄像元件101对透过镜头单元100并到达该元件的光束进行光电转换，并且包括大量具有红色(R)、绿色(G)和蓝色(B)的颜色滤波器的像素。由例如CCD (电荷耦合装置)或CMOS (互补金属氧化物半导体)图像传感器形成摄像元件101。在本实施例中，假定摄像元件101是CMOS图像传感器。附图标记102表示将从摄像元件101获得的模拟信号的图像转换成数字信号的图像的Α/D转换单元。从镜头单元100到A/D转换单元102的单元构成图像获得单元。
[0040]附图标记103表示对数字信号进行缺陷校正、遮光校正和白平衡等的预处理器。附图标记104表示将从预处理器103输出的数字信号分成红色、绿色和蓝色的信号、并利用特定颜色的信号对不具有该特定颜色的信号的像素进行插值的颜色插值单元。[0041]附图标记105表示计算从颜色插值单元104输出的红色信号相对于绿色信号的偏移量的第一偏移量获得单元。附图标记106表示计算从颜色插值单元104输出的蓝色信号相对于绿色信号的偏移量的第二偏移量获得单元。附图标记107表示第一偏移校正单元，第一偏移校正单元107基于红色信号的偏移量，根据从颜色插值单元104输出的红色信号的电平来计算像差校正之后的关注像素的/[目号电平。附图标记108表不第二偏移校正单元，第二偏移校正单元108基于蓝色信号的偏移量，根据从颜色插值单元104输出的蓝色信号的电平来计算像差校正之后的关注像素的信号电平。
[0042]附图标记109表示第一高频抑制单元，第一高频抑制单元109基于通过第一偏移量获得单元105获得的红色信号的偏移量，对从颜色插值单元104输出的绿色信号进行低通滤波。附图标记110表示第二高频抑制单元，第二高频抑制单元110基于通过第二偏移量获得单元106获得的蓝色信号的偏移量，对从颜色插值单元104输出的绿色信号进行低通滤波。
[0043]附图标记111表示第一减法器，第一减法器111从颜色插值单元104所输出的绿色信号的电平减去作为来自第一高频抑制单元109的输出的低通滤波后的绿色信号电平。附图标记112表示第二减法器，第二减法器112从颜色插值单元104所输出的绿色信号的电平减去作为来自第二高频抑制单元110的输出的低通滤波后的绿色信号电平。附图标记113表不第一加法器,第一加法器113将从第一减法器111输出的信号电平相加至从第一偏移校正单元107输出的信号电平。附图标记114表示第二加法器，第二加法器114将从第二减法器112输出的信号电平相加至从第二偏移校正单兀108输出的信号电平。
[0044]由第一偏移量获得单元105和第二偏移量获得单元106、第一偏移校正单元107和第二偏移校正单元108、第一高频抑制单元109和第二高频抑制单元110、第一减法器111和第二减法器112、以及第一加法器113和第二加法器144构成色像差校正单元115。
[0045]附图标记116表示信号处理单元，信号处理单元116接收从颜色插值单元104输出的绿色信号、从第一加法器113输出的红色信号和从第二加法器114输出的蓝色信号作为输入。信号处理单元116使用这些输入信号进行图像亮度校正和边缘强调校正等。
[0046]接着详细说明色像差校正单元115进行的处理的内容。由于透过了镜头，因而光根据颜色而聚焦于不同位置，并且发生色像差。为了校正色像差，需要确定基准颜色，并且偏移其它颜色的信号的位置以与基准颜色的位置相一致。在本实施例中，色像差校正单元115使用绿色信号作为基准。
[0047]如图2所示，颜色插值单元104将具有原色的Bayer图案的输入图像分成各个颜色，并且对与各颜色的缺失像素200相对应的信号进行插值。术语“缺失像素”是指各个颜色的分离图像中没有这些颜色的信号的像素。在图2所示的例子中，在具有红色信号的图像中，与具有红色信号的像素相邻的、位于垂直、水平以及对角线位置处的8个像素是缺失像素200。在具有绿色信号的图像中，与具有绿色信号的像素垂直和水平相邻的4个像素是缺失像素200。在具有蓝色信号的图像中，与具有蓝色信号的像素相邻的、位于垂直、水平以及对角线位置处的8个像素是缺失像素200。颜色插值单元104使用例如与缺失像素200相邻的、位于垂直、水平和对角线位置处的8个像素中具有相同颜色的信号的像素的信号电平来确定其平均值或者其加权和，并且将结果值设置为缺陷像素200的信号电平。
[0048]第一偏移量获得单元105和第二偏移量获得单元106获得红色和蓝色信号相对于绿色信号的偏移量。存在各种获得方法，例如，如上所述，读取预先存储的与镜头状态相对应的色像差量，以及根据图像中不同颜色信号之间具有高相关性的区域的偏移量检测色像差量。在本实施例中，假定第一偏移量获得单元105和第二偏移量获得单元106将与镜头单元100中的变焦透镜的状态相对应的色像差量预先存储在内部存储器中。
[0049]图3是用于说明由色像差所导致的位置偏移的图。
[0050]在图3中，对在色像差校正之前所获得的图像300中的坐标303处的信号进行色像差校正，并且移动至坐标302的位置。换句话说，由于因镜头单元100所导致的色像差，将位于坐标302处的像素的信号偏移至了图像300中的坐标303的位置。附图标记301表示镜头单元100的光轴位置，将从光轴位置301到各坐标的距离称为图像高度。坐标302和坐标303之间的差、即色像差量根据镜头单元100的固有光学特性或者基于这些坐标的位置的图像高度的大小而改变。因此，第一偏移量获得单元105和第二偏移量获得单元106针对镜头单元100的各元件或针对镜头单元100的各类型，将表示针对图像高度的色像差量的信息存储在存储器中作为镜头设计信息。
[0051]图4是示出色像差校正之前的坐标303的图像高度相对于色像差校正之后的坐标302的图像高度的倍率的图，其中，通过乘以倍率，可以将色像差校正之后的坐标302的图像高度转换成色像差校正之前的坐标303的图像高度。为了确定色像差校正之后的期望坐标处的信号电平，可以通过使用图4所示的图，将期望坐标的图像高度乘以与期望坐标相对应的倍率来计算色像差校正之前的坐标，并且可以根据色像差校正之前所获得的图像来确定色像差校正之前的坐标处的信号电平。在图4中，曲线401表示本实施例中镜头单元100对于红色信号的色像差特性，并且曲线402表示镜头单元100对于蓝色信号的色像差特性。
[0052]由于最终输出色像差校正之后获得的图像，所以需要确定由实数坐标给出的在色像差校正之后获得的图像的坐标302。然而，与色像差校正之后获得的图像的坐标302相对应的色像差校正之前的坐标303不一定是实数坐标。由于色像差校正之前获得的图像300仅具有与实数坐标相对应的像素的信号电平，所以需要根据实数坐标的相邻像素的信号电平对没有以实数定义的坐标处的信号电平进行插值。将与色像差校正之后获得的图像中的关注像素的坐标相对应的色像差校正之前的坐标称为像差坐标。
[0053]图5是示出本实施例的像差坐标303的例子的图。
[0054]在图5中，像素501、502、503和504是对缺失像素200进行了插值的红色图像中的实数坐标处的像素。虚线505是从像素501、502、503和504的重心位置水平和垂直延伸的线。ct表不相对于左列的像素501和504的重心位置在水平方向上的偏移量,并且β表不相对于上行的像素501和502的重心位置在垂直方向上的偏移量。在图5中，α和β在大于或等于O且小于或等于I的范围内取值。
[0055]当像差坐标303为(Qrx，Qry)时，第一偏移量获得单元105使用公式(2)和(3)确定偏移量α和β:
[0056]a =Qrx-1nt (Qrx) (2)
[0057]β =Qry-1nt (Qry) (3)
[0058]其中，int(n)是表示η的整数部分的函数。
[0059]然后，第一偏移校正单元107使用偏移量α和β进行双线性插值，以计算像差坐标303处的红色信号电平。
[0060]当分别以Prl，Pr2, Pr3和Pr4表示像素501、502、503和504的红色信号电平时，在双线性插值中，可以使用类似于上面给出的公式(I)的公式(4)确定像差坐标303处的红色信号电平Qr:
[0061]Qr={(l-a ) XPrl+a XPr2} X (1-β ) + {(l-a ) XPr4+a XPr3} X β (4)
[0062]第二偏移校正单元108使用对缺失像素200进行了插值的蓝色图像同样进行类似于第一偏移校正单元107的处理的处理，并且确定蓝色图像中的像差坐标处的信号电平Qb。上述处理与传统的色像差校正处理相同。
[0063]此外，在本发明中，进行用于恢复红色和蓝色高频成分的信号电平的处理。第一高频抑制单元109和第二高频抑制单元110根据重心位于图3的坐标302处的关注像素600的绿色信号电平，使用通过公式(2)和(3)所确定的、像差坐标处的偏移量α和β来生成降低了高频成分的绿色信号电平。
[0064]图6包括用于说明下面的方法的图，在该方法中，第一高频抑制单元109使用通过第一偏移量获得单元105所确定的偏移量α和β，通过双线性插值计算降低了关注像素的高频成分的绿色信号电平。
[0065]图6(A)示出包括3X3相邻像素的以位于图3的坐标302处的关注像素为中心的区域，并且该区域具有各自包括2Χ2相邻像素的4个子区域。将包括像素601、602、600和608的子区域表示为第一区域，并且将包括像素602、603、604和600的子区域表示为第二区域。此外，将包括像素600、604、605和606的子区域表示为第三区域，并且将包括像素608、600,606和607的子区域表示为第四区域。
[0066]将通过第一偏移量获得单元105所确定的偏移量α和β输入给第一高频抑制单元109。第一高频抑制单元109使用公式(5)?(8)，通过插值来计算第一?第四区域的每一个区域中从左列的像素的重心偏移a、并且从上行的像素的重心偏移β的坐标611、612,613和614处的信号电平。
[0067]Qrgll={(l-a) XPrgOl+a XPrg02} X (1-β ) + {(1- a ) XPrg08+ a XPrgOO} X β (5)
[0068]Qrgl2= {(1- a ) X Prg02+ a X Prg03} X (1- β ) + {(1- a ) X PrgOO+ a X Prg04} X β (6)
[0069]Qrgl3= {(1- a ) X PrgOO+ a X Prg04} X (1- β ) + {(1- a ) X Prg06+ a X Prg05} X β (7)
[0070]Qrgl4= {(1- a ) X Prg08+ a X PrgOO} X (1- β ) + {(1- a ) X Prg07+ a X Prg06} X β (8)
[0071]其中，分别以PrgOO?Prg08表示像素600?608的信号电平，并且分别以Qrgll?Qrgl4表不坐标611?614处的信号电平。
[0072]使用与确定像差坐标303处的信号电平时所使用的α和β相同的α和β作为权重因数，根据相邻像素的信号电平通过插值来计算以上坐标611?614处的信号电平Qrgll?Qrgl4。因此，坐标611?614处的信号电平Qrgll?Qrgl4是如像差坐标303处的信号一样的降低了高频成分的信号电平。
[0073]第一高频抑制单元109还使用公式(9)，根据坐标611?614处的信号电平Qrgll?Qrgl4，通过插值来计算位于坐标302处的关注像素的降低了高频成分的信号电平QrgOO0为了确定坐标302的重心处的信号电平QrgOO，与上述基于插值的计算相反，可以以α表示相对于右列的像素的重心的偏移量，并且可以以β表示相对于下行的像素的重心的偏移量。[0074]Qrg00={a XQrgl 1+(1-a ) XQrgl2} X β+{α XQrgl4+(l-a ) XQrgl3} X (l-β) (9)
[0075]第一减法器111从颜色插值单元104所输出的绿色信号电平减去第一高频抑制单元109所输出的绿色信号电平QrgOO，以获得去除了低频成分的具有高频成分的绿色信号电平Qrgh。由于降低了像差坐标303处的信号电平的高频成分，所以关注像素的信号电平QrgOO变成降低了高频成分的信号电平，并且，相反，信号电平Qrgh变成保留大量高频成分的信号电平。也就是说，第一高频抑制单元109和第一减法器111形成第一高频提取单元，第一高频提取单元根据像差坐标303处的红色信号电平的高频成分的降低程度，提取关注像素的绿色信号电平的高频成分。类似地，第二高频抑制单元110和第二减法器112形成第二高频提取单元，第二高频提取单元根据像差坐标303处的蓝色信号电平的高频成分的降低程度，提取关注像素的绿色信号电平的高频成分。
[0076]坐标302处的绿色信号和像差坐标303处的红色信号原本是根据相同被摄体图像生成的。因此，第一加法器113将对于坐标302处的关注像素所确定的绿色信号电平Qrgh相加至在像差坐标303处所确定的红色信号电平Qr，从而使得疑似地恢复像差坐标303处的红色高频成分。第二高频抑制单元110、第二减法器112和第二加法器114对像差坐标处的蓝色信号电平Qb也进行相同处理，因而使得疑似地恢复像差坐标303处的蓝色高频成分的信号电平。
[0077]然后，色像差校正单元115将由第一加法器113生成的红色信号电平和由第二加法器114生成的蓝色信号电平输出给信号处理单兀116,作为坐标302处关注像素的信号电平。因此，信号处理单元116可以使用抑制了高频成分损失并且校正了色像差的红色、绿色和蓝色信号进行图像亮度校正和边缘强调校正等。
[0078]如上所述，根据本实施例，色像差校正单元115根据像差坐标处的红色信号电平的高频成分的损失程度，通过损失关注像素处的绿色信号电平的高频成分，生成低频成分信号。然后，色像差校正单元115通过从损失关注像素的高频成分之前所获得的绿色信号电平减去该低频成分的信号电平，生成具有高频成分的信号电平。此外，色像差校正单元115将该高频成分的信号电平相加至像差坐标处的红色信号电平，并且输出该和作为关注像素的信号电平。因此，根据本实施例的数字照相机能够进行抑制了高频成分的斑块分布的色像差校正。
[0079]在本实施例中，在生成关注像素的损失了高频成分的绿色信号电平时，第一高频抑制单元109和第二高频抑制单元110使用预先获得的偏移量α和β进行加权计算。然而，该结构不局限于此。例如，可以使用下面的结构，该结构包括预先存储与偏移量α和β相对应的滤波系数的表，在该结构中，读取与偏移量α和β相对应的滤波系数，并且对关注像素的绿色信号电平进行低通滤波。
[0080]然而，由于本实施例中的第一高频抑制单元109和第二高频抑制单元110的简单电路结构，所以它们是有利的，其中，该电路结构包括在水平和垂直方向上具有系数α和β的两个抽头的FIR低通滤波器。
[0081]此外，在本实施例中，由第一高频抑制单元109和第一减法器111构成第一高频提取单元，并且由第二高频抑制单元Iio和第二减法器112构成第二高频提取单元。然而，该结构不局限于此。滤波系数根据像差坐标303处的高频成分信号电平的损失程度而改变的高通滤波器可以构成高频提取单元，该高频提取单元根据像差坐标处的红色和蓝色信号电平的高频成分的降低，直接提取关注像素的绿色信号电平的高频成分。
[0082]第二实施例
[0083]图7是示出根据本发明的数字照相机的结构的框图。图7中的数字照相机与图1中的数字照相机不同在于，代替颜色插值单元104，而包括颜色分离单元120，并且包括色像差校正单元122，其中，色像差校正单元122设置有颜色分离单元120与第一高频抑制单元109和第二高频抑制单元110之间的绿色插值单元121。
[0084]图7中被分配了相同附图标记的元件具有与第一实施例的相同的结构，并且省略对其的说明。下面主要说明不同于第一实施例的结构。
[0085]颜色分离单元120将从预处理器103输出的数字信号分成红色、绿色和蓝色的信号。不同于图1中的颜色插值单元104，颜色分离单元120对分离颜色的图像中的缺失像素不进行插值处理。
[0086]如第一实施例一样,第一偏移校正单兀107和第二偏移校正单兀108使用双线性插值计算像差坐标303处的信号电平。图8是示出本实施例中的像差坐标303的例子的图。
[0087]在图8中，像素801、802、803和804是红色图像中的实数坐标处的像素。虚线是从像素801、802、803和804的重心位置水平和垂直延伸的线和位于其中间的线。a r表示相对于左列的像素801和804的重心位置在水平方向上的偏移量,并且β r表不相对于上行的像素801和802的重心位置在垂直方向上的偏移量。由于在红色图像中对缺失像素不进行插值，所以以不同于第一实施例的方式确定偏移量ar和βr。当像差坐标303为(Qrx, Qry)时,第一偏移量获得单元105使用公式(10)和(11)确定偏移量ar和
[0088]a r=Qrx/2-1nt(Qrx/2) (10)
[0089]β r=Qry/2-1nt(Qry/2) (11)
[0090]其中，int(n)是表示n的整数部分的函数。
[0091]当分别以Prl~Pr4表不像素801~804的信号电平时，第一偏移校正单兀107可以通过分别将ar和代入公式(4)中的偏移量α和β，确定像差坐标303处的信号电平Qr。第二偏移校正单元108使用没有对缺失像素进行插值的蓝色图像也进行与第二偏移校正单元107的相同的处理，并且确定蓝色图像中的像差坐标处的信号Qb。
[0092]如图9所示，绿色插值单元121对通过颜色分离单元120分离出的绿色图像中的缺失像素900进行插值。然后，第一高频抑制单元109和第二高频抑制单元110根据通过绿色插值单元121对缺失像素900进行了插值的绿色图像，生成降低了高频成分的绿色信号电平。这里，由于偏移量ar和是没有对缺失像素进行插值的红色图像中的偏移量，所以第一高频抑制单元109使用公式(13)和(14)确定对缺失像素900进行了插值的绿色的偏移量:
[0093]a g= a r X 2-1nt ( a r X 2) (13)
[0094]β g=^rX2-1nt(^rX2) (14)
[0095]这里，以PrgOO~Prg08表示包括3 X 3相邻像素的、以关注像素为中心的区域的信号电平。第一高频抑制单元109将ag和i3g代入公式(5)~(9)中的偏移量α和β，以获得去除了关注像素的低频成分的、具有高频成分的绿色信号电平Qrgh。类似地，第二高频抑制单元HO也确定去除了关注像素的低频成分的、具有高频成分的绿色信号电平Qbgh。然后,第一加法器113和第二加法器114使用信号电平Qrgh和Qbgh,疑似地恢复红色和蓝色高频成分的信号电平。
[0096]如上所述，根据本实施例，可以在不对红色图像和蓝色图像中的缺失像素进行插值的情况下，在色像差校正之后获得恢复了高频成分的信号电平的红色和蓝色信号电平。
[0097]此外，尽管作为例子，在双线性插值的情况下说明了第一和第二实施例，但是利用具有FIR滤波器结构的其它滤波器(例如，双三次插值)同样可以获得相同优点。
[0098]此外，尽管作为例子，在将红色信号和蓝色信号对准至绿色信号的位置的情况下说明了第一和第二实施例，但是，该结构不局限于此。可以使用这样的结构，在该结构中，将其它颜色、即第二颜色或第三颜色的信号的位置对准至第一颜色的信号的位置；并且可以将其它颜色信号的位置对准至例如红色信号或蓝色信号。此外，为了校正轴上色像差而不是倍率色像差，即使在其它颜色信号的成分对准至特定颜色的信号的位置的情况下，也可以利用相同结构进行色像差校正以抑制高频成分的斑块分布。
[0099]此外，代替数字照相机，还可以通过具有图像处理功能的个人计算机或打印机实现第一和第二实施例。这类图像处理设备可以设置有用于从记录介质读取图像或者经由通信接口从网络上获得图像的图像获得单元，来代替由从镜头单元100到Α/D转换单元102的单元所构成的图像获得单元。
[0100]其它实施例
[0101]还可以通过使用系统或设备的计算机(或者CPU或MPU等)以软件形式实现上述实施例。
[0102]因此，为了使用计算机实现上述实施例，提供给计算机的计算机程序本身也实现本发明。也就是说，用于实现上述实施例的功能的计算机程序本身也是本发明的一个方面。
[0103]注意，用于实现上述实施例的计算机程序可以是任何形式，只要可以通过计算机读取该计算机程序。例如，可以使用对象代码、由解释程序执行的程序、或者向OS提供的脚本数据等来配置该计算机程序。然而，形式不局限于此。
[0104]经由存储介质或者有线/无线通信将用于实现上述实施例的计算机程序提供给计算机。用于提供该程序的存储介质的例子包括诸如软盘、硬盘和磁带等的磁存储介质、诸如MO、⑶和DVD等的光盘/磁光盘存储介质、以及非易失性半导体存储器。
[0105]用于使用有线/无线通信来提供计算机程序的方法包括利用计算机网络上的服务器的方法。在这种情况下，将可以是形成本发明的计算机程序的数据文件(程序文件)存储在服务器中。该程序文件可以是执行格式或源代码。
[0106]然后，通过下载将该程序文件提供给访问服务器的客户计算机。在这种情况下，还可以将程序文件分成多个分段文件，并且可以将分段文件分布和配置在不同服务器中。
[0107]也就是说，向客户计算机提供用于实现上述实施例的程序文件的服务器设备也是本发明的一个方面。
[0108]此外，可以分发存储了用于实现上述实施例的加密版的计算机程序的存储介质，并且可以向满足预定条件的用户提供用于解密的密钥信息，以使得允许该用户将该计算机程序安装在该用户的计算机中。可以通过例如经由因特网从主页进行下载来提供密钥信
肩、O
[0109]此外，可以使用运行在计算机上的现有OS的功能进行用于实现上述实施例的计算机程序。[0110]此外，可以通过固件来配置用于实现上述实施例的计算机程序，其中，可以将诸如扩展板等的该固件的一部分安装到计算机，或者可以通过扩展板上所设置的CPU来执行该计算机程序。
[0111]附图标记列表
[0112]100 镜头单元
[0113]101 摄像元件
[0114]102 Α/D转换单元
[0115]103 预处理器
[0116]104 颜色插值单元
[0117]105 第一偏移量获得单兀
[0118]106 第二偏移量获得单元
[0119]107 第一偏移校正单元
[0120]108 第二偏移校正单元
[0121]109 第一高频抑制单元
[0122]110 第二高频抑制单元
[0123]111 第一减法器
[0124]112 第二减法器
[0125]113 第一加法器
[0126]114 第二加法器
[0127]115、122色像差校正单元
[0128]116 信号处理单元
[0129]120 颜色分离单元
[0130]121 绿色插值单元
【权利要求】
1.一种图像处理设备，包括: 图像获得部件，用于获得使用包括多个像素的摄像元件而生成的、具有多个颜色的图像； 第一偏移量获得部件，用于获得第二颜色的光束相对于第一颜色的光束的偏移量，其中，该偏移量是由到达所述摄像元件的光束所透过的镜头的光学特性所导致的； 第一偏移校正部件，用于根据像差坐标周围的具有所述第二颜色的像素的信号电平，对所述像差坐标处的所述第二颜色的信号电平进行插值，其中，所述像差坐标表示从关注像素的位置偏移所述偏移量的位置；以及 生成部件，用于生成所述像差坐标处的所述第二颜色的信号电平中的高频信号电平的降低程度被抑制的信号电平，作为所述关注像素中的所述第二颜色的像素的信号电平，其中，所述降低是由所述第一偏移校正部件进行的插值所导致的。
2.根据权利要求1所述的图像处理设备，其特征在于，还包括:第二偏移量获得部 件，用于获得第三颜色的光束相对于所述第一颜色的光束的偏移量，其中，该偏移量是由到达所述摄像元件的光束所透过的镜头的光学特性所导致的；以及第二偏移校正部件，用于根据第二像差坐标周围的具有所述第三颜色的像素的信号电平，对所述第二像差坐标处的所述第三颜色的信号电平进行插值，其中，所述第二像差坐标表示从所述关注像素的位置偏移所述第二偏移量获得部件所获得的偏移量的位置， 其中，所述生成部件生成所述第二像差坐标处的所述第三颜色的信号电平中的高频信号电平的降低程度被抑制的信号电平，作为所述关注像素中的所述第三颜色的像素的信号电平，其中，所述降低是由所述第二偏移校正部件进行的插值所导致的。
3.根据权利要求1所述的图像处理设备，其特征在于，所述第一颜色是绿色，并且所述第二颜色是红色或蓝色。
4.一种图像处理方法，包括以下步骤: 图像获得步骤，用于获得使用包括多个像素的摄像元件而生成的、具有多个颜色的图像； 第一偏移量获得步骤，用于获得第二颜色的光束相对于第一颜色的光束的偏移量，其中，该偏移量是由到达所述摄像元件的光束所透过的镜头的光学特性所导致的； 第一偏移校正步骤，用于根据像差坐标周围的具有所述第二颜色的像素的信号电平，对所述像差坐标处的所述第二颜色的信号电平进行插值，其中，所述像差坐标表示从关注像素的位置偏移所述偏移量的位置；以及 生成步骤，用于生成所述像差坐标处的所述第二颜色的信号电平中的高频信号电平的降低程度被抑制的信号电平，作为所述关注像素中的所述第二颜色的像素的信号电平，其中，所述降低是在所述第一偏移校正步骤中进行的插值所导致的。
5.根据权利要求4所述的图像处理方法，其特征在于，还包括:第二偏移量获得步骤，用于获得第三颜色的光束相对于所述第一颜色的光束的偏移量，其中，该偏移量是由到达所述摄像元件的光束所透过的镜头的光学特性所导致的；以及第二偏移校正步骤，用于根据第二像差坐标周围的具有所述第三颜色的像素的信号电平，对所述第二像差坐标处的所述第三颜色的信号电平进行插值，其中，所述第二像差坐标表示从所述关注像素的位置偏移所述第二偏移量获得步骤中所获得的偏移量的位置，其中，所述生成步骤生成所述第二像差坐标处的所述第三颜色的信号电平中的高频信号电平的降低程度被抑制的信号电平，作为所述关注像素中的所述第三颜色的像素的信号电平，其中，所述降低是所述第二偏移校正步骤中进行的插值所导致的。
6.根据权利要求4所述的图像处 理方法，其特征在于，所述第一颜色是绿色，并且所述第二颜色是红色或蓝色。
【文档编号】H04N9/04GK103957392SQ201410143639
【公开日】2014年7月30日 申请日期:2009年7月21日 优先权日:2009年7月21日
【发明者】原贵幸 申请人:佳能株式会社
【专利摘要】本发明涉及一种图像处理设备和图像处理方法。存在如下问题：当进行倍率色像差校正时，不进行位置偏移校正的颜色和进行了位置偏移校正的颜色之间根据空间位置的高频成分的再现性的差异可能影响输出图像的图像质量。为了进行倍率色像差校正，从没有进行位置偏移校正的颜色提取由于进行了位置偏移校正的颜色的位置偏移校正而损失的高频成分，并且将该高频成分相加至进行了位置偏移校正的颜色。因此，可以疑似地恢复该高频成分。
【专利说明】图像处理设备和图像处理方法
[0001]本申请是申请日为2009年7月21日、国家申请号为200980160575.7、发明名称为“用于校正色像差的图像处理设备、图像处理方法、程序和存储介质”的PCT申请(国际申请号为PCT/JP2009/063044)的分案申请。
【技术领域】
[0002]本发明涉及一种用于校正图像中发生的色像差(chromatic aberration)的方法。【背景技术】
[0003]通过拍摄获得的图像包含由拍摄使用的镜头的色像差所导致的色偏移。
[0004]用于检测这类色偏移的方法之一是用于预先存储与镜头的状态相对应的色偏移量的方法(例如，参考专利文献I)。可选地，另一方法是用于通过计算图像中的不同颜色信号之间的相关性来计算颜色信号之间的位置的偏移量、并检测色偏移量的方法(例如，参考专利文献2)。
[0005]色偏移量是连续变化值。因此，为了校正数字图像中以上述方式所确定的色偏移量，需要以小于一个像素为单位来校正色偏移量。作为用于以小于一个像素为单位校正色偏移量的方法，提出了诸如双线性插值和双三次插值等的插值算法。
[0006]文献列表
[0007]专利文献
[0008]专利文献1:日本特开平8-205181
[0009]专利文献2:日本特开2006-020275
【发明内容】
[0010]本发明要解决的技术问题
[0011]在双线性插值、双三次插值或其它类似插值计算中，使用系数根据插值位置而改变的FIR滤波器。如果使用这些插值计算，则带域消失的方式根据偏移位置而不同，结果导致输出图像中的通带域的变化。因此，发生降低图像质量的问题。
[0012]将说明双线性插值中带域消失的方式不同的原因。
[0013]图10是用于说明使用双线性插值的计算的图。P1、P2、P3和P4表示在摄像元件上垂直和水平排列的4个像素的重心。为了获得位于重心Pl?P4之间的、且与摄像元件上排列的任一像素的重心都不一致的坐标Q处的信号电平，必须根据具有重心Pl?P4的相邻像素的信号电平，通过插值来计算该信号电平。α和β表示坐标Q相对于重心Pl?Ρ4的偏移量。在双线性插值中，当分别以Psl、Ps2、Ps3和Ps4表示重心P1、P2、P3和P4处的信号电平时，使用公式(I)确定坐标Q处的信号电平Qs:
[0014]Qs={(l-a ) XPsl+α XPs2} X (1-β ) + {(1_α ) XPs4+a XPs3} X β (I)
[0015]公式(I)相当于应用在水平方向上具有系数(1-a)和a的2个抽头(tap)的FIR低通滤波器和应用在垂直方向上具有系数(l-β)和β的2个抽头的FIR低通滤波器。因此，水平低通效果根据α的值而改变，并且垂直低通效果根据β的值而改变。注意，α和β在大于或等于O、且小于或等于I的范围内取值。
[0016]图11示出由偏移量α的值的不同所导致的、坐标Q处的信号的振幅特性的不同。当α为0.0或1.0时，包括奈奎斯特频率的高频处的信号的振幅增益没有降低，而当α为
0.5时，奈奎斯特频率处的振幅增益为O。随着α接近0.0或1.0,以奈奎斯特频率为中心的高频处的振幅增益的降低量减小。随着α接近0.5，以奈奎斯特频率为中心的高频处的振幅增益的降低量增大。这同样适用于垂直方向上的β。
[0017]因此，如果使用双线性插值来确定特定坐标处的信号电平，则根据该距离，信号电平的高频成分的消失程度不同。参考作为例子的图10，在坐标Q的位置更靠近重心Pl?Ρ4的中间的区域中，信号电平Qs的高频成分的消失程度增大，并且在坐标Q的位置更靠近重心Pl?Ρ4之一的区域中，信号电平Qs的高频成分的消失程度减小。由于在图像中存在大量具有如上所述的4个像素的块，所以对由倍率色像差所导致的色偏移的校正可能导致出现信号电平的高频成分极大量损失的区域和高频成分损失不大的区域，结果导致高频成分的斑块分布。
[0018]另一问题是，由于色像差的校正不涉及位置基准点处的颜色的信号电平的位置偏移，所以出现未进行位置偏移的颜色和进行了位置偏移的颜色之间的带域的变化，结果图像质量劣化。
_9] 用于解决问题的技术方案
[0020]为了解决上述问题，本发明的图像处理设备包括:图像获得部件，用于获得使用包括多个像素的摄像元件而生成的、具有多个颜色的图像；偏移量获得部件，用于获得第二颜色的光束相对于第一颜色的光束的偏移量，其中，该偏移量是由到达所述摄像元件的光束所透过的镜头的光学特性所导致的；偏移校正部件，用于根据像差坐标周围的具有所述第二颜色的像素的信号电平，对所述像差坐标处的所述第二颜色的信号电平进行插值，其中，所述像差坐标表示从关注像素的位置偏移所述偏移量的位置；高频提取部件，用于根据所述像差坐标处的所述第二颜色的信号电平中的高频信号电平的降低程度，提取所述关注像素的所述第一颜色的高频信号电平，其中，所述降低是由所述偏移校正部件进行的插值所导致的；以及输出部件，用于输出通过将所述高频提取部件所提取的信号电平相加至所述偏移校正部件所计算出的所述第二颜色的像素的信号电平而获得的信号电平，作为所述关注像素中的所述第二颜色的像素的信号电平。
[0021]另外，为了解决上述问题，本发明的图像处理方法包括以下步骤:图像获得步骤，用于获得使用包括多个像素的摄像元件而生成的、具有多个颜色的图像；偏移量获得步骤，用于获得第二颜色的光束相对于第一颜色的光束的偏移量，其中，该偏移量是由到达所述摄像元件的光束所透过的镜头的光学特性所导致的；偏移校正步骤，用于根据像差坐标周围的具有所述第二颜色的像素的信号电平，对所述像差坐标处的所述第二颜色的信号电平进行插值，其中，所述像差坐标表示从关注像素的位置偏移所述偏移量的位置；高频提取步骤，用于根据所述像差坐标处的所述第二颜色的信号电平中的高频信号电平的降低程度，提取所述关注像素的所述第一颜色的高频信号电平，其中，所述降低是由在所述偏移校正步骤中进行的插值所导致的；以及输出步骤，用于输出通过将在所述高频提取步骤中所提取的信号电平相加至在所述偏移校正步骤中所计算出的所述第二颜色的像素的信号电平而获得的信号电平，作为所述关注像素中的所述第二颜色的像素的信号电平。
[0022]本发明的有益效果
[0023]根据本发明，可以提供一种进行色像差校正以防止图像中信号电平的高频成分的斑块分布的图像处理设备和图像处理方法。
【专利附图】
【附图说明】
[0024]图1是示出根据本发明第一实施例的数字照相机的结构的框图。
[0025]图2是用于说明将图像分成各个颜色的信号和对各个颜色的信号进行的插值处理的图。
[0026]图3是用于说明由色像差导致的位置偏移的图。
[0027]图4是示出色像差校正之后的坐标的图像高度相对于色像差校正之前的坐标的图像高度的倍率的图。
[0028]图5是示出本发明第一实施例中的像差坐标的例子的图。
[0029]图6包括用于说明第一高频抑制单元通过使用偏移量α和β进行双线性插值而计算关注像素的高频成分减少的绿色信号电平的方法的图。
[0030]图7是示出根据本发明第二实施例的数字照相机的结构的框图。
[0031]图8是示出本发明第二实施例中的像差坐标的例子的图。
[0032]图9是用于说明对绿色信号进行的插值处理的图。
[0033]图10是用于说明使用双线性插值的计算的图。
[0034]图11示出在由偏移量α的值的差所导致的坐标Q处的信号的振幅特性的差异。【具体实施方式】
[0035]下面将参考【专利附图】
【附图说明】本发明的实施例。
[0036]注意，通过权利要求书限定本发明的技术范围，并且本发明的技术范围不局限于下面的各个实施例。另外，实施例中所述的特征的所有组合并非是本发明所必需的。
[0037]第一实施例
[0038]在本实施例中，作为例子，在数字照相机的情况下说明一种校正作为一种类型的色像差的倍率色像差的图像处理设备。图1是示出根据本实施例的数字照相机的结构的框图。
[0039]在图1中，附图标记100表示包括变焦透镜和调焦透镜的镜头单元。附图标记101表示具有Bayer图案的摄像元件,摄像元件101对透过镜头单元100并到达该元件的光束进行光电转换，并且包括大量具有红色(R)、绿色(G)和蓝色(B)的颜色滤波器的像素。由例如CCD (电荷耦合装置)或CMOS (互补金属氧化物半导体)图像传感器形成摄像元件101。在本实施例中，假定摄像元件101是CMOS图像传感器。附图标记102表示将从摄像元件101获得的模拟信号的图像转换成数字信号的图像的Α/D转换单元。从镜头单元100到A/D转换单元102的单元构成图像获得单元。
[0040]附图标记103表示对数字信号进行缺陷校正、遮光校正和白平衡等的预处理器。附图标记104表示将从预处理器103输出的数字信号分成红色、绿色和蓝色的信号、并利用特定颜色的信号对不具有该特定颜色的信号的像素进行插值的颜色插值单元。[0041]附图标记105表示计算从颜色插值单元104输出的红色信号相对于绿色信号的偏移量的第一偏移量获得单元。附图标记106表示计算从颜色插值单元104输出的蓝色信号相对于绿色信号的偏移量的第二偏移量获得单元。附图标记107表示第一偏移校正单元，第一偏移校正单元107基于红色信号的偏移量，根据从颜色插值单元104输出的红色信号的电平来计算像差校正之后的关注像素的/[目号电平。附图标记108表不第二偏移校正单元，第二偏移校正单元108基于蓝色信号的偏移量，根据从颜色插值单元104输出的蓝色信号的电平来计算像差校正之后的关注像素的信号电平。
[0042]附图标记109表示第一高频抑制单元，第一高频抑制单元109基于通过第一偏移量获得单元105获得的红色信号的偏移量，对从颜色插值单元104输出的绿色信号进行低通滤波。附图标记110表示第二高频抑制单元，第二高频抑制单元110基于通过第二偏移量获得单元106获得的蓝色信号的偏移量，对从颜色插值单元104输出的绿色信号进行低通滤波。
[0043]附图标记111表示第一减法器，第一减法器111从颜色插值单元104所输出的绿色信号的电平减去作为来自第一高频抑制单元109的输出的低通滤波后的绿色信号电平。附图标记112表示第二减法器，第二减法器112从颜色插值单元104所输出的绿色信号的电平减去作为来自第二高频抑制单元110的输出的低通滤波后的绿色信号电平。附图标记113表不第一加法器,第一加法器113将从第一减法器111输出的信号电平相加至从第一偏移校正单元107输出的信号电平。附图标记114表示第二加法器，第二加法器114将从第二减法器112输出的信号电平相加至从第二偏移校正单兀108输出的信号电平。
[0044]由第一偏移量获得单元105和第二偏移量获得单元106、第一偏移校正单元107和第二偏移校正单元108、第一高频抑制单元109和第二高频抑制单元110、第一减法器111和第二减法器112、以及第一加法器113和第二加法器144构成色像差校正单元115。
[0045]附图标记116表示信号处理单元，信号处理单元116接收从颜色插值单元104输出的绿色信号、从第一加法器113输出的红色信号和从第二加法器114输出的蓝色信号作为输入。信号处理单元116使用这些输入信号进行图像亮度校正和边缘强调校正等。
[0046]接着详细说明色像差校正单元115进行的处理的内容。由于透过了镜头，因而光根据颜色而聚焦于不同位置，并且发生色像差。为了校正色像差，需要确定基准颜色，并且偏移其它颜色的信号的位置以与基准颜色的位置相一致。在本实施例中，色像差校正单元115使用绿色信号作为基准。
[0047]如图2所示，颜色插值单元104将具有原色的Bayer图案的输入图像分成各个颜色，并且对与各颜色的缺失像素200相对应的信号进行插值。术语“缺失像素”是指各个颜色的分离图像中没有这些颜色的信号的像素。在图2所示的例子中，在具有红色信号的图像中，与具有红色信号的像素相邻的、位于垂直、水平以及对角线位置处的8个像素是缺失像素200。在具有绿色信号的图像中，与具有绿色信号的像素垂直和水平相邻的4个像素是缺失像素200。在具有蓝色信号的图像中，与具有蓝色信号的像素相邻的、位于垂直、水平以及对角线位置处的8个像素是缺失像素200。颜色插值单元104使用例如与缺失像素200相邻的、位于垂直、水平和对角线位置处的8个像素中具有相同颜色的信号的像素的信号电平来确定其平均值或者其加权和，并且将结果值设置为缺陷像素200的信号电平。
[0048]第一偏移量获得单元105和第二偏移量获得单元106获得红色和蓝色信号相对于绿色信号的偏移量。存在各种获得方法，例如，如上所述，读取预先存储的与镜头状态相对应的色像差量，以及根据图像中不同颜色信号之间具有高相关性的区域的偏移量检测色像差量。在本实施例中，假定第一偏移量获得单元105和第二偏移量获得单元106将与镜头单元100中的变焦透镜的状态相对应的色像差量预先存储在内部存储器中。
[0049]图3是用于说明由色像差所导致的位置偏移的图。
[0050]在图3中，对在色像差校正之前所获得的图像300中的坐标303处的信号进行色像差校正，并且移动至坐标302的位置。换句话说，由于因镜头单元100所导致的色像差，将位于坐标302处的像素的信号偏移至了图像300中的坐标303的位置。附图标记301表示镜头单元100的光轴位置，将从光轴位置301到各坐标的距离称为图像高度。坐标302和坐标303之间的差、即色像差量根据镜头单元100的固有光学特性或者基于这些坐标的位置的图像高度的大小而改变。因此，第一偏移量获得单元105和第二偏移量获得单元106针对镜头单元100的各元件或针对镜头单元100的各类型，将表示针对图像高度的色像差量的信息存储在存储器中作为镜头设计信息。
[0051]图4是示出色像差校正之前的坐标303的图像高度相对于色像差校正之后的坐标302的图像高度的倍率的图，其中，通过乘以倍率，可以将色像差校正之后的坐标302的图像高度转换成色像差校正之前的坐标303的图像高度。为了确定色像差校正之后的期望坐标处的信号电平，可以通过使用图4所示的图，将期望坐标的图像高度乘以与期望坐标相对应的倍率来计算色像差校正之前的坐标，并且可以根据色像差校正之前所获得的图像来确定色像差校正之前的坐标处的信号电平。在图4中，曲线401表示本实施例中镜头单元100对于红色信号的色像差特性，并且曲线402表示镜头单元100对于蓝色信号的色像差特性。
[0052]由于最终输出色像差校正之后获得的图像，所以需要确定由实数坐标给出的在色像差校正之后获得的图像的坐标302。然而，与色像差校正之后获得的图像的坐标302相对应的色像差校正之前的坐标303不一定是实数坐标。由于色像差校正之前获得的图像300仅具有与实数坐标相对应的像素的信号电平，所以需要根据实数坐标的相邻像素的信号电平对没有以实数定义的坐标处的信号电平进行插值。将与色像差校正之后获得的图像中的关注像素的坐标相对应的色像差校正之前的坐标称为像差坐标。
[0053]图5是示出本实施例的像差坐标303的例子的图。
[0054]在图5中，像素501、502、503和504是对缺失像素200进行了插值的红色图像中的实数坐标处的像素。虚线505是从像素501、502、503和504的重心位置水平和垂直延伸的线。ct表不相对于左列的像素501和504的重心位置在水平方向上的偏移量,并且β表不相对于上行的像素501和502的重心位置在垂直方向上的偏移量。在图5中，α和β在大于或等于O且小于或等于I的范围内取值。
[0055]当像差坐标303为(Qrx，Qry)时，第一偏移量获得单元105使用公式(2)和(3)确定偏移量α和β:
[0056]a =Qrx-1nt (Qrx) (2)
[0057]β =Qry-1nt (Qry) (3)
[0058]其中，int(n)是表示η的整数部分的函数。
[0059]然后，第一偏移校正单元107使用偏移量α和β进行双线性插值，以计算像差坐标303处的红色信号电平。
[0060]当分别以Prl，Pr2, Pr3和Pr4表示像素501、502、503和504的红色信号电平时，在双线性插值中，可以使用类似于上面给出的公式(I)的公式(4)确定像差坐标303处的红色信号电平Qr:
[0061]Qr={(l-a ) XPrl+a XPr2} X (1-β ) + {(l-a ) XPr4+a XPr3} X β (4)
[0062]第二偏移校正单元108使用对缺失像素200进行了插值的蓝色图像同样进行类似于第一偏移校正单元107的处理的处理，并且确定蓝色图像中的像差坐标处的信号电平Qb。上述处理与传统的色像差校正处理相同。
[0063]此外，在本发明中，进行用于恢复红色和蓝色高频成分的信号电平的处理。第一高频抑制单元109和第二高频抑制单元110根据重心位于图3的坐标302处的关注像素600的绿色信号电平，使用通过公式(2)和(3)所确定的、像差坐标处的偏移量α和β来生成降低了高频成分的绿色信号电平。
[0064]图6包括用于说明下面的方法的图，在该方法中，第一高频抑制单元109使用通过第一偏移量获得单元105所确定的偏移量α和β，通过双线性插值计算降低了关注像素的高频成分的绿色信号电平。
[0065]图6(A)示出包括3X3相邻像素的以位于图3的坐标302处的关注像素为中心的区域，并且该区域具有各自包括2Χ2相邻像素的4个子区域。将包括像素601、602、600和608的子区域表示为第一区域，并且将包括像素602、603、604和600的子区域表示为第二区域。此外，将包括像素600、604、605和606的子区域表示为第三区域，并且将包括像素608、600,606和607的子区域表示为第四区域。
[0066]将通过第一偏移量获得单元105所确定的偏移量α和β输入给第一高频抑制单元109。第一高频抑制单元109使用公式(5)?(8)，通过插值来计算第一?第四区域的每一个区域中从左列的像素的重心偏移a、并且从上行的像素的重心偏移β的坐标611、612,613和614处的信号电平。
[0067]Qrgll={(l-a) XPrgOl+a XPrg02} X (1-β ) + {(1- a ) XPrg08+ a XPrgOO} X β (5)
[0068]Qrgl2= {(1- a ) X Prg02+ a X Prg03} X (1- β ) + {(1- a ) X PrgOO+ a X Prg04} X β (6)
[0069]Qrgl3= {(1- a ) X PrgOO+ a X Prg04} X (1- β ) + {(1- a ) X Prg06+ a X Prg05} X β (7)
[0070]Qrgl4= {(1- a ) X Prg08+ a X PrgOO} X (1- β ) + {(1- a ) X Prg07+ a X Prg06} X β (8)
[0071]其中，分别以PrgOO?Prg08表示像素600?608的信号电平，并且分别以Qrgll?Qrgl4表不坐标611?614处的信号电平。
[0072]使用与确定像差坐标303处的信号电平时所使用的α和β相同的α和β作为权重因数，根据相邻像素的信号电平通过插值来计算以上坐标611?614处的信号电平Qrgll?Qrgl4。因此，坐标611?614处的信号电平Qrgll?Qrgl4是如像差坐标303处的信号一样的降低了高频成分的信号电平。
[0073]第一高频抑制单元109还使用公式(9)，根据坐标611?614处的信号电平Qrgll?Qrgl4，通过插值来计算位于坐标302处的关注像素的降低了高频成分的信号电平QrgOO0为了确定坐标302的重心处的信号电平QrgOO，与上述基于插值的计算相反，可以以α表示相对于右列的像素的重心的偏移量，并且可以以β表示相对于下行的像素的重心的偏移量。[0074]Qrg00={a XQrgl 1+(1-a ) XQrgl2} X β+{α XQrgl4+(l-a ) XQrgl3} X (l-β) (9)
[0075]第一减法器111从颜色插值单元104所输出的绿色信号电平减去第一高频抑制单元109所输出的绿色信号电平QrgOO，以获得去除了低频成分的具有高频成分的绿色信号电平Qrgh。由于降低了像差坐标303处的信号电平的高频成分，所以关注像素的信号电平QrgOO变成降低了高频成分的信号电平，并且，相反，信号电平Qrgh变成保留大量高频成分的信号电平。也就是说，第一高频抑制单元109和第一减法器111形成第一高频提取单元，第一高频提取单元根据像差坐标303处的红色信号电平的高频成分的降低程度，提取关注像素的绿色信号电平的高频成分。类似地，第二高频抑制单元110和第二减法器112形成第二高频提取单元，第二高频提取单元根据像差坐标303处的蓝色信号电平的高频成分的降低程度，提取关注像素的绿色信号电平的高频成分。
[0076]坐标302处的绿色信号和像差坐标303处的红色信号原本是根据相同被摄体图像生成的。因此，第一加法器113将对于坐标302处的关注像素所确定的绿色信号电平Qrgh相加至在像差坐标303处所确定的红色信号电平Qr，从而使得疑似地恢复像差坐标303处的红色高频成分。第二高频抑制单元110、第二减法器112和第二加法器114对像差坐标处的蓝色信号电平Qb也进行相同处理，因而使得疑似地恢复像差坐标303处的蓝色高频成分的信号电平。
[0077]然后，色像差校正单元115将由第一加法器113生成的红色信号电平和由第二加法器114生成的蓝色信号电平输出给信号处理单兀116,作为坐标302处关注像素的信号电平。因此，信号处理单元116可以使用抑制了高频成分损失并且校正了色像差的红色、绿色和蓝色信号进行图像亮度校正和边缘强调校正等。
[0078]如上所述，根据本实施例，色像差校正单元115根据像差坐标处的红色信号电平的高频成分的损失程度，通过损失关注像素处的绿色信号电平的高频成分，生成低频成分信号。然后，色像差校正单元115通过从损失关注像素的高频成分之前所获得的绿色信号电平减去该低频成分的信号电平，生成具有高频成分的信号电平。此外，色像差校正单元115将该高频成分的信号电平相加至像差坐标处的红色信号电平，并且输出该和作为关注像素的信号电平。因此，根据本实施例的数字照相机能够进行抑制了高频成分的斑块分布的色像差校正。
[0079]在本实施例中，在生成关注像素的损失了高频成分的绿色信号电平时，第一高频抑制单元109和第二高频抑制单元110使用预先获得的偏移量α和β进行加权计算。然而，该结构不局限于此。例如，可以使用下面的结构，该结构包括预先存储与偏移量α和β相对应的滤波系数的表，在该结构中，读取与偏移量α和β相对应的滤波系数，并且对关注像素的绿色信号电平进行低通滤波。
[0080]然而，由于本实施例中的第一高频抑制单元109和第二高频抑制单元110的简单电路结构，所以它们是有利的，其中，该电路结构包括在水平和垂直方向上具有系数α和β的两个抽头的FIR低通滤波器。
[0081]此外，在本实施例中，由第一高频抑制单元109和第一减法器111构成第一高频提取单元，并且由第二高频抑制单元Iio和第二减法器112构成第二高频提取单元。然而，该结构不局限于此。滤波系数根据像差坐标303处的高频成分信号电平的损失程度而改变的高通滤波器可以构成高频提取单元，该高频提取单元根据像差坐标处的红色和蓝色信号电平的高频成分的降低，直接提取关注像素的绿色信号电平的高频成分。
[0082]第二实施例
[0083]图7是示出根据本发明的数字照相机的结构的框图。图7中的数字照相机与图1中的数字照相机不同在于，代替颜色插值单元104，而包括颜色分离单元120，并且包括色像差校正单元122，其中，色像差校正单元122设置有颜色分离单元120与第一高频抑制单元109和第二高频抑制单元110之间的绿色插值单元121。
[0084]图7中被分配了相同附图标记的元件具有与第一实施例的相同的结构，并且省略对其的说明。下面主要说明不同于第一实施例的结构。
[0085]颜色分离单元120将从预处理器103输出的数字信号分成红色、绿色和蓝色的信号。不同于图1中的颜色插值单元104，颜色分离单元120对分离颜色的图像中的缺失像素不进行插值处理。
[0086]如第一实施例一样,第一偏移校正单兀107和第二偏移校正单兀108使用双线性插值计算像差坐标303处的信号电平。图8是示出本实施例中的像差坐标303的例子的图。
[0087]在图8中，像素801、802、803和804是红色图像中的实数坐标处的像素。虚线是从像素801、802、803和804的重心位置水平和垂直延伸的线和位于其中间的线。a r表示相对于左列的像素801和804的重心位置在水平方向上的偏移量,并且β r表不相对于上行的像素801和802的重心位置在垂直方向上的偏移量。由于在红色图像中对缺失像素不进行插值，所以以不同于第一实施例的方式确定偏移量ar和βr。当像差坐标303为(Qrx, Qry)时,第一偏移量获得单元105使用公式(10)和(11)确定偏移量ar和
[0088]a r=Qrx/2-1nt(Qrx/2) (10)
[0089]β r=Qry/2-1nt(Qry/2) (11)
[0090]其中，int(n)是表示n的整数部分的函数。
[0091]当分别以Prl~Pr4表不像素801~804的信号电平时，第一偏移校正单兀107可以通过分别将ar和代入公式(4)中的偏移量α和β，确定像差坐标303处的信号电平Qr。第二偏移校正单元108使用没有对缺失像素进行插值的蓝色图像也进行与第二偏移校正单元107的相同的处理，并且确定蓝色图像中的像差坐标处的信号Qb。
[0092]如图9所示，绿色插值单元121对通过颜色分离单元120分离出的绿色图像中的缺失像素900进行插值。然后，第一高频抑制单元109和第二高频抑制单元110根据通过绿色插值单元121对缺失像素900进行了插值的绿色图像，生成降低了高频成分的绿色信号电平。这里，由于偏移量ar和是没有对缺失像素进行插值的红色图像中的偏移量，所以第一高频抑制单元109使用公式(13)和(14)确定对缺失像素900进行了插值的绿色的偏移量:
[0093]a g= a r X 2-1nt ( a r X 2) (13)
[0094]β g=^rX2-1nt(^rX2) (14)
[0095]这里，以PrgOO~Prg08表示包括3 X 3相邻像素的、以关注像素为中心的区域的信号电平。第一高频抑制单元109将ag和i3g代入公式(5)~(9)中的偏移量α和β，以获得去除了关注像素的低频成分的、具有高频成分的绿色信号电平Qrgh。类似地，第二高频抑制单元HO也确定去除了关注像素的低频成分的、具有高频成分的绿色信号电平Qbgh。然后,第一加法器113和第二加法器114使用信号电平Qrgh和Qbgh,疑似地恢复红色和蓝色高频成分的信号电平。
[0096]如上所述，根据本实施例，可以在不对红色图像和蓝色图像中的缺失像素进行插值的情况下，在色像差校正之后获得恢复了高频成分的信号电平的红色和蓝色信号电平。
[0097]此外，尽管作为例子，在双线性插值的情况下说明了第一和第二实施例，但是利用具有FIR滤波器结构的其它滤波器(例如，双三次插值)同样可以获得相同优点。
[0098]此外，尽管作为例子，在将红色信号和蓝色信号对准至绿色信号的位置的情况下说明了第一和第二实施例，但是，该结构不局限于此。可以使用这样的结构，在该结构中，将其它颜色、即第二颜色或第三颜色的信号的位置对准至第一颜色的信号的位置；并且可以将其它颜色信号的位置对准至例如红色信号或蓝色信号。此外，为了校正轴上色像差而不是倍率色像差，即使在其它颜色信号的成分对准至特定颜色的信号的位置的情况下，也可以利用相同结构进行色像差校正以抑制高频成分的斑块分布。
[0099]此外，代替数字照相机，还可以通过具有图像处理功能的个人计算机或打印机实现第一和第二实施例。这类图像处理设备可以设置有用于从记录介质读取图像或者经由通信接口从网络上获得图像的图像获得单元，来代替由从镜头单元100到Α/D转换单元102的单元所构成的图像获得单元。
[0100]其它实施例
[0101]还可以通过使用系统或设备的计算机(或者CPU或MPU等)以软件形式实现上述实施例。
[0102]因此，为了使用计算机实现上述实施例，提供给计算机的计算机程序本身也实现本发明。也就是说，用于实现上述实施例的功能的计算机程序本身也是本发明的一个方面。
[0103]注意，用于实现上述实施例的计算机程序可以是任何形式，只要可以通过计算机读取该计算机程序。例如，可以使用对象代码、由解释程序执行的程序、或者向OS提供的脚本数据等来配置该计算机程序。然而，形式不局限于此。
[0104]经由存储介质或者有线/无线通信将用于实现上述实施例的计算机程序提供给计算机。用于提供该程序的存储介质的例子包括诸如软盘、硬盘和磁带等的磁存储介质、诸如MO、⑶和DVD等的光盘/磁光盘存储介质、以及非易失性半导体存储器。
[0105]用于使用有线/无线通信来提供计算机程序的方法包括利用计算机网络上的服务器的方法。在这种情况下，将可以是形成本发明的计算机程序的数据文件(程序文件)存储在服务器中。该程序文件可以是执行格式或源代码。
[0106]然后，通过下载将该程序文件提供给访问服务器的客户计算机。在这种情况下，还可以将程序文件分成多个分段文件，并且可以将分段文件分布和配置在不同服务器中。
[0107]也就是说，向客户计算机提供用于实现上述实施例的程序文件的服务器设备也是本发明的一个方面。
[0108]此外，可以分发存储了用于实现上述实施例的加密版的计算机程序的存储介质，并且可以向满足预定条件的用户提供用于解密的密钥信息，以使得允许该用户将该计算机程序安装在该用户的计算机中。可以通过例如经由因特网从主页进行下载来提供密钥信
肩、O
[0109]此外，可以使用运行在计算机上的现有OS的功能进行用于实现上述实施例的计算机程序。[0110]此外，可以通过固件来配置用于实现上述实施例的计算机程序，其中，可以将诸如扩展板等的该固件的一部分安装到计算机，或者可以通过扩展板上所设置的CPU来执行该计算机程序。
[0111]附图标记列表
[0112]100 镜头单元
[0113]101 摄像元件
[0114]102 Α/D转换单元
[0115]103 预处理器
[0116]104 颜色插值单元
[0117]105 第一偏移量获得单兀
[0118]106 第二偏移量获得单元
[0119]107 第一偏移校正单元
[0120]108 第二偏移校正单元
[0121]109 第一高频抑制单元
[0122]110 第二高频抑制单元
[0123]111 第一减法器
[0124]112 第二减法器
[0125]113 第一加法器
[0126]114 第二加法器
[0127]115、122色像差校正单元
[0128]116 信号处理单元
[0129]120 颜色分离单元
[0130]121 绿色插值单元
【权利要求】
1.一种图像处理设备，包括: 图像获得部件，用于获得使用包括多个像素的摄像元件而生成的、具有多个颜色的图像； 第一偏移量获得部件，用于获得第二颜色的光束相对于第一颜色的光束的偏移量，其中，该偏移量是由到达所述摄像元件的光束所透过的镜头的光学特性所导致的； 第一偏移校正部件，用于根据像差坐标周围的具有所述第二颜色的像素的信号电平，对所述像差坐标处的所述第二颜色的信号电平进行插值，其中，所述像差坐标表示从关注像素的位置偏移所述偏移量的位置；以及 生成部件，用于生成所述像差坐标处的所述第二颜色的信号电平中的高频信号电平的降低程度被抑制的信号电平，作为所述关注像素中的所述第二颜色的像素的信号电平，其中，所述降低是由所述第一偏移校正部件进行的插值所导致的。
2.根据权利要求1所述的图像处理设备，其特征在于，还包括:第二偏移量获得部 件，用于获得第三颜色的光束相对于所述第一颜色的光束的偏移量，其中，该偏移量是由到达所述摄像元件的光束所透过的镜头的光学特性所导致的；以及第二偏移校正部件，用于根据第二像差坐标周围的具有所述第三颜色的像素的信号电平，对所述第二像差坐标处的所述第三颜色的信号电平进行插值，其中，所述第二像差坐标表示从所述关注像素的位置偏移所述第二偏移量获得部件所获得的偏移量的位置， 其中，所述生成部件生成所述第二像差坐标处的所述第三颜色的信号电平中的高频信号电平的降低程度被抑制的信号电平，作为所述关注像素中的所述第三颜色的像素的信号电平，其中，所述降低是由所述第二偏移校正部件进行的插值所导致的。
3.根据权利要求1所述的图像处理设备，其特征在于，所述第一颜色是绿色，并且所述第二颜色是红色或蓝色。
4.一种图像处理方法，包括以下步骤: 图像获得步骤，用于获得使用包括多个像素的摄像元件而生成的、具有多个颜色的图像； 第一偏移量获得步骤，用于获得第二颜色的光束相对于第一颜色的光束的偏移量，其中，该偏移量是由到达所述摄像元件的光束所透过的镜头的光学特性所导致的； 第一偏移校正步骤，用于根据像差坐标周围的具有所述第二颜色的像素的信号电平，对所述像差坐标处的所述第二颜色的信号电平进行插值，其中，所述像差坐标表示从关注像素的位置偏移所述偏移量的位置；以及 生成步骤，用于生成所述像差坐标处的所述第二颜色的信号电平中的高频信号电平的降低程度被抑制的信号电平，作为所述关注像素中的所述第二颜色的像素的信号电平，其中，所述降低是在所述第一偏移校正步骤中进行的插值所导致的。
5.根据权利要求4所述的图像处理方法，其特征在于，还包括:第二偏移量获得步骤，用于获得第三颜色的光束相对于所述第一颜色的光束的偏移量，其中，该偏移量是由到达所述摄像元件的光束所透过的镜头的光学特性所导致的；以及第二偏移校正步骤，用于根据第二像差坐标周围的具有所述第三颜色的像素的信号电平，对所述第二像差坐标处的所述第三颜色的信号电平进行插值，其中，所述第二像差坐标表示从所述关注像素的位置偏移所述第二偏移量获得步骤中所获得的偏移量的位置，其中，所述生成步骤生成所述第二像差坐标处的所述第三颜色的信号电平中的高频信号电平的降低程度被抑制的信号电平，作为所述关注像素中的所述第三颜色的像素的信号电平，其中，所述降低是所述第二偏移校正步骤中进行的插值所导致的。
6.根据权利要求4所述的图像处 理方法，其特征在于，所述第一颜色是绿色，并且所述第二颜色是红色或蓝色。
【文档编号】H04N9/04GK103957392SQ201410143639
【公开日】2014年7月30日 申请日期:2009年7月21日 优先权日:2009年7月21日
【发明者】原贵幸 申请人:佳能株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1