专利名称：图像处理设备、成像设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理设备、成像设备、图像处理方法和程序，尤其涉及在单板(single-plate)式彩色传感器摄像机中校正倍率色象差(chromatic aberration ofmagnification)的技术。
背景技术：
在诸如静态摄像机或视频摄相机的成像设备中，倍率色象差已知是由于在通过透镜的光中由于每种颜色的点扩散函数(PSF)的影响而产生的扩大的点图像所引起。倍率色象差由于图像的尺寸的差异而产生，这是因为透镜的折射率根据可见光的波长而不同并且焦距因此不同。 当利用发生倍率色象差的透镜拍摄白色点光源时，屏幕的相邻部分产生彩虹的颜色，因此光源被拍摄为以放射方向发展。即使在正常的对象中，尤其在图像的边缘部分中，也会显著地看到颜色分离。迄今为止，已经执行了在RGB(红色、绿色和蓝色)的每一者中沿着水平和竖直方向计算和校正偏差(象差量)，作为校正倍率色象差的方法(例如，见日本未审查专利申请公报No. 2010-219683和日本未审查专利申请公报No. 2000-299874)。一般来说，倍率色象差的校正是在颜色分离(针对单板的颜色插值解拜耳(de-Bayer))之前执行的。已经研究了从RAW(原始)数据检测倍率色象差的多种方法。在倍率色象差的校正中，仅基于关于诸如R(红色)或B (蓝色)的单个颜色的信息来执行颜色移动。
发明内容
用在单板式彩色图像传感器中的彩色滤光片在成像装置上形成阵列形状。在形成为阵列形状的彩色滤光片(彩色滤光片阵列)的布置中，代表性地使用了拜耳图案，其中对于亮度信号作出较大贡献的G (绿色)被布置为棋盘图案，并且R和B被布置在棋盘图案的剩余部分。图I示出了布置为拜耳布置的RGB颜色的像素。在拜耳布置中，由G彩色滤光片获得的像素是由R或B彩色滤光片获得的像素的两倍，并且因此由R或B彩色滤光片获得的像素在数量上较小。下文中将会参照图2A到图2C描述根据现有技术的校正倍率色象差的方法。例如，将会关注由RGB形成的拜耳布置的R和G(见图2A)。L表示图像中央(对应于光轴)。发生倍率色象差的透镜在与G相距一段象差量的位置距离处产生图像R(见图2B)。在现有技术中，当校正R的倍率色象差时，对使用单个颜色(R)的图像执行上采样(up-sampling，扩大处理)(见图2C)并且利用小数级别的精确度来执行像素移动，以执行把R返回到正确位置的处理。如图3所示，上采样是对输入信号(例如，R、G和B信号)执行滤波计算并且推导出位于期望位置的像素的信号的处理。通过单板式彩色图像传感器获得的R或B像素的数目较小，并且，通过采样定理很明显，可由上采样推定的频率是受到限制的。一般来说，包括单板式彩色图像传感器的摄像机的频率特性在许多情况下由基于G像素数目的分辨率限制所确定。因此，当对于R或B仅使用单个颜色信息执行上采样时，可能不能产生接近G的极限分辨率的高频率，并且在许多情况下，R或B的边缘可能会模糊并且错误的颜色可能出现在R或B的边缘的附近。即，当在校正R或B的倍率色象差的处理中对在R或B移动前的像素进行插值时，可能不能实现高频率并且R或B的边缘可能不能被适当地校正。因此期望提供一种能够在发生倍率色象差的图像中适当地对除了基础颜色之外的颜色的边缘进行校正的技术，例如，除了 G之外的R或B的边缘。根据本技术的实施例，首先基于包括在图像数据中的像素信号的亮度值计算其他颜色成分信号对于包括在图像数据中的判据颜色的颜色成分信号的位置的象差量。之后，从其他颜色成分信号和判据颜色的颜色成分信号产生色差信号，并且基于所述象差量，使用色差信号校正存在于判据颜色的像素之间的其他颜色的颜色成分信号的色象差。在本发明的实施例中，从包括高频成分(边缘)的图像(RAW数据)中的其他颜色 (例如，R或B)与判据颜色(例如G)之间的差异来产生色差，该图像是从单板式图像传感器获得的。基于象差，使用色差来校正其他颜色的色象差。这里，因为判据颜色的像素数目大于其他颜色的数目并且使用频率比其他颜色更低的色差来校正色象差，所以校正精确度较高并且像素不模糊。根据本技术的实施例，能够在发生倍率色象差的图像中适当地校正除了基础颜色之外的颜色的边缘，例如，除了 G之外的R或B的边缘。
图I是示出了布置为拜耳阵列的RGB颜色的像素的图；图2A到图2C是根据现有技术的图；图3是示出了上采样的图；图4是示出了根据第一实施例的成像设备的框图；图5是示出了图4中示出的预处理单元的内部构造的框图；图6是示出了根据第一实施例的第一示例的在拜耳布置中校正倍率色象差的处理的流程图；图7A到图7C是示出了根据第一实施例的在拜耳布置中校正倍率色象差的处理的流程图；图8是示出了其中发生倍率色象差的图像的示例的图。图9是示出了使用现有技术的方法对图8中示出的图像(RAW数据)执行倍率色象差校正时图像的示例的图；图10是示出了使用现有技术的方法在颜色分离之后对图8中示出的图像(RAW数据)执行倍率色象差校正时图像的示例的图；图11是示出了在根据第一实施例的第一示例的倍率色象差校正方法被应用到图8中示出的图像(RAW数据)时的图像的示例的图；图12是示出了布置为双倍密度拜耳布置的RGB颜色的像素的图；图13是示出了根据第一实施例的第二示例的在双倍密度拜耳布置中校正倍率色象差的处理的流程图14是示出了布置为ClearVid布置的RGB颜色的像素(输入像素)的图；图15是示出了布置为ClearVid布置的RGB颜色的输出像素的图像的图；图16是示出了根据第一实施例的第三示例的在ClearVid布置中对倍率色象差进行校正的处理的流程图；图17是示出了根据第二实施例的预处理单元的内部构造的框图；图18是示出了根据第二实施例的第一示例的伴随着颜色分离在拜耳布置中校正倍率色象差的处理的流程图；图19是示出了根据第二实施例的第二示例的伴随着颜色分离在双倍密度拜耳布置中校正倍率色象差的处理的流程图；以及图20是示出了根据第一实施例的第三示例的伴随着颜色分离在ClearVid布置中校正对倍率色象差的处理的流程图。
具体实施例方式下文中，将会参照附图描述本发明的实施例。在说明书和附图中，相同的附图标记被给予具有基本相同功能或构造的构成元素，并且它们的描述将不会再重复。将会按照以下顺序进行描述。I.第一实施例(校正单元使用G色差(color difference)来校正倍率色象差的示例)I. I.应用到拜耳布置的示例(第一示例)I. 2.应用到双倍密度拜耳布置的示例(第二示例)I. 3.应用到ClearVid布置的示例(第三示例)2.第二实施例(校正单元使用G色差和颜色分离来校正倍率色象差的示例)2. I.应用到拜耳布置的示例(第一示例)2. 2.应用到双倍密度拜耳布置的示例(第二示例)2. 3.应用到ClearVid布置的示例(第三示例)〈I.第一实施例>[本技术的概述]在自然图像中公知，色象差信号的频率不高于R或B信号的频率(该观点也适用于颜色分离或压缩并且已经基于该意见发展了许多算法)。例如，已经在以下文件中公开了使用局部颜色成分信号之间的相关的信号处理方法。“D. R. Cok " Signal Processing Method and Apparatus for ProducingInterpolated Chrominance Values in a Sampled Color Image Signal,"美国专利No.4642678(1987)(CHBI)”因此，因为相比于在使用R或B单个颜色的信号的插值方法，在使用G色差信号的插值方法中要被评估的信号的频带更低，所以认为可以获得更高的插值精确度。在本发明的实施例中，该想法被应用到倍率色象差的校正，因此使用G色差信号来对从具有RGB的像素布置的图像传感器获得的图像执行倍率色象差的校正。在本发明的实施例中，当R或B的倍率色象差被校正时，在R或B移动之前的像素没有被插值，但是临时地产生意图被移动到R或B的偏离位置的G。当意图被移动到在R和B的偏离之前的R和B的位置的G被插值时，可以获得与R和B相同数目的G色差。使用G色差对在像素移动之前(目标像素)的G色差信号进行插值，以插值出在偏离位置处的R或B。当移动之前的像素被设置在单板彩色图像传感器的布置的位置处时，可以获得由象差量校正的RAW数据的图像。因此，当像素被设置在输出像素的位置时，也可以结合在颜色分离处理中的G色差的插值。在下文中，R、G和B像素被分别称作“R”、“G”和“B”，并且R、G和B信号被分别称作为“R”、“G”和“B”。R-G色差信号或B-G色差信号被称作为“G色差”。 [成像设备的构造示例]将会描述根据本发明的实施例的成像设备的构造的示例。根据本发明的实施例的成像设备例如不局限于其中镜头可替换或不可替换的数字静态摄像机，并且也可以应用到具有成像功能的设备，诸如摄像头、便携式电话或PDA(个人数字助手)。此外，根据本发明的实施例的成像设备可以应用到处理设备或记录设备，其中成像信号由用于与个人计算机等连接的视频电话或游戏软件的小尺寸摄像机处理。下文描述的成像设备的每个处理功能可以被安装到软件或硬件上。此外，在说明书中描述的图像处理是在成像设备的信号处理中对输入数据(RAW数据)中的R、G和B执行的处理。首先，将会描述根据本发明的第一实施例的包括图像处理装置的成像设备的构造。图4是示出了根据第一实施例的成像设备100的框图。图4中示出的成像设备100是能够在存储介质中记录视频数据的视频摄像机。例如，成像设备100包括图像传感器101、预处理单元102、数字信号处理单元103、转换处理单元104、压缩和解压缩单元(JPEG) 105、存储器控制单元106、存储器107、显示处理单元108、压缩和解压缩单元(MPEG) 109、记录装置控制单元110、记录装置111、显示单元112、控制单兀113和成像镜头114。成像镜头114是收集来自对象的入射光并且将对象图像提供给之后描述图像传感器101的透镜组。当来自对象的光穿过成像镜头114时，光的折射率按照可见光的波长的长度而不同。因此，因为各个颜色的焦距彼此不同并且因此成像位置偏离，所以发生倍率色象差。此外，因为每个颜色具有由在成像位置处由成像镜头114的点扩散函数(PSF)产生的点扩散引起的扩散并且颜色之间的扩散宽度的差异变为错误的颜色，所以发生倍率色象差。图像传感器101将经由光学系统(例如，包括成像镜头114、红外线移除滤光片、光学低通滤光片或彩色滤光片)从对象接收的入射光通过光电转换转换为电信号。例如，CMOS (互补金属氧化物半导体)单板式成像元件被用作图像传感器101。当使用CMOS成像元件时，光电二极管、行和列选择MOS晶体管、信号线等被布置为二维形状，以形成垂直扫描电路、水平扫描电路、噪声移除电路、正时产生电路等。此外，C⑶(电荷耦合器件)成像元件可以被用作图像传感器101。例如，图像传感器101以NTSC方案的规格的60fps (场/秒)读取信号。图像传感器101包括⑶S (相关双采样)和A/D转换器。图像传感器101输出成像数据。预处理单元102对从图像传感器101输出的成像数据执行光学校正处理(诸如阴影校正)，并且输出数字图像信号。预处理单元102是图像处理装置的示例并且执行下文描述的倍率色象差的检测或校正。数字信号处理单元103对从预处理单元102输出的成像数据执行摄像机信号处理，诸如颜色分离(同步处理)、白平衡校正、光圈校正、伽马校正或YC产生。转换处理单元104执行显示调谐和尺寸调整以将从数字信号处理单元103接收的图像信号转换为具有适合于显示单元11 2显示的帧速率和屏幕尺寸的信号。在信号被输出到显示处理单元108时执行显示稀释(display thinning)。压缩和解压缩单元(JPEG) 105在从转换处理单元104输出的成像数据上按照静态图像的编码方案(其例如包括JPEG(联合图像专家组))执行压缩和编码处理。此外，压缩和解压缩单元(JPEG) 105对从存储器控制单元106提供的静态图像的经编码的数据执行压缩和解码处理。存储器控制单元106将图像数据写入到存储器107或从其读出。存储器107是按照FIFO(先入先出)方案临时存储从存储器控制单元106接收的图像数据的缓冲存储器。例如，存储器107是SDRAM(同步动态随机存取存储器)。显示处理单元108通过从转换处理单元104或压缩和解压缩单元(MPEG) 109接收到的图像信号产生要被显示在显示单元112上的图像信号，并且之后将图像信号传送到显示单元112,使得图像信号被显示。显示单元112例如由IXD (液晶显示器)构造。例如,显示单元112显示正在被拍摄的摄像机直通图像或者记录在记录装置111中的图像数据。压缩和解压缩单元(MPEG) 109在从转换处理单元104接收的图像数据上按照动态图像编码方案(诸如MPEG(动态图片专家组))执行压缩和编码处理。此外，压缩和解压缩单元109对从记录装置111提供的动态图像的编码数据执行解压缩和解码处理，并且将解压缩的和解码的动态图像输出到显示处理单元108。显示单元112显示从显示处理单元108接收的动态图像。控制单元113例如是包括CPU (中央处理单元)、ROM(只读存储器)和RAM(随机存取存储器)的微计算机。控制单元113通过执行存储在ROM等中的程序来控制成像设备100的每个构成元件。[预处理单元的构造的示例]之后，将会描述根据本实施例的预处理单元102。图5是示出了预处理单元的内部构造的框图。将会基于对RGB像素中的R执行校正倍率色象差的处理的假设来描述框图构造。然而，实施例当然可以应用到对B执行校正倍率色象差的处理的框图构造。预处理单元102包括校正单元120和象差量产生单元126。例如,象差量产生单元126包括边缘检测单元、颜色偏离量检测单元和倍率计算单元。边缘检测单元基于图像数据来检测图像中的边缘部分(高频率成分)，并基于包括在图像数据中的像素信号的亮度值来检测边缘部分的亮度值的改变方向。颜色偏离量检测单元计算包括在图像数据中的两个颜色成分信号之间在边缘部分中的相关性，以检测颜色偏离量。倍率计算单元基于颜色偏离量和图像中心(其对应于光轴)的距离来计算另一个颜色成分信号相对于一个颜色成分信号的缩放倍率(象差量)。
因此，象差量产生单元126通过基于当前被处理的像素离开图像中心多远(像素高度)将象差模型(多项式)应用到R和B的每一者上来产生缩放倍率(象差量)。在图5的示例中，象差量产生单元126包括R象差量产生单元126R和B象差量产生单元126B。R象差量产生单元126R计算R信号相对于G信号的缩放倍率(象差量)。B象差量产生单元126B计算B信号相对于G信号的缩放倍率(象差量)。在象差量产生单元126中，有必要预先计算象差量，作为倍率色象差的校正的前提条件。因此，通过图像评价图像的象差量(缩放倍率)，使得可以使用与在日本未审查专利申请公报No. 2010-219683、日本未审查专利申请公报No. 2000-299874等中使用的类似方法。然而，本发明的实施例不局限于该示例，并且可以预先测量镜头的特性，以确定象差量。校正单元120使用基于由象差量产生单元126产生的另一个颜色成分信号(在该示例中，R或B信号)相对于一个颜色成分信号(在该示例中，G信号)的缩放倍率(象差量)来校正色象差。此时，校正单元120可以按照亮度值的改变方向来校正边缘部分的色 象差。校正单元120包括存储器单元121、相关方向判断/G插值处理单元122、存储器单元123、R和B数据切换单元124、用于R的G上采样处理单元125、存储器单元127以及减法器128。其还包括存储器单元129、R和B数据切换单元130、G色差(R-G)上采样处理单元131和加法器132。相关方向判断/G插值处理单元122使用从存储器单元121接收的G信号将G信号插值为R或B信号的相位。即，相关方向判断/G插值处理单元122例如通过计算G像素的像素值在R或B像素附近的加权平均值来产生在R或B像素位置处的插值G信号(下文中称为“插值G”)。此外，相关方向判断/G插值处理单元122检测用在下文中描述的适应性插值处理中的相关方向。存储器单元123存储从相关方向判断/G插值处理单元122接收的为插值的G信号或插值的G信号(g)。R和B数据切换单元124-1基于由R象差量产生单元126R产生的R象差量从存储器单元123选择在位于偏离位置处的R’附近的G像素的像素值(G’信号)，并且将所选择的像素值提供给后段的用于R的G上采样处理单元125。当对B执行校正倍率色象差的处理时，基于由B象差量产生单元126B产生的B象差量来执行相同处理。 R和B数据切换单元124-2基于由R象差量产生单元126R产生的R象差量从存储器单元127选择在位于偏离位置处的R’像素的像素值(R’信号)，并且将所选择的像素值提供给后段的减法器128。当对B执行校正倍率色象差的处理时，基于由B象差量产生单元126B产生的B象差量来执行相同处理。用于R的G上采样处理单元125执行由R和B数据切换单元124_1选择的、位于偏离位置附近处的R’的附近的G像素的像素值(G’信号)的上采样，并且推导出与位于由象差量分离的位置处的R’信号相同的相位的g’信号。此外，当R象差量数据被切换为B象差量数据时，用于R的G上采样处理单元125具有用于B的G上采样处理单元的功能。作为上采样方法，存在应用已知静态滤波器的方法，并且应用诸如双线性、双三次、B样条(b-spline)或Ianczos的滤波器来执行计算。可以通过确定软件或硬件的约束(负荷)和图像质量的平衡来选择最合适的滤波器。为了改善上采样的性能，用于R的G上采样处理单元125通过将相关方向检测预先应用到在上采样之前的R或B的位置以适应地切换滤波器上的滤波计算，来执行插值。因此，可以实现高质量的图像。例如，作为适用性插值处理，存在诸如通常用在解拜耳处理中的zigzag插值的处理。此外，可以使用确定边缘的方向性并且执行插值的边缘方向插值方法。例如，当G信号被在B的位置处插值时，观察B周围的像素来确定优选的插值方向。具体地，使用以下的公式⑴和公式⑵来计算G的在水平方向(HiJ和竖直方向(Vy)上的梯度AHiij和AVy如公式(3)和公式⑷表示的当梯度AHiij和Λ Vi,」彼此相当并且AHiij和AVi,JO之一等于或小于恒定阈值时，使用相邻像素与较小梯度的平均值。此外，如公式(5)所示，当梯度AHy和AVy彼此相等时，使用在两个方向上的平均。
权利要求
1.一种图像处理设备，包括 象差量产生单元，其基于包括在图像数据中的像素信号的亮度值来计算其他颜色成分信号对于判据颜色的颜色成分信号的位置的象差量，所述判据颜色比包括在所述图像数据中的其他颜色具有数量更多的像素；以及 校正单元，其从所述其他颜色成分信号和所述判据颜色的颜色成分信号产生色差信号，并且基于所述象差量，使用所述色差信号来校正存在于所述判据颜色的各像素之间的其他颜色的颜色成分信号的色象差。
2.根据权利要求I所述的图像处理设备，其中，所述校正单元包括 判据颜色插值处理单元，其对在存在于所述判据颜色的各像素之间的所述其他颜色的像素的位置处的所述判据颜色的颜色成分信号进行插值； 判据上采样处理单元，其基于所述象差量，对所述判据颜色的经插值的颜色成分信号执行上采样； 色差产生单元，其通过获得所述其他颜色成分信号与经过上采样的所述判据颜色的经插值的颜色成分信号之间的差异，来产生色差信号； 色差上采样处理单元，其基于所述象差量，对所述色差信号执行上采样；以及经校正的颜色成分信号产生单元，其通过将所述判据颜色的经插值的颜色成分信号与经过上采样的所述色差信号相加，来产生所述其他颜色的像素中的经校正的颜色成分信号。
3.根据权利要求2所述的图像处理设备，其中，所述图像数据是通过单板图像传感器获得的彩色图像数据。
4.根据权利要求3所述的图像处理设备，其中，所述判据颜色的颜色成分信号是绿色信号，所述其他颜色成分信号是红色或蓝色信号。
5.根据权利要求I所述的图像处理设备，其中，所述校正单元包括 判据颜色插值处理单元，其对在存在于所述判据颜色的各像素之间的第一或第二颜色的像素的位置处的所述判据颜色的颜色成分信号进行插值； 判据上采样处理单元，其基于由所述象差量产生单元计算的第一或第二颜色成分信号的象差量，来对所述判据颜色的经插值的第一或第二颜色成分信号执行上采样； 色差产生单元，其通过获得所述第一或第二颜色成分信号与经过上采样的所述判据颜色的经插值的第一或第二颜色成分信号之间的差异，来产生第一或第二色差信号； 第一色差上采样处理单元，其基于所述第一颜色成分信号的象差量，来对所述第一色差信号执行上采样； 第二色差上采样处理单元，其基于所述第二颜色成分信号的象差量。来对所述第二色差信号执行上采样； 第一经校正的颜色成分信号产生单元，其通过将所述判据颜色的经插值的第一颜色成分信号与经过上采样的所述第一色差信号相加，来产生所述第一颜色的像素中的经校正的颜色成分信号；以及 第二经校正的颜色成分信号产生单元，其通过将所述判据颜色的经插值的第二颜色成分信号与经过上采样的所述第二色差信号相加，来产生所述第二颜色的像素中的经校正的颜色成分信号。
6.—种成像设备,包括 单板式图像传感器，其具有像素，判据颜色比其他颜色的像素数量更多； 象差量产生单元，其基于包括在图像数据中的像素信号的亮度值，来计算其他颜色成分信号对于判据颜色的颜色成分信号的位置的象差量，所述判据颜色包括在从所述图像传感器获得的图像数据中；以及 校正单元，其从所述其他颜色成分信号和所述判据颜色的颜色成分信号产生色差信号，并且基于所述象差量，使用所述色差信号来校正存在于所述判据颜色的各像素之间的其他颜色的颜色成分信号的色象差。
7.一种图像处理方法，包括 基于包括在图像数据中的像素信号的亮度值，来计算其他颜色成分信号对于判据颜色的颜色成分信号的位置的象差量，所述判据颜色比包括在所述图像数据中的其他颜色具有数量更多的像素； 从所述其他颜色成分信号和所述判据颜色的颜色成分信号产生色差信号；以及 基于所述象差量，使用所述色差信号来校正存在于所述判据颜色的各像素之间的其他颜色的颜色成分信号的色象差。
8.一种程序，使计算机执行包括以下步骤的处理 基于包括在图像数据中的像素信号的亮度值，来计算其他颜色成分信号对于判据颜色的颜色成分信号的位置的象差量，所述判据颜色比包括在所述图像数据中的其他颜色具有数量更多的像素； 从所述其他颜色成分信号和所述判据颜色的颜色成分信号产生色差信号；以及 基于所述象差量，使用所述色差信号来校正存在于所述判据颜色的各像素之间的其他颜色的颜色成分信号的色象差。
全文摘要
本发明涉及图像处理设备、成像设备、图像处理方法和程序，所提供的图像处理设备包括象差量产生单元，其基于包括在图像数据中的像素信号的亮度值计算其他颜色成分信号对于判据颜色的颜色成分信号的位置的象差量，所述判据颜色具有在数量上比包括在所述图像数据中的其他颜色更多的像素；以及校正单元，其从所述其他颜色成分信号和所述判据颜色的颜色成分信号产生色差信号，并且基于所述象差量，所述校正单元使用所述色差信号校正存在于所述判据颜色的像素之间的其他颜色的颜色成分信号的色相差。
文档编号H04N9/07GK102868890SQ20121022962
公开日2013年1月9日 申请日期2012年6月29日 优先权日2011年7月6日
发明者山口雄也 申请人:索尼公司