图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及图像处理设备和图像处理方法，尤其涉及用于减少渗色(color bleeding)的图像处理设备、图像处理方法和存储程序的计算机可读介质。
背景技术：
近年来市场上可获得的数字摄像机和数字照相机已经使用具有大量像素的图像 传感器，以提供高画质图像。
受色像差(chromatic aberration)影响而出现的渗色趋于显现在图像上，其中色 像差是由于像素的小型化和小型透镜的使用使得各光波长的图像形成位置出现差异而产 生的。此外，由于与固态图像传感器的像素相对应地设置的多个颜色的滤色器以镶嵌形式 配置，因此在插值时由于生成伪色信号而出现渗色。提出了用于减少所拍摄图像中的渗色的方法。日本特开2000-076428号公报公开 了识别用于拍摄图像的镜头、读取像差信息、产生校正参数、并根据该校正参数移动要校正 的颜色信号的坐标的技术。然而，渗色特性根据从光轴的中心到目标像素的像高位置、变焦透镜位置、光圈的 开口直径和调焦透镜位置而复杂地变化。在如日本特开2000-076428号公报所论述的用于 读取镜头的像差信息的结构中，需要针对像高位置、变焦透镜位置、光圈的开口直径、调焦 透镜位置和镜头的类型分别存储像差信息。由于该原因，需要具有大容量的存储器来存储该像差信息。由于通过插值从其上 以镶嵌形式配置了多个颜色的滤色器的图像传感器输出的颜色信号而产生渗色的区域依 赖于要拍摄的被摄体，因此不能预先识别颜色信号的坐标的移动量。提出了代替读取预先存储的镜头的像差信息、从图像提取看上去要产生渗色的区 域、并减少该区域中的渗色的技术。日本特开2003-102027号公报论述了从图像检测两个 颜色成分的变化率之间的差异、将差异较大的区域判断为产生渗色的区域、并减少该渗色 的技术。然而，如果在不读取所存储的镜头的像差信息的情况下从图像判断产生渗色的区 域，则难以完全消除误判断。如日本特开2003-102027号公报所论述的，在检测两个颜色成分的变化率之间的 差异的结构中，如果被摄体自身具有满足这种条件的图案，则尽管未产生渗色，该被摄体也 可能被判断为渗色区域。由于该原因，即使在区域中未产生渗色，该区域的颜色浓度也下 降，或者可能用该区域周围的像素的信号来替换该区域的信号。这样出现了以下问题即使在除日本特开2003-102027号公报所论述的结构以外 的、根据图像的亮度成分和颜色成分判断产生渗色的区域以及渗色的程度的结构中，被摄 体也影响判断结果。为了避免该问题，需要设置用于判断渗色区域的严格条件。然而，与产生渗色的区 域无关地单纯设置用于判断渗色区域的严格条件使未被判断为渗色区域的区域增多，这不利于提高画质。当对进行了用于减少渗色的处理的图像进行扩大处理时，尽管未产生渗色但由于 误判断而降低了颜色浓度的区域、以及尽管产生了渗色但未降低颜色浓度的区域这两者均 被扩大。与渗色保留的区域相比，尽管未产生渗色但降低了颜色浓度的区域的不自然可能 更加明显。当对图像进行压缩处理时可能出现该情况。在尽管未产生渗色但降低了颜色浓度 的区域中，图像的压缩率越低，该图像的不自然区域越清楚并且越明显。考虑到上述问题，需要一种即使进行了误校正、也能够在不使渗色明显的情况下 有效地校正渗色的图像处理设备和图像处理方法。

发明内容
根据本发明的一个方面，一种图像处理设备包括评价值计算单元，用于从图像数 据获取评价值；减少系数计算单元，用于基于所述评价值计算减少系数；减少单元，用于基 于所述减少系数对所述图像数据进行图像处理，以减少所述图像数据中要减少渗色的对象 区域中的渗色；以及大小改变单元，用于改变所述图像数据的大小；其中，所述减少系数计 算单元用于在所述评价值超过阈值时，计算所述减少系数，使得减少所述图像数据中要减 少渗色的对象区域中的渗色，以及其中，所述阈值被设置成使得在所述大小改变单元将所 述图像数据的大小设置为比第一值大的第二值的情况下不计算所述减少系数的所述评价 值的范围，宽于在所述大小改变单元将所述图像数据的大小设置为所述第一值的情况下不 计算所述减少系数的所述评价值的范围。根据本发明的另一方面，一种图像处理设备包括评价值计算单元，用于从图像数 据获取评价值；减少系数计算单元，用于基于所述评价值计算减少系数；减少单元，用于基 于所述减少系数对所述图像数据进行图像处理，以减少所述图像数据中要减少渗色的对象 区域中的渗色；以及大小改变单元，用于改变所述图像数据的大小；其中，所述减少系数计 算单元用于计算所述减少系数，使得即使从所述图像数据获取的评价值相同，也使在所述 大小改变单元将所述图像数据的大小设置为比第二值小的第一值的情况下在减少对象区 域中减少渗色的程度，大于在所述大小改变单元将所述图像数据的大小设置为所述第二值 的情况下在减少对象区域中减少渗色的程度。根据本发明的又一方面，一种图像处理方法包括以下步骤使用评价值计算单元 从图像数据获取评价值；使用减少系数计算单元基于所述评价值计算减少系数；使用减少 单元基于所述减少系数对所述图像数据进行图像处理，以减少所述图像数据中要减少渗色 的对象区域中的渗色；以及使用大小改变单元改变所述图像数据的大小；其中，所述减少 系数计算单元用于在所述评价值超过阈值时，计算所述减少系数，使得减少所述图像数据 中要减少渗色的对象区域中的渗色，并且将所述阈值设置成使得在所述大小改变单元将所 述图像数据的大小设置为比第一值大的第二值的情况下不计算所述减少系数的所述评价 值的范围，宽于在所述大小改变单元将所述图像数据的大小设置为所述第一值的情况下不 计算所述减少系数的所述评价值的范围。根据本发明的又一方面，一种图像处理方法包括以下步骤使用评价值计算单元 从图像数据获取评价值；使用减少系数计算单元基于所述评价值计算减少系数；使用减少单元基于所述减少系数对所述图像数据进行图像处理，以减少所述图像数据中要减少渗色 的对象区域中的渗色；以及使用大小改变单元改变所述图像数据的大小；其中，所述减少 系数计算单元用于计算所述减少系数，使得即使从所述图像数据获取的评价值相同，也使 在所述大小改变单元将所述图像数据的大小设置为比第二值小的第一值的情况下在减少 对象区域中减少渗色的程度，大于在所述大小改变单元将所述图像数据的大小设置为所述 第二值的情况下在减少对象区域中减少渗色的程度。根据以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明 显。


包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和 方面，并和说明书一起用来解释本发明的原理。图1是示出根据本发明第一典型实施例的图像处理设备的结构的示例的框图。图2是示出根据本发明第一典型实施例的渗色减少电路的结构的示例的框图。图3是示出根据本发明第一典型实施例的渗色减少电路的第一梯度检测单元的 结构的示例的框图。图4A和4B示出根据本发明第一典型实施例的第一梯度检测单元的差分滤波器的 示例。图5是在根据本发明第一典型实施例的第一减少系数计算单元中用于确定梯度 属性的流程图。图6示出在根据本发明第一典型实施例的第一减少系数计算单元中目标像素的 分类后的梯度属性的示例。图7A 7C示出在根据本发明第一典型实施例的第一减少系数计算单元中用于确 定渗色减少系数的方法。图8是示出在根据本发明第一典型实施例的第一减少系数计算单元中用于对倍 率数据确定阈值的方法的图。图9是示出根据本发明第一典型实施例的第一和第二信号合成单元的结构的示 例的框图。图10是示出根据本发明第二典型实施例的渗色减少电路的结构的示例的框图。图11A和11B是示出在根据本发明第二典型实施例的第一减少系数计算单元中、 用于针对倍率数据设置LPF的频率特性的方法的图。图12是示出根据本发明第三典型实施例的渗色减少电路的结构的示例的框图。图13A 13C是示出在根据本发明第三典型实施例的减少系数计算单元中、用于 对倍率数据确定阈值的方法的图。图14是示出根据本发明第四典型实施例的图像处理设备的结构的示例的框图。
具体实施例方式以下将参考附图来详细说明本发明的各种典型实施例、特征和方面。图1是示出作为根据本发明第一典型实施例的图像处理设备的数字照相机100的结构的示例的框图。镜头单元101具有变焦透镜和调焦透镜。图像传感器102配置有电荷耦合器件 (CXD)或互补金属氧化物半导体(CMOS)传感器，并且通过镜头单元101接收光学被摄体图 像，并将该被摄体图像转换成电信号。模拟前端(analog front-end, AFE)电路103包括相 关双采样(CDS)电路和模拟/数字(A/D)转换器。渗色减少电路104减少图像数据中的渗 色。信号处理电路105对从渗色减少电路104输出的图像数据进行各种校正。调整大 小电路106进行用于改变从信号处理电路105输出的图像数据的大小的变倍处理。控制电 路107除控制渗色减少电路104、信号处理电路105和调整大小电路106以外，还控制整个 照相机的操作。显示设备108包括液晶面板或有机EL面板，并且向用户显示基于由调整大小电路 106改变了倍率的图像数据所形成的图像。存储介质109存储由调整大小电路106改变了 倍率的图像数据。由被摄体所反射的被摄体图像透过镜头单元101并且形成在图像传感器102上。 图像传感器102将该被摄体图像光电转换成电信号，并将该电信号输出为模拟图像数据。 由AFE电路103将该模拟图像数据转换成数字图像数据。如以下将进一步详细说明的，由渗色减少电路104对该数字图像数据进行渗色减 少，其中渗色减少电路104进行用于降低图像数据中推断出要产生渗色的区域的颜色饱和 度的图像处理。在信号处理电路105中对进行了渗色减少的图像数据进行亮度校正、白平 衡校正和边缘增强。在调整大小电路106中对从信号处理电路105输出的图像数据进行扩大处理或缩 小处理，并将其输出为输出图像数据。调整大小电路106从控制电路107预先接收倍率数 据Z，并根据由倍率数据Z所表示的值对图像数据进行变倍处理。图2是图1所示的渗色减少电路104的结构的示例的框图。从AFE电路103输出的图像数据被分离成三原色R、B和G。第一插值单元201、第 二插值单元202和第三插值单元203对R、B和G进行插值处理，以向所有的像素位置提供 R、B和G的各个值。R表示红色成分视频信号，G表示绿色成分视频信号，并且B表示蓝色 成分视频信号。在进行渗色减少时，将亮度信号等的具有宽频带颜色成分的视频信号作为参考信 号，并且将具有其它颜色成分的视频信号作为减少对象信号。在本典型实施例中，将具有接 近亮度信号的颜色成分的参考信号取为G，并且将减少对象信号取为R和B。将视频信号R、B和G分别输入至作为评价值计算单元的第一梯度检测单元204、第 二梯度检测单元205和第三梯度检测单元206。第一梯度检测单元204、第二梯度检测单元 205和第三梯度检测单元206输出相应的梯度信号Ar、Ab和Ag。减少对象信号R和B的梯 度信号Ar和Ab是减少对象梯度信号。参考信号G的梯度信号Ag是参考梯度信号。将梯度 信号Ar、Ab和Ag用作渗色的评价值。第一梯度检测单元204和第二梯度检测单元205与 减少对象梯度检测单元相对应，并且第三梯度检测单元206与参考梯度检测单元相对应。将梯度信号Ar和Ag输入至第一减少系数计算单元207。将梯度信号Ab和Ag输 入至第二减少系数计算单元208。第一减少系数计算单元207基于将梯度信号kr与梯度信号Ag进行比较的结果、以及从控制电路107输出的基准倍率数据&ef，输出减少对象信号 R的渗色减少系数Er。第二减少系数计算单元208基于将梯度信号Ab与梯度信号Ag进行比较的结果、 以及从控制电路107输出的基准倍率数据&ef，输出减少对象信号B的渗色减少系数Eb。第一信号合成单元209接收渗色减少系数Er、参考信号G和减少对象信号R。第 一信号合成单元209通过根据渗色减少系数Er对参考信号G和减少对象信号R进行加权 组合来减少渗色，并输出通过对减少对象信号R进行渗色减少所获得的信号R’。第二信号合成单元210接收渗色减少系数Eb、参考信号G和减少对象信号B。第 二信号合成单元210通过根据渗色减少系数Eb对参考信号G和减少对象信号B进行加权 组合来减少渗色，并输出通过对减少对象信号B进行渗色减少所获得的减少对象信号B’。 照原样输出参考信号G，而未在第一信号合成单元209和第二信号合成单元210中对其进行 渗色减少。以下详细说明图2所示的组件。图3是示出第一梯度检测单元204的结构的示例 的框图。由于第一 第三梯度检测单元204 206包括共同的组件，因此在第二梯度检测 单元205和第三梯度检测单元206中，可以分别利用“B”和“b”以及“G”和“g”来替换以 下说明中的“R”和“r”。将输入信号R输入至作为空间滤波器的水平一次差分滤波器(primary horizontal differential filter) 301 和垂直一次差分滤波器 302。水平一次差分滤波器301是例如具有图4A所示的滤波器系数的3X3像素的 Sobel滤波器，并且检测以感兴趣像素为中心的正方形区域中所包括的像素的水平一次差 分值，即水平梯度Rh。垂直一次差分滤波器302是例如具有图4B所示的滤波器系数的3X3像素的 Sobel滤波器，并且检测以感兴趣像素为中心的正方形区域中所包括的像素的垂直一次差 分值，即垂直梯度Rv。由第一绝对值转换单元303和第二绝对值转换单元304将输出水平梯度Rh和输 出垂直梯度Rv分别转换成绝对值|Rh|和|Rv|，并将它们输入至合成单元305。合成单元305使用以下等式来合成水平梯度|Rh|和垂直梯度|Rv|，并输出梯度信 号Ar。Ar = | Rh | +1 Rv(1)等式1和图3表示用于减少硬件的计算负荷的简化合成计算。如果硬件的资源充 分，则期望通过使用以下等式计算水平梯度Rh和垂直梯度Rv的平方和的平方根来确定梯度。Ar = √(Rh2 +Rv2)(2)以下说明第一减少系数计算单元207和第二减少系数计算单元208的操作。第一减少系数计算单元207和第二减少系数计算单元208的操作和结构彼此相 同。仅要处理的信号不同。由于该原因，以下仅说明第一减少系数计算单元207，然而，对于 第二减少系数计算单元208，可以利用“B”和“b”来替换以下说明中的“R”和“r”。第一减少系数计算单元207接收参考信号G的梯度Ag和减少对象信号R的梯度 Ar。设置梯度Ag的阈值g_h和梯度Ar的阈值r_th。可以从外部电路(未示出)输入这些阈值。第一减少系数计算单元207确定感兴趣像素的位置的梯度属性以计算减少系数。 以下参考图5的流程图来说明第一减少系数计算单元207如何确定梯度属性。在步骤S401中，第一减少系数计算单元207将参考信号G的梯度Ag与阈值g_th 进行比较。如果g_th (步骤S401中为“是”)，则处理进入步骤S402。如果Ag<g_ th (步骤S401中为“否”)，则处理进入步骤S403。在步骤S 402中，第一减少系数计算单元207将参考信号G的梯度Ag与减少对象 信号R的梯度Ar进行比较。如果Ag彡Ar (步骤S402中为“是”)，则处理进入步骤S404。 如果Ag < Ar (步骤S402中为“否”)，则处理进入步骤S405。在步骤S403中，第一减少系数计算单元207将参考信号G的梯度Ag与减少对象 信号R的梯度Ar进行比较。如果Ag彡Ar (步骤S403中为“是”)，则处理进入步骤S406。 如果Ag < Ar (步骤S403中为“否”)，则处理进入步骤S407。在步骤S407中，第一减少系数计算单元207将减少对象信号R的梯度Ar与阈值 r_th进行比较。如果Ar彡r_th (步骤S407中为“是”)，则处理进入步骤S408。如果Ar < r_th (步骤S407中为“否”)，则处理进入步骤S409。例如，这种条件分支根据梯度Ag和Ar以及阈值g_th和r_th，如图6所示对目标 像素的梯度属性进行分类。如果处理进入步骤S404，则在图6的区域A中确定梯度属性。如果处理进入步骤 S405，则在图6的区域B中确定梯度属性。如果处理进入步骤S406，则在图6的区域C中确 定梯度属性。如果处理进入步骤S408，则在图6的区域D中确定梯度属性。如果处理进入 步骤S409，则在图6的区域E中确定梯度属性。假定在参考信号G的梯度Ag大于减少对象信号R的梯度Ar、并且参考信号G的梯 度Ag越大的区域中，产生渗色的可能性增大。另一方面，假定在参考信号G的梯度Ag小的 区域、以及参考信号G的梯度Ag —定程度地小于减少对象信号R的梯度Ar的区域中，产生 渗色的可能性低。以下参考图7A 7C来说明第一减少系数计算单元207如何确定渗色减少系数。在根据梯度属性所分类的各个区域A E中，例如，第一减少系数计算单元207使 用以下等式来表示作为梯度Ag和Ar以及阈值g_th和r_th的函数的渗色减少系数Er。区域 AEr = AgX a(3)区域 BEr = {(Ag-Ar) X 3 +Ar} X a(4)区域CEr = {(Ag_g_th) X 3 +g_th} X a(5)区域 DEr = {(Ag-Ar) X 3 +Ar} X a(6)区域 EEr = {(Ag-r_th) X 3 +r_th} X a(7)其中，如果Er < 0，则Er = 0，并且a和0可以是如下所述的任意变量。
如图7A 7C所示，由以上等式所表示的渗色减少系数Er具有根据阈值g_th和 r_th而变化的相对于Ag-Ar平面的三维特性。阶梯式地设置减少系数Er，以使得在产生渗 色的可能性较高的像素的位置处渗色减少的程度增强(值增大)，并且在产生渗色的可能 性较低的像素的位置处渗色减少的程度减弱(值减小)。图7B的特性中阈值g_th和r_th的增大使轴Ag和轴Ar的方向上Er = 0的区域 增大，如图7A所示。换言之，使梯度Ag和Ar低的区域中的渗色减少效果低于图7B的特性 中的渗色减少效果，这样可以抑制例如颜色边缘处的误操作。另一方面，图7B的特性中阈值g_th和r_th的减小使轴Ag和轴Ar的方向上Er =0的区域减小，如图7C所示。换言之，即使在梯度Ag和Ar低于图7B的特性中的梯度Ag 和Ar的区域中，也可以更加容易地减少渗色，这样可以更加容易地对低梯度部分进行渗色 减少。在等式3 7中，a和0是用于调整渗色减少的强度的变量。可以由a来调整 减少系数Er的输出增益。3的值越大，图7A 7C所示的特性的上升(S卩，梯形体的斜面 的角度)越陡，使得可以控制渗色减少系数相对于梯度Ag和Ar的增加率。除阈值的值以 外，可以控制不进行减少的区域(即，Er = 0的区域)的大小。因而，调整阈值g_th和r_th以及变量a和0的值，使得能够从低梯度到高梯度 减少渗色，从而避免针对颜色边缘的误操作。在本典型实施例中，不仅将从控制电路107输出的倍率数据Z预先输入至调整大 小电路106，而且预先输入至第一减少系数计算单元207和第二减少系数计算单元208。第 一减少系数计算单元207和第二减少系数计算单元208根据从控制电路107接收到的倍率 数据Z分别改变阈值g_th和r_th以及阈值g_th和b_th。如果将表示电子变焦倍率的值作为MAG (0 < MAG彡256)，则例如，可以使用以下等 式根据MAG来获取倍率数据Z。Z = 256-(256/MAG)(8)基于输入至调整大小电路106的图像数据的大小、以及根据来自用户的指令或显 示设备的屏幕大小所确定的输出图像数据的大小，确定电子变焦倍率的基准值MAGref。在 用MAGref代替等式8中的MAG时作为Z所获取到的值被当作基准倍率数据Zref，并且控制 电路107存储该基准倍率数据。基准倍率数据表示由图像传感器102的图像数据读取方法所确定的模拟图 像数据的大小和预先设置的输出图像数据的大小。如果输出图像数据的大小大于输入至调整大小电路106的图像数据的大小，则 MAGref的值不小于1. 0，使得根据等式8基准倍率数据变为正值。另一方面，如果输出图像数据的大小小于输入至调整大小电路106的图像数据的 大小，则MAGref的值小于1. 0。使得根据等式8基准倍率数据变为负值。当对进行了渗色减少处理的图像进行扩大处理时，尽管未产生渗色但由于误判断 而减少了渗色的区域、以及尽管产生了渗色但未减少渗色的区域这两者均被扩大。如上所 述，与渗色保留的区域相比，渗色被错误地减少的区域的不自然可能更加明显。因此，对阈值g_th和r_th进行设置，使得倍率数据Z越大，如图7A所示作为评价 值的梯度信号Ar和Ag的Er = 0的范围越宽。这降低了对未产生渗色的区域进行渗色减少的可能性。为了对产生渗色的可能性高的区域进行充分的渗色减少，变量α和β被设 置成使渗色减少系数的增加率增大。对阈值g_th和r_th进行设置，使得倍率数据Z越小，如图7C所示作为评价值的 梯度信号Ar和Ag的Er = 0的范围越窄。因而，倍率数据Z越小，渗色减少对象区域越宽。可选地，倍率数据Z越小，渗色减少的程度增大的区域越宽。结果，这可能使未产 生渗色但进行了渗色减少的区域增大，然而，图像数据的倍率小使得该区域不明显。
此外，进行了减少处理的渗色区域大于错误地进行了减少处理的区域，这使整个 图像数据的画质提高。变量α和β被设置成使渗色减少系数的增加率减小，由此对产生 渗色的可能性看上去不高的区域进行适度的渗色减少。图8示出阈值g_th和r_th作为倍率数据Z的函数而增加的特性。假定基准倍率 数据Zrefl的值小于基准倍率数据Zref2的值。如上所述，基于输入至调整大小电路106的图像数据的大小相对于根据显示设备 的屏幕大小确定的输出图像数据的大小的比，确定基准倍率数据&efl和&ef2。可以通过 用户进行使输出图像数据的大小大于显示设备的屏幕大小的操作，使倍率数据Z变为大于 基准倍率数据&ef的值。如图8所示，当基准倍率数据小时，即使输出图像数据一定程度地增大并且 产生错误地进行了渗色减少的区域，该区域也不明显。由于该原因，在错误地进行了渗色减 少的区域不明显时，阈值g_th和r_th未大幅增加。在错误地进行了渗色减少的区域变得 明显之后，阈值g_th和r_th显著增加。另一方面，当基准倍率数据大时，如果产生错误地进行了渗色减少的区域， 则该区域已经明显。由于该原因，阈值g_th*r_th已被设置为大的值，并且根据倍率数据 Z的增加而显著增加。图9是示出第一信号合成单元209和第二信号合成单元210的结构的示例的框 图。第一信号合成单元209和第二信号合成单元210的操作和结构彼此相同。仅要处 理的信号不同。由于该原因，以下仅说明第一信号合成单元209，然而，对于第二信号合成单 元210，可以利用“B”和“b”分别替换以下说明中的“R”和“r”。在标准化单元501中，利用预定的(或从外部输入的)标准化水平Srnorm对由第 一减少系数计算单元207输出的渗色减少系数Er进行标准化。由限制器502限制标准化 后的渗色减少系数Er，使得该值不超过1. 0从而成为合成系数Sr。减法器503从参考信号G减去减少对象信号R。乘法器504将相减结果(G-R)乘 以合成系数Sr。加法器505将减少对象信号R与(G-R) XSr相加，并且输出通过对减少对 象信号R进行渗色减少所获得的信号R’。可以由以下等式来表示第一信号合成单元209的计算处理R' = SrX (G-R)+R (9)其中，Sr= Er/Srnorm，如果 Sr > 1. 0，则 Sr = 1. 0。使合成系数Sr与参考信号G以合成系数Sr越高、参考信号G越高的比混合，以降 低减少对象信号R的颜色饱和度，结果可以提供感兴趣位置的图像中的减少对象信号R接 近参考信号G的效果。
第二信号合成单元210对减少对象信号B进行相同的处理，使合成系数Sb与参考 信号G以合成系数Sb越高、参考信号G越高的比混合，从而降低减少对象信号B的颜色饱 和度，结果可以提供感兴趣位置的图像中的减少对象信号B接近参考信号G的效果。根据本典型实施例，各感兴趣像素的梯度属性根据参考信号的梯度和减少对象信 号的梯度与为各个梯度预先设置的阈值之间的关系而被分割成多个区域。针对感兴趣像素 的各颜色信号计算与包括梯度属性的区域对应的渗色减少系数。这在抑制对原本未产生渗色的颜色边缘部分错误地进行渗色校正的问题的同时， 缓和了在检测低梯度区域中所产生的渗色时失败使渗色校正不充分的问题。
进行了渗色减少的图像数据中渗色减少的程度根据位于渗色减少电路104后级 的调整大小电路106中的图像数据的变倍率而变化。因而，即使发生了误校正，也可以在不 使该误校正明显的情况下有效地校正渗色。根据本典型实施例，尽管将G作为参考信号并且将R和B作为减少对象信号，但本 典型实施例不限于此。例如，可以将从具有R、G和B颜色成分的视频信号获取的亮度成分 的视频信号Y作为参考信号，可以将具有R、G和B颜色成分的视频信号作为减少对象信号， 并且可以使参考信号Y与减少对象信号R、G和B混合。以上给出了倍率数据Z连续增加从而使阈值g_th和r_th连续增加的例子，然而 本典型实施例不限于以上例子。例如，可以使倍率数据Z从第一值变为比第一值大的第二 值以使阈值g_th和r_th增加。例如，如果倍率数据Z小于基准值，则可以设置第一阈值g_th*r_th，并且如果倍 率数据Z不小于基准值，则可以设置比第一阈值g_th和r_th大的第二阈值g_th和r_th。以下说明本发明的第二典型实施例。本典型实施例与第一典型实施例的不同之处 在于图1中的渗色减少电路104的结构，因此仅说明不同的部分。图10是示出图1所示的渗色减少电路104的另一结构的框图。从图2去除插值 单元201 203，并且作为代替，设置低通滤波器(LPF) 601 606和频带控制单元607。与插值单元201 203的情况相同，LPF 601 606进行插值处理以向所有的像素 位置设置R、G和B的各个值。对于输出被输入至第一梯度检测单元204、第二梯度检测单 元205和第三梯度检测单元206的LPF 601、LPF 603和LPF 602，由频带控制单元607来 限制频带。频带控制单元607根据倍率数据Z的值改变LPF 601 603的频带。更具体地， 倍率数据Z的值越大，即图像数据的放大率越大，使频带朝低频侧越窄。倍率数据Z的值越 小，即图像数据的放大率越小，使频带朝高频侧越宽。这意味着，图像数据的放大率越大，即输出图像数据中的倍率数据Z的值越大，使 LPF 601 603的频带朝低频侧越窄，这使图像数据的边缘部分变钝。这降低了受噪声对梯 度的影响而误判断为渗色区域的可能性。在本典型实施例中，频带控制单元607根据倍率数据Z对LPF 601 603设置三 种不同的频带。图IlA示出频带控制单元607根据倍率数据Z所选择的频带编号。图IlB 示出各个频带编号的频率特性。图IlA和IlB所示的LPF的频率特性是例子，并且要选择的频带编号的数量可以 大于该数量。代替选择预先准备的频带编号，频带控制单元607可以根据倍率数据Z计算频率特性。
除第一典型实施例的结构以外，本典型实施例具有以下结构在对输入至梯度检 测单元的图像数据应用LPF时，倍率数据Z的值越大，使LPF的频带朝低频侧越窄。因而， 图像数据被扩大的程度越大，受噪声对梯度的影响而误判断为渗色区域的可能性越低，从 而可以抑制渗色被错误地减少的区域扩大。以下说明本发明的第三典型实施例。本典型实施例与第一典型实施例的不同之处 在于图1中的渗色减少电路104的结构，因此仅说明不同的部分。如日本特开2003-102027号公报所论述的，本典型实施例使用减少对象信号R和 减少对象信号B之间的差的变化程度。在本典型实施例中，根据减少对象信号R和减少对 象信号B之间的差的变化程度输出渗色减少系数Erb。图12是示出图1所示的渗色减少电路104的又一结构的框图。从图2去除梯度 检测单元204 206以及第一减少系数计算单元207和第二减少系数计算单元208，并且作 为代替，设置减法器701、差变化率检测单元702和减少系数计算单元703。 减法器701针对各像素获取由第一插值单元201插值后的减少对象信号R和由第 二插值单元202插值后的减少对象信号B之间的差ARB，并且将该差ARB输出至差变化率 检测单元702。如果将水平方向作为X、将垂直方向作为y、并且由ARB(X，y)来表示减少对象像 素之间的差Δ RB的值，则差变化率检测单元702使用以下等式10来获取像素中的差变化 率Diff。Diff = 8 X Δ RB (χ, y) - ( Δ RB (χ-l, y+1) + Δ RB (χ, y + 1) + Δ RB (χ + 1, y+l) + ARB(x-l, y) +Δ RB (χ+1, y) + ARB(x-l, y-l) + ARB(x, y-1) + Δ RB (χ+1, y-1)) (10)减少系数计算单元703接收差变化率DifT并计算渗色减少系数Erb。换言之，本 典型实施例使用差变化率DifT作为渗色评价值。减法器701和差变化率检测单元702形 成评价值计算单元。更具体地，减少系数计算单元703根据以下等式11 13来计算渗色减少系数 Erb0如果Diff < D_thl，则 Erb = 0(11)如果D_thl ^ Diff ^ D_th2，贝丨J Erb = Diff/(D_th2_D_thl) (12)如果D_th2 < Diff，则 Erb = 1(13)如图13A 13C所示，由以上等式所表示的渗色减少系数Erb根据阈值0_让1和0_ th2而变化。如果使阈值D_thl和D_th2大于图13B中的阈值D_thl和D_th2，则如图13A 所示Erb = ο的范围扩大。换言之，与图13B的特性相比，在差ARB的差变化率小的区域 中，渗色减少效果降低，从而可以抑制例如颜色边缘处的误操作。另一方面，如果使阈值D_thl和D_th2小于图13B中的阈值D_thl和D_th2，则如 图13C所示Erb = O的范围减小。换言之，与图13B的特性相比，即使在差ARB的差变化 率小的区域中，也可以容易地减少渗色。在本典型实施例中，对阈值D_thl和D_th2进行设置，使得倍率数据Z越大，如图 13A所示Erb = 0的范围越宽，由此降低了对未产生渗色的区域进行渗色减少的可能性。
另一方面，对阈值D_thl和D_th2进行设置，使得倍率数据Z越小，如图13C所示 Erb = 0的范围越窄，由此使渗色减少的区域增大。结果，这可能使未产生渗色但进行了渗 色减少的区域增大，然而，图像数据的倍率小使得该区域不明显。此外，进行了减少处理的渗色区域大于错误地进行了减少处理的区域，这使整个 图像数据的画质提高。阈值D_thl和D_th2之间的差被设置为略大，以减小渗色减少系数 的增加率，使得对产生渗色的可能性看上去不高的区域进行适度的渗色减少。与第一典型实施例的情况相同，第一信号合成单元209和第二信号合成单元210 接收减少系数Erb，并输出通过对减少对象信号R进行渗色减少所获得的信号R’和通过对 减少对象信号B进行渗色减少所获得的信号B’。因而，可以将进行了渗色减少的图像数据中渗色减少的程度根据该图像数据的变 倍率而变化的结构应用于根据不同的减少对象信号之间的差的变化率计算渗色减少系数 的结构。 以下说明本发明的第四典型实施例。如图14所示，代替图1中的调整大小电路， 根据本典型实施例的数字照相机800包括能够自由改变压缩率以改变图像数据的大小的 压缩电路806。在第一至第三典型实施例中，由调整大小电路根据图像数据的变倍率来改变进行 了渗色减少的图像数据中渗色减少的程度。另一方面，在本典型实施例中，由压缩电路806 根据图像数据的压缩率来改变进行了渗色减少的图像数据中渗色减少的程度。如果图像数据的压缩率大、并且该图像数据的大小小，则即使发生误校正，由于与 误校正的区域有关的信息少，因此该误校正的区域也不明显。另一方面，如果图像数据的压 缩率小、并且该图像数据的大小大，则如果发生误校正，由于留下了与误校正的区域有关的 大量信息，因此该误校正的区域可能明显。换言之，在第一典型实施例中，尽管渗色减少电路104从控制电路107接收基准倍 率数据，但在本典型实施例中，渗色减少电路104从压缩电路806接收表示图像数据的 压缩率的压缩率数据Cref。渗色减少电路104设置阈值g_th和r_th，使得压缩率数据Cref越小(压缩率越 小)，如图7A所示作为评价值的梯度信号Ar和Ag的Er = 0的范围越宽。这降低了对未产 生渗色的区域进行渗色减少的可能性。为了对产生渗色的可能性高的区域进行充分的渗色减少，变量α和β被设置为 使渗色减少系数的增加率增大。对阈值g_th和r_th进行设置，使得压缩率数据Cref越大(压缩率越大)，如图 7C所示作为评价值的梯度信号Ar和Ag的Er = 0的范围越窄。因而，倍率数据Z越小，渗 色减少的区域越宽。可选地，压缩率数据Cref越大，渗色减少的程度增大的区域越宽。结果，这可能使未产生渗色但进行了渗色减少的区域增大，然而，由于图像数据的 压缩率高因而该图像数据减小，从而使该区域不明显。可以由系统或设备以及照相机的计算机(或CPU或MPU)以软件方式来实现这些 典型实施例。从存储介质或通过有线/无线通信接收图像数据，并且可以对该图像数据进 行渗色减少和调整大小处理。提供至计算机以实现以上典型实施例的计算机程序自身实现了本发明。可以将用于实现以上典型实施例的计算机程序存储在计算机可读存储介质中。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的
典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
权利要求
一种图像处理设备，包括评价值计算单元，用于从图像数据获取评价值；减少系数计算单元，用于基于所述评价值计算减少系数；减少单元，用于基于所述减少系数对所述图像数据进行图像处理，以减少所述图像数据中要减少渗色的对象区域中的渗色；以及大小改变单元，用于改变所述图像数据的大小；其中，所述减少系数计算单元用于在所述评价值超过阈值时，计算所述减少系数，使得减少所述图像数据中要减少渗色的对象区域中的渗色，以及其中，所述阈值被设置成使得在所述大小改变单元将所述图像数据的大小设置为比第一值大的第二值的情况下不计算所述减少系数的所述评价值的范围，宽于在所述大小改变单元将所述图像数据的大小设置为所述第一值的情况下不计算所述减少系数的所述评价值的范围。
2.根据权利要求1所述的图像处理设备，其特征在于，所述减少系数计算单元用于在所述评价值超过阈值时，计算所述减少系数，使得所述 评价值越大，所述减少系数越大，并且用于计算所述减少系数，使得在所述大小改变单元将 所述图像数据的大小设置为所述第二值的情况下相对于所述评价值的增加率的所述减少 系数的增加率，大于在所述大小改变单元将所述图像数据的大小设置为所述第一值的情况 下相对于所述评价值的增加率的所述减少系数的增加率。
3.根据权利要求1所述的图像处理设备，其特征在于，所述评价值计算单元包括梯度检测单元，所述梯度检测单元用于从所述图像数据检测 要作为参考信号使用的亮度成分或颜色成分的图像数据的梯度，输出所述参考信号的梯度 作为所述评价值之一，从所述图像数据检测要减少的颜色成分的图像数据的梯度，并输出 减少对象信号的梯度作为所述评价值之一，以及所述减少系数计算单元用于根据所述参考信号的梯度和所述减少对象信号的梯度之 间的关系，计算所述减少系数。
4.根据权利要求3所述的图像处理设备，其特征在于，所述减少系数计算单元用于使用针对根据所述参考信号的梯度和所述减少对象信号 的梯度预先确定的多个区域中的每个区域所定义的函数，计算所述减少系数。
5.根据权利要求1所述的图像处理设备，其特征在于，还包括频带控制单元，所述频带 控制单元用于将在所述大小改变单元将所述图像数据的大小设置为所述第二值的情况下 所述图像数据的高频侧的频带，限制为窄于在所述大小改变单元将所述图像数据的大小设 置为所述第一值的情况下所述图像数据的高频侧的频带，其中，所述评价值计算单元用于从由所述频带控制单元限制了频带的图像数据获取所 述评价值。
6.一种图像处理设备，包括评价值计算单元，用于从图像数据获取评价值；减少系数计算单元，用于基于所述评价值计算减少系数；减少单元，用于基于所述减少系数对所述图像数据进行图像处理，以减少所述图像数 据中要减少渗色的对象区域中的渗色；以及大小改变单元，用于改变所述图像数据的大小；其中，所述减少系数计算单元用于计算所述减少系数，使得即使从所述图像数据获取 的评价值相同，也使在所述大小改变单元将所述图像数据的大小设置为比第二值小的第一 值的情况下在减少对象区域中减少渗色的程度，大于在所述大小改变单元将所述图像数据 的大小设置为所述第二值的情况下在减少对象区域中减少渗色的程度。
7.根据权利要求6所述的图像处理设备，其特征在于，所述评价值计算单元包括梯度检测单元，所述梯度检测单元用于从所述图像数据检测 要作为参考信号使用的亮度成分或颜色成分的图像数据的梯度，输出所述参考信号的梯度 作为所述评价值之一，从所述图像数据检测要减少的颜色成分的图像数据的梯度，并输出 减少对象信号的梯度作为所述评价值之一，以及所述减少系数计算单元用于根据所述参考信号的梯度和所述减少对象信号的梯度之 间的关系，计算所述减少系数。
8.根据权利要求7所述的图像处理设备，其特征在于， 所述减少系数计算单元用于使用针对根据所述参考信号的梯度和所述减少对象信号 的梯度预先确定的多个区域中的每个区域所定义的函数，计算所述减少系数。
9.根据权利要求6所述的图像处理设备，其特征在于，还包括频带控制单元，所述频带 控制单元用于将在所述大小改变单元将所述图像数据的大小设置为所述第二值的情况下 所述图像数据的高频侧的频带，限制为窄于在所述大小改变单元将所述图像数据的大小设 置为所述第一值的情况下所述图像数据的高频侧的频带，其中，所述评价值计算单元用于从由所述频带控制单元限制了频带的图像数据获取所 述评价值。
10.一种图像处理方法，包括以下步骤使用评价值计算单元从图像数据获取评价值；使用减少系数计算单元基于所述评价值计算减少系数；使用减少单元基于所述减少系数对所述图像数据进行图像处理，以减少所述图像数据 中要减少渗色的对象区域中的渗色；以及使用大小改变单元改变所述图像数据的大小；其中，所述减少系数计算单元用于在所述评价值超过阈值时，计算所述减少系数，使得 减少所述图像数据中要减少渗色的对象区域中的渗色，并且将所述阈值设置成使得在所述 大小改变单元将所述图像数据的大小设置为比第一值大的第二值的情况下不计算所述减 少系数的所述评价值的范围，宽于在所述大小改变单元将所述图像数据的大小设置为所述 第一值的情况下不计算所述减少系数的所述评价值的范围。
11.一种图像处理方法，包括以下步骤使用评价值计算单元从图像数据获取评价值；使用减少系数计算单元基于所述评价值计算减少系数；使用减少单元基于所述减少系数对所述图像数据进行图像处理，以减少所述图像数据 中要减少渗色的对象区域中的渗色；以及使用大小改变单元改变所述图像数据的大小；其中，所述减少系数计算单元用于计算所述减少系数，使得即使从所述图像数据获取的评价值相同，也使在所述大小改变单元将所述图像数据的大小设置为比第二值小的第一值的情况下在减少对象区域中减少渗色的程度，大于在所述大小改变单元将所述图像数据 的大小设置为所述第二值的情况下在减少对象区域中减少渗色的程度。
全文摘要
本发明涉及图像处理设备和图像处理方法。该图像处理设备包括评价值计算单元，用于从图像数据获取评价值；减少系数计算单元，用于基于所述评价值计算减少系数；减少单元，用于基于所述减少系数对所述图像数据进行图像处理，以减少所述图像数据中的对象区域中的渗色；以及大小改变单元，用于改变所述图像数据的大小。该减少系数计算单元在评价值超过阈值时，计算减少系数，以减少图像数据中的对象区域中的渗色。该阈值被设置成使得在大小改变单元将图像数据的大小设置为比第一值大的第二值时不计算减少系数的评价值的范围，宽于在大小改变单元将图像数据的大小设置为第一值时不计算减少系数的评价值的范围。
文档编号H04N9/04GK101867826SQ20101014976
公开日2010年10月20日 申请日期2010年4月15日 优先权日2009年4月15日
发明者太田诚 申请人:佳能株式会社