图像处理装置和图像处理方法

专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及用于进行图像的灰度补正的、例如用于数码相机等的拍摄装置的适宜 的图像处理技术。
背景技术：
现在，例如日本公开专利公报2003-116049号中，作为拍摄装置的曝光控制技术， 提出使用亮度等级低的区域的亮度等级和其它区域的亮度等级，检测表示逆光程度的逆光 度，根据此逆光度，设定灰度补正用的增益(gain)使亮度等级低的区域的亮度等级提高的 技术。根据相关的现有技术，即使在逆光的情况下也能够恰当地控制曝光，其结果是在 拍摄的图像上可确保良好的灰度。然而，上述的现有技术中，对于图像上的亮度等级相同的多个区域，进行与各个区 域的颜色无关的、根据应用相同值的增益(gain)的曝光控制的灰度补正。由此，即使将上 述现有技术应用于数码相机，也不能对拍摄图像的每种颜色进行灰度补正，灰度补正后的 图像也不一定成为反映普遍用户喜好的每种颜色的亮度的图像。

发明内容
本发明目的在于，对拍摄图像等图像，进行适应于众多用户喜好的每个颜色的恰 当的亮度补正。为达到上述目的，本发明的图像处理装置，其特征在于具有颜色相似程度判定单 元，基于成为灰度补正处理对象的图像中设定的多个块区域的各块区域中的各像素的颜色 信息，判定所述各块区域的整体色调与特定颜色相似的程度；补正倍数设定单元，对成为所 述灰度补正处理对象的图像的像素，设定与由所述颜色相似程度判定单元所判定的相似程 度相应的补正倍数；和灰度补正单元，基于由所述补正倍数设定单元对各像素设定的补正 倍数，补正成为所述灰度补正处理对象的图像的像素的亮度。另外，本发明的图像处理方法，其特征在于，包括判定步骤，分别对于成为灰度补 正处理对象的图像中设定的多个块区域，基于各块区域中的各像素的颜色信息，判定各块 区域的整体色调与特定颜色相似的程度；设定步骤，对成为所述灰度补正处理对象的图像 的像素，个别地设定与对各像素所对应的所述块区域所判定的颜色相似程度对应的补正倍 数；和补正步骤，基于所述设定步骤中对各像素设定的补正倍数，补正成为所述灰度补正处 理对象的图像的像素的亮度。


图1是表示应用本发明的数码照相机的硬件结构的一个例子的模块图。图2是表示应用本发明的数码照相机的功能模块图。图3是表示图像处理部的主要部分的功能模块图。
图4A是举例说明成为灰度补正处理对象的图像的块区域的图。图4B是表示成为灰度补正处理对象的图像的块区域的周边像素的补正用增益的 计算方法的图。图5是表示成为灰度补正处理对象的图像的块区域的周边像素的补正用增益的 具体的计算方法的图。图6是表示对于平均明度值的变化的标准增益等级的变化特性的一个例子的说 明图。图7是表示由图像处理部的灰度补正处理的增益设定处理的流程图。图8是表示增益设定处理的颜色相似程度判定处理的流程图。图9是表示颜色相似程度判定处理的肤色相似程度判定处理的流程图。图10是表示颜色相似程度判定处理的绿色相似程度判定处理的流程图。图11是表示颜色相似程度判定处理的蓝色相似程度判定处理的流程图。图12是表示增益设定处理的肤色增益补正处理的流程图。图13是表示增益设定处理的绿色增益补正处理的流程图。图14是表示增益设定处理的蓝色增益补正处理的流程图。
具体实施例方式以下对应用了本发明的实施方式，参照附图进行说明。图1为表示作为本发明的 实施方式示例的数码照相机(以下简称数码相机)1的硬件结构的概略的模块图。如图1所示，数码相机1具有用于拍摄被摄体的CXD (电荷耦合器件Charge Coupled Device) 2 (XD2在被摄体的光学像通过未图示的光学系统而成像的感光面上， 具有设有拜尔(《^ ^ 一)阵列等具有指定的颜色阵列的彩色滤光片的构造。(XD2通 过由从水平/垂直驱动器3所提供的水平和垂直传输用的驱动信号的驱动，将所述被摄 体的光学像变换为电信号，变换后的电信号作为拍摄信号，提供给由CDS(相关双采样 CorrelatedDouble Sampling)电路、禾口 A/D 变换器(Analog-to—Digital converter)所构 成的CDS/AD电路4。所述水平/垂直驱动器3，通过基于TG (时序发生器Timing Generator) 5所生成 的时序信号的工作，生成上述的水平和垂直传输用的驱动信号，驱动所述CCD2。另外，TG5 所生成的时序信号还提供给所述⑶S/AD电路4。⑶S/AD电路4，通过基于从TG5所提供的时 序信号的工作，除去CCD2所输出的拍摄信号中含有的噪声。然后，CDS/AD电路4将除去噪 声后的拍摄信号变换为数字信号，变换后的数字信号提供给DSP (数字信号处理器Digital Signal Processor)60DSP6具有用于处理由从所述⑶S/AD电路4所提供的、且有各个单一颜色信息的像 素的数据所组成的数字信号的缓冲用的存储器6a的结构。DSP6对从CDS/AD电路4所提供 的数字信号，通过从各像素的周边像素插补各个像素的不足的颜色信息，进行对每个像素 生成具有R(红)、G(绿)、B(蓝)的颜色信息的RGB数据的去马赛克(de-mosaic)处理。另外，DSP6进行对由去马赛克处理所生成的RGB数据所表示的图像的灰度补正处 理、对灰度补正处理后的RGB数据的白平衡调整处理、伽马补正处理、各种滤波处理、和将 RGB数据变换为对每个像素的由亮度成分(Y)和2个色差成分(Cb、Cr)所表示的YUV数据的YUV变换处理等的数字信号处理等。此外，对上面的灰度补正处理的详情后述。另外，DSP6将进行了上面的数字信号处理后的YUV数据，依次提供给SDRAM(同步 动态随机存储器 Synchronous dynamic random-accessmemory) 7。SDRAM7 临时存储从 DSP6 所提供的YUV数据。进一步地，DSP6在数码相机1为记录模式的状态下，每当在所述SDRAM7中存储1 帧的YUV数据时，就读出YUV数据，提供给LCD (液晶显示器Liquid Crystal Display) 8。IXD8由未图示的液晶显示器和驱动液晶显示器的驱动电路等构成。IXD8将基于 从DSP6所提供的YUV数据的图像在液晶显示器的画面上显示为实时取景图像。另一方面，所述TG5和DSP6，通过总线(bus) 13与CPU(中央处理单元Central Processing Unit)9 连接，TG5 和 DSP6 的工作由 CPU9 控制。CPU9通过根据存储内容可改写的EEPROM(电可擦可编程只读存储器Electric Erasable Programming Read Only Memory)即闪存10中存储的程序的工作，控制数码相机 1整体的工作。另外，CPU9在数码相机1为记录模式的状态下，还有在拍摄时，将SDRAM7中临时 存储的YUV数据由JPEG (联合图像专家组JointPhotographic Expert Group)方式等规定 的压缩方式进行压缩，压缩后的YUV数据作为图像文件记录至外部存储器11。所述外部存 储器11是通过未图示的卡接口与总线13连接的在相机机身上可自由拆装的存储卡。另外，CPU9在数码相机1为再现模式时，根据需要从外部存储器11读出规定的图 像文件(压缩状态的YUV数据)，并且解压所读出的数据，在SDRAM7中展开。进一步地CPU9 通过将在SDRAM7中展开的YUV数据通过DSP6提供给IXD8，使IXD8显示记录图像。所述总线13连接按键输入部12。按键输入部12由用户对数码相机1的操作所需 要的各种操作按键，如电源按键、快门按键、用于设定记录模式、再现模式的模式设定按键 等构成。而且，CPU9依次检测按键输入部12的各个操作按键的操作状态，基于检测出的操 作状态，根据判断出的用户的要求，根据所述程序实施各种处理。图2是所述数码相机1的结构以功能类别表示的功能模块图。如图2所示数码相 机1，由作为主体的拍摄部51、和图像处理部52、控制部53、工作用存储器54、程序存储器 55、图像记录部56、显示部57、操作部58所构成。各个功能模块，如后面所述，由图1所示的一个或多个硬件所构成。拍摄部51由 (XD2、水平/垂直驱动器3、⑶S/AD电路4、和TG5所构成，是拍摄被摄体、获取拍摄图像的 功能部分。另外，图像处理部52由DSP6所构成，是对拍摄图像实施前面所述各种图像处理 的功能部分。控制部53由CPU9所构成。另外，工作用存储器54由SDRAM7所构成。程序 存储器55由闪存10所构成。另外，图像记录部56由外部存储器11所构成。显示部57由 LCD8所构成。操作部58由前面所述按键输入部12所构成。图3是所述图像处理部52的主要部分，是表示用于对以由去马赛克(de-mosaic) 处理而生成的RGB数据表示的图像进行灰度补正处理的功能部分的详情的功能模块图。如 图3所示，所述图像处理部52具有图像缓冲器101、HSV变换部102、标准增益计算部103、 颜色相似程度判定部104、增益设定部105、和灰度补正部106。所述图像缓冲器101是由前面所述存储器6a(参照图1)所构成的功能部分，存储 由去马赛克处理所生成的RGB数据(RGB_in)。
所述HSV变换部102读出图像缓冲器101中存储的RGB数据，将读出的RGB数据 变换为由色相(hue)、饱和度(saturation)、明度(value)所定义的HSV颜色空间的HSV数 据。详细来说，HSV变换部102将每个像素的R、G、B的各颜色分量值，变换为每个像素的色 相值(H)、饱和度值⑶和明度值(V)的各分量值。由HSV变换部102所变换的各分量值， 色相值(H)为0 359的范围的值，饱和度值⑶和明度值(V)为0 255的范围的值。另外，HSV变换部102把成为灰度补正处理对象的图像分割为事先决定的多个块 区域(分割区域)，对每个分割的块区域，以区域内的所有像素为对象，分别计算出HSV数据 的各分量(H、S、V)的平均值、也就是平均色相值(H_av)、平均饱和度值(S_av)和平均明度 值(V_av)。此外，以下的说明中，平均色相值(H_av)、平均饱和度值(S_av)和平均明度值 (V_av)统一称为分量别平均值。图4A为示例在HSV变换部102在所述分量别平均值(H_av、S_av、V_av)的计算 时作为对象的、成为灰度补正处理对象的图像200的各个块区域200a的图。如图4A所示， HSV变换部102的作为对象的各个块区域200a，是例如通过将成为灰度补正处理对象的图 像200分割为纵8 X横8的64块而设定的各个区域。然后，HSV变换部102在将各块区域的分量别平均值(H_av、S_av、V_av)提供给所 述颜色相似程度判定部104的同时，只将各块区域的平均V值(V_av)提供给所述标准增益 计算部103。所述标准增益计算部103，作为标准倍数获取单元而工作。所述标准增益计算部 103，以从HSV变换部102提供的所述每个块区域的平均明度值(V_av)作为参数，使用由事 先决定的下面的公式所表示的给定的增益函数f_gain (V_av)分别对每个块区域计算成为灰度补正处理对象的图像的成为各像素的亮度的补 正标准的标准增益(G_lev)。然后，所述标准增益计算部103提供计算结果给后述的标准增 益补正部121。标准增益计算部103在各块区域的标准增益的计算时所使用的上述增益函数，基 本上是具有平均明度值(V_av)越低而标准增益(G_lev)就越高、且平均明度值(V_av)越 高而标准增益(G_lev)就越低的补正特性的函数。更具体而言，所述增益函数是对于平均 明度值(V_av)的变化，而标准增益(G_lev)如例如图6A、图6B所示而变化的函数。所述颜色相似程度判定部104，如图3所示由颜色判定部111和相似程度判定部 112所构成。进一步地相似程度判定部112由肤色相似程度判定部112a、绿色相似程度判 定部112b、和蓝色相似程度判定部112c所构成，作为颜色相似程度判定单元而工作。所述颜色判定部111，基于从HSV变换部102提供给的平均色相值(H_av)，根据 规定的颜色判定标准，判定前面所述成为灰度补正处理的对象的图像的各块区域的整体色 调，相当于事先决定的颜色——肤色、绿色、蓝色和肤色、绿色、蓝色以外的颜色当中的哪个 颜色。然后颜色判定部111把表示颜色的判定结果的颜色判定数据(c_judg)提供给所述 相似程度判定部112、和后述的标准增益补正部121。此外，对颜色判定部111的颜色判定 标准的详情后述。所述相似程度判定部112，基于从HSV变换部102所提供的各块区域的分量别平均 值(H_av、S_av、V_av)、和从颜色判定部111所提供的颜色判定数据(C_judg)，以成为灰度补正处理对象的图像的各个块区域作为处理对象块。然后在由颜色判定部111所判定的颜 色为肤色、绿色和蓝色的其中之一的颜色时，所述相似程度判定部112，在肤色相似程度判 定部112a、绿色相似程度判定部112b和蓝色相似程度判定部112c分别判定处理对象块的 判定的颜色的相似程度，也就是处理对象块的整体色调与指定颜色(肤色、绿色、蓝色的其 中之一)相似的程度。即在相似程度判定部112中，由颜色判定部111所判定的颜色为肤色时，肤色相似 程度判定部112a根据对应于肤色的规定的相似程度判定标准，判定处理对象块的整体色 调的作为肤色的相似程度。另外，在相似程度判定部112中，由颜色判定部111所判定的颜 色为绿色时，绿色相似程度判定部112b根据对应于绿色的规定的相似程度判定标准，判定 处理对象块的整体色调的作为绿色的相似程度。另外，在相似程度判定部112中，由颜色判 定部111所判定的颜色为蓝色时，蓝色相似程度判定部112c根据对应于蓝色的规定的相似 程度判定标准，判定处理对象块的整体色调的作为蓝色的相似程度。此外，对于肤色相似程度判定部112a、绿色相似程度判定部112b、和蓝色相似程 度判定部112c判定各种颜色(肤色、绿色、蓝色)的相似程度时的相似程度判定标准的详 情后述。然后，相似程度判定部112，在由颜色判定部111所判定的颜色为肤色、绿色、和蓝 色的其中之一的颜色时，表示由肤色相似程度判定部112a、绿色相似程度判定部112b、和 蓝色相似程度112c的其中之一所判定的颜色的相似程度的颜色相似程度数据(C_lev)提 供给所述增益设定部105。所述增益设定部105，如图3所示由标准增益补正部121和增益计算部122所构 成，作为补正倍数设定单元而工作。标准增益补正部121，基于从所述颜色判定部111所提供的颜色判定数据(C_ judg)、和从所述相似程度判定部112所提供的颜色相似程度数据(C_lev)，补正从所述标 准增益计算部103所提供的、成为灰度补正处理对象的图像的每个块区域的标准增益(G_ lev)。然后，标准增益补正部121通过向增益计算部122提供补正后的标准增益，作为代表 补正倍数获取单元而工作。此外，对于标准增益补正部121的标准增益的具体补正方法后 述。增益计算部122基于从标准增益补正部121所提供的补正后的每个块区域的标准 增益，对成为灰度补正处理对象的图像的各像素个别地计算补正用增益。而且，增益计算部 122，通过向所述灰度补正部106提供计算的各像素的补正用增益(G_lev(X，y))，作为倍数 获取单元而工作。增益计算部122的每个像素的增益计算方法使用图4进行说明。首先增益计算部 122把从标准增益补正部121所提供的补正后的每个块区域的标准增益作为各块区域200a 的代表增益。然后，增益计算部122决定将相关的代表增益，作为对各块区域200a的中心 像素、也就是图4A中以“ + ”符号表示的像素301的补正用增益。进一步地，对于各块区域200a的中心像素301以外的周边像素，也就是图4B中以 “ ”符号表示的像素302的补正用增益，增益计算部122通过对与周边像素302邻接(临 近)的多个(最大为4个像素)中心像素301的补正用增益的插值来获取。图5是表示增益计算部122在对周边像素302的补正用增益从邻接的4点的中心像素301a、301b、301c、和301d的补正用增益插值时的周边像素302的补正用增益的具体计 算方法的说明图。计算部122首先求出对于4点的中心像素301a、301b、301c和301d当中的连接水 平方向排列的一组的中心像素301a和301b的线段，和对于连接水平方向排列的另一组的 中心像素301c和301d的另一线段的周边像素302的水平方向的内分比s t。另外求出 连接垂直方向排列的一组的中心像素301a和301c的线段，和对于连接垂直方向排列的另 一组的中心像素301b和301d的另一线段的周边像素302的垂直方向的内分比u ν。接下来，计算部122由图5所示的公式(1)计算以所述水平方向的内分比s t 内分的连接水平方向排列的一组的中心像素301a和301b的线段的一内分点401a的补正 用增益X。也就是说计算部122通过将一组的中心像素301a和301b的补正用增益A、B以 对应于所述水平方向的内分比s t的比例相加而求出一个内分点401a的补正用增益X。 同样地，计算部122由图5所示的公式(2)计算以所述水平方向的内分比s t内分的连 接水平方向排列的另外一组的中心像素301c和301d的线段的另一内分点401b的补正用 增益Y。也就是说计算部122通过将另一组的中心像素301c和301d的补正用增益C、D以 对应于所述水平方向的内分比s t的比例相加而求出另一个内分点401b的补正用增益 Y。而且，计算部122通过图5所示的公式(3)计算周边像素302的补正用增益Z。也 就是说计算部122通过将一个内分点401a的补正用增益X和另一个内分点401b的补正用 增益Y以对应于所述垂直方向的内分比u ν的比例相加而求出周边像素302的补正用增
■、Λ rj
frff. L ο另外如图4B所示，增益计算部122通过对与成为对象的周边像素302邻接(临 近)的2点的中心像素301的补正用增益的插值，而获取与成为灰度补正处理对象的图像 200的上下左右各边连接的各块区域200内的周边像素302的补正用增益。然而，增益计 算部122对于置于成为灰度补正处理对象的图像200的上下左右的四角的块区域200内的 周边像素302的补正用增益，特殊情况下使用包括周边像素302的块区域200a的中心像素 301的补正用增益的原值。另外，增益计算部122对于位于比与上下左右各边相接的各块区 域200内的中心像素302更为外侧的同时、与中心像素302水平位置或是垂直位置相同的 周边像素302的补正用增益，也是特殊情况下使用包括周边像素302的块区域200a的中心 像素301的补正用增益的原值。此外，增益计算部122的周边像素302的补正用增益的插值，不限于前面所述 方法，也可以应用例如图像扩大处理时的像素插值时的普遍多用的线性插值(linear interpolation)或样条插值(spline interpolation)。所述灰度补正部106读出所述图像缓冲器101中存储的每个像素的RGB数据。然 后所述灰度补正部106对读出的成为灰度补正处理对象的图像的各像素的RGB数据的颜色 分量值(R值、G值、B值)，分别对各颜色分量值乘以从所述增益计算部122提供的各像素 补正用增益而进行补正。另外，灰度补正部106将图像缓冲器101中存储的各像素的RGB 数据改写为补正后的RGB数据。然后，图像处理部52中，如前所述通过在灰度补正处理中将图像缓冲器101中存 储的RGB数据(RGBjn)改写为补正后的RGB数据，补正成为灰度补正处理对象的图像的灰度。另外，图像处理部52读出图像缓冲器101中存储的补正后的RGB数据(RGB_out)。图 像处理部52将读出的补正后的RGB数据，也就是灰度补正后的图像作为处理对象，进行白 平衡调整处理等其它的数字信号处理。图7是表示所述图像处理部52对由去马赛克处理所生成的RGB数据的灰度补正 处理中，用于设定对成为灰度补正处理对象的图像的各像素的用于设定补正用增益的增益 设定处理的内容的流程图。增益设定处理时图像处理部52，首先如图4A中示例的，将成为灰度补正处理对象 的图像200的各个块区域200a依次设定为处理对象块(处理对象)。图像处理部52对于 设定的处理对象块进行后述的步骤Sl SlO所示的一系列处理。也就是说，图像处理部52在所述标准增益计算部103中，将从HSV变换部102所 提供的处理对象块的平均V值(V_av)作为参数，用已说明过的规定的增益函数，计算处理 对象块的标准增益(G_lev)(步骤Si)。另外，图像处理部52在所述颜色相似程度判定部104中，基于由HSV变换部102 获取的处理对象块的分量别平均值(H_av，S_av, V_av)进行颜色相似程度判定处理(步骤 S2)。颜色相似程度判定处理中图像处理部52如图8所示，确认处理对象块的平均色相 值(H_av)后(步骤SAl)，根据确认的平均色相值(H_av)进行以下处理。也就是说图像处理部52在平均色相值(H_av)为0以上、不到60的范围内 (“0 ( H_av < 60”)的情况下，判定处理对象块的颜色为肤色(步骤SA2)，在进行了肤色 相似程度判定处理后(步骤SA3)，返回图7的处理。另外，图像处理部52，在平均色相值 (H_av)为60以上、不到190的范围内(“60 ( H_av < 190”)的情况下，判定处理对象块的 颜色为绿色(步骤SA4)，在进行了绿色相似程度判定处理后(步骤SA5)，返回图7的处理。 另外，图像处理部52，在平均色相值(H_av)为190以上、不到270的范围内(“190 ( H_av < 270”)的情况下，判定处理对象块的颜色为蓝色(步骤SA6)，在进行了蓝色相似程度判 定处理后(步骤SA7)，返回图7的处理。进一步地，图像处理部52，在平均色相值(H_av) 为270以上、359以下的范围内(“270 ( H_av ( 359”)的情况下，判定处理对象块的颜色 为非处理对象色(步骤SA8)，返回图7的处理。此外，上述步骤SA1、SA2、SA4、SA6、SA8的各处理由颜色相似程度判定部104的颜 色判定部111进行，另外，上述步骤SA3、SA5、SA7的各处理由颜色相似程度判定部104的相 似程度判定部111进行。另一方面，图8所示的步骤SA3的肤色相似程度判定处理中，图像处理部52如图 9所示，首先将肤色相似程度设定为“0”之后(步骤SA101)，平均色相值(H_av)不是不到 50的情况下(步骤SA102 否)，则直接返回图8所示的处理。另外，图像处理部52在平均 色相度(H_av)不到50的情况下(步骤SA102 是)，肤色相似程度增加1 (步骤SA103)，进 一步地在平均色相值(H_av)超过5且不到40的情况下(步骤SA104 是)，将肤色相似程 度再增加1 (步骤SA105)。接下来，图像处理部52在处理对象块的平均明度值(V_av)不到127的情况下(步 骤SA106:是)，肤色相似程度再增加2之后(步骤SA107)，返回图8所示的处理。另外，图 像处理部52在平均明度值(V_av)不是不到127的情况下(步骤SA106 否)，继续确认平均明度值(V_av)是否在127以上、不到192的范围内(步骤SA108)。然后，图像处理部52 在平均明度值(V_av)在127以上、不到192的范围内的情况下(步骤SA108 是)，肤色相 似程度再增加1之后(步骤SA109)，返回图8的处理；相反在平均明度值(V_av)不在127 以上、不到192的范围内的情况下(步骤SA108 否)，相关步骤中返回图8的处理。也就是说肤色相似程度判定处理中，图像处理部52基于平均色相值(H_av)和平 均明度值(V_av)，判定处理对象块的肤色相似程度相当于“0 4”的5个等级的哪个相似 程度。另外，图8所示的步骤SA4的绿色相似程度判定处理中，图像处理部52如图10所 示，首先将绿色相似程度设定为“1”之后(步骤SA201)，平均色相值(H_av)不是超过60且 不到190的范围内的情况下(步骤SA202:否)，则直接返回图8所示的处理。另外，图像处 理部52在平均色相度(H_av)超过60且不到190的范围内的情况下(步骤SA202 是)，绿 色相似程度增加1 (步骤SA203)，进一步地在平均色相值(H_av)超过70且不到180的范围 内的情况下(步骤SA204 是)，将绿色相似程度再增加1 (步骤SA205)。接下来，图像处理部52在处理对象块的平均饱和度值(S_av)超过63的情况下 (步骤SA206 是)，绿色相似程度再增加2之后(步骤SA207)，返回图8的处理。另外，图 像处理部52在平均饱和度值(S_av)未超过63的情况下(步骤SA206 否)，继续确认平均 饱和度值(S_av)是否在超过31且在63以下的范围内(步骤SA208)。然后，图像处理部 52在平均饱和度值(S_av)在超过31且在63以下的范围内的情况下(步骤SA208 是)， 绿色相似程度再增加1之后(步骤SA209)，返回图8的处理；相反在平均饱和度值(S_av) 不在超过31且在63以下的范围内的情况下(步骤SA208 否)，相关步骤中返回图8的处 理。也就是说绿色相似程度判定处理中，图像处理部52基于平均色相值(H_av)和平 均饱和度值(S_av)，判定处理对象块的绿色相似程度符合“0 4”的5个等级的哪个相似程度。另外，图8所示的步骤SA4的蓝色相似程度判定处理中，图像处理部52如图11所 示，首先将蓝色相似程度设定为“0”之后(步骤SA301)，处理对象块的平均色相值(H_av) 不是超过190且不到270的范围内的情况下(步骤SA302 否)，则直接返回图8所示的处 理。另外，图像处理部52在平均色相度(H_av)超过190且不到270的范围内的情况下(步 骤SA302 是)，蓝色相似程度增加1之后(步骤SA303)，在处理对象块的平均明度值(V_ av)未超过127的情况下(步骤SA304 否)，相关的步骤中返回图8的处理。另外，图像处理部52、在处理对象块的平均明度值(V_av)超过127的情况下(步 骤SA304 是)，接着，在平均色相值(H_av)超过200且不到260的范围内的情况下(步骤 SA305 是)，蓝色相似程度再增加1 (步骤SA306)。进一步地，图像处理部52在处理对象块 的平均饱和度值(S_av)超过95的情况下(步骤SA307 是)，将蓝色相似程度再增加2之 后(步骤SA308)，返回图8的处理。另外，图像处理部52在平均饱和度值(S_av)未超过95的情况下(步骤SA307 否)，继续确认平均饱和度值(S_av)是否在超过63且在95以下的范围内(步骤SA309)。 然后，图像处理部52在平均饱和度值(S_av)在超过63且在95以下的范围内的情况下(步 骤SA309 是)，蓝色相似程度再增加1之后(步骤SA310)，返回图8的处理；相反在平均饱和度值(S_av)不在超过63且在95以下的范围内的情况下(步骤SA309 否)，相关的步骤 返回图8的处理。也就是说蓝色相似程度判定处理中，图像处理部52基于平均色相值(H_av)、平均 明度值(V_av)和平均饱和度值(S_av)，判定处理对象块的蓝色相似程度符合“0 4”的5 个等级的哪个相似程度。另外，图像处理部52进行了包括上述的肤色相似程度判定处理(图9)、绿色相似 程度判定处理(图10)、和蓝色相似程度判定处理(图11)的图7的颜色相似程度判定处理 之后，返回图7所示的处理，接下来进行所述标准增益补正部121中的步骤S3 S7的各处理。也就是说，图像处理部52在颜色相似程度判定处理中判定的处理对象块的颜色 为肤色时(步骤S3 “肤色”)，进行肤色增益补正处理(步骤S4)。肤色增益补正处理中， 图像处理部52如图12所示，颜色相似程度判定处理中判定的肤色相似程度为0的情况下 (步骤SBlOl 是)，对步骤Sl中算出的标准增益不作补正，而将标准增益按原值作为最终 的处理对象块的增益(步骤SB102)。另外，图像处理部52在颜色相似程度判定处理中判定的肤色相似程度为1的情况 下(步骤SBlOl 否，SB103 是)，通过将步骤Sl中计算出的标准增益乘以1. 1而补正标准 增益，以补正后的增益作为最终的处理对象块的增益(步骤SB104)。另外，图像处理部52 在肤色相似程度为2的情况下(步骤SB103 否，SB105 是)，通过将所述标准增益乘以1. 2 而补正标准增益，以补正后的增益作为最终的处理对象块的增益(步骤SB106)。另外，图像处理部52在肤色相似程度为3的情况下(步骤SB105 否，SB107 是)， 通过将所述标准增益乘以1. 3而补正标准增益，以补正后的增益作为最终的处理对象块的 增益(步骤SB108)。进一步地，图像处理部52在肤色相似程度为4的情况下(步骤SB107 否)，通过将所述标准增益乘以1. 4而补正标准增益，以补正后的增益作为最终的处理对象 块的增益(步骤SB109)。也就是说，肤色增益补正处理中，图像处理部52对应于处理对象块的肤色相似 程度的等级，用不同的补正系数，补正在步骤Sl中计算出的标准增益。另外，标准增益补 正时，图像处理部52对乘以标准增益的补正系数，通过按与肤色相似程度的等级成比例增 大，随着处理对象块的整体色调与肤色的接近，进行使标准增益增大的补正。另外，图像处理部52如图7所示，处理对象块的颜色为绿色的情况下(步骤S3 “绿色”)，进行绿色增益补正处理(步骤S5)。绿色增益补正处理中，图像处理部52如图13 所示，颜色相似程度判定处理中判定的绿色相似程度为0的情况下(步骤SB201 是)，对步 骤Sl中算出的标准增益不作补正，而将标准增益按原值作为最终的处理对象块的增益(步 骤 SB202)。另外，图像处理部52在颜色相似程度判定处理中判定的绿色相似程度为1的情况 下(步骤SB201 否，SB203 是)，通过将步骤Sl中计算出的标准增益乘以0. 9而补正标准 增益，以补正后的增益作为最终的处理对象块的增益(步骤SB204)。另外，图像处理部52 在绿色相似程度为2的情况下(步骤SB203 否，SB205 是)，通过将所述标准增益乘以0. 8 而补正标准增益，以补正后的增益作为最终的处理对象块的增益(步骤SB206)。另外，图像处理部52在绿色相似程度为3的情况下(步骤SB205 否，SB207 是)，通过将所述标准增益乘以0. 7而补正标准增益，以补正后的增益作为最终的处理对象块的 增益(步骤SB208)。进一步地，图像处理部52在绿色相似程度为4的情况下(步骤SB207 否)，通过将所述标准增益乘以0. 6而补正标准增益，以补正后的增益作为最终的处理对象 块的增益(步骤SB209)。也就是说，绿色增益补正处理中，图像处理部52对应于处理对象块的绿色相似程 度的等级，用不同的补正系数，补正在步骤Sl中计算出的标准增益。然而，绿色增益补正处 理中的图像处理部52与肤色增益补正处理的情况不同的是，对乘以标准增益的补正系数， 通过按与绿色相似程度的等级成比例缩小，随着处理对象块的整体色调与绿色的接近，进 行使标准增益减少的补正。另外，图像处理部52如图7所示，处理对象块的颜色为蓝色的情况下(步骤S3 “蓝色”)，进行蓝色增益补正处理(步骤S6)。蓝色增益补正处理中，图像处理部52如图14 所示，颜色相似程度判定处理中判定的蓝色相似程度为0的情况下(步骤SB301 是)，对步 骤Sl中算出的标准增益不作补正，而将标准增益按原值作为最终处理对象块的增益(步骤 SB302)。另外，图像处理部52在颜色相似程度判定处理中判定的蓝色相似程度为1的情况 下(步骤SB301 否，SB303 是)，通过将步骤Sl中计算出的标准增益乘以0. 9而补正标准 增益，以补正后的增益作为最终的处理对象块的增益(步骤SB304)。另外，图像处理部52 在蓝色相似程度为2的情况下(步骤SB303 否，SB305 是)，通过将所述标准增益乘以0. 8 而补正标准增益，以补正后的增益作为最终的处理对象块的增益(步骤SB306)。另外，图像处理部52在蓝色相似程度为3的情况下(步骤SB305 否，SB307 是)， 通过将所述标准增益乘以0. 7而补正标准增益，以补正后的增益作为最终的处理对象块的 增益(步骤SB308)。进一步地，图像处理部52在蓝色相似程度为4的情况下(步骤SB307 否)，通过将所述标准增益乘以0. 6而补正标准增益，以补正后的增益作为最终的处理对象 块的增益(步骤SB309)。也就是说，蓝色增益补正处理中，图像处理部52对应于蓝色相似程度的等级，用 不同的补正系数，补正在步骤Sl中计算出的标准增益。另外，蓝色增益补正处理中的图像 处理部52也与绿色增益补正处理的情况相同，对乘以标准增益的补正系数，通过按与蓝色 相似程度的等级成比例缩小，随着处理对象块的整体色调与蓝色的接近，进行使标准增益 减少的补正。另外，图像处理部52如图7所示，在步骤S3中确认的处理对象块的颜色为非处理 对象色时(步骤S3 “非处理对象色”)，决定在步骤Sl中计算出的标准增益按原值作为处 理对象块的最终增益(步骤S7)。之后，图像处理部52在所述增益计算部122中进行以下的处理。首先由步骤S3 S7的处理，将根据处理对象块的颜色所计算出、或决定的增益，设定为处理对象块的代表增 益(步骤S8)。接着，图像处理部52在如果还有未设定代表增益的块区域的情况下(步骤 S9:是)，处理对象块变更为其它的块区域之后(步骤S10)，返回步骤Sl的处理，反复进行 上述的所有处理。进一步地，图像处理部52在成为灰度补正处理对象的图像的所有的块区域中设 定了代表增益之后(步骤S9 否)，将各块区域的代表增益设定为各个块区域的中心像素的补正用增益(G_lev(X，y))之后(步骤Sll)，通过上述的方法，将计算的增益设定为中心像 素以外的像素(周边像素)的补正用增益(G_lev(X，y))(步骤S12)。如以上由所述图像处理部52的灰度补正处理中，图像处理部52对每个将成为灰 度补正处理对象的图像分割为的多个块区域，获取成为灰度补正处理对象的图像的各像素 的成为亮度的补正标准的标准增益(G_lev(X，y))，成为灰度补正处理对象的图像的各像素 中，个别设定基于各像素对应的块区域的标准增益的补正用增益(G_lev(x，y))，根据设定 的补正用增益，通过补正各像素的亮度，而补正成为灰度补正处理对象的图像的灰度。另外，图像处理部52由以各块区域的平均明度值(V_av)作为参数的前述的增益 函数，计算各块区域的标准增益。基本上，作为标准增益，各块区域的平均明度值越低，获取 的值越高；而平均明度值越高，获取的值越低。因此，所述灰度补正处理中，成为灰度补正处理对象的图像内的暗的区域的亮度 得以提高。由此，所述数码相机1，即使在例如逆光下拍摄人脸时，也可以得到确保人脸有良 好亮度的图像。另一方面，所述灰度补正处理中，图像处理部52在对成为灰度补正处理对象的图 像的各像素个别设定补正用增益时，各块区域的标准增益根据各块区域的颜色相似程度 (整体色调与指定颜色的肤色、绿色、蓝色的其中之一相似的程度)一次性补正，基于补正 后的标准增益，对各像素设定补正用增益。也就是说，作为各像素的补正用增益，图像处理 部52对应于各像素所对应的块区域的颜色相似程度，设定补正用增益。然后，图像处理部52在根据颜色相似程度而补正各块区域的标准增益时，处理对 象块的整体色调符合肤色时，按处理对象块的颜色相似程度的等级的比例使标准增益增 大，处理对象块的整体色调符合绿色或蓝色时，按处理对象块的颜色相似程度的等级的比 例使标准增益减少。因此，所述灰度补正处理中，在例如成为灰度补正处理对象的图像中包括有人物 的情况下，通过使相当于人物皮肤的区域变亮，可以将成为灰度补正处理对象的图像的人 物的肤色补正为明亮的肤色。另外，所述灰度补正处理中，在例如成为灰度补正处理对象的 图像中包括有树叶的情况下，通过使相当于树叶的区域变暗，可以将成为灰度补正处理对 象的图像的树叶的颜色补正为深绿色。另外，所述灰度补正处理中，在例如成为灰度补正处 理对象的图像中包括有天空的情况下，通过使相当于天空的区域变暗，可以将成为灰度补 正处理对象的图像的天空的颜色补正为深蓝色。也就是说，所述灰度补正处理中，不仅将成为灰度补正处理对象的图像的暗的部 分变亮，也可以确保灰度补正后的图像的对应于众多用户喜好的每种颜色的合适的亮度。 由此，可得到所述数码相机1的对应于众多用户喜好的图像。另外，所述灰度补正处理中，将处理对象作为由去马赛克处理而生成的RGB数据， 通过根据对各像素设定的补正用增益而个别地补正各像素的颜色成分值(R值、G值、B值)， 而补正各像素的亮度，故可得到以下效果。也就是说，所述灰度补正处理中，由于如前面 所述当处理对象块的整体色调符合肤色时，通过按处理对象块的颜色相似程度的等级的比 例，使标准增益增大，而使像素的颜色分量值，也就是多个颜色信号的相似程度分别变大， 所以灰度补正后的图像中相当于人物的皮肤的区域的饱和度就能增大。由此，作为灰度补 正后的图像，可得到人物的皮肤栩栩如生地显示的、能满足众多用户喜好的优质的图像。
获得相关效果的理由，是由于各像素的饱和度S是与颜色分量值(R值、G值、B值) 中成为最大的颜色分量的值(MAX)与成为最小的颜色分量的值(MIN)之差成比例的缘故(S =(MAX-MIN) /MAX)。也就是说，假设灰度补正处理的处理对象为YUV变换处理的YUV数据， 即使通过对各像素的亮度分量值(Y值)乘以补正用增益而增大亮度，灰度补正后的图像中 整体色调为肤色的块区域的饱和度也不会变大。这是由于亮度成分值(Y值)的增减对饱 和度的增减不产生影响的原因。另外，所述灰度补正处理中，对各块区域的指定颜色(肤色、绿色、蓝色的其中之 一)将颜色相似程度分为多个等级而判定。由此，补正后的图像的邻接的块区域间的亮度 变化可平滑地变化。由此，作为灰度补正后的图像可得到自然的图像。另外，所述灰度补正处理中，在将各区域的中心像素的补正用增益作为各区域的 代表增益的同时，各块区域的周边像素(中心像素以外的像素)的补正用增益，基本上是由 与周边像素邻接的多个(最大为4个像素)中心像素的补正用增益通过插值而获得。即使 由所涉及的方法通过获取周边像素的补正用增益，补正后的图像的邻接的块区域间的亮度 的变化也可以平滑地变化。由此，作为灰度补正后的图像可得到更为自然的图像。此处，本实施方式中，指定的颜色为肤色、绿色和蓝色3种颜色，而指定颜色也可 以是肤色、绿色和蓝色以外的其它颜色。另外，特定颜色也不一定是多种颜色，也可以是1 种颜色；指定的颜色为1种颜色的情况下，根据需要也可以使用任意颜色。另外，本实施方式中，成为灰度补正处理对象的图像的RGB数据变换为HSV数据的 同时，基于HSV数据的各分量(H，S，V)，进行各区域的整体色调是否符合哪种指定颜色的判 定，和对各块区域的指定颜色的颜色相似程度的判定。然而，指定颜色和颜色相似程度的判 定，不限于HSV数据，也可以基于例如RGB数据的各分量(R、G、B)而进行。另外，本实施方式中说明的，判定各块区域的整体色调是否符合指定颜色(肤色、 绿色、蓝色的其中之一)时的颜色判定标准、和对各块区域的指定颜色的颜色相似程度的 判定时的相似程度判定标准，只是一个例子，对于具体的颜色判定标准和相似程度判定标 准，可根据需要而变更。另外，本实施方式中，对本发明是以提高成为灰度补正处理对象的图像内的暗的 区域的亮度作为基本而应用灰度补正处理的情况进行说明的。然而，本发明也可适用于仅 以对成为灰度补正对象的图像的以满足众多用户喜好的、确保每种颜色的合适的亮度为目 的的图像处理。也就是说本发明中，图3的功能模块图所示的标准增益计算部103不是必需的结 构，本发明的实施时也可以不用标准增益计算部103。而且，不用标准增益计算部103的情 况下，也可以例如事先固定各块区域的标准增益(G_lev)为“1倍”，在图3的标准增益补正 部121中进行与本实施方式相同的处理。另外，此处对作为本发明的实施方式的包括本发明的图像处理装置的数码相机1 进行了说明，但本发明除数码相机1以外，也可以应用于例如具有可记录运动图像的结构 的其它的拍摄装置。可适用本发明的拍摄装置，除了前面所述CCD以外，还包括例如具有 CMOS(互补金属氧化物半导体Complementary Metal Oxide Semiconductor)型的固体拍摄 元件的数码相机、除了静止图像以外还可以拍摄运动图像的数码相机、以及以运动图像拍 摄为主要功能的数码摄像机等各种拍摄装置。
另外，本发明不限于拍摄装置，对于任意的图像处理装置，只要具有在任意的存储 介质中作为图像数据而存储的图像作为处理对象而进行图像处理的结构，都可以适用。任 意的图像处理装置中，也包括例如基于图像数据的打印图像的打印机。而且，本发明应用于任意图像处理装置的情况下，图2所示的图像处理部52也可 通过ASIC(专用集成电路Application Specified IntegratedCircuit)、或是任意的计算 机的CPU和存储器、存储器中加载的程序等而实现。
权利要求
一种图像处理装置，其特征在于，包括颜色相似程度判定单元，基于成为灰度补正处理对象的图像中设定的多个块区域的各块区域中的各像素的颜色信息，判定所述各块区域的整体色调与特定颜色相似的程度；补正倍数设定单元，对成为所述灰度补正处理对象的图像的像素，设定与由所述颜色相似程度判定单元所判定的相似程度相应的补正倍数；和灰度补正单元，基于由所述补正倍数设定单元对各像素设定的补正倍数，补正成为所述灰度补正处理对象的图像的像素的亮度。
2.根据权利要求1所述的图像处理装置，其特征在于，所述灰度补正单元，基于由所述补正倍数设定单元对各像素设定的补正倍数，通过补 正成为所述灰度补正处理对象的图像的像素所具有的多个颜色分量信息，来补正成为所述 灰度补正处理对象的图像的像素的亮度。
3.根据权利要求1所述的图像处理装置，其特征在于，所述颜色相似程度判定单元，将所述多个块区域的各块区域的颜色相似程度分为多个 等级来进行判定。
4.根据权利要求1所述的图像处理装置，其特征在于，所述颜色相似程度判定单元，基于由各块区域中的各像素的HSV颜色空间的规定的分 量信息所表示的颜色信息，判定所述多个块区域中的各块区域与特定颜色相似的程度。
5.根据权利要求4所述的图像处理装置，其特征在于，所述颜色相似程度判定单元，基于由所述多个块区域的各块区域中的各像素的HSV颜 色空间的多个分量信息所表示的颜色信息，判定所述各块区域与特定颜色相似的程度。
6.根据权利要求1所述的图像处理装置，其特征在于，所述颜色相似程度判定单元，包括颜色判定单元，分别对所述多个块区域的每一个，基于各块区域中的各像素的颜色信 息，判定各块区域的整体色调是否相当于事先决定的多个特定颜色中的某个颜色；和相似程度判定单元，基于与由所述颜色判定单元所判定的特定颜色对应的相似程度判 定标准、和各块区域中的各像素的颜色信息，判定所述多个块区域的各块区域与特定颜色 相似的程度。
7.根据权利要求6所述的图像处理装置，其特征在于，所述颜色判定单元，基于作为各块区域中的各像素的颜色信息的HSV颜色空间的色相 分量信息，判定所述多个块区域的各块区域的整体色调是否相当于事先决定的多个特定颜 色中的某个颜色。
8.根据权利要求6所述的图像处理装置，其特征在于，所述相似程度判定单元，基于与由所述颜色判定单元所判定的特定颜色对应的相似程 度判定标准、和作为各块区域中的各像素的颜色信息的HSV颜色空间的多种分量信息，判 定所述多个块区域的各块区域与特定颜色相似的程度。
9.根据权利要求1所述的图像处理装置，其特征在于，所述特定颜色中至少包括肤色、绿色、蓝色中的任一种颜色。
10.根据权利要求1所述的图像处理装置，其特征在于，所述补正倍数设定单元，包括代表补正倍数获取单元，分别对多个块区域的每一个，获取与由所述颜色相似程度判 定单元所判定的与特定颜色相似的程度相对应的代表补正倍数；和倍数获取单元，基于由所述代表补正倍数获取单元所获取的各块区域的代表补正倍 数，获取对成为所述灰度补正处理对象的图像的像素所个别设定的补正倍数。
11.根据权利要求10所述的图像处理装置，其特征在于，所述倍数获取单元，基于由所述代表补正倍数获取单元对包括各像素的块区域所获取 的代表补正倍数、和由所述代表补正倍率获取单元对包括各像素的块区域以外的接近各像 素的其它块区域所获取的代表补正倍率，获取对成为所述灰度补正处理对象的图像的像素 所个别设定的补正倍数。
12.根据权利要求11所述的图像处理装置，其特征在于，所述倍数获取单元，获取包括中心像素的块区域的所述代表补正倍数，作为所述各块 区域的中心像素的所述补正倍数，并且通过根据中心像素的所述补正倍数和包括周边像素 的块区域以外的接近周边像素的其它块区域的所述代表补正倍数进行插值，从而获取所述 各块区域的中心像素以外的周边像素的所述补正倍数。
13.根据权利要求10所述的图像处理装置，其特征在于，包括标准倍数获取单元，其基于所述多个块区域中的各块区域的各像素的亮度信息， 对每个块区域，获取成为所述灰度补正处理对象的图像的成为各像素的亮度的补正标准的 标准倍数，该标准倍数是与规定的补正特性对应的标准倍数；所述代表补正倍数获取单元，根据由所述颜色相似程度判定单元所判定的各块区域与 特定颜色相似的程度，补正由所述标准倍数获取单元所获取的各块区域的标准倍数，获取 补正后的标准倍数作为所述代表补正倍数。
14.根据权利要求13所述的图像处理装置，其特征在于，所述代表补正倍数获取单元，进行使由所述标准倍数获取单元所获取的各块区域的标 准倍数，与由所述颜色相似程度判定单元所判定的各块区域与特定颜色相似的程度成正比 例地增大的补正，获取补正后的标准倍数作为所述代表补正倍数。
15.根据权利要求13所述的图像处理装置，其特征在于，所述代表补正倍数获取单元，进行使由所述标准倍数获取单元所获取的各块区域的标 准倍数，与由所述颜色相似程度判定单元所判定的各块区域与特定颜色相似的程度成正比 例地减小的补正，获取补正后的标准倍数作为所述代表补正倍数。
16.一种图像处理方法，其特征在于，包括判定步骤，分别对于成为灰度补正处理对象的图像中设定的多个块区域，基于各块区 域中的各像素的颜色信息，判定各块区域的整体色调与特定颜色相似的程度；设定步骤，对成为所述灰度补正处理对象的图像的像素，个别地设定与对各像素所对 应的所述块区域所判定的颜色相似程度对应的补正倍数；和补正步骤，基于所述设定步骤中对各像素设定的补正倍数，补正成为所述灰度补正处 理对象的图像的像素的亮度。
全文摘要
本发明提供一种图像处理装置和图像处理方法，数码照相机(1)具有颜色相似程度判定部(104)、增益设定部(105)和灰度补正部(106)。颜色相似程度判定部(104)，基于成为灰度补正处理对象的图像中设定的多个块区域的各块区域中的各像素的颜色信息，判定所述各块区域的整体色调与特定颜色相似的程度。增益设定部(105)，对成为所述灰度补正处理对象的图像的像素，设定对应于由所述颜色相似程度判定单元所判定的颜色相似程度的补正倍数。灰度补正部(106)，根据由所述补正倍数设定单元对各像素设定的补正倍数，补正成为所述灰度补正处理对象的图像的像素的亮度。
文档编号H04N5/243GK101895692SQ20101018675
公开日2010年11月24日 申请日期2010年5月19日 优先权日2009年5月20日
发明者真锅佳嗣 申请人:卡西欧计算机株式会社