专利名称：图像处理方法和装置的制作方法
技术领域：
本发明涉及改善亮度分布的图像处理方法和装置。
背景技术：
以往，作为拍摄适当亮度的照片的方法，已知有测定所拍摄的场景的平均亮度，控制照相机的快门速度、光圈值等的方式。并且，已知有将场景分割为预定的区域，给对每一个区域测定的亮度加权，求得平均亮度，得到适当的曝光的所谓评价测光方式的曝光控制方式。
可是，在所拍摄的主要被拍摄体的亮度比背景的亮度暗很多时，即在逆光的场景中，在所拍摄的图像中，主要被拍摄体部分无论怎样都会变暗。为了在这样的逆光场景下拍摄合适亮度的照片，拍摄时需要以比平均的照片亮度高地进行拍摄的方式预先设定照相机的曝光。可是，这样的曝光校正操作不仅麻烦，而且要求有熟练的技巧以便适当地进行照相机设定。另外，即使对主要被拍摄体适当地进行了曝光校正，相反却会使背景部分变得过亮。
本发明的目的在于，即使在这样的难于适当地确定图像的亮度的逆光等的场景下，也能得到适当亮度的图像。
为了实现本发明的目的，在模拟(analog)照片技术中，通过在暗室内进行所谓的渐淡(dodging)处理，能够得到适当亮度的打印。为了容易地实现这样的渐淡处理，希望在数字图像处理中实现渐淡处理。
作为实现渐淡处理的方法，有例如在IEEE TRANSACTIONS ONIMAGE PROCESSING，VOL.6，NO.7，JULY 1997中题为“AMultiscale Retinex for Bridging the Gap Between Color Images and theHuman Observation of Scenes”的Jobson等的报告(作为现有技术1)。该报告是，通过进行将数字图像对数变换后的成分与其对数变换成分的低频成分的差分处理，进行使数字图像的低频区域中的亮的成分变暗、低频区域中的暗的成分变亮的处理，从而进行图像的改善。
另外，在acm Transactions on Graphics，JULY 2002，Vol.21，No.3中题为“Photographic Tone Reproduction for Digital Images”的Reinhard等的报告(作为现有技术2)中，提出通过使用数字图像的亮度成分和其低频成分，在数字图像处理中得到渐淡那样的效果的方法。
并且，在日本特开平8-110603中，提出从脸部区域的位置信息和亮度信息推测照明光分布，按照推测出的照明光分布进行颜色调整的方法。
可是，在上述以往例中，无论在需要对要处理的数字图像的主要被拍摄体的亮度进行大的改善的情况下，还是在需要对要处理的数字图像的主要被拍摄体的亮度进行微小改善的情况下，改善程度是一样的，因此，特别地，在需要进行微小改善的情况下，存在如下缺点，即图像的亮度的分布被过分改变，图像的对比度和饱和度被过分强调，不能得到良好的图像，图像的噪声突出。
本发明的目的在于，解决上述问题点，能够对要处理的数字图像的主要被拍摄体，例如对作为人物图像的主要被拍摄体的脸部的亮度，进行最适当的亮度分布的改善。
日本特开平8-110603号公报也考虑了基于脸部区域的亮度进行亮度分布改善的方式，但因为根据脸部区域的位置信息和各区域的亮度信息来求亮度分布，所以当图像中脸部区域只有一个的时候会产生问题。该提案中作为脸部区域的位置信息，提到脸部区域的重心、或者脸部区域的重心和其他的脸部区域中的多个点，但在前者的情况下，根据1个区域的1点正确地推测图像整体的照明光分布是非常困难的，并且，根据某些推测结果进行颜色调整后的图像是否成为所期望的调整结果还存在疑问。另外，在后者的情况下，从1个脸部区域内的亮度分布推测图像整体的亮度分布，进行颜色调整后的图像是否是所期望的也存在疑问。
发明内容
为了达到上述目的，本发明特征在于具有以下的结构。
技术方案1所记载的图像处理方法，其特征在于，包括从图像数据抽取亮度成分的亮度成分抽取步骤；抽取上述亮度成分的低频成分信号的低频亮度成分抽取步骤；使用上述亮度成分和低频亮度成分进行上述图像数据的颜色调整的颜色调整步骤；确定第一参数的第一参数确定步骤；以及按照上述图像数据中的第二区域中的亮度成分值的分布确定第二参数的第二参数确定步骤；其中，在上述颜色调整步骤中按照上述第一参数和上述第二参数对颜色调整的程度进行处理。
本发明的上述以外的目的及其特征将从以下的参照附图进行的本发明实施形式的详细说明中得到明确。
图1是表示实施方式1的图像处理装置的结构的方框图。
图2是表示实施方式1的图像处理方式的处理流程的流程图。
图3是说明步骤S203中的处理的流程图。
图4是说明步骤S204中的处理的流程图。
图5是表示图像整体的平均亮度和颜色修正后的目标亮度的对应关系的例子的图。
图6是表示实施方式2中的第二参数计算处理的处理流程的流程图。
图7是表示实施方式3中的步骤S203的参数确定处理的流程图。
具体实施例方式
(实施方式1)下面，参照附图详细说明本实施方式的结构。
图1是表示可实现本实施方式的图像处理方式的图像处理装置的一个结构例的方框图。
图1的输入单元101是输入来自用户的指示、数据的装置，包括键盘和指示装置。此外，作为指示装置，可以列举鼠标、跟踪球、跟踪板、手写板等。或者，在将本例应用于例如公知的数字照相机装置的时候，也可以由按钮和模式转盘等构成。另外，也可以这样构成用软件构成键盘(软键盘)，操作按钮、模式转盘、或者之前列举出的指示设备，来输入文字。
数据保存单元102是保持图像数据的部分，通常由硬盘、软(R)盘、CD-ROM、CD-R或DVD、存储卡、CF卡、智能媒体、SD卡、记忆棒、xD图形卡等构成。数据保存单元102中除了图像数据以外，也可以保存程序和其他的数据。
通信单元107，是用于进行设备之间的通信的I/F，可以是例如利用公知的因特网(R)、USB、IEEE1284、IEEE1394、电话线路等的有线通信方式，或者也可以是红外线(IrDA)、IEEE802.11a，IEEE802.11b，IEEE802.11g，Bluetooth，UWB(Ultra Wide Band)等的无线通信方式。
显示单元103是显示图像处理前或图像处理后的图像，或显示GUI等图像的装置，一般使用CRT或液晶显示器等。或者，也可以是用缆线等连接的装置外部的显示器装置。
104是CPU，关系到上述各结构的全部处理。ROM105和RAM106为CPU提供其处理所需要的程序、数据、工作区等。另外，后述的处理所需要的控制程序，被存储在数据保存单元102中或被存储在ROM105中时，被暂时读入到RAM106之后来执行。
另外，虽然没有进行图示，但也可以进行这样的变形，即，设置由公知的CCD等构成的图像输入部件，输入图像数据，并存储在数据存储单元102中。
此外，关于系统结构，除了上述以外，也还存在各种各样的构成要素，因为不是本申请的关键所以其说明省略。
图2是表示本实施方式的图像处理方式的处理流程的流程图。
成为图2的流程图的颜色调整处理对象的图像，被存储在图1的RAM104或数据保存单元102中。关于颜色调整对象的图像的指定，例如在显示单元103中显示存储在RAM104或数据保存单元102中的图像的查找表，用户操作输入单元101进行指定即可。或者例如，如果数据保存单元102是可拆装的存储装置(例如移动硬盘、软(R)盘、CD-ROM、存储卡等)，则可以这样构成检测数据保存单元102的安装并作为触发，一个一个地依次将数据保存单元102中保存的图像传入图2流程图所说明的处理中。并且，如刚才叙述的那样具有公知的CCD装置等的图像输入部件的时候，以来自该图像输入部件的图像输入为触发，将输入的图像保存到RAM104或数据保存单元102中，并且也可以将输入的图像传入图2的流程图说明的处理中来进行处理。再有，也可以在通过通信单元107和其他的设备连接进行通信的时候，以通过通信单元107连接的其他的设备传送图像数据作为触发，将接受的图像保存到RAM104或数据保存单元102中，并将输入的图像传入图2的流程图说明的处理中来进行处理。
在图2的流程图的图像处理方式中，首先读入颜色调整对象的图像，抽取亮度成分和颜色成分(步骤S201)。
关于亮度成分的抽取，例如在以IEC 61966-2-1中记载的sRGB颜色空间来表现颜色调整对象的图像的时候，按照IEC 61966-2-1中记载的方法，通过伽玛变换和3行3列的矩阵运算变换成CIE1931XYZ。这里，设利用上述变换对位置(x，y)的像素值(R(x，y)、G(x，y)、B(x，y))进行变换后的XYZ的数据，分别为X(x，y)、Y(x，y)、Z(x，y)，则Y(x，y)是抽取的亮度成分，X(x，y)、Z(x，y)是颜色成分。用硬件构成该亮度抽取时，也可以由例如利用检索表的表参照电路(伽玛变换的部分)和矩阵运算电路构成。
另外，作为抽取亮度成分的方法，也可以简化上述的处理，省略伽玛变换只用矩阵运算抽取。并且，可以取代CIE1931XYZ，作如下变形YCbCr颜色空间的Y值作为亮度成分，Cb、Cr值作为颜色成分；
L*a*b*颜色空间的L*值作为亮度成分，a*、b*值作为颜色成分；HSV颜色空间的V值作为亮度成分，H、S值作为颜色成分；HSL颜色空间的L值作为亮度成分，H、S值作为颜色成分。这时，使用各自对应的颜色空间变换。
最好使用由标准等规定的颜色空间变换，或者也可以使用近似计算。举一个例子，从RGB向YCbCr颜色空间的Y值的转换，用下面的式1变换式表示，Y＝0.299×R+0.5 87×G+0.114×B式1对此，也可以使用下面的式2那样的近似式。
Y=(3×R+6×G+B)10]]>式2并且，也可以使用RGB信号值的G作为亮度成分的近似值，或者将RGB各信号值的平均或最大值作为亮度来使用。
另外，在本例中，说明了以sRGB颜色空间来表现输入图像的情况，但sRGB以外的RGB(例如Adobe RGB、RIMM/ROMM RGB等)，也可以按照各自的颜色空间的定义进行向CIE1931XYZ(或者刚才列举的其他颜色空间)的变换。
颜色空间的变换也可以按照各颜色空间的定义或者变换式进行变换，或者也可以使用公知的ICC profile(色彩描述档案)等进行变换。例如RGB是依赖于设备的RGB值(设备RGB值)，在以单纯的变换式不能表现的时候有效。
另外，在用sYCC而不是RGB来表现输入图像时，只要同样地使用从sYCC向CIE1391XYZ(或刚才列举的其他的颜色空间)的颜色空间变换式、或者ICC profile的变换等进行颜色空间变换即可。
可是，用sYCC表现原图像且用YCbCr的Y作为亮度这样的、原来的颜色空间与亮度值的颜色空间相一致时，只要仅取出原图像sYCC信号的Y值即可，不需要进行颜色空间变换处理。
接着，在步骤S202中进行低频亮度信号抽取。
关于低频亮度信号抽取，例如如现有技术1那样进行所抽取的亮度成分和高斯函数的卷积运算，并输出。(但是，在现有技术1中不是对图像数据的亮度成分而是直接对图像数据的RGB各像素进行卷积运算。)这里，为了提高改善后的图像数据的画质，最好进行与标准差不同的多个高斯函数的卷积运算，求出多个尺度(scale)的亮度成分的分布。以下将以上说明那样的低频信号抽取称为尺度变换。用硬件构成该尺度变换处理的时候，可以通过例如卷积运算电路来构成。
接着从步骤S203进入步骤S204，在该步骤中确定在步骤S205中进行的颜色调整处理所使用的参数。为了说明参数确定处理，首先对颜色调整处理进行说明。
作为颜色调整处理的一例，利用基于以往技术1的方法，对亮度成分和尺度变换后的亮度成分的分布分别进行对数变换，输出其差分。并且，将不同尺度的差分输出的加权平均作为改善后的亮度成分。可是，在该方法中，因为不能根据图像来调整改善的程度，所以将尺度变换后的亮度成分的对数变换输出乘以系数。该系数是调整改善的程度的参数。基于以上说明的处理而进行了改善的亮度成分的输出如以下式3所示。
Y′(x,y)=Σnwn{γ0·logY(x,y)-γ1·log[Fn(x,y)*Y(x,y)]}]]>式3但是，Y’(x，y)、Fn(x，y)、Wn、n、γ0、γ1分别是坐标值(x，y)的改善后的亮度成分的输出、坐标(x，y)中的高斯函数、尺度间的权重、表示尺度的参数、表示改善的程度的参数0、表示改善的程度的参数1。并且，*表示卷积运算。
此外，尺度间的权重可通过调整尺度的标准差而省略(置换为单纯的平均)，并且可知，相比如式3那样对数变换后的值，通过逆变换(exp运算)返回到原来的亮度单位，作为改善后的图像数据的画质更好。因此，将下面式4所示的输出作为改善后的亮度成分更好。
Y′(x，y)＝exp<γ0·log Y(x，y)-γ1·Avg{log[Fn(x，y)*Y(x，y)]}>式4但是，Avg表示平均值运算。可以用下面所示的式5代替式4。
Y′(x,y)=Y(X,Y)γ0[Avg{Fn(x,y)*Y(x,y)}]γ1]]>式5此外，以S202的低频亮度信号抽取进行多个尺度的尺度变换输出的平均值运算，可以将用多个尺度的尺度变换输出的平均值作为尺度变换后的亮度成分的分布。
如果用硬件构成该亮度变换，例如可以由平均值运算电路、生成查找表的电路、表存储单元、表参照电路(伽玛变换的部分)、除法电路构成。此外，平均值运算电路也可以设置在实现低频亮度信号抽取的部分。
颜色调整处理中，为了使处理后的图像数据的颜色尽可能不变化，按照亮度成分的变更修正颜色成分。最好是例如，对颜色成分X(x，Y)、Y(x，y)、Z(x，y)分别乘以亮度成分改变前后的比Y’(x，y)/Y(x，y)，或者只把Y(x，y)利用式5变为Y’(x，y)，对颜色成分X(x，y)、Z(x，y)不进行处理，这样处理的简化是较容易的。
并且，将修正后的X、Y、Z的数据进行颜色空间变换，并求sRGB的数据。此处的处理是S201中颜色空间变换处理的逆变换。因此，进行3行3列的矩阵运算和逆伽玛变换处理，进行sRGB各8位输出。如果用硬件构成该图像数据的重建，例如可以由乘法和除法电路、矩阵运算电路、利用查找表的表参照电路(逆伽玛变换的部分)构成。
此外，不言而喻，作为S201中抽取亮度成分的方法，在使用了从sRGB向YCbCr变换等其他方式时，在本处理中应该进行对应的逆变换处理。
并且，在本实施方式中将修正后的像素值数据变换为sRGB颜色空间，但是这只是简单地返回到颜色修正前的颜色空间，不必将修正后的像素值数据返回到颜色修正前的颜色空间。因此，根据颜色修正后的图像处理的便利性，也可以变换到其他的颜色空间(例如YCbCr)，或者变换到XYZ空间，保存到例如图1的RAM104或者数据保存单元102中。
如果亮度使用RGB的G值和RGB各信号的平均值，则可以对像素的RGB的各信号乘以亮度成分改变前后的比Y’(x，y)/Y(x，y)来修正RGB值。同样的，如果亮度使用XYZ的Z、YCbCr的Y、L*a*b*的L*等，则可以在原来像素RGB值上乘以亮度成分改变前后的比Y’(x，y)/Y(x，y)，来修正RGB值。
以上是颜色修正处理，但是在该颜色修正处理中，作为应该根据图像确定的参数，存在2个表示改善的程度的参数(式5的γ0和γ1)，所以在进行颜色修正处理的步骤S205之前确定这些参数。
关于这些参数，在图2的步骤S203中，确定式5的参数γ0作为第一参数，在步骤S203中，确定式5的参数γ1作为第二参数。
关于在步骤S203中的处理参照图3进行说明，并且关于之前的第一参数γ0进行说明。
首先，变形式5而得到下面的式6。
Y’＝Yγ0×[Avg{Fn(x，y)*Y(x，y)}]-γ1式6这里，特别地，取γ1＝0，则导出下面的式7。
Y，＝Yγ0式7这是通常的γ变换处理，这时候，不管亮度分布状况怎样，进行修正使得γ0＜1时图像变亮，相反γ0＞1时图像变暗。因此，认为参数γ0是用于调整图像整体亮度的参数。因此，希望该参数根据图像整体的亮度而进行调整。
关于步骤S203中的处理参照图3进行说明。为了确定该参数γ0，首先计算出图像整体的代表亮度(步骤S301)。在本实施方式中，将图像整体的平均亮度作为图像整体的代表亮度(第一代表亮度)。关于图像整体的平均亮度，将图像的各像素变换为亮度并进行平均即可。并且，此时的代表亮度，在利用式5的颜色调整处理中和低频亮度一并使用，所以必须使用与步骤S201中计算出的亮度值相同的值。本实施方式中，因为在步骤S201将CIE1931XYZ的Y值作为亮度使用，所以在步骤S301的第一代表亮度计算中，也计算各像素的CIE1931XYZ的Y值并进行平均。下面将在步骤S301中计算出的图像整体的平均亮度作为Yave0来进行说明。
在接着的步骤S302中，根据在步骤S301中求得的图像整体的平均亮度(第一代表亮度)来确定γ0。
为了计算γ0，针对图像整体的平均亮度确定颜色修正后的目标亮度，据此计算γ0。图5是表示图像整体的平均亮度和颜色修正后的目标亮度的对应关系的例子的图。在图5的图表中，横轴是图像整体的平均亮度，纵轴是颜色修正后的目标亮度。图5的图表表示如下的对应关系，图像整体的平均亮度值比β大的时候，进行颜色修正使得图像变暗，相反当比β小的时候进行修正以使图像变亮。图5的对应关系例如以表的形式保存在ROM105或数据保存单元102中，在图像处理执行时读入RAM106并进行参考。或者将表示对应关系的参数预先保存在ROM105或数据保存单元102中，在图像处理执行时根据参数而在RAM106中生成相当于图5的对应关系的表并进行参照。
现在，如图5中那样，对于在步骤S301中求得的Yave0的目标亮度是Ytgt0。此时，γ0的值由下面的式8算出，Ytgt0＝Yave0γ0式8或者变形该式，由下面的式9算出。
γ0=logYtgt0logYare0]]>式9可是，Yave0是0或1的时候式8、式9无解，因为这时图像整体是全黑或全白，所以可以进行例外处理。简单的，可以将第一参数γ0置为1继续进行处理，或者在显示单元103中显示错误的意思并结束全部处理。
如以上那样，在步骤S203中计算出第一参数γ0。并且，在本实施方式中为了说明的方便，将Yave0和Ytgt0假定为范围0～1进行了说明，但这是使亮度归一化了的。因此，在像素值或亮度值用8bit无符号整数(0～255)表现的时候，可以归一化亮度值并进行处理或者将下面的式10～式11变形到其值域上来进行处理。
在接着的步骤S204中计算第二参数γ1。关于步骤S204中的处理参照图4进行说明，并且关于之前的参数进行说明。
在式6中，如果使γ0＝1，即不整体改变亮度，则得到下面的式12。
Y′=Y×[Avg{Fn(x,y)*Y(x,y)}]-Y1]]>式12在式12中，Avg{Fn(x，y)*Y(x，y)}是原图像的低频亮度值。因此可知，将γ1作为参数，根据关注像素和其附近的亮度，来修正原来的亮度值Y。γ1＜0的时候，关注像素和其附近的亮度越暗，则越变暗，γ1＞0的时候，关注的像素和其附近的亮度越暗，则以大的比率而变亮。
因此，γ1是使图像中的明暗平衡变化的参数。使本实施方式着眼的人物的逆光图像中的明暗平衡变化的情况下，期望该参数基于人物脸部的亮度来调整。
在步骤S203中计算出该第二参数γ1。关于步骤S203中的处理，进一步参照图4进行说明。
首先，在步骤S401中，计算出脸部区域的代表亮度作为第二代表亮度。在本实施方式作为代表亮度，采用将区域的平均亮度作为区域的代表亮度(第二代表亮度)。
脸部区域是包含成为校正对象的图像中的人物的脸部的部分区域，这在图像处理之前设定即可。关于脸部区域的设定，进行公知的脸部检测处理，并使用检测出的脸部区域即可。也可以在显示单元103中显示成为处理对象的图像，用户操作输入单元101设定脸部区域。关于脸部区域的设定方法，不是本案的着眼点，在步骤S401的处理之前设定即可。
在步骤S401中，求出属于脸部区域的像素的亮度值，进行平均，算出区域的平均亮度。并且，此时的代表亮度在利用式5的颜色调整处理中与低频亮度一并使用，所以必须使用与在步骤S201中计算出的亮度值相同的值。本实施方式中因为在步骤S201中将CIE1931XYZ的Y值作为亮度使用，所以在步骤S401的第二代表亮度计算中，也计算出脸部区域中的各像素的CIE1931XYZ的Y值并平均。
此外，即使在对图像设定有多个脸部区域的情况下，也按多个区域整体确定一个代表亮度。最简单的，算出包含在各区域中的像素的亮度值并合计，用各区域所包含的像素总数除，算出平均即可。
将在步骤S401中算出的脸部区域的平均亮度(第二代表亮度)作为Yave1在下面进行说明。
在接着的步骤S402中，修正步骤S401中计算出的第二代表亮度Yave1。
该步骤S402中的修正，在利用式5的颜色修正中，用于确定γ1以使得脸部区域的亮度变得合适。这是为了检查在利用已经确定了的γ0的只调整图像整体的亮度时的脸部区域的亮度的过于不足，并根据该结果确定γ1。因此，在这里推测只进行利用γ0的图像整体亮度调整后的脸部区域的代表亮度Yave1’。该Yave1’相当于在式7中令Y＝Yave1而求得的Y’。即根据式13算出。
Yave1’＝Yave1γ0式13在接着的步骤S403中，利用在步骤S402中修正了的第二代表亮度值和在步骤S202中算出的第一参数，计算出第二参数。
在计算第二参数的时候，首先确定脸部区域的目标亮度。
首先，将理想的脸部区域的亮度设为Yideal0～Yideal1(Yideal0＜Yideal1)。该值事先确定好。一般的，因为理想的脸部的亮度被认为是最大亮度的60％～90％程度，所以最好设定为例如0.6～0.9程度(像素值或亮度值是8bit无符号整数时，为153(＝0.6×255)～230(＝0.9×255))。
脸部区域的目标亮度用下面的式14计算。
式14可是，α是确定亮度调整的程度的参数，是大于等于0小于等于1的值。该α事先定好了。本来，Ytgt应该是Yideal0～Yideal1的值，可是特别在逆光等时脸部区域较暗，如果修正过大则图像的噪声等较明显等、其他的原因而引起画质劣化，所以α是控制以什么样的比率趋近期望的方向(亮的方向、暗的方向)的参数。α在实验中以1/2～1/4左右得到良好结果。
接着，用该脸部区域的目标亮度、第二代表亮度，以及第一参数，计算出第二参数。首先，式5中的Avg{Fn(x，y)*Y(x，y)}是关注像素Y(x，y)和其附近的亮度，所以将其以Y(x，y)近似，进而将Yave1’代入Y(x，y)、将Ytgt1代入Y’(x，y)，结果变为下面的式15。
Ytgt1=Yave1′γ0Yavel′γ1=Yave1′(γ0+γ1)]]>式15或者，利用将该式15变形后的下面的式16来计算。
γ1=logYtgt1logYave1′-γ0]]>式16如上面那样，在步骤S204中确定作为第二参数的γ1。
返回图2继续说明。在接着的步骤S205中，使用分别在步骤S203、步骤S204中确定的第一参数γ0、第二参数γ1进行颜色修正。关于颜色修正的处理之前已说明过了，所以这里省略。
颜色修正结束后，本实施方式的图像处理方式的处理结束。优选的是，颜色修正后的修正图像在显示单元103中显示，或者按照预定的图像格式保存到记录单元102中，再或者通过通信单元107发送到图1无图示的其他图像处理装置(例如打印机等)。
此外，在本实施方式中，使用了亮度的平均作为第一、第二代表亮度，但也可以进行如下变形根据像素在区域中的位置进行加权(例如，使区域中央部分的权重大，相反使区域的周边的权重小或者置0)，并使用计算出的加权平均。
另外，在例如代表亮度计算处理中，也可以进行如下变形计算出亮度直方图，算出中心值和最频值作为代表亮度。并且，也考虑有分析亮度直方图并计算代表亮度的方法。例如，也考虑有下面的方法指定了包含脸部区域的区域时，识别直方图的突起(protrude)部分和平坦部分，只使用包含在特定的突起部分中的像素来求平均值、中心值、最频值等。
并且，在本实施方式中用图像整体作为第一区域，但只要是比第二区域大的区域即可，例如，容易变形为从图像整体分别按图像的上下左右除去一定百分比后的区域(除去周边部分的中央部分)。
另外，在本实施方式中，作为第一区域的图像整体包含着第2区域，但或者变形为将从图像整体中除去了第2区域的区域作为第1区域也可。
另外，在本实施方式中，当设定有多个脸部区域时，计算出包含在各区域中的像素的亮度值并合计，用包含在各区域中的像素数的总和来除，算出平均，作为第二代表亮度，但也可以变形为例如根据区域而进行加权处理。作为加权的例子，也考虑有如下变形，即，区域的面积(越是属于大区域、即拍摄得较大的脸部区域的像素，就越赋予大的权重)、区域的位置(越是属于靠近图像中的中央的像素就越赋予大的权重)、各区域的平均亮度、或者代表亮度(越是拍摄成适当的亮度的像素，越赋予大的权重)。
并且，在本实施方式中作为第一、第二代表亮度都使用亮度的平均，但是这2个代表亮度的计算方式不必一样。因此，也可以进行这样的变形例如使用根据图像整体的像素的位置的加权平均值作为第一代表亮度，使用脸部区域的最频值作为第二代表亮度。
另外，在本实施方式中，分别在步骤S203、步骤S204中的处理内部进行第一、第二代表亮度计算，但也可以变形为在步骤S201中与亮度抽取同时地实施代表亮度计算处理。再或者可以如下构成在步骤S201中分别预先计算出图像整体和脸部区域的亮度的直方图，在该步骤S203、步骤S204的处理中分别参照图像整体、脸部区域的亮度直方图来计算代表亮度。
并且，也可以如下构成在第二代表亮度修正处理步骤中，对脸部区域的亮度直方图的各等级(bin，i.e.level)实施式7的变换处理以修正直方图，之后基于修正了的直方图计算出第二代表亮度。
另外，在本实施方式中，在脸部区域的目标亮度计算中，为了趋近所期望的脸部的亮度Yideal0～Yideal1，当Ytgt1是比Yideal0小的值的时候接近Yideal0，是比Yideal1大的值的时候接近Yideal1，但例如在认为脸部区域稍稍过亮的时候，为了使其变暗，也考虑如下面的式17那样变形。这时候，不需要提前确定Yideal1。
式17另外，在以上说明的例子中，作为要处理的图像数据，采用RGB各8位无符号整数数据、或者将其归一化了的0～1.0的实数值而进行了说明，但显然也能够容易地适用于例如各n(n是正整数)位无符号整数等的情况等。
(实施方式2)在第二实施方式中只对和第一实施方式不同的部分进行说明。
在第一实施方式中，在第二参数计算处理方面，计算出第二代表亮度值之后，修正第二代表亮度值并进行第二参数计算处理，但在本实施方式中，不同之处在于，进行临时参数应用处理之后计算第二代表亮度值并进行第二参数计算处理。
图6是表示本实施方式中的第二参数计算处理的处理流程的流程图。在图6中，对于进行和第一实施方式的参数计算处理(图4)相同的处理的部分赋予和图4相同的序号，这里省略说明。在图6中，在步骤S401的第二代表亮度值计算之前，有步骤S601的利用临时参数的颜色修正处理，步骤S402的第二代表亮度修正处理被省略的部分和图4不同。
在步骤S601中，使用已经确定的第一参数γ0，并且暂时将第二参数γ1定为0，暂时应用颜色修正。颜色修正处理因为和第一实施方式一样，所以说明省略。另外，暂时将第二参数定为0时的颜色修正式是下面的式18。
Y’(x，y)＝Y(x，y)γ0式18利用该临时参数的颜色修正处理不需要对原图像全部都应用，只应用脸部区域就可以。
另外，因为最终的颜色修正处理是在确定了第二参数之后进行的，所以不进行将利用临时参数的颜色修正后的像素值写回原图像的操作。因此，所谓原图像，准备其它的存储区域，将修正了的像素值和算出的亮度值保存到那里。或者也可以作为亮度直方图存储。这时，步骤S401不参照像素值或者亮度值，而是参照在步骤S601中生成的亮度直方图计算第二代表亮度值。并且，在进一步使用平均亮度作为代表亮度时，能够如下构成，在步骤S601中计算区域内的像素的利用临时参数进行颜色修正处理后的亮度值的总和，并对区域内的像素数进行计数，然后，在步骤S401中根据利用临时参数进行颜色修正处理后的亮度值的总和与区域内的像素数计算出平均亮度值。
在本实施方式的处理方式中，因为对脸部区域适用临时参数，所以和第一实施方式相比，处理时间和所需要的存储器增加，但具有能更适合地计算出第二参数的优点。
(实施方式3)在第三实施方式中只对和第一、第二实施方式不同的部分进行说明。
第一、第二实施方式中，在第一参数计算处理方面，按照第一区域的亮度分布计算出第一参数，但是在本实施方式中，不同之处在于，根据图像数据的著录信息计算第一参数。
作为关于图像的著录信息，例如在公知的Exif(Exchangeableimage file format可交换图像文件格式)图像格式下，用数码相机拍摄图像时的照相机信息能够以标签的形式和图像记录到同一文件中。
Exif的照相机信息中，作为关于拍摄时的亮度的照相机信息，例如有光圈值(Aperture Value)标签、快门速度(Shutter Speed Value)标签、亮度值(Brightness Value)标签。以APEX(Additive System ofPhotographic Exposure)单位的值描述光圈值(以下为Av)、快门速度(以下为Tv)、亮度值(以下为Bv)。另外，虽然在ExifVersion2.2中没有进行定义，但是，在有胶片感度(以下记为Sv)的信息时，曝光量(以下记为Ev)由下面的式19算出。
Ev＝Av+Tv＝Bv+Sv式19因此，根据例如光圈值和快门速度标签信息计算曝光量，并相应地确定第一参数，曝光量少就使其变亮，曝光量多就使其变暗。这种对应关系如在第一实施方式中由图5说明的那样，预先规定曝光量和第一参数值(γ值)的对应关系，根据计算出的曝光量确定即可。另外，也考虑记载在例如Exif的作者信息(Maker Note)标签或者用户注释(User Comment)标签中的情况，这种情况下也可以和亮度值标签信息一起计算出曝光量。或者，在根据数码相机的具体型号确定胶片感度的情况下，可以参照具体型号(Model)标签求出胶片感度并确定第一参数。或者进一步可以如下构成，事先假定胶片感度为特定值如ASA100，根据亮度值标签信息确定曝光量，并确定第一参数。
另外，例如像拍摄场景类型(Scene Capture Type)标签那样，使用与拍摄时的照相机模式基本对应的信息，每一个拍摄场景类型都确定好第一参数值并应用它。
可是，在该Exif格式中，因为规定了被摄物体区域(Subject Area)、被摄物体位置(Subject Location)这些标签，所以也考虑用其作为第二区域。在被摄物体区域或被摄物体位置记载的信息不是区域而是图像中的点时，使用预先确定好的和图像整体的比率或者预先定好的像素数，将该点作为中心规定区域即可。
图7是表示图2的步骤S203中的本实施方式的参数确定处理的流程图。在步骤S701中读入图像的著录信息，步骤S702如已经说明的那样根据图像的著录信息确定第一参数。
另外，在Exif中除此之外还规定了各种各样的标签，也可以使用那些标签。并且，也可以使用多个标签构成更复杂的参数确定逻辑。
另外，作为图像的著录信息，使用Exif只是一个例子，也可以使用其它的著录信息。
此外，使用Exif时著录信息和图像数据文件是保存在同一个文件中的，但著录信息也可以和图像文件在不同的文件中。该情况下，只要以某方法使著录信息和图像数据相互对应地关联起来即可。关于著录信息和图像数据的对应关系，例如使把它们保存到数据保存单元102中时的识别符(文件名等)的一部分，在著录信息文件和图像数据文件中通用即可，或者设置公知的数据库，管理其对应关系。并且，进而可以变形为由用户指示其对应关系。这时候，只要如下地构成即可例如向用户显示图像和著录信息文件的一览表，使其指示图像和著录信息。
如以上说明的那样，在本实施方式的图像处理方式中，是根据图像的著录信息来确定第一参数的，所以与第一、第二实施方式相比，具有能够简化第一参数确定处理的优点。
(实施方式4)在本实施方式中只说明与第一、第二、第三实施方式不同的部分。
在第一、第二、第三实施方式中，是由校正对象的图像数据或者著录信息数据自动地确定第一参数的，但在本实施例中构成为，根据用户的指示来确定第一参数。
在该情况下，在步骤S203中，在显示单元103中显示信息，以使用户输入第一参数，用户操作输入单元101，指示并设定第一参数。关于输入，可以是具体地输入数值，或者也可以构成GUI(GraphicalUser Interface图形用户接口)，使用游标、列表框、单选按钮等进行指示。并且，也可以不使用户输入第一参数，例如提示“亮”“暗”选择项，根据其选择结果应用事先确定的参数。
在本实施方式中的图像处理方式中，因为根据用户的输入而确定第一参数，所以具有如下优点例如对于在显示单元103中提示本图像处理方式的图像处理结果，并对话式地进行图像处理的情况，能够合适地进行图像处理。
在不脱离本发明的精神和范围的前提下，本发明可以有各种不同的实施形式。应该这样理解，除后附的权利要求书外，本发明不受本说明书中所描述的特定的实施形式限定。
权利要求
1.一种图像处理方法，其特征在于，包括从图像数据抽取亮度成分的亮度成分抽取步骤；抽取上述亮度成分的低频成分信号的低频亮度成分抽取步骤；使用上述亮度成分和低频亮度成分进行上述图像数据的颜色调整的颜色调整步骤；确定第一参数的第一参数确定步骤；以及按照上述图像数据中的第二区域中的亮度成分值的分布确定第二参数的第二参数确定步骤；其中，在上述颜色调整步骤中按照上述第一参数和上述第二参数时颜色调整的程度进行处理。
2.根据权利要求1所述的图像处理方法，其特征在于在上述第一参数确定步骤中，按照图像的著录信息确定第一参数。
3.根据权利要求1所述的图像处理方法，其特征在于在上述第一参数确定步骤中，根据用户的指示确定第一参数。
4.根据权利要求1所述的图像处理方法，其特征在于在上述第一参数确定步骤中，按照上述图像数据中的第一区域中的亮度成分值的分布确定第一参数。
5.根据权利要求4所述的图像处理方法，其特征在于上述第一区域是包含第二区域的更大的区域。
6.根据权利要求4所述的图像处理方法，其特征在于上述第一区域是从包含第二区域的更大区域除去了第二区域的区域。
7.根据权利要求5或6所述的图像处理方法，其特征在于上述包含第二区域的更大的区域是上述图像整体。
8.根据权利要求4所述的图像处理方法，其特征在于上述第一参数确定步骤包括下述步骤，按照上述第一区域中的亮度成分值的分布来计算代表上述第一区域的第一代表亮度成分值的第一代表亮度成分值计算步骤；根据上述第一代表亮度成分值计算上述第一参数的第一参数计算步骤。
9.根据权利要求1所述的图像处理方法，其特征在于上述第二区域是包含上述图像中的人脸的至少一个区域。
10.根据权利要求1所述的图像处理方法，其特征在于上述第二区域是包含上述图像中的人的皮肤的至少一个区域。
11.根据权利要求1所述的图像处理方法，其特征在于上述第二区域是用包含在图像的著录信息中的图像部分区域信息确定的区域。
12.根据权利要求11所述的图像处理方法，其特征在于上述图像的著录信息是根据公知的Exif图像格式规定的著录信息，上述图像部分区域信息是上述Exif图像格式规定的被拍摄体区域标签或者被拍摄体位置标签中记载的位置信息。
13.根据权利要求1所述的图像处理方法，其特征在于上述第二参数确定步骤包括以下步骤，第二代表亮度成分计算步骤，根据上述第二区域中的亮度成分值的分布来计算代表上述第二区域的第二代表亮度成分值；第二代表亮度成分值修正步骤，预测上述第二代表亮度成分值，和使用上述第一参数和临时确定的第二参数进行颜色调整时的第二代表亮度成分值的变化，来修正第二代表亮度成分值；以及从上述第一参数和上述修正了的第二代表亮度成分值计算上述第二参数的步骤。
14.根据权利要求1所述的图像处理方法，其特征在于上述第二参数确定步骤包括以下步骤使用上述第一参数和临时确定的第二参数对包含上述第二区域的上述图像区域生成实施了颜色调整的临时颜色调整图像，根据对应于上述第二区域的上述临时颜色调整图像的区域计算第二代表亮度成分值，根据上述第一参数和上述第二代表亮度成分值计算上述第二参数。
15.根据权利要求1～14任一项所述的图像处理方法，其特征在于在将作为上述亮度抽取步骤的输出的亮度成分设为A，作为上述低频亮度抽取步骤的输出的亮度成分的分布设为B，上述第一参数设为C，上述第二参数设为D时，上述颜色调整步骤中的颜色调整处理，基于 的特性进行像素值变换。
16.一种程序，其特征在于用于使用计算机实现权利要求1中所述的图像处理方法。
17.一种记录介质，其特征在于记录用于使用计算机实现权利要求1所述的图像处理方法的程序。
18.一种图像处理装置，包括亮度成分抽取单元，从图像数据抽取亮度成分；低频亮度成分抽取单元，抽取上述亮度成分的低频成分信号；第一参数确定单元，确定第一参数；第二参数确定单元，按照上述图像数据中的第二区域中的亮度成分值的分布确定第二参数；以及颜色调整单元，使用上述亮度成分和低频亮度成分，进行依照上述第一参数和上述第二参数的颜色调整。
全文摘要
本发明提供一种图像处理方法和装置，对处理的数字图像的主要被拍摄体例如作为人物图像的主要被拍摄体的脸的亮度，最合适地改善亮度分布。本发明的图像处理方法包括从图像数据抽取亮度成分的亮度成分抽取步骤；抽取上述亮度成分的低频成分信号的低频亮度成分抽取步骤；使用上述亮度成分和低频亮度成分进行上述图像数据的颜色调整的颜色调整步骤；确定第一参数的第一参数确定步骤；以及按照上述图像数据中的第二区域中的亮度成分值的分布确定第二参数的第二参数确定步骤；其中，在上述颜色调整步骤中按照上述第一参数和上述第二参数对颜色调整的程度进行处理。
文档编号G03B27/00GK1591172SQ20041007040
公开日2005年3月9日 申请日期2004年8月2日 优先权日2003年7月31日
发明者福田康男 申请人:佳能株式会社