使用了图像生成历史信息的图像的逆光处理的制作方法

专利名称：使用了图像生成历史信息的图像的逆光处理的制作方法
技术领域：
本发明涉及调整图像数据的图像质量的图像调整技术。
背景技术：
可以在个人计算机上通过使用修饰程序，任意调整由数字相机(DSC)和数字摄影机(DVC)等生成的图像数据的图像质量。图像修饰应用程序中一般具有自动调整图像数据的图像质量的图像调整功能，如果利用该图像调整功能，就可以提高从输出装置输出的图像之图像质量。作为图像的输出装置，例如有CRT、LCD、打印机、投影仪、电视接收器等。
另外，在控制输出装置之一的打印机的动作的打印机驱动程序中也设置有自动调整图像质量的功能，利用这样的打印机驱动程序，也可以提高打印图像的图像质量。
决定图像数据的图像质量的重要因素之一是亮度。如果图像数据的亮度是恰当的亮度，则用户可以将该图像识别为高图像质量图像。图像数据的亮度强烈地受到生成图像数据时的光源位置的影响。例如，有时在太阳等光源位于比被拍摄体更靠后的位置的条件(逆光)下，生成图像数据。在这样的逆光条件下，因为在所需被拍摄体朝向图像生成装置的面上未照射充分的光，所以有时所需被拍摄体形成比适当的亮度还暗的图像数据。因此，使用解析图像数据的亮度，根据该结果，进行调整，使图像数据的暗的区域变明亮，提高图像质量的方法。
(专利文献1)特开平10-79885号公报(专利文献2)特开平11-120325号公报在这些由图像修饰应用程序或打印机驱动程序提供的图像质量自动调整功能中，以具有一般的图像质量特性的图像数据作为基准，执行了图像质量修正。而在各种条件下生成成为图像处理对象的图像数据。例如，根据用户的喜好和摄影场所，任意设定图像内的被拍摄体位置。另外，有时也使用闪光灯等辅助光源，生成图像数据，作为摄影场所，在室外摄影、在室内摄影等在各种条件下摄影。
因此，有时对于包含暗区域的图像，即使进行以具有一般图像质量特性的图像数据为基准的图像质量修正，也无法提高画面全体的图像质量。另外，这样的问题并不局限于由DSC生成的图像，在由DVC等其它图像生成装置生成的图像中也是共同的问题。

发明内容
本发明是为了解决上述问题而提出的，其目的在于与各图像数据对应，恰当地自动调整图像质量。
为了解决上述问题的至少一部分，本发明的输出装置使用由图像生成装置生成的图像数据、至少包含上述图像数据生成时上述图像生成装置的动作信息并且与上述图像数据形成了关联的图像生成历史信息，输出图像，包括使用上述图像生成历史信息和上述图像数据的双方，进行是否执行逆光处理的逆光判定的判定部；当判定为执行上述逆光处理时，执行使上述图像数据的至少一部分像素的亮度值增大的逆光处理的图像质量调整部；对应被调整了上述图像质量的图像数据，输出图像的图像输出部。
上述判定部，(i)根据上述图像生成历史信息，执行用于决定上述图像数据是否需要上述逆光处理的第1判定；(ii)在上述第1判定中，未判定为上述图像数据不需要上述逆光处理时，使用上述图像数据，生成表示像素值的出现频率的对象图像直方图，通过解析上述对象图像直方图，执行用于决定上述逆光处理的需要与否的第2判定。
本发明的输出装置可以根据图像生成历史信息和图像数据双方，恰当执行是否执行逆光处理的判定。另外，执行增大亮度值的逆光处理，所以可以提高亮度值很暗区域的亮度。再有，由于用两个阶段判定逆光处理的需要与否，故可以更准确地判定是否需要逆光处理。特别是，在第2判定中，由于根据像素值的直方图的解析来判定逆光处理，故与利用图像生成历史信息的判定相比，可以更高精度地判定逆光处理的需要与否。
还有，上述判定部可以计算出上述对象图像直方图和预先设定了的参照直方图之间的类似度，根据上述类似度的值执行上述第2判定。
根据该构成，根据类似度的值可以高精度地判定逆光处理的需要与否。
另外，优选上述对象图像直方图与上述参照直方图的像素值的范围分别分割为多个分区，同时每个分区具有设定过出现频率的代表值的简略化形式，优选上述类似度是表示上述对象图像直方图与上述参照直方图的每个分区的像素值的出现频率的类似度的值。
根据该构成，由于使用已简略化的直方图计算类似度，故可以高速地计算出类似度。
在上述输出装置中，上述判定部当上述图像生成历史信息包含表示被拍摄体在上述图像内的位置的被拍摄体位置信息时，使用上述被拍摄体位置信息执行上述逆光判定。
这样，可以执行基于被拍摄体位置信息的恰当的逆光判定。
在上述各输出装置中，上述判定部使用在上述被拍摄体位置和上述被拍摄体位置以外的位置采用了大小不同的加权分布的上述图像数据的解析结果，执行上述逆光判定。
这样，可以执行使用了被拍摄体位置和被拍摄体位置以外的位置的图像数据特征的逆光判定。
在上述各输出装置中，上述判定部当上述图像生成历史信息包含上述图像数据生成时的辅助光源的发光信息时，根据上述发光信息，判定在上述图像数据生成时，是否进行了基于上述辅助光源的光的照射，使用该判定结果，执行上述逆光判定。
这样，可以执行基于发光信息的恰当判定。
在上述各输出装置中，上述判定部使用上述发光信息，识别图像数据生成时的辅助光源的动作结果，当上述动作结果为(i)无辅助光源；(ii)无基于辅助光源的发光；(iii)有基于辅助光源的发光并且无反射光的任意情形时，使用上述图像数据的亮度值，执行上述逆光判定。
这样，在未进行基于辅助光源的照射时，可以执行基于亮度值的恰当判定。
在上述各输出装置中，上述图像生成历史信息还包含关于上述图像数据生成时的上述图像数据的被拍摄体和上述图像生成装置的距离的信息；上述判定部当上述辅助光源的动作结果不是上述结果(i)、(ii)、(iii)的任意一个时，将与上述被拍摄体的距离的大小与规定的阈值进行比较；当判定为与上述被拍摄体的距离为上述规定的阈值以上时，进一步使用上述图像数据的亮度值执行上述逆光判定；当判定为与上述被拍摄体的距离小于规定的阈值时，使不执行上述逆光处理的判定成立。
这样，在进行了基于辅助光源的照射时，可以执行基于与被拍摄体的距离的恰当判定。当距离大时，可以执行基于亮度值的恰当判定。
在上述各输出装置中，上述判定部当上述图像生成历史信息包含关于上述图像数据的被拍摄体的场所的信息时，判定上述被拍摄体的场所是否在室外，根据该判定结果，执行上述逆光判定。
这样，可以执行基于关于图像数据被拍摄体场所的信息的恰当判定。
在上述各输出装置中，上述判定部当判定为上述图像数据生成时的被拍摄体的场所为室外时，使用上述图像数据的亮度值，执行上述逆光判定。
这样，当图像数据生成时的被拍摄体的场所为室外时，可以执行基于亮度值的恰当判定。
在上述各输出装置中，上述图像质量调整部使用上述图像生成历史信息和上述图像数据双方，决定上述逆光处理的强度。
这样，可以根据图像生成历史信息和图像数据的双方，恰当决定逆光处理的强度。
在上述各输出装置中，上述图像质量调整部当上述图像生成历史信息包含表示被拍摄体在上述图像内的位置的被拍摄体位置信息时，使用在上述被拍摄体位置和上述被拍摄体位置以外的位置采用了大小不同的加权分布的上述图像数据的解析结果，决定上述逆光处理的强度。
这样，可以根据被拍摄体位置和被拍摄体位置以外的位置的图像数据特征，恰当决定逆光处理的强度。
另外，本发明可以以各种形态实现，例如，可以以图像数据处理方法和图像数据处理装置、用于实现这些方法或装置的功能的计算机程序、记录了该计算机程序的记录媒体、包含该计算机程序并且体现在载波内的数据信号等形态实现。


图1是表示作为一个实施例的图像输出系统的结构的框图。
图2是表示数字相机12的概略结构的框图。
图3是概念地表示图像文件的内部结构一例的说明图。
图4是说明附属信息存储区103的数据结构例的说明图。
图5是说明Exif数据区的数据结构一例的说明图。
图6是表示打印机20的概略结构的框图。
图7是表示打印机20的结构的框图。
图8是表示图像文件GF的生成处理流程的流程图。
图9是表示图像处理的处理程序的流程图。
图10是表示图像处理的处理程序的流程图。
图11是表示自动图像质量调整处理的处理程序的流程图。
图12是说明逆光判定处理的实施例1的说明图。
图13是说明逆光处理的实施例1的说明图。
图14是说明逆光判定处理的实施例2的说明图。
图15是说明逆光判定处理的实施例3的说明图。
图16是说明逆光判定处理的实施例4的说明图。
图17是说明平均亮度值的计算中使用的加权W的分布的说明图。
图18是说明逆光判定处理的实施例5的说明图。
图19是说明逆光判定处理的实施例6的说明图。
图20是表示逆光判定处理的实施例7的程序的流程图。
图21是表示使用了直方图的逆光判定处理的内容的说明图。
图22是说明逆光处理的实施例2的说明图。
图23是说明逆光处理的实施例3的说明图。
图24是表示图像输出系统的一例的说明图。
图25是表示图像处理程序的流程图。
图26是表示图像处理的处理程序的其它例子的流程图。
图27是表示图像处理的处理程序的其它例子的流程图。
图中10-图像输出系统；10B-图像输出系统；12-数字相机；14-监视器；14B-监视器；20-打印机；20B-打印机；21-滑架；22-滑架电机；23-压纸辊；24-电机；25-滑动轴；26-驱动皮带；27-滑轮；28-位置检测传感器；29-操作面板；30-控制电路；31-CPU；32-PROM；33-RAM；34-存储卡插槽；35-外围设备输入输出部；37-驱动缓冲器；38-总线；39-发信器；40-分配输出器；101-图像数据存储区；102-图像生成历史信息存储区；103-附属信息存储区；121-光学电路；122-图像取得电路；123-图像处理电路；124-控制电路；125-透镜；126-选择和决定按钮；127-液晶显示器；128-CCD，129-光圈；130-闪光灯；150-CPU；151-RAM；152-HDD；153-存储卡插槽；154-输入输出端子；211-打印头；CV-电缆；GD-图像数据；GF-图像文件；GI-图像生成历史信息；MC-存储卡；P-打印纸；PC-计算机；SA-被拍摄体区域；SAC-被拍摄体区域中心。
具体实施例方式
下面，根据实施例，按以下顺序说明本发明的实施方式。
A.图像输出系统的结构B.图像文件的结构C.图像输出装置的结构D.数字相机的图像处理E.打印机的图像处理F.自动图像质量调整处理的实施例G.逆光判定处理的其它实施例
H.逆光处理的其它实施例I.使用图像数据处理装置的图像输出系统的结构J.变形例A.图像输出系统的结构图1是表示可以应用作为本发明一实施例的输出装置的图像输出系统一例的说明图。图像输出系统10具有作为生成图像文件的图像生成装置的数字相机12、作为图像的输出装置的打印机20。在数字相机12中生成的图像文件通过电缆CV，或通过将存储了图像文件的存储卡MC直接插入打印机20中，发送给打印机20。打印机20执行基于读入的图像文件的图像数据的图像质量调整处理，输出图像。作为输出装置，除了打印机20，还可以使用CRT显示器、LCD显示器等监视器14、投影仪等。下面，根据将具有判定部、图像质量调整部和图像输出部的打印机20作为输出装置使用，将存储卡MC直接插入打印机20中的情形，进行说明。
图2是表示数字相机12的概略结构的框图。本实施例的数字相机12具有用于收集光信息的光学电路121、用于控制光学电路而取得图像的图像取得电路122、用于将取得的数字图像加工处理的图像处理电路123、作为辅助光源的闪光灯130、控制各电路的控制电路124。控制电路124具有未图示的存储器。光学电路121具有收集光信息的透镜125、调整光量的光圈129、将通过了透镜的光信息转换为图像数据的CCD128。
数字相机12将取得的图像保存在存储卡MC中。作为数字相机12的图像数据的保存形式，一般是JPEG形式，但是也可以使用TIFF形式、GIF形式、BMP形式、RAW数据形式等保存形式。
数字相机12具有设定各种摄影条件(后面描述)的选择和决定按钮126、液晶显示器127。在预览摄影图像，或使用选择和决定按钮126设定光圈值时使用液晶显示器127。
在数字相机12中执行了摄影时，将图像数据和图像生成历史信息作为图像文件存储到存储卡MC中。图像生成历史信息可以包含摄影时(图像数据的生成时)的光圈值等参数的设定值(后面详细描述)。
B.图像文件的结构图3是在概念上表示本实施例中可以使用的图像文件的内部结构一例的说明图。图像文件GF具有存储图像数据GD的图像数据存储区101、存储图像生成历史信息GI的图像生成历史信息存储区102。图像数据GD以JPEG形式存储，图像生成历史信息GI例如以TIFF(使用选项决定数据和数据区的形式)存储。另外，本实施例中的文件结构、数据结构等用语意味着文件或数据等存储在存储装置内的状态下的文件或数据的结构。
图像生成历史信息GI是关于在数字相机12等图像生成装置中生成了图像数据时(摄影时)的图像的信息，包含以下的设定值。
·光源(光源的种类)。
·闪光灯(发光的有无)。
·被拍摄体距离。
·被拍摄体距离范围。
·被拍摄体区域。
·闪光灯强度。
·光圈值。
·ISO速率(ISO感光度)。
·摄影模式。
·制造商名。
·模型名。
·灰度值。
本实施例的图像文件GF基本上可以具有图像数据存储区101、图像生成历史信息存储区102，可以采用根据已经标准化的文件形式的文件结构。下面，具体说明使本实施例的图像文件GF适合于Exif文件形式时的情形。
Exif文件具有根据数字相机用图像文件格式规格(Exif)的文件结构，它的规格由日本电子信息技术产业协会(JEITA)规定。另外，Exif文件形式与图3所示的概念图同样，具有存储JPEG形式的图像数据的JPEG图像数据存储区、存储关于存储的JPEG图像数据的各种信息的附属信息存储区。JPEG图像数据存储区相当于图3的图像数据存储区101，附属信息存储区相当于图像生成历史信息存储区102。在附属信息存储区中存储着摄影日期时间、光圈值、被拍摄体距离等关于JPEG图像的图像生成历史信息。
图4是说明附属信息存储区103的数据结构例的说明图。在Exif文件形式中，为了决定数据区，使用了多层形式的选项。各数据区在其内部可以包含由下层选项决定的多个下层数据区。在图4中，由四边形包围的区域表示一个数据区，在其左上记录有选项名。本实施例包含选项名为APP0、APP1、APP6的3个数据区。APP1数据区在其内部包含选项名为IFD0、IFD1的两个数据区。IFD0数据区在其内部包含选项名为PM、Exif、GPS等3个数据区。数据和数据区根据规定的地址或偏移量值存储，可以根据选项名检索地址或偏移量值。在输出装置一侧，通过指定与所需信息对应的地址或偏移量值，可以取得与所需信息对应的数据。
图5是说明在图4中，通过按照APP1-IFD0-Exif的顺序探索选项名，可参照的Exif数据区的数据结构(数据的选项名和参数值)的一个例子的说明图。Exif数据区如图4所示，可以包含选项名为MakerNote的数据区，MakerNote数据区还可以包含多个数据，但是在图中省略图示。
在Exif数据区中，如图5所示，存储有关于光源、闪光灯、被拍摄体距离、被拍摄体区域、闪光灯强度、ISO速率等的信息的参数值。在本实施例中，光源作为关于图像数据的被拍摄体场所的信息而使用，另外，闪光灯作为辅助光源的发光信息而使用，被拍摄体距离作为关于图像数据的被拍摄体与图像生成装置的距离的信息而使用，被拍摄体区域作为被拍摄体位置信息而使用。
光源信息是关于图像数据生成时的光源种类的信息，例如从白天光线、晴天、多云天、背阴、荧光灯、钨丝电灯泡等中设定。当在这些设定内设定了白天光线、晴天、多云天、背阴时，可以判断为被拍摄体位于室外。另外，当设定了荧光灯、钨丝电灯泡时，可以判断为被拍摄体位于室内。
闪光灯信息是关于闪光灯的动作的信息，可以包含关于其动作模式和动作结果的4个信息。例如从包含以下3个值的多个值中设定动作模式。
1强制发光模式。
2禁止发光模式。
3自动发光模式。
从有发光和无发光等2值中设定动作结果。使用该动作结果，可以进行在图像数据生成时是否进行了基于辅助光源的照射。
在图像生成装置中，有的具有检测闪光灯光的基于对象物的反射光的机构。当闪光灯的盖子等障碍物遮挡闪光灯光时，或虽然闪光灯工作，但是不发光时，不照射光。根据反射光的有无可以识别这些时候。在闪光灯信息中可以包含关于这样的反射光检测机构的有无和图像数据生成时(摄影时)的反射光检测的有无的信息。当有反射光检测机构，没有反射光检测时，即使上述的动作结果是有发光，也可以判定为未进行基于辅助光源的照射。
被拍摄体距离信息是关于图像数据生成时的图像生成装置和被拍摄体的距离的信息。例如，根据为了在图像数据生成时对焦而设定的距离信息，以米单位设定。
被拍摄体区域信息是表示图像内的被拍摄体位置的信息，作为参数值，设定了图像内的中心坐标。另外，当为了表示被拍摄体的大小，设定了圆或矩形区域时，配合圆的半径或矩形的宽度和高度设定。
闪光灯强度信息是关于图像数据生成时的闪光灯发出的光量的信息，其测定单位是BCPS(Beam Candle Power Seconds)。
光圈值是关于图像数据生成时的光圈值的信息，使用F值作为参数值。因此，光圈值越大，光圈越小。
ISO速率信息是关于图像数据生成时的光学电路感光度的信息，设定了氯化银胶片的感光度指标即ISO感光度的相当的参数值。ISO感光度与光圈值等关于图像生成的参数组合，用于设定适当的图像生成条件(摄影条件)。在数字相机等图像生成装置中，作为表示光学电路的感光度的指标，通过使用相当的ISO感光度，可以容易进行光圈值等图像生成条件的设定。
这些信息都是图像生成装置的动作信息。这些动作信息可以伴随着图像数据的生成，由用户设定，或者由图像生成装置自动设定。另外，在图像生成装置中，用户设定摄影模式，图像生成装置按照设定的摄影模式，可以自动设定关联的参数(光圈值、ISO感光度)。作为摄影模式，可以从预先决定的多个模式例如标准模式、人物模式、风景模式、夜景模式等中选择。当选择了标准模式作为摄影模式时，将与图像数据的生成关联的参数设定为标准值。
与图像数据具有关联的信息也可以适当存储在图4的Exif数据区以外的区域中。例如作为决定图像生成装置的信息的制造商名和模型名存储在选项名为IFD0的数据区中。
C.图像输出装置的结构图6是表示本实施例的打印机20的概略结构的框图。打印机20是可以输出图像的打印机，例如，是向打印媒体上喷出青色C、洋红色Mg、黄色Y、黑色K等四色墨水，形成点图案的喷墨式打印机。也可以代替它，使用将粉末复制、定影在打印媒体上，形成图像的电子照片方式的打印机。在墨水中，除了上述4色，也可以使用比青色C浓度低的淡青色LC、比洋红色Mg浓度低的淡洋红色LM和比黄色Y浓度浓的暗黄色。另外，当进行黑白打印时，可以是只使用黑色K的结构，也可以使用红色R和绿色G。可以按照输出的图像的特征，决定利用的墨水和粉末的种类。
打印机20如图所示，由驱动搭载在滑架21上的打印头211进行墨水的喷出和点的形成的机构、通过滑架电机22使滑架21在压纸辊23的轴向往返运动的机构、通过给纸电机24输送打印用纸P的机构、控制电路30构成。根据这些机构，打印机20作为图像输出部起作用。使滑架21在压纸辊23的轴向往返运动的机构，由可滑动地保持与压纸辊23的轴平行架设的滑架21的滑动轴25、在与滑架电机22之间配置无端的驱动皮带26的滑轮27、检测滑架21的原点位置的位置检测传感器28等构成。输送打印用纸P的机构由使压纸辊23旋转的给纸电机24、未图示的给纸辅助辊、将给纸电机24的旋转传递给压纸辊23和给纸辅助辊的传动机构(省略图示)构成。
控制电路30一边与打印机的操作面板29交换信号，一边恰当地控制电机24、滑架电机22、打印头211的动作。提供给打印机20的打印用纸P设定为夹在压纸辊23和给纸辅助辊之间，按照压纸辊23的旋转角度，只输送规定的量。
滑架21具有打印头211，另外，可以搭载可利用的墨水的墨盒。在打印头211的下表面上设置有用于喷出可利用的墨水的喷嘴(省略图示)。
图7是表示以打印机20的控制电路30为中心的打印机20结构的框图。在控制电路30内部设置有CPU3 、PROM32、RAM33、从存储卡MC取得数据的存储卡插槽34、进行与给纸电机24或滑架电机22等的数据交换的外围设备输入输出部35(PIO)35、驱动缓冲器37等。驱动缓冲器37作为向打印头211提供点的导通和断开信号的缓冲器使用。它们彼此由总线38连接，彼此可以进行数据的交换。另外，在控制电路30中设置有以规定的定时向打印头211分配来自发信器39的输出的分配输出器40。
另外，控制电路30一边与给纸电机24或滑架电机22的动作取得同步，一边在规定的定时向驱动缓冲器37输出点数据。控制电路30从存储卡MC读出图像文件，解析附属信息，根据取得的图像生成历史信息，进行图像处理。即控制电路30作为本发明的判定部30a及图像质量调整部30b(图6)起作用。后面将详细描述由控制电路30执行的详细的图像处理的流程。
D.数字相机的图像处理图8是表示数字相机12中的图像文件GF的生成处理流程的流程图。
数字相机12的控制电路124(图2)按照摄影要求，例如按照快门按钮的按下，生成图像数据GD(步骤S100)。当设定了光圈值、ISO感光度、摄影模式等参数值时，进行使用了设定的参数值的图像数据GD的生成。
控制电路124将生成的图像数据GD和图像生成历史信息GI作为图像文件GF存储在存储卡MC中(步骤S110)，结束本处理程序。图像生成历史信息GI包含光圈值、ISO感光度等图像生成时使用的参数值、摄影模式等任意设定的参数值、制造商名、模型名等自动设定的参数值。另外，图像数据GD在从RGB颜色空间变换为YCbCr颜色空间后，进行JPEG压缩，作为图像文件GF存储。
通过在数字相机12中执行的以上处理，在存储于存储卡MC中的图像文件GF中与图像数据GD一起，设定了包含图像数据生成时的各参数值的图像生成历史信息GI。
E.打印机的图像处理图9是表示本实施例的打印机20的图像处理的处理程序的流程图。在以下的说明中，根据将存储了图像文件GF的存储卡MC直接插入打印机20中的情形，进行说明。如果存储卡MC插入存储卡插槽34中，则打印机20的控制电路30的CPU31从存储卡MC读出图像文件GF(图3)(步骤S200)。在步骤S210中，CPU31从图像文件GF的附属信息存储区检测表示图像数据生成时的信息的图像生成历史信息GI。在可以发现图像生成历史信息GI时(步骤S220Y)，CPU31取得图像生成历史信息GI，进行解析(步骤S230)。CPU31根据解析的图像生成历史信息GI，执行后面描述的图像处理(步骤S240)。输出处理的图像(步骤S250)，结束本处理程序。
而在使用制图应用程序等生成的图像文件中，不包含具有光圈值等信息的图像生成历史信息GI。CPU31不可以发现图像生成历史信息GI时(步骤S220N)，进行标准处理(步骤S260)，输出处理的图像(步骤S250)，结束本处理程序。
图10是表示基于图像生成历史信息的图像处理(在图9中，相当于步骤S240)的处理程序的流程图。打印机20的控制电路30(图7)的CPU31从读出的图像文件GF取出图像数据GD(步骤S300)。
数字相机12如上所述，将图像数据GD作为JPEG形式的文件保存，在JPEG形式的文件中，使用YCbCr颜色空间保存图像数据。CPU31在步骤S310中，为了将基于YCbCr颜色空间的图像数据变换为基于RGB颜色空间的图像数据，执行使用3×3矩阵S的运算。该矩阵运算由如下所示的运算式表示。
RGB=SYCd-128Cr-128]]>S=101.402001-0.34414-0.7141411.772000]]>当数字相机12生成的图像数据的颜色空间比规定的颜色空间例如sRGB颜色空间还宽时，基于由步骤S310取得的RGB颜色空间的图像数据有时在该RGB颜色空间的定义区域外具有有效的数据。在图像生成历史信息GI中，当进行过将这些定义区域外的数据作为有效数据处理的指定时，原封不动保持定义区域外的数据，继续以后的图像处理。当未进行将定义区域外的数据作为有效数据处理的指定时，将定义区域外的数据剪切到定义区域内。例如，当定义区域为0～255时，小于0的负值的数据舍入为0，256以上的数据舍入为255。图像输出部的可表现的颜色空间不比规定的颜色空间例如sRGB颜色空间还宽时，与图像生成历史信息GI的指定无关，剪切到定义区域内。作为这样的时候，例如有时输出到可表现的颜色空间是sRGB颜色空间的CRT中。
接着，在步骤S320中，CPU31执行灰度修正和使用了矩阵M的运算，将基于RGB颜色空间的图像数据变换为基于XYZ颜色空间的图像数据。图像文件GF可以包含图像生成时的灰度值和颜色空间信息。图像生成历史信息GI当包含这些信息时，CPU31从图像生成历史信息GI取得图像数据的灰度值，使用取得的灰度值执行图像数据的灰度变换处理。CPU31从图像生成历史信息GI取得图像数据的颜色空间信息，使用与该空间信息对应的矩阵M，执行图像数据的矩阵运算。当图像生成历史信息GI不包含灰度值时，可以使用标准的灰度值执行灰度变换处理。另外，当图像生成历史信息GI不包含颜色空间信息时，可以使用标准的矩阵M执行矩阵运算。例如，作为这些标准的灰度值和矩阵M，可以使用与sRGB颜色空间对应的灰度值和矩阵。该矩阵运算例如是以下表示的运算式。
XYZ=MRt′Gt′Bt′]]>M=0.43610.38510.19310.22240.71690.06060.01390.09710.7141]]>Rt，Gt，Bt≥0Rt′=(Rt255)γ]]>Gt′=(Gt255)γ]]>Bt′=(Bt255)γ]]>Rt，Gt，Bt＜0Rt′=-(-Rt255)γ]]>Gt′=-(-Gt255)γ]]>Bt′=-(-Bt255)γ]]>矩阵运算的执行后取得的图像数据的颜色空间是XYZ颜色空间，XYZ颜色空间是绝对颜色空间，是不依存于数字相机和打印机等设备的设备非依存颜色空间。因此，通过利用XYZ颜色空间进行颜色空间的变换，可以进行不依存于设备的彩色匹配。
接着，在步骤S330中，CPU31执行使用了矩阵N-1的运算和逆灰度修正，将基于XYZ颜色空间的图像数据变换为基于wRGB颜色空间(比sRGB颜色空间更广的RGB颜色空间)的图像数据。在执行逆灰度修正时，CPU31从PROM32取得打印机一侧的灰度值，使用取得的灰度值的倒数执行图像数据的逆灰度变换处理。CPU31从PROM32取得与从XYZ颜色空间向wRGB颜色空间的变换对应的矩阵N-1，使用该矩阵N-1执行图像数据的矩阵运算。该矩阵运算例如是以下所示的运算式。
RwGwBw=N-1XYZ]]>N-1=1.96271-0.610757-0.34144-0.978761.916090.03348620.0286511-0.140721.34921]]>Rw′=(Rw255)1/γ]]>Gw′=(Gw255)1/γ]]>Bw′=(Bw255)1/γ]]>接着，在步骤S340中，CPU31执行图像质量的自动调整处理。在本实施例的自动图像质量调整处理中，使用图像文件GF中包含的图像生成历史信息，执行图像数据的自动图像质量调整处理。后面将描述自动图像质量调整处理。
接着，在步骤S350中，CPU31执行用于打印的CMYK颜色变换处理和半色调处理。在CMYK颜色变换处理中，CPU31参照PROM32内存储着的从wRGB颜色空间向CMYK颜色空间的变换用查找表(LUT)，将图像数据的颜色空间从wRGB颜色空间向CMYK颜色空间变更。即将由RGB的灰度值构成的图像数据变换为在打印机20中的例如由C(Cyan)Mg(Magenta)Y(Yellow)K(Black)LC(Light Cyan)LM(LightMagenta)等6色的灰度值构成的图像数据。
在半色调处理中，CPU31执行所谓的半色调处理，从进行完颜色变换的图像数据生成半色调图像数据。该半色调图像数据重新排列为应该发送给驱动缓冲器37(图7)的顺序，变为最终的打印数据，结束本处理程序。由本处理程序处理了的图像数据在图9所示的图像处理程序的步骤S250中输出。
F.自动图像质量调整处理的实施例图11是表示本实施例的自动图像质量调整处理(在图10中，相当于步骤S340)的处理程序的流程图。CPU31(图7)解析图像生成历史信息GI，取得闪光灯等的参数值(步骤S400)。接着，在步骤S410中，CPU31执行是否进行基于取得的参数值的逆光处理的逆光判定(后面详细描述)。当判定为执行时，即当判定为执行逆光处理(步骤S410Y)时，在步骤S420中，CPU31执行增大亮度值的亮度调整处理即逆光处理(后面详细描述)。
执行了亮度调整处理后，在步骤S430中，CPU31执行增加色度的色度调整处理。在色度值低的区域中，色度低的倾向强。因此，如果通过亮度调整处理只增大亮度值，则暗的区域有时成为亮度值大，但是色度低的很白的区域。在本实施例中，通过执行增大色度的彩色调整处理(步骤S430)，可以自动调整为更鲜艳的图像质量。
执行了色度调整处理后，在步骤S440中，CPU31执行除去噪声的噪声除去处理。当亮度值低时不明显的噪声由于提高亮度值，有时变得明显。在本实施例中，通过执行噪声除去处理，可以抑制这样的噪声变明显的情形。作为噪声除去处理，例如可以执行使用了中值滤波器的处理、使用了非清晰掩模的处理。
另外，图9～图11的处理流程与后面描述的其它实施例也相同。
F1.逆光判定处理的实施例1图12是说明图11的步骤S410的逆光判定处理的说明图。图12(a)所示的图像IMG12表示逆光条件下的图像。在图像IMG12中拍摄了作为被拍摄体的人物H，在背景中拍摄了太阳S。作为光源的太阳S位于人物H的后面，所以人物H拍摄得暗。另外，在图像IMG12中设定了被拍摄体区域的中心SAC和被拍摄体区域SA，人物H位于被拍摄体区域的中心SAC。另外，配合人物H的大小，设定了被拍摄体区域SA。另外，在本例子中，被拍摄体区域SA为矩形。
图12(b)表示实施例1的逆光判定处理。在实施例1中，当满足以下的条件时，判定为逆光。
(b1)被拍摄体区域内的平行亮度值BAave是图像全体的平均亮度值Bave乘以系数k的值以下。
即被拍摄体区域内的亮度比图像全体的亮度暗示，判定为逆光。作为系数k，可以使用根据图像的输出结果的感应评价而决定的值。例如，可以用0.6作为规定的系数。使用被拍摄体区域信息和图像数据GD双方执行条件(b1)的判定。这样，通过执行基于被拍摄体区域信息的判定，可以将具有所需位置和大小的被拍摄体作为逆光处理对象而选择。另外，本判定方法可以称作将被拍摄体区域外的加权为0，解析图像数据GD的判定方法。即在被拍摄体位置(被拍摄体区域中心)和被拍摄体区域外使用大小不同的加权分布，解析图像数据GD的判定方法。
F2.逆光处理的实施例1图13是说明图11的步骤S420的逆光处理的说明图。图13(a)是说明逆光图像中的亮度分布(亮度直方图)的示例的说明图。在逆光图像中存在明亮的区域和暗的区域。因此，亮度值高的像素和亮度值低的像素增多。特别是如图12(a)所示，当由于逆光，被拍摄体变暗示，亮度值低的像素增多。
图13(b)是表示实施例1的逆光处理(亮度调整处理)中的亮度值的输入水平Yin和输出水平Yout的关系的说明图。曲线图GA中，与输入水平Yin相比，输出水平Yout大。特别是在亮度值的输入水平Yin小的区域中，该增加量变大。如果使用该曲线图GA进行亮度值的调整，就可以提高暗的区域的亮度。作为亮度值的增加量，根据图像的输出结果的感应评价，可以使用预先决定的值。
曲线图GB与曲线图GA不同，只在亮度值的输入水平Yin小的区域中，亮度值提高。这样，通过只对暗的区域进行亮度值的调整，可以不变更明亮区域的亮度等级，提高暗的区域的亮度。可以根据图像的输出结果的感应评价，决定成为亮度值调整的对象的亮度值输入水平的范围。例如，当亮度值可以取值的范围是0～255时，可以将180以下作为亮度值调整的对象范围。
G.逆光判定处理的其它实施例G1.逆光判定处理的实施例2图14是说明图11的步骤S410的逆光判定处理的实施例2的说明图。图14(a)的图像IMG14与图12(a)所示的图像IMG12相同。图14(b)表示实施例2的逆光判定处理。在实施例2中，当满足以下两个条件时，判定为逆光。
(a1)在图像数据的生成时，不进行基于辅助光源的照射。
(b1)被拍摄体区域内的平均亮度值BAave是图像全体的平均亮度值Bave乘以系数k的值以下。
条件(b1)与上述的实施例1的条件(b1)相同。条件(a1)的判定是根据从图像生成历史信息GI取得的闪光灯信息的参数值执行。在逆光条件中，生成图像数据时，为了提高所需被拍摄体的亮度，有时向被拍摄体上照射闪光灯等辅助光源的光。优选在这样通过辅助光源照射了光时，不执行逆光处理。在实施例2中，闪光灯信息中包含的动作结果为无发光时，判定为满足条件(a1)。另外，如上所述，当有反射光检测机构，而没有反射光的检测时，即使动作结果为有发光时，也判定为满足条件(a1)。在闪光灯信息的参数值中设定了“无闪光灯”时，判定为满足条件(a1)。这样，当满足使用了闪光灯信息的条件(a1)时，即不进行基于辅助光源的光照射时，与上述的实施例1同样，执行基于条件(b1)的判定，当判定为逆光时，执行逆光处理。而当不满足条件(a1)时，即进行了基于辅助光源的光照射时，判定为非逆光，不执行逆光处理。这样，通过执行基于闪光灯信息的判定，可以从逆光处理的对象除去由辅助光源照射了的图像。通过执行组合了只使用闪光灯信息执行的条件(a1)的判定、使用被拍摄体区域信息和图像数据GD执行的条件(b1)的判定，可以更恰当地将所需被拍摄体暗的图像作为逆光处理的对象而选择。
G2.逆光判定处理的实施例3图15是说明逆光判定处理的实施例3的说明图。图15(a)的图像IMG15是与图12(a)所示的图像IMG12同样，表示逆光条件的图像，因为作为光源的太阳S位于人物H的后面，所以人物H拍摄得暗。另外，在图像IMG15中设定有被拍摄体区域的中心SAC和被拍摄体区域SA。
图15(b)表示实施例3的逆光判定处理的程序。在实施例3中，使用以下3个条件执行逆光判定。
(a1)在图像数据生成时不进行基于辅助光源的光照射。
(a2)被拍摄体距离是规定的阈值以下。
(b1)被拍摄体区域内的平均亮度值BAave是图像全体的平均亮度值Bave乘以系数k的值以下。
与图14(b)所示的逆光判定处理的差异是追加了条件(a2)。当满足条件(a1)和(b1)时，与图14(b)所示的实施例2同样，判定为逆光。当不满足条件(a1)时，即通过闪光灯等辅助光源进行了光的照射时，执行基于条件(a2)的判定。根据从图像生成历史信息GI区的被拍摄体距离信息的参数指(被拍摄体距离)，执行条件(a2)的判定。当被拍摄体距离(图像生成装置和被拍摄体的距离)远时，即使进行基于闪光灯的光照射，有时也无法充分改善亮度。这时，即使进行基于闪光灯的光照射，也希望执行逆光处理。在实施例3中，当被拍摄体距离为阈值以上时，判定为满足条件(a2)。当满足条件(a2)时，与上述的实施例1同样，执行基于条件(b1)的判定，当判定为逆光时，执行逆光处理。这样，通过执行使用了被拍摄体距离的条件(a2)，可以将执行了基于辅助光源的光照射，但是未充分改善亮度的图像作为逆光处理的对象而选择。作为用于判断被拍摄体距离的大小的阈值，可以使用根据图像的输出结果的感应评价而决定的值。例如也可以是2m。
基于被拍摄体距离的条件换言之是基于被拍摄体接受的光量的条件。如果被拍摄体距离为低于阈值，则被拍摄体接受的光量多，可以提高它的亮度。而当被拍摄体距离为阈值以上时，光量不足，有时无法提高被拍摄体的亮度。即在条件(a2)中，阈值成为用于判定被拍摄体接受的光量的大小的基准。因此，根据使被拍摄体接受的光量变化的其它参数值调整该阈值，可以执行更恰当的逆光判定。例如，可以是伴随着图像生成历史信息GI中包含的闪光灯强度的增加，阈值增大。通过这样，可以根据闪光灯强度即辅助光源照射被拍摄体的光量恰当执行逆光判定。另外，也可以是伴随着光圈值(F值)的增加，阈值减小。F值越大，图像生成装置取入的光量越少。换言之，F值越大，拍摄体接受的光的视在量越小。因此，通过F值越大，使阈值越小，可以执行更恰当的逆光判定。另外，也可以是伴随着ISO速率的增加，阈值增加。ISO速率是光学电路的感光度的指标，它越大，图像生成装置取入的光的视在量越大。因此，通过ISO速率越大，使阈值增大，可以执行更恰当的逆光判定。
G3.逆光判定处理的实施例4图16是说明逆光判定处理的实施例4的说明图。图16(a)的图像IMG16与图12(a)所示的图像IMG12相同。图16(b)表示实施例4的逆光判定处理的程序。在实施例4中，当满足以下的2个条件时，判定为逆光。
(a3)光源的种类为室外。
(b1)被拍摄体区域内的平均亮度值BAave是图像全体的平均亮度值Bave乘以系数k的值以下。
条件(b1)与上述的实施例1的条件(b1)相同。根据从图像生成历史信息GI取得的光源信息执行条件(a3)的判定。当被拍摄体在室外时，常常将太阳作为光源生成图像数据。作为光源的太阳无法设定其位置，所以有时必须在逆光条件下生成图像数据。另外，因为该光强烈，所以在逆光条件下，被拍摄体容易变暗。而当被拍摄体位于室内时，常常使用照明等光源生成图像数据。因为常常可以任意设定这些光源的位置，所以在摄影时可以容易防止逆光。在实施例4中，光源信息中设定的光源种类是室外，例如是白天光线、晴天、多云天、背阴中的任意一个时，判定为满足条件(a3)。这样，当满足基于光源信息条件(a3)时，即被拍摄体在室外时，与上述的实施例1同样，执行基于条件(b1)的判定，当判定为逆光时，执行逆光处理。而光源信息中设定的光源种类是室内，例如荧光灯、钨丝电灯泡中的任意一个时，判定为不满足条件(a3)，不执行逆光处理。这样，通过执行基于光源信息的判定，可以将被拍摄体位于室外的图像作为逆光处理的对象而选择。通过执行组合了只使用光源信息而执行的条件(a3)的判定、使用被拍摄体区域信息和图像数据GD而执行的条件(b1)的判定，可以更恰当地将所需被拍摄体暗的图像作为为逆光处理的对象而选择。
通过适当组合使用基于图像生成历史信息GI的判定条件例如上述各实施例的条件(a1)～(a3)，可以执行更恰当的判定。例如，在本实施例中，关于判断为不满足条件(a3)的图像，可以再进行图14(b)或图15(b)所示的判定。通过这样，关于在室内拍摄的图像也可以进行基于闪光灯信息的适当的逆光判定。
G4.逆光判定处理的实施例5图17是说明在逆光判定处理的实施例5中，平均亮度值的计算中所使用的加权W的分布的说明图。图17(b)是表示图17(a)的图像IMG中的直线B-B上的加权W的分布(X方向的加权分布)的说明图，图17(c)是表示直线C-C上的加权W的分布(Y方向的加权分布)的说明图。在实施例5中，如图17所示，使用越靠近图像IMG的被拍摄体区域的中心SAC即被拍摄体位置的像素，加权越大的加权W的分布，计算亮度值的带加权的平均值，使用该带加权的平均值执行逆光判定(后面详细描述)。
图18是说明实施例5的逆光判定处理的说明图。图18(a)的图像IMG18表示与图12(a)所示的图像IMG12相同的图像。在图像IMG18下，描述了图17(b)所示的加权W在X方向分布。另外，Y方向的分布省略了图示。使用这样的加权W而取得的带加权的平均亮度值在像图像18那样在被拍摄体区域的中心附近变暗的逆光图像中增大。
图18(b)表示了实施例5的逆光判定处理的程序。在实施例5中，当满足以下的条件时，判定为逆光。
(b2)带加权的平均亮度值BAWave是图像全体的平均亮度值Bave乘以系数k的值以下。
即被拍摄体中心附近的亮度比图像全体的亮度暗时，判定为逆光。作为系数k，可以使用根据图像的输出结果的感应评价决定的值。例如使0.6为规定的系数。另外，该条件(b2)的判定与上述的判定条件(b1)不同，代替被拍摄体区域，使用被拍摄体区域的中心。因此，关于未设定被拍摄体区域的图像，也可以进行判定。另外，使被拍摄体区域中心即被拍摄体位置的加权增大，减小远离被拍摄体区域中心的区域位置的加权，解析图像数据GD，使用该解析结果的带加权的平均亮度值BAWave执行该条件(b2)的判定。这样，通过执行使用了被拍摄体区域信息，可以将位于所需位置的被拍摄体暗的图像作为逆光处理的对象而选择。
也可以使用越靠近被拍摄体区域中心的像素大小越小的加权，计算用于判断带加权的平均亮度值BAWave的大小的平均亮度值。作为这样的加权分布，例如可以使用从均等的部分减去上述的加权W而剩下的分布。这样，可以更准确地比较被拍摄体区域中心附近的亮度即被拍摄体位置的亮度和它周围区域的亮度。
通过在该判定条件(b2)中再适当组合基于图像生成历史信息GI的判定条件例如上述的各实施例中的条件(a1)～(a3)而使用，可以执行更恰当的判定。例如，在上述的各实施例中，代替判定条件(b1)，可以使用判定条件(b2)。
G5.逆光判定处理的实施例6图19是说明逆光判定处理的实施例6的说明图。图19(a)的图像IMG19与图12(a)所示的图像IMG12同样，表示逆光条件下的图像。另外，在图像IMG19中表示有亮度值为明亮度阈值YHth以上的明亮区BA和亮度值为暗亮度阈值YLth以下的暗区DA。这样，在逆光图像中，亮度值高的像素和亮度值低的像素增多。
图19(b)表示实施例6的逆光判定处理。在本实施例中，当满足以下的条件时，判定为逆光。
(a1)在图像数据生成时未进行基于辅助光源的光照射。
(b3)亮度值为明亮度阈值YHth以上的亮像素的比例Bratio为亮像素比例阈值Bth以上，并且亮度值为暗亮度阈值YLth以下的暗像素的比例Dratio为暗像素比例阈值Dth以上。
条件(a1)与上述的实施例2的条件(a2)相同。条件(b3)的判定与上述的条件(b1)或条件(b2)不同，通过只解析图像数据GD而执行。在逆光条件下生成的图像中，因为明亮的区域和暗的区域共存，所以存在亮像素和暗像素的比例升高的倾向。通过基于条件(b3)的判定，可以将这样的图像作为逆光处理的对象选择。可以按照图像的输出结果的感应评价，决定明亮度阈值YHth或暗亮度阈值YLth、亮像素比例阈值Bth、暗像素比例阈值Dth。例如，当亮度的可取值范围为0～255时，可以使明亮度阈值YHth为200，使暗亮度阈值YLth为50。另外，亮像素比例阈值Bth为全体像素数的20％，暗像素比例阈值Dth为全体像素数的30％。
可以不使用被拍摄体区域信息，来执行实施例6的条件(b3)的判定。因此，当图像生成历史信息GI不包含被拍摄体区域信息时，也可以执行逆光判定。另外，在实施例6中，不仅是只解析图像数据GD而判定的条件(b3)，也使用了应用图像生成历史信息GI而判定的条件(a1)来执行逆光判定，所以可以取得更适合于各图像的逆光判定结果。作为基于图像生成历史信息GI的判定条件，代替条件(a1)，可以使用各种条件。例如，通过适当组合上述的各实施例的条件(a)～(a3)，可以执行更适当的判定。任意时候，通过在只解析图像数据GD而执行的判定中组合应用图像生成历史信息GI而执行的判定，可以执行更恰当的逆光判定。另外，只基于图像数据GD的判定条件并不局限于条件(b3)，也可以是根据逆光条件判定是否产生了暗的区域的条件。例如，将图像内的像素分割为多块，各块的亮度值为块内的平均亮度值。当亮度值为明亮度阈值YHth以上的亮块的比例和亮度值为暗亮度阈值YLth以下的暗块的比例分别为规定的值以上时，判定为逆光。
G6.逆光判定处理的实施例7图20是表示逆光判定处理的实施例7的处理程序的流程图。在步骤S411中，CPU31(图3)从图像文件GF中取得图像生成历史信息GI(图3)，在步骤S412中，由图像生成历史信息GI判定是否为非逆光。该判定如下面的(1)～(5)所示地进行。
(1)摄影布景记录类型(Scene Capture Type)表示“夜景”时，判定为非逆光，表示其他(“人物”、“风景”等)时判定为逆光补偿该图像。其理由是避免夜景时利用逆光处理过度补偿亮度的缘故。而且，所谓的“逆光补偿”，意味着图像上存在进行后述的逆光处理(亮度修正)的可能性。
(2)测光方式(Metering Mode)表示“点测光”“多点测光”“部分测光”的任意一种时判定为非逆光，其他时则判定为逆光补偿。其理由是被认为在采用这3种测光方式时成为摄影者希望达到的亮度的缘故。
(3)发光(flash)表示“闪光灯发光”或“强制非发光”时判定为非逆光，其他时判定为逆光补偿。其理由是被认为利用“闪光灯发光”或“强制非发光”，成为摄影者希望达到的亮度的缘故。
(4)曝光方式(Exposure Mode)为“手动曝光”或“自动曝光(autobracket)”时为非逆光，其他时为逆光补偿。其理由是被认为在“手动曝光”或“自动曝光”时成为摄影者希望达到的亮度的缘故。
(5)被拍摄体距离镜头(Subject Distance Range)为“宏观(macro)”或“远景”时为非逆光，其他时为逆光补偿。其理由是在“长的”或“远景”时，作为取景成为逆光的可能性低，进行逆光处理的必要性低的缘故。
而且，所谓的“非逆光”并不是一定意味着其图像成为逆光，而是意味着不可以进行逆光处理(图11的步骤S420)。
上述(1)～(5)的判定是一例，也可以使用图像生成历史信息GI中的信息进行同样的判定。
在步骤S412的判定结果、判定为非逆光时，CPU31跳过图11的步骤S420以后的处理，结束图11的处理。另一方面，在判定为逆光补偿时，在步骤S413中，制作处理对象图像的直方图(以下称为“对象图像直方图”)。图21(a)表示亮度值相关的对象图像直方图H0的一例。该对象图像直方图H0可以根据处理对象图像内的全部像素制作，也可以根据以恒定的比例进行过取样(Sampling)的多个像素来制作。在步骤S413中，还通过将该对象图像直方图简略化，而制作图21(b)所示的简略化了的对象图像直方图H(j)。该简略化对象图像直方图H(j)(j为1～5)是通过将横轴的像素值(亮度值)范围分割为5个分区D1～D5，求取每个分区的像素数的平均值而得到的。简略化直方图的理由是用于减小后述的类似度的运算负荷，以实现高速的处理的原因。而且，虽然分区数j可以设定为2以上的任意数，但优选为4以上。另外，作为简易化直方图H(j)的运算方法，可以取代求取每个分区的像素数的平均值，而采用加法运算等其他运算方法，通常可以采用求取每个分区的代表值的各种运算方法。
在步骤S414中，计算处理对象图像的简略化对象图像直方图H(j)与图21(c)所示的参照直方图G(j)的类似度。参照直方图G(j)是作为表示典型的逆光图像的直方图而预先设定的直方图，具有与简略化对象图像直方图H(j)相同的形式。即，参照直方图G(j)也在5个分区内设定有像素数(像素值的出现频率)。两个直方图H(j)、G(j)的类似度SIM1例如由以下的数学式得到。
SIM1=cosθ=H(j)·G(j)|H(j)||G(j)|]]>在本式中，H(j)、G(j)是由图21(b)、(c)所示的2个直方图H(j)、G(j)构成的j维的矢量。式中右边的分子表示两矢量H(j)、G(j)的内积，分母表示各自绝对值的积。因此，该类似度SIM1是两矢量H(j)、G(j)所成角度θ的余弦。在两直方图H(j)、G(j)的形状类似时，类似度SIM1趋近于1，不类似时则趋近于0。
两直方图H(j)、G(j)的类似度也可以利用其他各种方法计算，例如可以用以下的数学式计算。
SIM2=Σj{H(j)-G(j)}2ΣjH(j)2+ΣjG(j)2]]>该式的右边的分子是两直方图H(j)、G(j)的各分区的像素数的差分{H(j)-G(j)}的平方和。另外，分母是两直方图H(j)、G(j)的各分区的像素数的平方和，作为标准化用的值利用。在两直方图H(j)、G(j)的形状类似时，类似度趋近于0，在不类似时趋近于1。因此，该类似度SIM2也可以作为表示两直方图H(j)、G(j)的类似程度的指标利用。一般，作为类似度，优选采用表示两直方图H(j)、G(j)的每个分区的像素数(像素值的出现频率)的类似度的值。而且，在以下的阐述中，说明利用了上述第1种类似度SIM1的判定处理。
在步骤S415中，CPU31根据类似度SIM1是否在给定的判定值以上来判定两直方图H(j)、G(j)是否类似。具体地讲，在图21(d)的示例中，类似度SIM1为0.84以上时，判定两直方图H(j)、G(j)类似，不足0.84时判定为不类似。在判定为两直方图H(j)、G(j)类似时，执行图11的步骤S420以后的处理。一方面，判定为不类似时则跳过这些处理。
这样，在逆光判定处理的实施例7中，首先根据图像生成历史信息GI判定该图像是非逆光还是逆光补偿，在为逆光补偿时，由于只根据对象图像直方图判定是否应进行逆光处理，故可以准确地进行是否应进行逆光处理的判断。特别是，在基于直方图的判定处理中，由于计算代表典型的逆光图像的参照直方图与对象图像直方图的类似度，根据该类似度判定是否该进行逆光处理，故可以高精度地判定应进行逆光处理的图像。
然而，也可以只利用图像生成历史信息GI，在步骤S411、S412中判定逆光处理的需要与否，省略步骤S413～S415。相反，也可以省略步骤S411、S412，只利用对象图像直方图，在步骤S413～S415中判定逆光处理的需要与否。
而且，在上述实施例7中，虽然利用了亮度值的直方图，但除此以外，也可以利用其他像素值(RGB的颜色成分等)的直方图。但是，由于通常在亮度值的直方图中逆光图像多表现特有的形状，故优选使用亮度值的直方图。
还有，在实施例7中，虽然根据对象图像直方图与参照直方图的类似度来判定逆光处理的需要与否，但也可以通过解析只利用了对象图像直方图来判定逆光处理的需要与否。通常，通过解析对象图像直方图，可以判定逆光处理的需要与否。
H.逆光处理的其它实施例H1.逆光处理的实施例2图22是说明图11的步骤S420的逆光处理的实施例2的说明图。图22(a)、(b)所示的两个图像IMG20a、IMG20b与图12(a)所示的图像IMG12同样，都表示逆光条件下的图像。在两个图像IMG20a、IMG20b中，人物H是逆光，所以拍摄得暗。另外，图像IMG20b的人物H比图像IMG20a的人物拍摄得还暗。因此，在图像IMG20b中，与图像IMG20a相比，亮度值低的像素多。作为表示这样的逆光图像内暗的区域的亮度的程度的指标，例如，可以使用图像内的亮度值大小的等级从亮度值小的一方开始计算，使用规定的等级(例如，全体像素数的20％)的像素亮度值(以下称作暗区亮度值)。这样的暗区亮度值Bm在图像IMG20a那样的逆光图像中变小，在图像IMG20b那样更暗的逆光图像中变得更小。
图22(c)是表示实施例2的逆光处理(亮度调整处理)中的亮度值的输入水平Yin和输出水平Yout的关系的说明图。在曲线图G1中，调整亮度值的增加量，使输入水平Yin为暗区亮度值Bm1时的输出水平Yout提高到比原来值还大的规定的目标值BO(以下，将成为提高亮度值的基准的输入水平称作亮度调整基准水平)。用样条函数插补与其它输入水平Yin对应的输出水平Yout。如果使用曲线图G1进行亮度值的调整，就可以提高暗区的亮度。
曲线图G2、G3表示比曲线图G1的逆光处理强度还强的处理中使用的输入输出关系。这里，“逆光处理强度强”意味着亮度值的增加亮特别是暗区的亮度值的增加量大。曲线图G2表示亮度调整基准水平即暗区亮度值比Bm1小的Bm2时使用的输入输出关系。调整亮度值的增加量，使输入水平Yin为Bm2时的输出水平Yout提高到规定的目标值BO。通过使用曲线图G2，可以执行比曲线图G1还强的逆光处理(亮度调整处理)。曲线图G3表示亮度调整基准比Bm2还小的Bm2时使用的输入输出关系，通过使用曲线图G3，可以执行比曲线图G2还强的逆光处理。另外，在实施例2中，通过只解析图像数据GD，决定逆光处理强度。
这样，通过根据表示图像内暗区的亮度的程度的指标，调整逆光处理强度，可以执行适合于暗区的亮度的逆光处理。即暗区的亮度的程度越低(暗)，可以执行越强的逆光处理。作为表示图像内暗区的亮度的程度的指标，除了暗区亮度值以外，还可以使用各种指标。例如，可以将亮度值为规定的阈值以下的暗像素的比例作为指标。这时，暗像素的比例越大，执行越强的逆光处理。在任意时候，暗区的亮度的程度越小(暗)，通过调整使逆光处理强度越强，可以执行适合于暗区的亮度的逆光处理。另外，规定的目标值BO可以使用根据图像的输出结果的感应评价而决定的值。例如，当亮度值可以取值的范围是0～255时，可以是中间值128。
H2.逆光处理的实施例3图23是说明逆光处理的实施例3的说明图。图23(a)、(b)所示的两个图像IMG21a、IMG21b与图22(a)、(b)所示的量各图像IMG20a、IMG20b不同，设定有被拍摄体区域的中心SAC和被拍摄体区域SC。另外，在这两个图像IMG21a、IMG21b中，因为人物H逆光，所以拍摄得暗。另外，图像IMG21b的人物H比图像IMG21a的人物拍摄得还暗。因此，在图像IMG21b中，与图像IMG21a相比，亮度值低的像素多。可以使用被拍摄体区域信息决定表示这样的逆光图像内暗的区域的亮度的程度的指标。作为使用了被拍摄体区域信息的暗区的亮度指标，例如可以使用被拍摄体区域内的亮度值的最大值。这样的亮度值的最大值BAmax在图像IMG21a的逆光图像中变小，在图像IMG21b的逆光图像中变得更小。
图23(c)是表示实施例3的逆光处理(亮度调整处理)中的亮度值的输入水平Yin和输出水平Yout的关系的说明图。与图22(c)所示的例子的差异是使用被拍摄体区域内的亮度值的最大值作为亮度调整基准水平。在曲线图G1中，调整亮度值的增加量，使输入水平Yin为亮度调整基准水平BAmax1(被拍摄体区域内的亮度值的最大值)时的输出水平Yout提高到比原来值还大的规定的目标值BO。曲线图G2表示亮度调整基准水平比BAmax1还小的BAmax2时使用的输入输出关系，曲线图G3表示亮度调整基准水平比BAmax2还小的BAmax3时使用的输入输出关系。这样，因为被拍摄体区域内的最大亮度值越小，执行越强的逆光处理，所以可以恰当地提高被拍摄体区域内的亮度。另外，在实施例3中，通过使用图像数据GD和被拍摄体区域信息即图像数据GD和图像生成历史信息GI双方，决定逆光处理强度。另外，该逆光处理强度的决定方法也可以说是使被拍摄体区域外的加权为0，基于解析了图像数据GD的结果的决定方法。即使用在被拍摄体位置(被拍摄体区域中心)和被拍摄体区域外大小不同的加权分布，解析图像数据GD的决定方法。
这样，通过根据使用了被拍摄体区域信息的暗区的亮度指标即被拍摄体区域的亮度指标，调整逆光处理强度，可以执行适合于被拍摄体区域亮度的强度的逆光处理。作为表示使用了被拍摄体区域信息的暗区的亮度的指标，在被拍摄体区域内的最大亮度值以外也可以使用各种值。例如，可以使用被拍摄体区域内的平均亮度值。据此，即使被拍摄体区域内包含有亮的区域时，也可以执行更恰当的逆光处理强度的调整。另外，可以将用图17所示的加权W的分布计算的带加权的平均亮度值作为指标使用。这时，代替被拍摄体区域，使用被拍摄体区域的中心进行平均亮度值的计算，所以关于未设定被拍摄体区域的图像，也可以进行基于被拍摄体区域附近的亮度值的恰当的逆光处理强度的调整。在任意时候，通过调整为被拍摄体区域的亮度程度越小(暗)，逆光处理强度越强，可以执行适合于被拍摄体区域亮度的强度的逆光处理。
H3.逆光处理的变形例
在上述的各实施例中，提升亮度值的目标值BO是预先决定的值，但是也可以根据表示图像内的暗区的亮度的程度的指标，调整。例如，上述的暗区亮度值越小，可以使目标值BO越大。据此，暗区的亮度越暗，可以执行更强的逆光处理，提高亮度。另外，被拍摄体区域内的最大亮度值越小，可以使目标值BO越大。据此，被拍摄体区域的亮度越暗，可以执行更强的逆光处理，提高亮度。还可以准备多个亮度调整水平，对各水平设定亮度值提升的目标值。例如，分别设定与被拍摄体区域内的平均亮度值和最大亮度值对应的目标值，可以进行亮度值的增加量的调整。据此，可以进行更细致的亮度值的调整。另外，使上述的亮度调整基准水平为预先决定的值，代替它，可以根据暗区的指标调整亮度值提升的目标值BO。在任意时候，通过进行调整，以便使根据逆光而产生的暗区亮度的程度越小(暗)，则逆光处理强度越强，可以进行更恰当的亮度调整。
I.使用图像数据处理装置的图像输出系统的结构图24是表示可应用作为本发明一实施例的图像数据处理装置的图像输出系统一例的说明图。图像输出系统10B具有作为生成图像文件的图像生成装置的数字相机12、执行基于图像文件的图像质量调整处理的计算机PC、作为输出图像的图像输出装置的打印机20B。计算机PC是一般使用的类型的计算机，作为图像数据处理装置起作用。作为图像输出装置，除了打印机20B，还可以使用CRT显示器、CD显示器等监视器14B、投影仪。在以下的说明中，使用打印机20B作为图像输出装置。在本实施例中，独立构成具有判定部和图像质量调整部的图像数据处理装置、具有图像输出部的图像输出装置的点与上述的图像输出系统实施例(图1)不同。另外，作为图像数据处理装置的计算机PC和具有图像输出部的打印机也可以称作广义的“输出装置”。
通过电缆CV，或直接将存储了图像文件的存储卡MC插入计算机PC中，将在数字相机12中生成的图像文件发送给计算机PC。计算机PC执行基于读入的图像文件的图像数据的图像质量调整处理。由图像质量调整处理生成的图像数据通过电缆CV发送给打印机20B，由打印机20B输出。
计算机PC具有执行实现上述的图像质量调整处理的程序的CPU150；暂时存储CPU150的计算结果和图像数据的RAM151；存储图像质量调整处理程序、探查表、光缆值表等图像质量调整处理所必要的数据的硬盘驱动器(HDD)152。CPU150、RAM151和HDD152作为判定部和图像质量调整部起作用。计算机PC具有用于安装存储卡MC的存储卡插槽153、用于连接来自数字相机12等的连接电缆的输入输出端子154。
由数字相机12生成的图像文件GF通过电缆或存储卡MC提供给计算机PC。通过用户的操作，如果起动了图像修饰应用程序或打印机驱动程序等图像数据处理应用程序，则CPU150执行处理读入的图像文件GF的图像处理程序(图9)。另外，通过检测数字相机12通过电缆对输入输出端子154的连接，自动起动图像数据处理应用程序。
由CPU150处理的图像数据不由图像处理程序(图9)的步骤S250输出，发送给图像输出装置例如打印机20B，接收了图像数据的图像输出装置执行图像的输出。
在本实施例中，使用计算机PC具有的判定部和图像质量调整部进行图像处理，所以可以使用不具有判定部和图像质量调整部的图像输出装置。另外，当图像输出装置具有判定部和图像质量调整部时，计算机PC可以不进行图像处理，将图像数据发送给图像输出装置，图像输出装置的判定部和图像质量调整部进行图像处理。
如上所述，在上述的各实施例中，可以自动调整由于逆光而产生了暗区的图像之图像质量，所以可以轻松地取得高质量的输出结果。
另外，本发明并不局限于上述实施例，在不脱离其宗旨的范围中，可以在各种形态下实施，例如可以有以下的变形。
J.变形例J1.变形例1用于逆光判定处理的判定条件可以是根据图像生成历史信息GI中包含的信息，从多个判定条件中选择。例如，图像生成历史信息GI包含闪光灯信息和被拍摄体距离信息时，执行基于判定条件(a1)、(a2)、(a3)的判定，当图像生成历史信息GI包含闪光灯信息和被拍摄体区域信息时，可以采用执行上述的判定条件(a1)、(b1)的判定的结构。这样，通过根据图像生成历史信息GI中包含的信息选择判定条件，可以执行更适当的判定。
J2.变形例2作为上述的判定条件(a2)中使用的关于被拍摄体和图像生成装置的距离的信息，除了被拍摄体距离信息以外，还可以使用可以将距离范围作为参数值设定的距离信息。例如，可以使用从宏观(0～1m)、近景(1～3m)、远景(3m～)等三个距离范围中选择设定的被拍摄体距离范围信息，执行条件(a2)的判定。这时，关于各距离范围，预先设定代表性的距离，通过比较该代表距离和条件(a2)的阈值，可以执行关于条件(a2)的判定。作为代表的距离，例如，关于设定有距离的上限值和下限值的距离范围，使用其中间值，关于只设定有上限值或下限值的距离范围，使用上限值或下限值。
J3.变形例3当将辅助光源和图像生成装置设置在不同位置，进行图像数据的生成时，代替被拍摄体距离，根据关于辅助光源和被拍摄体的距离的信息，执行上述的条件(a2)的判定。据此，可以将因为辅助光源和被拍摄体的距离远而产生了暗区的图像作为逆光处理对象而选择。
J4.变形例4当图像文件GF不包含图像数据的灰度值和颜色空间信息时，可以省略图10所示的图像处理程序中的颜色空间变换处理(步骤S320和步骤S330)。图25是表示省略了颜色空间变换处理时的图像处理程序的流程图。在步骤S500中取出的图像数据在步骤S510中从基于YCbCr颜色空间的图像数据变换为基于RGB颜色空间的图像数据。接着，在步骤S520中，执行使用了在步骤S510中取得的图像数据的自动图像质量调整处理。在步骤S530中，执行用于打印的CMYK颜色变换处理和半色调处理。
J5.变形例5在上述各实施例中，在执行了颜色空间的变换后，执行自动图像质量调整处理，但是也可以在执行了自动图像质量调整处理后，执行颜色空间的变换。例如，根据图26所示的流程图，执行图像处理。
J6.变形例6在上述各实施例中，使用打印机作为图像输出部，但是可以使用打印机以外的图像输出部。图27是表示利用CRT作为图像输出部时的基于图像生成历史信息的图像处理的处理程序的流程图。与图10所示的以打印机作为图像输出部的流程图不同，省略了CMYK颜色变换处理和半色调处理。另外，CRT可以表现执行矩阵运算(S)而取得的图像数据的RGB颜色空间，所以也省略了颜色空间变换处理。基于由步骤S610取得的RGB颜色空间的图像数据在RGB颜色空间的定义区域外包含数据时，在剪切了定义区域外的数据后，执行步骤S620。当图像输出部可利用的颜色空间与RGB颜色空间不同时，当使用打印机时，与执行CMYK颜色变换处理同样，执行向图像输出部可利用的颜色空间的颜色变换处理，结果，从图像输出部输出取得的图像。
J7.变形例7在图11的流程图中，可以省略逆光处理S420后执行的色度调整处理S430和噪声除去处理S440。据此，可以使图像质量调整处理的结构简单。
J8.变形例8在上述实施例中，作为图像文件GF的具体例，以Exif形式的文件为例进行了说明，但是本发明的图像文件形式并不局限于此。即如果是包含在图像生成装置中生成的图像数据和记述图像数据的生成时条件(信息)的图像生成历史信息GI的图像文件，就可以。如果是这样的文件，就可以恰当调整在图像生成装置中生成的图像数据的图像质量，从输出装置输出。
J9.变形例9各数学式中的矩阵S、N-1、M的值不过是例示，可以按照图像文件根据的颜色空间、图像输出部可利用的颜色空间而适当变更。
J10.变形例10在上述实施例中，使用数字相机12作为图像生成装置进行了说明，但是还可以使用扫描仪、数字摄影机等图像生成装置生成图像文件。
J11.变形例11在上述实施例中，以图像数据GD和图像生成历史信息GI包含在同一图像文件GF中的情形为例进行了说明，但是图像数据GD和图像生成历史信息GI没必要一定存储在同一文件内。即可以使图像数据GD和图像生成历史信息GI产生关联，例如，生成使图像数据GD和图像生成历史信息GI产生关联的带关联数据，将一个或多个图像数据GD和图像生成历史信息GI分别存储在独立的文件中，当处理图像数据GD时，参照带关联的图像生成历史信息GI。这时，虽然图像数据GD和图像生成历史信息GI存储在不同的文件中，但是在利用图像生成历史信息GI的时刻，图像数据GD和图像生成历史信息GI具有一体不可分的关系，实质上可以与存储在同一文件中时起同样的作用。即至少在图像处理的时刻，图像数据GD和图像生成历史信息GI具有关联的形态包含在上述实施例的图像文件GF中。也包含CD-ROM、CD-R、DVD-ROM、DVD-RAM等光盘媒体中存储的动画文件。
权利要求
1.一种输出装置，使用由图像生成装置生成的图像数据、和至少包含上述图像数据生成时上述图像生成装置的动作信息及与上述图像数据形成了关联的图像生成历史信息，输出图像，其特征在于包括使用上述图像生成历史信息和上述图像数据的双方，进行是否执行逆光处理的逆光判定的判定部；当判定为执行上述逆光处理时，执行使上述图像数据的至少一部分像素的亮度值增大的逆光处理的图像质量调整部；对应被调整了上述图像质量的图像数据，输出图像的图像输出部，上述判定部，(i)根据上述图像生成历史信息，执行用于决定上述图像数据是否需要上述逆光处理的第1判定；(ii)在上述第1判定中，在未判定为上述图像数据不需要上述逆光处理时，使用上述图像数据，生成表示像素值的出现频率的对象图像直方图，通过解析上述对象图像直方图，执行用于决定上述逆光处理的需要与否的第2判定。
2.根据权利要求1所述的输出装置，其特征在于上述判定部计算出上述对象图像直方图和预先设定了的参照直方图之间的类似度，根据上述类似度的值执行上述第2判定。
3.根据权利要求2所述的输出装置，其特征在于上述对象图像直方图与上述参照直方图的像素值的范围分别分割为多个分区，同时每个分区内具有设定了出现频率的代表值的简略化形式，上述类似度是表示上述对象图像直方图与上述参照直方图的每个分区的像素值的出现频率的类似度的值。
4.根据权利要求1所述的输出装置，其特征在于上述判定部当上述图像生成历史信息包含表示被拍摄体在上述图像内的位置的被拍摄体位置信息时，使用上述被拍摄体位置信息执行上述逆光判定。
5.根据权利要求4所述的输出装置，其特征在于上述判定部使用在上述被拍摄体位置和上述被拍摄体位置以外的位置采用了大小不同的加权分布的上述图像数据的解析结果，执行上述逆光判定。
6.根据权利要求1所述的输出装置，其特征在于上述判定部当上述图像生成历史信息包含上述图像数据生成时的辅助光源的发光信息时，根据上述发光信息，判定在上述图像数据生成时，是否进行了基于上述辅助光源的光的照射，使用该判定结果，执行上述逆光判定。
7.根据权利要求6所述的输出装置，其特征在于上述判定部，可以够使用上述发光信息，识别图像数据生成时的辅助光源的动作结果，并且当上述动作结果为(i)无辅助光源；(ii)无基于辅助光源的发光；(iii)有基于辅助光源的发光并且无反射光的任意情形时，使用上述图像数据的亮度值，执行上述逆光判定。
8.根据权利要求7所述的输出装置，其特征在于上述图像生成历史信息还包含关于上述图像数据生成时的上述图像数据的被拍摄体和上述图像生成装置的距离的信息；上述判定部当上述辅助光源的动作结果不是上述结果(i)、(ii)、(iii)的任意一个时，将与上述被拍摄体的距离的大小与规定的阈值进行比较；当判定为与上述被拍摄体的距离为上述规定的阈值以上时，进一步使用上述图像数据的亮度值执行上述逆光判定；当判定为与上述被拍摄体的距离小于规定的阈值时，使不执行上述逆光处理的判定成立。
9.根据权利要求1所述的输出装置，其特征在于上述判定部，当上述图像生成历史信息包含关于上述图像数据的被拍摄体的场所的信息时，判定上述被拍摄体的场所是否在室外，根据该判定结果，执行上述逆光判定。
10.根据权利要求9所述的输出装置，其特征在于上述判定部当判定为上述图像数据生成时的被拍摄体的场所为室外时，使用上述图像数据的亮度值，执行上述逆光判定。
11.根据权利要求1所述的输出装置，其特征在于上述图像质量调整部使用上述图像生成历史信息和上述图像数据双方，决定上述逆光处理的强度。
12.根据权利要求11所述的输出装置，其特征在于上述图像质量调整部当上述图像生成历史信息包含表示被拍摄体在上述图像内的位置的被拍摄体位置信息时，使用在上述被拍摄体位置和上述被拍摄体位置以外的位置采用了大小不同的加权分布的上述图像数据的解析结果，决定上述逆光处理的强度。
13.一种图像数据处理装置，使用由图像生成装置生成的图像数据、至少包含上述图像数据生成时上述图像生成装置的动作信息并且与上述图像数据形成了关联的图像生成历史信息，处理图像数据，其特征在于包括使用上述图像生成历史信息和上述图像数据的双方，进行是否执行逆光处理的逆光判定的判定部；当判定为执行时，执行调整上述图像数据，使上述图像数据的至少一部分像素的亮度值增大的逆光处理的图像质量调整部，上述判定部，(i)根据上述图像生成历史信息，执行用于决定上述图像数据是否需要上述逆光处理的第1判定；(ii)在上述第1判定中，在未判定为上述图像数据不需要上述逆光处理时，使用上述图像数据，生成表示像素值的出现频率的对象图像直方图，通过解析上述对象图像直方图，执行用于决定上述逆光处理的需要与否的第2判定。
14.一种图像数据处理方法，使用由图像生成装置生成的图像数据、至少包含上述图像数据生成时上述图像生成装置的动作信息并且与上述图像数据形成了关联的图像生成历史信息，处理图像数据，其特征在于包括(a)使用上述图像生成历史信息和上述图像数据的双方，进行是否执行逆光处理的逆光判定的步骤；(b)当判定为执行上述逆光处理时，执行调整上述图像数据，使上述图像数据的至少一部分像素的亮度值增大的逆光处理的步骤，上述步骤(a)包括(i)根据上述图像生成历史信息，执行用于决定上述图像数据是否需要上述逆光处理的第1判定的步骤；(ii)在上述第1判定中，在未判定为上述图像数据不需要上述逆光处理时，使用上述图像数据，生成表示像素值的出现频率的对象图像直方图，通过解析上述对象图像直方图，执行用于决定上述逆光处理的需要与否的第2判定的步骤。
全文摘要
本发明提供一种适当地执行图像数据的逆光处理的技术。使用图像数据和图像生成历史信息，进行是否执行逆光处理的判定，当判定为执行时，执行使图像数据的至少一部分像素的亮度值增大的逆光处理。在判定中，首先根据图像生成历史信息，执行用于决定图像数据是否不需要逆光处理的第1判定。而且，在第1判定中，判定为图像数据不需要逆光处理时，使用图像数据，生成表示像素值的出现频率的对象图像直方图，通过解析对象图像直方图，执行用于决定逆光处理的需要与否的第2判定。
文档编号H04N1/60GK1543201SQ20041002878
公开日2004年11月3日 申请日期2004年3月18日 优先权日2003年5月1日
发明者今井敏惠 申请人:精工爱普生株式会社