专利名称：图像处理装置、白平衡校正方法以及摄像装置的制作方法
技术领域：
本发明涉及对摄影图像等多个图像进行合成的图像处理装置、图像处理方法以及摄像装置。
背景技术：
在数字照相机等图像处理装置中，存在搭载有如下的图像合成(也称作多重曝光)功能的图像处理装置对多个JPEG图像或RAW图像乘以系数来调节亮度并进行相加， 由此合成图像，生成在一个图像中显现多个场景那样的图像。例如，在日本专利第3800192号公报(2006年7月沈日发行(以下称作专利文献 1))中，公开了如下的图像合成装置在使用JPEG图像等进行了图像处理的图像来合成图像的情况下，通过转换为图像处理前的图像后进行合成，并再次进行图像处理，排除伽马转换等的影响。例如，在日本公开专利第2010-1M411号公报QOlO年6月3日公开(以下称作专利文献2))中，公开了如下的图像处理装置通过合成对RAW图像预先进行了白平衡 (以下称作“WB”)校正后的图像数据，即使在合成用不同的光源拍摄的RAW图像的情况下， 也能够进行校正了 WB的图像合成。在数字照相机那样的摄影装置中，搭载有如下等各种WB模式，根据用户所选择的 WB模式进行WB校正自动白平衡(AWB)模式，自动估计摄影时的光源，适当校正WB ；预设置 WB模式，用户根据光源选择模式；以及使WB适合特定被摄体的一键接触式WB模式。用户能够通过选择适合于摄影时的光源的WB模式或AWB模式，拍摄获取了无彩色 (白色或灰色)的被摄体的WB的照片。此外，还能够通过有意地选择不同的WB模式，在无彩色的被摄体上附上色彩。这样，能够用WB模式的设定情况改变照片的颜色，能够改变对照片的印象。在上述专利文献1和专利文献2公开的图像合成中，没有对如下情况做出任何启示在对所合成的图像数据进行图像处理时，应该分别针对多个WB模式使用什么样的WB增益进行WB校正。因此，不清楚在变更所合成的图像数据的WB来进行图像处理的情况下，使用什么样的WB增益进行WB校正比较合适。
发明内容
本发明正是鉴于这种情况而完成的，其目的在于提供在进行图像合成时，能够根据WB模式进行适当的WB校正的图像处理装置、图像处理方法以及摄像装置。本发明的图像处理装置包括图像合成部，其对多个合成用图像数据进行合成，从而生成合成图像数据；WB设定部，其进行用于白平衡校正处理的设定；图像WB增益计算部， 其根据上述WB设定部的设定，计算针对上述多个合成用图像数据的各个的图像WB增益；合成图像WB增益计算部，其根据与上述图像合成部中的合成比率相关的信息、和由上述图像 WB增益计算部计算出的针对上述多个合成用图像数据的各个的图像WB增益，计算针对上述合成图像数据的合成图像WB增益；以及WB校正部，其根据上述合成图像WB增益进行图像数据的白平衡校正，上述WB校正部根据上述WB设定部的设定，使用由上述合成图像WB 增益计算部计算出的合成图像WB增益，进行针对上述合成图像数据的白平衡校正。本发明提供一种合成图像的白平衡校正方法，该合成图像是对摄像部输出的、或者记录部输出的多个合成用图像数据进行合成而生成的，该白平衡校正方法包括对利用上述摄像部的摄像得到的、或者记录在上述记录部中的多个合成用图像数据进行合成来生成合成图像数据，根据用于白平衡校正处理的设定，计算针对上述多个合成用图像数据的各个的图像WB增益，根据与上述多个合成用图像数据的合成比率相关的信息、和与上述多个合成用图像数据的各个对应的图像WB增益，计算与上述合成图像数据对应的合成图像 WB增益，根据该合成图像WB增益进行上述合成图像数据的白平衡校正。本发明的摄像装置包括摄像部，其拍摄被摄体像从而生成摄像数据；图像生成/ 记录部，其对上述摄像部输出的摄像数据进行图像处理来生成图像数据并进行记录；图像合成部，其对多个合成用图像数据进行合成，从而生成合成图像数据；WB设定部，其进行用于白平衡校正处理的设定；图像WB增益计算部，其根据上述WB设定部的设定，计算针对上述多个合成用图像数据的各个的图像WB增益；合成图像WB增益计算部，其根据与上述图像合成部中的合成比率相关的信息、和由上述图像WB增益计算部计算出的针对上述多个合成用图像数据的各个的图像WB增益，计算针对上述合成图像数据的合成图像WB增益；以及 WB校正部，其根据上述合成图像WB增益进行图像数据的白平衡校正，上述WB校正部根据上述WB设定部的设定，使用由上述合成图像WB增益计算部计算出的合成图像WB增益，进行针对上述合成图像数据的白平衡校正。 根据本发明，使用分别针对合成前的图像数据的各个计算出的WB增益，计算对合成后的图像数据进行图像处理时的WB增益。因此，在对合成后的图像数据进行图像处理时，能够根据所设定的WB模式进行适当的WB校正，能够提供可根据WB模式生成印象不同的照片的图像处理装置、图像处理方法以及摄像装置。
图1是示出本发明的第1实施方式的数字照相机的主要电气结构的框图。图2是示出本发明的第1实施方式的数字照相机的主要动作的流程图。图3是示出本发明的第1实施方式的数字照相机的静态图像摄影/图像处理的动作的流程图。图4是示出本发明的第1实施方式的数字照相机的动态图像摄影/图像处理的动作的流程图。图5是示出本发明的第1实施方式的数字照相机的显影处理的动作的流程图。图6是示出本发明的第1实施方式的数字照相机的图像合成的动作的流程图。图7是示出本发明的第1实施方式的数字照相机的RAW编辑动作的流程图。图8是示出本发明的第2实施方式的数字照相机的图像合成的动作的流程图。
具体实施例方式以下，依照附图使用应用了本发明的照相机对优选实施方式进行说明。本发明的优选实施方式的照相机是数字照相机，具有摄像部，通过该摄像部将被摄体像转换为图像数据，并根据该转换后的图像数据，在配置于机身背面的显示部上对被摄体像进行实时取景显示。摄影者通过观察实时取景显示，决定构图和快门时机。在快门释放操作时，将图像数据记录到记录介质。在选择了再现模式时，能够在显示部上对记录在记录介质中的图像数据进行再现显示。图1是示出本发明的第1实施方式的照相机的主要电气结构的框图。该照相机由照相机机身100、和能够在该机身上进行拆装的更换式镜头200构成。更换式镜头200由摄影透镜201、光圈203、驱动器205、微型计算机207和闪存209 构成，在与后述的照相机机身100之间具有接口(以后称作I/F)999。摄影透镜201是用于形成被摄体的像的光学透镜，由单焦点透镜或变焦透镜构成。在该摄影透镜201的光轴后方配置有光圈203，光圈203的口径是可变的，对通过摄影透镜201的被摄体光束进行限制。此外，摄影透镜201能够通过驱动器205在光轴方向上移动。根据来自微型计算机207的控制信号，控制摄影透镜201的焦点位置，在摄影透镜201 具有变焦透镜的情况下，还控制焦距。驱动器205还进行光圈203的口径控制。与驱动器205连接的微型计算机207与I/F 999以及闪存209连接。微型计算机 207依照存储在闪存209中的程序进行动作，与后述的照相机机身100内的微型计算机121 进行通信，并根据来自微型计算机121的控制信号进行更换式镜头200的控制。在闪存209中，除了上述程序以外，还存储有更换式镜头200的光学特性和调整值等各种信息。I/F 999是用于进行更换式镜头200内的微型计算机207与照相机机身100 内的微型计算机121相互之间的通信的接口。在照相机机身100内，在摄影透镜201的光轴上，配置有机械快门101。该机械快门101由公知的透镜快门或焦面快门构成，对被摄体光束的通过时间进行控制。在该机械快门101的后方、且在通过摄影透镜201形成被摄体像的位置上，配置有摄像元件103。摄像元件103将构成各像素的光电二极管二维配置成矩阵状，各光电二极管产生与受光量对应的光电转换电流，该光电转换电流由与各光电二极管连接的电容器蓄积电荷。在各像素的前表面，配置有拜尔排列的滤色器。拜尔排列具有在水平方向上交替配置有R像素和G (Gr)像素的行、和交替配置有G (( )像素和B像素的行，并且还通过在垂直方向上交替配置该三个行来构成。摄像元件103与模拟处理部105连接，该模拟处理部105在对从摄像元件103读出的光电转换信号(模拟图像信号)减少复位噪声后进行波形整形，并且进行增益放大以变为适当的信号电平。模拟处理部105与A/D转换部107连接，该A/D转换部107对模拟图像信号进行模拟-数字转换，并将数字图像信号(以后称作图像数据)输出到总线109。总线109是用于将在照相机机身100内部读出或生成的各种数据传送到照相机机身100的内部的传送路径。在总线109上，除了上述A/D转换部107以外，还连接有图像处理部111、AE处理部113、AF处理部115、图像压缩解压缩部117、微型计算机121、 SDRAM (Synchronous Dynamic Random Access Memory :同步动态随机存取存储器)127、存储器接口(以后称作存储器I/F) 129、液晶(以后称作LCD)驱动器133。与总线109连接的图像处理部111包含光学黑相减部(以下称作OB相减部)111a、 白平衡校正部(以后称作WB校正部)111b、同时化处理部111c、伽马/颜色再现处理部 llld、颜色矩阵运算部llle、边缘强调处理部Illf和噪声减少处理部(以后称作NR处理部)lllg，图像处理部111读出临时存储在SDRAM 127中的图像数据，并对该图像数据实施各种图像处理。并且，图像处理部111作为将多个合成用图像数据合成，从而生成合成图像数据的图像合成部发挥功能。OB相减部Illa进行光学黑相减处理。在该光学黑相减处理中，从构成图像数据的各像素的像素值中，减去由于摄像元件103的暗电流等引起的光学黑值。WB校正部Illb对图像数据进行白平衡校正。白平衡校正根据各种颜色温度的光源，进行校正以将白色正确地较白地显现出。由用户设定晴天、阴天、多云、钨光灯、荧光灯等的光源模式，或者在照相机侧自动选择计算白平衡校正量的自动白平衡模式、水中白平衡模式，因此根据该所设定的模式，对图像数据进行白平衡校正。水中白平衡模式是如下的模式自动检测在水中由于水深和天气等各种主要原因而变化的水中的颜色，自动计算白平衡校正量。同时化处理部111对在拜尔排列下取得的图像数据，进行处理为每1像素由R、G、 B信息构成的图像数据的同时化处理。伽马/颜色再现处理部Illd进行伽马校正处理以及改变图像颜色的颜色再现处理。颜色矩阵运算部Ille进行对图像数据乘以颜色矩阵的线性转换来校正图像数据的颜色。边缘强调处理部Illf从图像数据中提取边缘，并进行强调图像数据的边缘的边缘强调。NR处理部Illg使用减少高频的滤波器、或者利用核化处理等，进行减少图像数据的噪声的处理。图像处理部111根据需要选择各部Illa Illg进行各处理，实施了图像处理的图像数据经由总线109被临时存储到SDRAM 127中。AE处理部113测量被摄体亮度，并经由总线109将亮度输出到微型计算机121。也可以设置专用的测光传感器以用于被摄体亮度测量，但是在本实施方式中，根据基于摄像元件103的输出的图像数据计算被摄体亮度。AF处理部115从图像数据中提取高频分量信号，通过累计处理取得对焦评价值， 并经由总线109将该值输出到微型计算机121。在本实施方式中，通过所谓的对比度法进行摄影透镜201的对焦。除了对比度法以外，也可以进行相位差AF等、利用其他的自动焦点检测法的AF处理。图像压缩解压缩部117在向记录介质131记录图像数据时，从SDRAM 127读出图像数据，并依照JPEG压缩方式等各种压缩方式压缩该所读出的图像数据，并将该压缩后的图像数据临时存储到SDRAM 127中。微型计算机121对临时存储在SDRAM127中的JPEG图像数据，附加构成JPEG文件所需的JPEG头部来生成JPEG文件，并经由存储器I/F 129将该所生成的JPEG文件记录到记录介质131中。此外，图像压缩解压缩部117还进行JPEG图像数据的解压缩以用于图像再现显示。在解压缩时，读出记录在记录介质131中的JPEG文件，并在图像压缩解压缩部117中实施了解压缩处理后，将解压缩后的图像数据临时存储到SDRAM 127中。另外，在本实施方式中，采用JPEG压缩方式作为图像压缩方式，但是压缩方式不限于此，当然也可以是TIFF、 MPEG、H. 264等其他压缩方式。记录介质131是例如在照相机机身100上拆装自如的存储卡等记录介质，但是不限于此，也可以是内置在照相机机身100中的硬盘等。微型计算机121发挥作为该照相机整体的控制部的功能，综合控制照相机的各种动作序列。微型计算机121作为根据进行白平衡校正处理用的设定的WB设定部的设定，计算对于多个合成用图像数据的各个的图像WB增益的图像WB增益计算部来发挥功能。此外， 微型计算机121还作为以下的合成图像WB增益计算部发挥功能根据与图像合成部(图像处理部111)中的合成比率相关的信息、和由图像WB增益计算部计算出的对于多个合成用图像数据的各个的图像WB增益，计算对于合成图像数据的合成图像WB增益。另外，后述的合成系数表示“合成比率”。在微型计算机121上，除了上述I/F 999以外，还连接有操作部 123和闪存125。操作部123包含电源按钮、快门释放按钮、动态图像按钮、再现按钮、菜单按钮、十字按钮、确定按钮等各种输入按钮和各种输入键等操作部件，检测这些操作部件的操作状态，将检测结果输出到微型计算机121。微型计算机121根据来自操作部123的操作部件的检测结果，执行与用户操作对应的各种动作序列。电源按钮是用于指示该数字照相机的电源的接通/断开的操作部件。当按下电源按钮时，该数字照相机的电源接通，当再次按下电源按钮时，该数字照相机的电源断开。快门释放按钮由通过半按下而接通的第一快门释放开关、和在从半按下起进一步按下而变为全按下时接通的第二快门释放开关构成。微型计算机121在第一快门释放开关接通时，执行AE处理或AF处理等摄影准备动作序列。此外，在第二快门释放开关接通时， 控制机械快门101等，从摄像元件103等取得基于被摄体图像的图像数据，执行将该图像数据记录到记录介质131中的一系列摄影动作序列来进行摄影。动态图像按钮是用于开始和结束动态图像的摄影的按钮。在初始状态下为动态图像未摄影状态，因此在该状态下按下动态图像按钮时开始动态图像的摄影，在动态图像摄影中按下动态图像按钮时，结束动态图像的摄影。因此，每当按下动态图像按钮时，交替重复进行动态图像的摄影开始和结束。再现按钮是用于设定和解除再现模式的操作按钮，当设定再现模式时，从记录介质131读出摄影图像的图像数据，并在LCD 135上对摄影图像进行再现显示。菜单按钮是用于使IXD 135显示菜单画面的操作按钮。能够在菜单画面上进行照相机的各种模式的设定，例如能够进行晴天、阴天、多云、钨光灯、荧光灯等的白平衡模式， 或者自动白平衡、水中自动白平衡等的白平衡模式的设定。并且，能够在菜单画面上设定图像合成和RAW编辑。闪存125存储有用于执行微型计算机121的各种动作序列的程序。微型计算机121 根据该程序进行该数字照相机的控制。此外，闪存125存储有示出相对于被摄体亮度成为适当曝光的曝光控制值(ISO感光度、光圈值、快门速度)的组合的表(曝光条件决定表)、 用于进行白平衡校正的白平衡增益、和颜色矩阵系数等的各种调整值。SDRAM 127是图像数据等的临时存储用的可电改写的易失性存储器。该SDRAM 127对从A/D转换部107输出的图像数据、以及在图像处理部111和图像压缩解压缩部117 等中进行了处理的图像数据进行临时存储。存储器I/F 129与记录介质131连接，进行将图像数据和附加到图像数据上的文件头部等数据写入到记录介质131和从记录介质131读出的控制。记录介质131是可在照相机机身上进行拆装的存储器，但也可以是硬盘等内置在照相机机身中的存储器。IXD驱动器133与IXD 1；35连接，根据从SDRAM 127或记录介质131读出、并通过图像压缩解压缩部117进行解压缩后的图像数据，使图像显示在IXD 135上。IXD 135包含
10配置在照相机机身100的背面等的液晶面板，进行图像显示。作为图像显示，包含在摄影之后立即短时间显示所记录的图像数据的记录浏览显示、记录在记录介质131中的静态图像或动态图像的图像文件的再现显示以及实时取景显示等动态图像显示。另外，在显示压缩的图像数据的情况下，如上所述，在通过图像压缩解压缩部117实施了解压缩处理后进行显示。此外，作为显示部，不限于IXD，当然也可以采用有机EL等其他显示面板。接着，使用图2所示的主要的流程图，对本实施方式中的照相机的主要处理进行说明。当操作电源按钮且电源接通时，图2所示的主流程开始动作。当开始动作时，首先将记录中标志初始化为关闭(Sll)。该记录中标志是表示是否在动态图像的记录中的标志，在打开的情况下表示在记录动态图像中，在关闭的情况下表示没有进行动态图像的记录。在将记录中标志初始化为关闭后，接着判定是否按下了再现按钮(S13)。此处，检测并判定操作部123内的再现按钮的操作状态。在该判定结果是按下了再现按钮的情况下，执行再现模式(S15)。此处，从记录介质131读出图像数据，在IXD 135上显示静态图像和动态图像的一览。用户通过操作十字按钮，从一览中选择图像，并通过确定按钮确定图像。在所确定的图像是动态图像的情况下，按照时间序列从起始帧起依次进行动态图像再现。在所确定的图像是静态图像的情况下，显示所确定的静态图像。在步骤S15中进行了再现时，或者在步骤S13中的判定结果是没有按下再现按钮的情况下，接着判定是否选择了图像合成(S17)。在记录介质131中记录有多个RAW数据的情况下，能够在菜单画面上设定图像合成。在步骤S17中的判定结果是选择了图像合成的情况下，进行图像合成(S19)。图像合成对所选择的多个RAW数据进行合成，生成好像多重曝光照片那样的图像。此处，RAff数据是从摄像元件103读出、图像处理前的没有被同时化的图像数据。将使用图6对该图像合成的详细动作进行后述。在步骤S19中进行了图像合成时，或者在步骤S17中的判定结果是没有选择图像合成的情况下，接着判定是否选择了 RAW编辑(S21)。在记录介质131中记录有RAW数据的情况下，能够在菜单画面上设定RAW编辑。在步骤S21中的判定结果是选择了 RAW编辑的情况下，进行RAW编辑(S2!3)。RAW 编辑对RAW数据进行图像处理来生成JPEG文件。将使用图7对该RAW编辑的详细动作进行后述。在步骤S23中进行了 RAW编辑时，或者在步骤S21中的判定结果是没有选择RAW编辑的情况下，接着进行是否按下了动态图像按钮的判定(S25)。在该步骤中，在操作部123 中，检测动态图像按钮的操作状态，并根据该检测结果进行判定。在步骤S25中的判定结果是按下了动态图像按钮的情况下，接着进行记录中标志的反转(S27)。如上所述，每当按下动态图像按钮时，交替重复进行动态图像的摄影开始和结束，因此在该步骤中，在记录中标志为关闭的情况下将记录中标志反转为打开，并且在为打开的情况下反转为关闭。在步骤S27中进行了记录中标志的反转时，或者在步骤S25中的判定结果是没有按下动态图像按钮的情况下，接着进行是否在动态图像的记录中的判定(S31)。记录中标志表示动态图像的记录状态，因此在该步骤中，进行记录中标志是否打开的判定。在步骤S31中的判定结果是不在动态图像记录中的情况下，接着进行是否按下了第一快门释放开关、换言之第一快门释放开关是否从断开变为接通的判定(S33)。通过操作部123检测与快门释放按钮联动的第一快门释放开关的状态，并根据该检测结果来进行该判定。在检测结果是第一快门释放开关从断开变为了接通的情况下，判定结果为是，另一方面，在维持接通状态或者断开状态的情况下，判定结果为否。在步骤S33中的判定结果是按下了第一快门释放开关、从断开转变为第一快门释放的情况下，执行AE动作(S35)。此处，通过AE处理部113根据由摄像元件103取得的图像数据测量被摄体亮度，并根据该被摄体亮度，计算成为适当曝光的快门速度、光圈值等。在进行AE动作后，接着执行AF(自动对焦)动作(S37)。此处，驱动器205经由更换式镜头200内的微型计算机207控制摄影透镜201的焦点位置，使得通过AF处理部115 取得的对焦评价值变为峰值。因此，当在不是动态图像记录中的情况下半按下快门释放按钮时，在该时刻进行1次摄影透镜201的对焦。在步骤S33中的判定结果为第一快门释放开关没有从断开转变为接通的情况下， 进行是否按下了第二快门释放开关、换言之是否全按下快门释放按钮从而第二快门释放开关接通的判定(S39)。在该步骤中，通过操作部123检测与快门释放按钮联动的第二快门释放开关的状态，并根据该检测结果进行判定。在步骤S39中的判定结果为按下了第二快门释放开关的情况下，进行静态图像摄影及其图像处理(S41)。此处，在对基于来自摄像元件103的图像信号的静态图像的图像数据进行了图像处理和图像压缩处理后，将图像数据记录到记录介质131中。将使用图3对该静态图像摄影/图像处理的详细动作进行后述。在步骤S31中的判定结果为在动态图像记录中的情况下，或者在步骤S39中的判定结果为没有按下第二快门释放开关的情况下，进行动态图像摄影和图像处理(S43)。在该步骤中，在为动态图像记录中的情况下，对基于来自摄像元件103的图像信号的动态图像的图像数据进行了图像处理和图像压缩后，将图像数据记录到记录介质131中。此外，在不是动态图像记录中的情况下，进行实时取景显示以决定静态图像摄影中的被摄体构图和快门时机的决定。将使用图4对该动态图像摄影/图像处理的详细动作进行后述。在执行了步骤S37中的AF动作后、或者在执行了步骤S41中的静态图像摄影/图像处理后、或者在执行了步骤S43中的动态图像摄影/图像处理后，接着进行电源是否断开的判定(S45)。在该步骤中，判定是否再次按下了操作部123的电源按钮。在该判定结果电源未断开的情况下，返回步骤S13。另一方面，在判定结果是电源断开的情况下，在进行主流程的结束动作后，结束主流程。接着，使用图3对步骤S41中的静态图像摄影/图像处理进行说明。当进入到静态图像摄影/图像处理的流程时，进行摄影动作(S51)。此处，根据在步骤S35中计算的曝光控制值，进行机械快门101和光圈203等的控制，并且进行摄像元件103的光电电流的电荷蓄积控制。在摄像元件103中的曝光动作结束时，进行图像信号的读出。在步骤S51中的摄影动作结束时，接着进行图像处理(S5!3)。在该步骤中，在图像处理部111中对从摄像元件103读出的图像信号进行光学黑校正、白平衡校正、同时化处理、颜色矩阵运算等各种图像处理，将在拜尔排列下得到的拜尔数据转换为YCbCr数据。另外，也可以不转换为YCbCr数据，而转换为RGB数据。将使用图5对该图像处理的详细动作进行后述。
在步骤S53中的图像处理结束时，接着进行IXD显示(S55)。此处，根据在步骤S51 中取得、在步骤S53中实施了图像处理的图像数据，在IXD 135上显示为记录浏览图像。在进行IXD显示后，接着进行是否进行RAW记录的判定(S57)。在菜单画面中预先设定了图像数据的记录方式，因此此处根据设定状态进行判定。另外，作为图像数据的记录方式，有仅以JPEG记录、或者以RAW和JPEG等记录。如果至少选择了 RAW，则判定为RAW记录。因此，在设定了 RAW和JPEG的情况下，步骤S57中的判定为是。另外，作为记录方式， 除此以外，也可以设置仅RAW的记录模式。在步骤S57中的判定结果为RAW记录的情况下，接着进行RAW文件的生成(S59)。 此处，在从摄像元件103读出的拜尔数据(图像信号)中附加将图像处理后的YCbCr数据缩小了后的缩略图像、OB值、与各WB模式对应的WB增益、其他图像尺寸等信息作为文件头部，生成RAW文件。即使压缩拜尔数据也没有问题。在生成RAW文件后，接着记录RAW文件(S61)。此处，经由存储器I/F 129将在步骤S59中生成的RAW文件记录到记录介质131中。在步骤S61中记录了 RAW文件时，或者在步骤S57中的判定结果为不是RAW记录的情况下，接着进行JPEG文件生成(S63)。在该步骤中，通过图像压缩解压缩部117对YCbCr 数据形式的静态图像的图像数据进行JPEG压缩。并且，生成图像尺寸和摄影条件等信息作为文件头部信息，并将该文件头部信息附加到JPEG压缩后的图像数据中，从而生成JPEG文件。接着，进行JPEG文件的记录(S65)。在该步骤中，经由存储器I/F 1 将在步骤 S63中生成的JPEG文件记录到记录介质131中。在进行了 JPEG文件的记录后，返回到原来的流程。接着，使用图4对步骤S43中的动态图像摄影/图像处理进行说明。当进入到动态图像摄影/图像处理的流程时，首先进行AE处理(S71)。在该步骤中，通过AE处理部113 测量被摄体亮度，并根据该被摄体亮度决定成为适当曝光的曝光控制值。在决定曝光控制值时，由于是动态图像摄影中的AE处理，因此在保持机械快门101打开的状态下，曝光时间的控制使用电子快门的快门速度，决定成为适当曝光的快门速度、光圈值和ISO感光度值。 根据被摄体亮度，参照预先记录在闪存125中的曝光条件决定表决定这些快门速度、光圈值和ISO感光度。接着进行摄影动作(S7!3)。在该步骤中，依照在步骤S71中计算的曝光控制值，进行光圈值、电子快门和ISO感光度等的控制，并且进行摄像元件103的光电电流的电荷蓄积控制。在构成动态图像的1帧的曝光结束时，进行图像信号的读出。在进行摄影后，进行图像处理(S7Q。该图像处理与步骤S53相同，对拜尔数据进行图像处理，并转换为YCbCr数据，但是也可以与静态图像的情况同样是RGB数据。具体使用图5进行说明，但是由于是动态图像用的图像处理，因此将参数等适当设为适合于动态图像的值。在进行图像处理后，接着进行IXD显示(S77)。此处，将在步骤S73中取得、在步骤 S75中进行了图像处理的动态图像的1帧显示在IXD 135上。在IXD上进行显示后，接着与步骤S31同样，进行是否为动态图像记录中的判定 (S79)。在该步骤中，进行记录中标志是否打开的判定。在该判定结果是动态图像记录中的
13情况下，接着进行动态图像文件的保存(S81)。通过图像压缩解压缩部117对在步骤S73中取得、在步骤S75中进行了图像处理的动态图像的图像数据进行对应于动态图像文件形式的压缩，并记录到记录介质131中。另外，在不是动态图像记录中的情况下，由于是静止摄影模式，因此在步骤S77中进行实时取景显示，跳过步骤S81。在步骤S81中进行了向动态图像文件的保存时，或者在步骤S79中的判定结果不是动态图像记录中的情况下，结束动态图像摄影/图像处理的流程，返回到原来的流程。接着，使用图5对步骤S53和S75中的图像处理进行说明。当进入到图像处理的流程时，首先进行光学黑(OB)运算(S91)。在该步骤中，通过OB运算部Illa分别从构成图像数据的各像素的像素值中，减去由于摄像元件103的暗电流等而产生的光学黑值。在进行OB运算后，接着进行白平衡(WB)校正(S9!3)。在该步骤中，通过WB校正部 Illb根据所设定的白平衡模式，对图像数据进行WB校正。具体而言，通过从照相机机身的闪存125读出与用户设定的白平衡模式对应的R增益和B增益，并对拜尔排列的图像数据乘以该值，从而进行校正。或者在自动白平衡的情况下，根据RAW数据计算R增益和B增益， 使用这些增益进行校正。另外，在后述的图像合成时进行的图像处理(参照图6的S137)中的WB校正中，使用合成WB增益来进行。此外，使用记录在图像数据的文件头部中的WB增益进行在后述的RAW编辑时进行的图像处理(参照图7的S155)中的WB校正。接着进行同时化处理(S95)。在该步骤中，通过同时化处理部Illc将进行了白平衡校正的图像数据转换为各像素由RGB数据构成的数据。具体而言，通过从周边插值求出不处于预定像素位置的数据，并转换为RGB数据。在进行同时化处理后，接着进行颜色矩阵运算(S97)。在该步骤中，通过颜色矩阵运算部Ille进行对图像数据乘以与设定的白平衡模式对应的颜色矩阵系数的线性转换来校正图像数据的颜色。颜色矩阵系数被存储在闪存125中，因此读出并使用。在进行颜色矩阵运算后，接着进行伽马转换(S99)。在该步骤中，通过伽马/颜色再现处理部Illd对图像数据进行伽马校正处理。接着进行颜色校正(SlOl)。在该步骤中， 通过伽马/颜色再现处理部Illd对图像数据进行色度和色调的校正处理。在进行颜色校正后，接着进行边缘强调(S10;3)。在该步骤中，边缘强调处理部 Illf通过带通滤波器对进行了伽马校正和颜色再现处理的图像数据提取边缘分量，根据边缘强调度乘以系数并与图像数据相加，由此强调图像数据的边缘。在进行边缘强调后，接着进行噪声减少处理(NR) (S105)。在该步骤中，通过NR处理部Iiig使用减少高频的滤波器、或者利用核化处理等，减少图像数据的噪声。在进行噪声减少处理后，返回到原来的流程。接着，使用图6对步骤S19中的图像合成进行说明。当进入图像合成的流程时，首先进行白平衡(WB)模式的设定(S111)。此处，选择在菜单画面上由用户设定的WB模式。 作为WB模式，有自动白平衡(AWB)、晴天、阴天、多云、钨光灯、荧光灯、水中自动等模式。在进行WB模式的设定后，接着进行RAW文件的选择(S113)。在IXD 135上显示记录在记录介质131中的RAW文件的缩略图，作为RAW文件一览。用户通过操作十字按钮和确定按钮来选择N个(N彡幻RAW文件。在进行了 RAW文件的选择后，接着判定是否为合成系数自动设定(S115)。合成系数是与合成比率相关的信息，是在合成两个以上的图像时，设定各图像以哪种程度、是否较强显现的系数。自动设定对该合成系数进行自动设定，在本实施方式中，使各图像成为等分的比例。在步骤S115中的判定结果为合成系数是自动设定的情况下，将合成系数设定为 1/N(S117)。在自动设定的情况下，对所选择的所有RAW文件设定1/N作为系数。当然，可以是1/N以外的数值，并且也可以按照每个图像自动设定不同的系数。另一方面，在步骤S115中的判定结果为合成系数不是自动设定的情况下，将合成系数设为用户设定(S119)。此处，在IXD 135上显示系数设定用的画面，用户设定对各RAW 文件的系数(Ki > 0、1彡i彡N、i为整数)。在步骤Sl 17或Sl 19中进行合成系数的设定后，接着在步骤S121至SU9中，一边将i从1依次变更至N，一边进行运算。首先进行RAW读入(S12!3)。此处，从记录介质131 读出第i个选择的RAW文件的RAW数据。在读出第i个RAW数据后，接着进行所读出的RAW数据中的WB增益的计算(S125)。 根据所设定的WB模式，计算与第i个RAW数据对应的WB增益(RGi =R增益、BGi =B增益)。 在与RAW文件一起将与各WB模式对应的WB增益记录到记录介质131的情况下，也可以从 RAff文件的文件头部取得WB增益。在进行了 WB增益的计算后，接着进行系数相乘运算(S127)。此处，将在步骤S117 或步骤S119中设定的合成系数Ki与RAW数据相乘。S卩，RAW数据是来自各像素的原始数据，分别对各像素的值乘以合成系数Ki。在进行了系数相乘运算后，接着判定变量i是否达到了选择RAW文件数N(S129)。 在该判定结果是变量i没有达到N的情况下，对变量i加1，并返回步骤S121，重复上述运算等。在步骤SU9中变量i达到N时，接着进行相加运算(S131)。此处，对于每一个RAW 文件的相同像素(拜尔数据)，加上在步骤S127中进行了系数相乘运算后的像素数据。在进行相加运算后，接着计算合成WB增益(S13!3)。此处，计算与各RAW文件对应的WB增益的加权平均。在设R增益为RG、B增益为BG时，利用下述(1)(2)式求出。RG = Σ (KiXRGi)/ Σ (Ki) (1)BG = Σ (KiXBGi)/ Σ (Ki) (2)在计算了合成WB增益后，接着进行OB值计算(S13Q。此处，读入表示各RAW数据的OB值的OBi，并用下述(3)式计算对于合成图像的OB值。OB= Σ (KiXOBi) (3)在计算出OB值后，进行图像处理(S137)。此处，使用在步骤S131中合成的数据、 在步骤S133中利用加权平均计算出的WB增益、和在步骤S135中计算出的OB值进行图像处理。该图像处理与使用图5说明的流程相同，因此省略详细说明。在进行了图像处理后，接着与步骤S57同样，进行是否为RAW记录的判定(S139)。 在该判定结果是RAW记录的情况下，进行RAW文件的生成(S141)。此处，使用在步骤S135 中计算出的OB值、在步骤S131中合成为拜尔数据的图像数据、和各WB增益为用与在步骤 S133中进行计算的方法相同的方法计算出的WB增益，生成RAW文件。在生成RAW文件后， 将此处生成的RAW文件记录到记录介质131中(S143)。在步骤S143中记录了 RAW文件时，或者在步骤S139中的判定结果为不是RAW记录的情况下，接着与步骤S63同样，生成JPEG文件(S140。接着，将生成的JPEG文件记录到记录介质131中(S147)。在记录了 JPEG文件后，返回到原来的流程。这样，在本实施方式中的图像合成的流程中，选择了用于合成的多个RAW文件时(SlU)，针对每个RAW数据，根据所设定的WB模式计算WB增益，或者从文件头部取得 WB增益(S125)，计算与所合成的RAW数据对应的合成WB增益(S133)，使得在图像处理时 (S137)，使用合成WB增益进行图像处理(S93)。因此，在进行图像合成时，能够根据WB模式进行适当的WB校正。接着，使用图7对步骤S23中的RAW编辑进行说明。当进入RAW编辑的流程时，首先与步骤Slll同样进行WB模式设定(S151)。接着进行RAW文件选择(S153)。此处，显示记录在记录介质131中的RAW文件的缩略图，作为RAW文件一览。用户通过操作十字按钮和确定按钮来选择1个RAW文件。在选择了 RAW文件后，接着进行所选择的RAW文件的图像处理(S15Q。此处，读取记录在所选择的RAW文件中的信息，并依照图5所示的图像处理的流程进行处理。在进行图像处理后，接着与步骤S63同样，生成JPEG文件(S157)。接着，将所生成的JPEG文件记录到记录介质131中(S159)。在记录了 JPEG文件后，返回到原来的流程。这样，在本发明的第1实施方式中，选择RAW文件(Si 13)，将合成系数与各RAW数据相乘(S127)，并相加进行合成(S131)。通过针对对各RAW数据计算出的WB增益进行系数的加权平均，来求出对于合成图像数据的WB增益(S133)。因此，能够对合成后的RAW图像进行与在合成前的RAW数据中改变WB模式进行RAW编辑的情况下生成的JPEG的颜色变化相同的变化。接着，使用图8说明本发明的第2实施方式。在第1实施方式中，没有对各RAW数据进行WB增益校正和OB相减运算，但是在第2实施方式中，对各RAW数据进行OB相减运算和WB校正处理。第2实施方式中的结构与图1所示的结构大致相同，并且流程图仅将图 6所示的图像合成的流程变更为图8所示的图像合成的流程，因此以不同点为中心进行说明。进入本实施方式中的图像合成的流程，步骤Slll到步骤S119与在第1实施方式中图6所示的流程相同，因此省略详细说明。当在步骤S117或S119中进行了合成系数的设定后，接着在步骤S221至S235中， 一边将i从1依次变更至N，一边进行运算。首先进行RAW读入(S22!3)。此处，从记录介质 131读出第i个选择的RAW文件的RAW数据。在读入RAW文件的数据后，接着进行WB增益计算(S22Q。此处，根据WB模式设定，计算与第i个RAW数据对应的WB增益(RGi =R增益、BGi =B增益)、和与晴天对应的WB 增益(RGi，、BGi，)。在与RAW文件一起将与各WB模式对应的WB增益记录到记录介质131 中的情况下，也可以从RAW文件的文件头部取得WB增益。另外，在本实施方式中，计算出对于晴天的WB增益，但是不限于晴天，也可以是对于其他WB模式的WB增益。在计算出WB增益后，接着进行摄影时WB增益的计算(S227)。根据摄影时的WB模式设定，计算与第i个RAW文件对应的WB增益。也可以与RAW文件一起记录与各WB模式对应的WB增益，从RAW文件的文件头部取得WB增益。当然，也可以不是摄影时的WB模式、 而是例如AWB等。
16
在进行了摄影时WB增益的计算后，接着进行OB相减运算(S229)。此处，从RAW文件取得对于第i个RAW文件的拜尔数据的OB值，并进行OB相减运算。在进行了 OB相减运算后，接着进行WB校正(S231)。此处，通过将在步骤S227中计算出的摄影时WB增益乘以进行OB相减运算后的拜尔数据来进行WB校正。在进行了 WB校正后，接着进行系数相乘运算(S23!3)。此处，将在步骤S117或步骤 S119中设定的合成系数Ki与进行了 WB校正的拜尔数据相乘。在进行了系数相乘运算后，接着判定变量i是否达到了选择RAW文件数N(S235)。 在该判定结果是变量i没有达到N的情况下，对变量i加1，并返回步骤S221，重复上述运算等。当在步骤S235中变量i达到了 N时，接着进行相加运算(S237)。此处，针对每个 RAff文件的相同像素(拜尔数据)，加上进行了 OB相减运算、WB校正和系数相乘运算后的
像素数据。在进行相加运算后，接着进行合成WB增益的计算(S238)。此处，根据下述的⑷ (5)式计算与各RAW文件对应的WB增益的加权平均。此处，计算“换算合成图像WB增益”， 其是将用合成系数对与当前的WB设定模式对应的各RAW数据所对应的WB增益进行加权平均后的值除以用合成系数对与预定的WB设定模式(此处为晴天模式)对应的各RAW数据所对应的WB增益进行加权平均后的值而得到的。RG = { Σ (KiXRGi)/ Σ (Ki)}/{ Σ (KiXRGi‘ )/ Σ (Ki)} (4)BG = { Σ (KiXBGi)/ Σ (Ki)}/{ Σ (KiXBGi' )/ Σ (Ki)} (5)在计算出合成WB增益后，接着进行图像处理(S239)。根据使用图5说明的图像处理的流程进行图像处理。使用在步骤S237中利用相加运算合成的数据、和在步骤S238中计算出的合成WB增益进行该图像处理。另外，OB值由于已经进行了相减运算并合成(参照，因此在此处的处理中将OB值设为0来进行处理。在进行图像处理后，接着与步骤S139同样，进行是否为RAW记录的判定(SMl)。在该判定结果是RAW记录的情况下，进行RAW文件的生成(SM!3)。此处，OB值由于已经进行了相减运算(参照并合成(S237)，因此将OB值作为0记录于RAW文件。除此以外， 与步骤S141同样地生成RAW文件。在生成RAW文件后，接着与步骤S143同样地进行RAW 文件的记录(SM5)。在进行了 RAW文件的记录后，或者在步骤S241中的判定结果为不是RAW记录的情况下，接着与步骤S145同样地进行JPEG文件的生成(SM7)。接着，与步骤S147同样地进行JPEG文件的记录(SM9)。在JPEG文件的记录结束后，返回到原来的流程。如以上所说明那样，在第2实施方式中，在合成时合成了乘以摄影时的WB增益后的RAW数据(S231)。因此，在本实施方式的例子中，对于合成图像的WB增益采用了如下的值用将对各RAW计算出的WB增益进行了系数的加权平均后的值分别除以同样计算出的晴天模式下的增益而得到的值。当然，不限于晴天模式，而可以使用其他WB模式，并且还可以始终采用固定值。合成图像是对在不同的场景下拍摄的图像进行合成后的图像，不明确是在什么样的光源下进行了拍摄。但是，由于根据摄影时的设定合成了 WB校正后的RAW数据，因此WB 变为适当的值。因此，在本实施方式中，将合成图像视作在自然光、且一般的晴天模式下进行了 WB校正的图像数据，采用将其除以与晴天模式对应的WB增益而得到的增益。其结果， 能够根据WB模式的设定适当改变颜色。如以上所说明那样，在本发明的各实施方式中，WB校正部Illb通过操作部123根据WB的设定，使用合成图像WB增益(S133、S238)，进行了对于合成图像数据的白平衡校正 (S93)。因此，在进行图像合成的情况下，能够根据WB模式进行适当的WB校正。此外，在本发明的各实施方式中，将对可由WB设定部设定的WB模式中的至少一个以上的WB模式计算出的对于合成图像数据的合成图像WB增益或者换算合成图像WB增益、 和上述合成图像数据保存为同一文件。即，计算对于合成图像的各WB模式的增益，与所合成的图像数据一起用RAW图像形式进行记录。因此，能够没有合成图像和RAW图像的区别地用相同的处理进行图像处理。另外，在本发明的各实施方式中，对使用拜尔数据作为RAW数据的例子进行了说明。但是，作为RAW数据，不限于拜尔数据，也可以是例如从Rweon排列的摄像元件得到的数据。此外，在本发明的各实施方式中，示出了选择图像合成用的RAW文件并进行合成的流程。但是，不限于此，当在照相机中设置图像合成模式，并选择图像合成模式时，也可以使用摄影得到的多个拜尔数据进行同样的处理。此外，不限于摄影完成的图像，也可以选择实时取景显示中的多个图像，并使用该所选择的图像，在摄影前进行图像合成并显示。此外，在本发明的各实施方式中，作为用于摄影的设备，使用数字照相机进行了说明，但是作为照相机，可以是数字单反照相机和袖珍数字照相机，可以是摄像机、视频摄影机这样的动态图像用的照相机，并且当然可以是内置在移动电话、便携信息终端 PDA (Personal Digital Assistants 个人数字助理)或者游戏设备等中的照相机。此外，在本发明的各实施方式中，作为图像处理装置对应用到照相机的例子进行了说明，但是当然也可以应用于照相机以外的图像处理装置。例如，还能够应用于在记录介质中存储了摄影图像的个人计算机。此外，关于权利要求、说明书和附图中的动作流程，即使为了方便，使用“首先”、 “接着”等表现顺序的语言进行了说明，但不是指必须按该顺序进行实施。本发明不直接限定为上述各实施方式，在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形并具体化。此外，能够通过上述实施方式公开的多个结构要素的适当组合形成各种发明。例如，可以删除实施方式所示的全部结构要素中的几个结构要素。并且，可适当组合不同实施方式的结构要素。
18
权利要求
1.一种图像处理装置，其包括图像合成部，其对多个合成用图像数据进行合成，从而生成合成图像数据； WB设定部，其进行用于白平衡校正处理的设定；图像WB增益计算部，其根据上述WB设定部的设定，计算针对上述多个合成用图像数据的各个的图像WB增益；合成图像WB增益计算部，其根据与上述图像合成部中的合成比率相关的信息、和由上述图像WB增益计算部计算出的针对上述多个合成用图像数据的各个的图像WB增益，计算针对上述合成图像数据的合成图像WB增益；以及WB校正部，其根据上述合成图像WB增益进行图像数据的白平衡校正，上述WB校正部根据上述WB设定部的设定，使用由上述合成图像WB增益计算部计算出的合成图像WB增益， 进行针对上述合成图像数据的白平衡校正。
2.根据权利要求1所述的图像处理装置，其中，上述图像合成部包含合成系数设定部，该合成系数设定部设定针对上述多个合成用图像数据的合成时的合成系数，上述图像合成部根据上述合成系数对上述多个合成用图像数据进行合成，从而生成合成图像数据，上述合成图像WB增益计算部根据上述合成系数、和由上述图像WB增益计算部计算出的针对上述多个合成用图像数据的各个的图像WB增益，计算针对上述合成图像数据的合成图像WB增益。
3.根据权利要求2所述的图像处理装置，其中，上述图像合成部包含对图像数据乘以预定的值的相乘部、和将多个图像数据进行相加的相加部，上述相乘部对上述多个合成用图像数据乘以上述合成系数来生成多个中间图像数据， 上述相加部通过将上述多个中间图像数据进行相加来生成上述合成图像数据，上述合成图像WB增益计算部通过根据上述合成系数，计算由上述图像WB增益计算部计算出的针对上述多个合成用图像数据的各个的图像WB增益的加权平均，计算针对上述合成图像数据的合成图像WB增益。
4.根据权利要求1所述的图像处理装置，其中，上述WB校正部将对上述多个合成用图像数据的各个至少进行了白平衡校正处理后的多个图像数据作为上述多个合成用图像数据输入到上述图像合成部，上述WB校正部根据上述WB设定部的设定，使用将由上述合成图像WB增益计算部计算出的合成图像WB增益除以预定的值得到的换算合成图像WB增益，进行针对上述合成图像数据的白平衡校正。
5.根据权利要求4所述的图像处理装置，其中， 上述WB校正部至少包含针对晴天的WB模式，上述预定的值是由上述合成图像WB增益计算部针对上述针对晴天的WB模式计算出的合成图像WB增益。
6.根据权利要求4所述的图像处理装置，其中，该图像处理装置还具有图像数据记录部，该图像数据记录部将针对能够由上述WB设定部设定的WB模式中的至少一个以上的WB模式计算出的针对上述合成图像数据的换算合成图像WB增益、和上述合成图像数据保存为同一文件。
7.根据权利要求1所述的图像处理装置，其中，该图像处理装置还具有图像数据记录部，该图像数据记录部将针对能够由上述WB设定部设定的WB模式中的至少一个以上的WB模式计算出的针对上述合成图像数据的合成图像WB增益、和上述合成图像数据保存为同一文件。
8.一种合成图像的白平衡校正方法，该合成图像是对摄像部输出的、或者记录部输出的多个合成用图像数据进行合成而生成的，该白平衡校正方法包括对利用上述摄像部的摄像得到的、或者记录在上述记录部中的多个合成用图像数据进行合成来生成合成图像数据，根据用于白平衡校正处理的设定，计算针对上述多个合成用图像数据的各个的图像WB 增 ，根据与上述多个合成用图像数据的合成比率相关的信息、和与上述多个合成用图像数据的各个对应的图像WB增益，计算与上述合成图像数据对应的合成图像WB增益， 根据该合成图像WB增益进行上述合成图像数据的白平衡校正。
9.根据权利要求8所述的白平衡校正方法，其中，对上述多个合成用图像数据设定合成时的合成系数，并根据上述合成系数对上述多个合成用图像数据进行合成，从而生成上述合成图像数据，根据上述合成系数、和针对上述多个合成用图像数据的各个的图像WB增益，计算上述合成图像WB增益。
10.根据权利要求9所述的白平衡校正方法，其中，通过对上述多个合成用图像数据乘以上述合成系数来生成多个中间图像数据，并将上述多个中间图像数据进行相加，来生成上述合成图像数据，通过根据上述合成系数计算针对上述多个合成用图像数据的各个的图像WB增益的加权平均，来计算上述合成图像WB增益。
11.根据权利要求8所述的白平衡校正方法，其中，将对上述多个合成用图像数据的各个至少进行了白平衡校正处理后的多个图像数据作为上述多个合成用图像数据，根据用于上述白平衡校正处理的设定，使用将合成图像WB增益除以预定的值得到的换算合成图像WB增益，进行针对上述合成图像数据的白平衡校正。
12.根据权利要求11所述的白平衡校正方法，其中，作为用于上述白平衡校正处理的设定，至少包含针对晴天的WB模式， 上述预定的值是对上述针对晴天的WB模式计算出的合成图像WB增益。
13.一种摄像装置，其包括摄像部，其拍摄被摄体像从而生成摄像数据；图像生成/记录部，其对上述摄像部输出的摄像数据进行图像处理来生成图像数据并进行记录；图像合成部，其对多个合成用图像数据进行合成，从而生成合成图像数据； WB设定部，其进行用于白平衡校正处理的设定；图像WB增益计算部，其根据上述WB设定部的设定，计算针对上述多个合成用图像数据的各个的图像WB增益；合成图像WB增益计算部，其根据与上述图像合成部中的合成比率相关的信息、和由上述图像WB增益计算部计算出的针对上述多个合成用图像数据的各个的图像WB增益，计算针对上述合成图像数据的合成图像WB增益；以及WB校正部，其根据上述合成图像WB增益进行图像数据的白平衡校正，上述WB校正部根据上述WB设定部的设定，使用由上述合成图像WB增益计算部计算出的合成图像WB增益， 进行针对上述合成图像数据的白平衡校正。
14.根据权利要求13所述的摄像装置，其中，上述图像合成部包含合成系数设定部，该合成系数设定部设定针对上述多个合成用图像数据的合成时的合成系数，上述图像合成部根据上述合成系数对上述多个合成用图像数据进行合成，从而生成合成图像数据，上述合成图像WB增益计算部根据上述合成系数、和由上述图像WB增益计算部计算出的针对上述多个合成用图像数据的各个的图像WB增益，计算针对上述合成图像数据的合成图像WB增益。
15.根据权利要求14所述的摄像装置，其中，上述图像合成部包含对图像数据乘以预定的值的相乘部、和将多个图像数据进行相加的相加部，上述相乘部对上述多个合成用图像数据乘以上述合成系数来生成多个中间图像数据， 上述相加部通过将上述多个中间图像数据进行相加来生成上述合成图像数据，上述合成图像WB增益计算部通过根据上述合成系数，计算由上述图像WB增益计算部计算出的针对上述多个合成用图像数据的各个的图像WB增益的加权平均，计算针对上述合成图像数据的合成图像WB增益。
16.根据权利要求13所述的摄像装置，其中，上述WB校正部将对上述多个合成用图像数据的各个至少进行了白平衡校正处理后的多个图像数据作为上述多个合成用图像数据输入到上述图像合成部，上述WB校正部根据上述WB设定部的设定，使用将由上述合成图像WB增益计算部计算出的合成图像WB增益除以预定的值得到的换算合成图像WB增益，进行针对上述合成图像数据的白平衡校正。
17.根据权利要求16所述的摄像装置，其中，上述WB校正部至少包含针对晴天的WB模式，上述预定的值是由上述合成图像WB增益计算部针对上述针对晴天的WB模式计算出的合成图像WB增益。
18.根据权利要求16所述的摄像装置，其中，该图像处理装置还具有图像数据记录部，该图像数据记录部将针对能够由上述WB设定部设定的WB模式中的至少一个以上的WB模式计算出的针对上述合成图像数据的换算合成图像WB增益、和上述合成图像数据保存为同一文件。
19.根据权利要求13所述的摄像装置，其中，该图像处理装置还具有图像数据记录部，该图像数据记录部将针对能够由上述WB设定部设定的WB模式中的至少一个以上的WB模式计算出的针对上述合成图像数据的合成图像WB增益、和上述合成图像数据保存为同一文件。
20.根据权利要求13所述的摄像装置，其中， 上述多个合成用图像数据和上述合成图像数据是RAW数据。
全文摘要
本发明提供在进行图像合成时，能够根据WB模式进行适当的WB校正的图像处理装置、白平衡校正方法以及摄像装置。根据用于白平衡校正处理的设定，计算针对所记录的多个图像数据的各个的图像WB增益(S125)，将多个图像数据合成来生成合成图像数据(S131)，根据多个图像数据的合成方法、和分别与多个图像数据的各个对应的图像WB增益，计算与合成图像数据对应的合成图像WB增益(S133)，根据该计算出的合成图像WB增益进行合成图像数据的白平衡校正(S137、S93)。
文档编号H04N9/73GK102447912SQ201110301758
公开日2012年5月9日 申请日期2011年10月8日 优先权日2010年10月8日
发明者市川学, 高济真哉 申请人:奥林巴斯映像株式会社