图像编辑装置以及图像编辑方法

图像编辑装置以及图像编辑方法
【专利摘要】本发明提供一种图像编辑装置以及图像编辑方法，能够实现即便在由多个图像构成的组合照片中替换了其一部分图像的情况下，也毫无不协调感且看起来自然的图像编辑。对组合多个图像而构成的组合照片图像进行编辑的图像编辑装置指示构成组合照片的多个图像中的1个图像（S241），指示用于与该所指示的图像进行置换的置换图像（S253），使用代表组合照片图像的量化表值对置换图像进行产生与通过不可逆压缩所产生的画质变化同样的画质变化的画质转换处理（S128），使用不可逆压缩图像的量化表值对所指示的置换图像进行不可逆压缩之后，将得到的图像与组合照片中被指示的图像进行置换（S133）。
【专利说明】图像编辑装置以及图像编辑方法
【技术领域】
[0001]本发明涉及对由多个照片构成的组合照片等图像进行编辑的图像编辑装置以及图像编辑方法。
【背景技术】
[0002]以往已知在液晶监视器上显示多个实时取景图像的多画面以及一览显示多个摄影完毕的图像的索引再现等在画面上显示多个图像的技术。此外，提出了在图像中划分为重要部分与非重要部分，将重要部分的画质劣化与非重要部分进行比较，减轻画质劣化的技术(例如参照日本公开专利平05-083566号公报)。此外，通过JPEG等压缩技术进行压缩并记录的技术也被普遍使用。

【发明内容】

[0003]发明要解决的课题
[0004]如上所述，通常情况下分割画面以显示多个图像。若对所分割的每个图像分别分配量化步骤不同的量化表进行量化，则能够减少各图像的画质劣化，然而在作为组合起来的I张图像进行处理的情况下，由于文件格式和硬件的限制等，有时无法对每个区域分配适当的量化表。
[0005]在由多个图像构成的组合照片中，统一感十分重要。作为统一感的要素，有色调、对比度、色彩再现(白平衡(WB )、色相、色度)、表观分辨率、画面平滑度等。通过JPEG等对组合照片进行压缩的情况下，由于场景的组合，使得频率特性大不相同，在低频场景中块状噪声较为显著，而在高频场景中有时表观分辨率会降低。因此，若进行置换组合照片中的一个照片的图像编辑，则会在表观分辨率和平滑度方面产生差异，组合照片的统一感消失，会产生不协调感。
[0006]本发明就是鉴于上述情况而完成的，其目的在于提供一种图像编辑装置以及图像编辑方法，能够实现即便在由多个图像构成的组合照片中替换了其一部分图像的情况下，也毫无不协调感且看起来自然的图像编辑。
[0007]用于解决课题的手段
[0008]本发明涉及的图像编辑装置用第2图像置换进行了不可逆压缩的第I图像的一部分，其具有:画质调整部，其对所述第2图像进行画质转换处理，该画质转换处理产生与通过所述不可逆压缩所产生的画质变化同样的画质变化；以及编辑部，其使用由所述画质调整部调整后的所述第2图像，进行所述编辑处理。
[0009]本发明涉及的图像编辑装置对组合多个图像而构成的组合照片图像进行编辑，其具有:第I图像指示部，其指示构成所述组合照片的多个图像中的I个图像；第2图像指示部，其指示用于与由所述第I图像指示部指示的图像进行置换的置换图像；图像压缩处理部，其使用代表所述组合照片图像的量化表值对图像进行不可逆压缩；画质调整部，其对所述置换图像进行画质变化处理，该画质变化处理产生与通过所述不可逆压缩所产生的画质变化同样的画质变化；存储部，其存储所述图像和所述量化表值；以及控制部，其通过所述画质调整部使用所述量化表值对由所述第2图像指示部指示的所述置换图像进行不可逆压缩和解压缩，然后该控制部将进行了所述不可逆压缩和解压缩后的置换图像与由所述第I图像指示部指示的图像进行置换。
[0010]本发明涉及的图像编辑方法用第2图像置换进行了不可逆压缩的第I图像的一部分，其包括以下步骤:对所述第2图像进行画质转换处理，该画质转换处理产生与通过所述不可逆压缩所产生的画质变化同样的画质变化；以及使用调整后的所述第2图像，进行所述编辑处理。发明效果
[0011]根据本发明能够提供一种图像编辑装置以及图像编辑方法，能够实现即便在由多个图像构成的组合照片中替换了其一部分的图像的情况下，各个图像也一致而图像整体存在统一感，图像整体毫无不协调感且看起来自然的图像编辑。
【专利附图】

【附图说明】
[0012]图1是示出本发明一个实施方式的相机的主要电气结构的框图。
[0013]图2是示出本发明一个实施方式的相机中图像编辑的一例的图，是示出通过触摸实时取景来进行图像编辑的情形的图。
[0014]图3是示出本发明一个实施方式的相机中图像编辑的一例的图，是示出通过触摸实时取景来进行图像编辑的情形的图。
[0015]图4是示出本发明一个实施方式的相机中图像编辑的一例的图，是示出确定编辑帧的情形的图。
[0016]图5是示出本发明一个实施方式的相机中画面分割的例子的图。
[0017]图6是示出本发明一个实施方式的相机的主要动作的流程图。
[0018]图7是示出本发明一个实施方式的相机的主要动作的流程图。
[0019]图8是示出本发明一个实施方式的相机的图像处理的动作的流程图。
[0020]图9是示出本发明一个实施方式的相机的基本图像处理的动作的流程图。
[0021]图10是示出本发明一个实施方式的相机的特殊图像处理的动作的流程图。
[0022]图11是示出本发明一个实施方式的相机的组合照片生成的动作的流程图。
[0023]图12A?图12C是示出本发明一个实施方式的相机中图像解析的变更例的图。
[0024]图13是示出本发明一个实施方式的相机的静态图像记录的动作的流程图。
[0025]图14是示出本发明一个实施方式的相机的组合照片操作的动作的流程图。
[0026]图15是示出本发明一个实施方式的相机的组合照片操作的动作的流程图。
[0027]图16A?图16C是示出本发明一个实施方式的相机中组合照片操作存储器的结构的图。
[0028]图17是示出本发明一个实施方式的相机的再现/编辑的动作的流程图。
[0029]图18是示出本发明一个实施方式的相机的组合照片编辑的动作的流程图。
[0030]图19是示出本发明一个实施方式的相机的组合照片生成记录的动作的流程图。
[0031]图20A?图20C是示出本发明一个实施方式的相机的画质调整的动作的流程图。
[0032]图21A?图21B是示出本发明一个实施方式的相机的画质调整的动作的流程图。
[0033]图22A?图22D是示出本发明一个实施方式的相机的画质变更处理的动作的流程图。
[0034]图23是对本发明一个实施方式的相机中的画质调整的效果进行说明的图。【具体实施方式】
[0035]下面按照附图使用应用本发明的相机来说明优选实施方式。本发明的一个优选实施方式的相机是数字相机，其具有摄像部，通过该摄像部将被摄体像转换为图像数据，根据该转换后的图像数据，在配置于主体背面的显示部中对被摄体像进行实时取景显示。摄影者观察实时取景显示，从而确定构图和快门时机。当进行了释放操作时，将图像数据记录于记录介质中。当选择了再现模式时，能够在显示部中再现显示被记录于记录介质中的图像数据。
[0036]此外，显示部能够将画面分割为多个部分，再现显示由多个图像构成的组合照片。能够将该组合照片内的一部分照片置换为实时取景图像或在记录介质中所记录的摄影完毕的图像。这种情况下，使用组合照片的量化表对置换图像进行画质调整，以使得置换图像与其他组合照片的画质成为同等。由此，即便通过其他图像置换了组合照片的一部分，也可以取得存在统一感的、赋予自然的印象的组合照片。这样，本实施方式的相机作为用第2图像(置换图像)置换进行了不可逆压缩的第I图像(组合照片图像)的一部分的图像编辑装置发挥作用。
[0037]图1是示出本发明一个实施方式的相机的主要电气结构的框图。该相机由相机主体100和可在该相机主体100上拆装的更换式镜头200构成。另外，在本实施方式中，将摄影镜头设为更换式镜头，但不限于此，当然也可以是在相机主体上固定摄影镜头的类型的数字相机。
[0038]更换式镜头200由摄影镜头201、光圈203、驱动器205、微型计算机207、闪存209构成，在与后述的相机主体100之间具有接口(以下称为I/F) 300。
[0039]摄影镜头201由用于形成被摄体像的多个光学透镜构成，是单焦点镜头或变焦镜头。在该摄影镜头201的光轴的后方配置有光圈203，光圈203的开口直径可变，用以限制通过了摄影镜头201的被摄体光束的光量。此外，摄影镜头201可凭借驱动器205在光轴方向上移动，根据来自微型计算机207的控制信号，对摄影镜头201的焦点位置进行控制，在是变焦镜头的情况下，还对焦距进行控制。此外，驱动器205还进行光圈203的开口直径的控制。
[0040]与驱动器205连接的微型计算机207与I/F300和闪存209连接。微型计算机207按照在闪存209中存储的程序工作，与后述的相机主体100内的微型计算机121进行通信，根据来自微型计算机121的控制信号进行更换式镜头200的控制。
[0041]闪存209除了所述程序之外，还存储有更换镜头200的光学特性和调整值等各种信息。I/F300是用于进行更换式镜头200内的微型计算机207与相机主体100内的微型计算机121相互之间的通信的接口。
[0042]在相机主体100内部，在摄影镜头201的光轴上配置有机械快门101。该机械快门101控制被摄体光束的通过时间，采用公知的焦平面快门等。在该机械快门101的后方，在通过摄影镜头201形成被摄体像的位置处配置有摄像元件103。
[0043]在摄像元件103中，构成各像素的光电二极管二维地配置成矩阵状，各光电二极管产生与受光量相应的光电转换电流，通过与各光电二极管连接的电容器蓄积该光电转换电流的电荷。在各像素的前表面配置有拜耳排列的RGB滤色器。另外，摄像元件103不限于拜耳排列，例如可以是Foveon (注册商标)那样的层叠形式。
[0044]摄像元件103与模拟处理部105连接，该模拟处理部105对从摄像元件103读取的光电转换信号(模拟图像信号)降低复位噪声后进行波形整形，进而进行增益提升以成为适当亮度。
[0045]模拟处理部105与Α/D转换部107连接，该Α/D转换部107对模拟图像信号进行模拟-数字转换，将数字图像信号(以下称之为图像数据)输出到总线110。另外，在本说明书中，将在图像处理部109进行图像处理之前的原始的图像数据称作RAW数据。
[0046]总线110是用于将在相机主体100内部读取或生成的各种数据转发到相机主体100内部的转发路径。总线110除了与所述Α/D转换部107连接之外，还连接着图像处理部109、AE (Auto Exposure:自动曝光)处理部 111、AF (Auto Focus:自动对焦)处理部 113、图像压缩解压缩部115、通信部117、微型计算机121、SDRAM(Synchronous DRAM:同步DRAM)127、存储器接口(以下称为存储器I/F) 129和显示驱动器133。
[0047]图像处理部109具有进行基本的图像处理的基本图像处理部109a、在设定了艺术滤镜的情况下用于实施特殊效果的特殊图像处理部10%、用于进行组合多个照片构成I张图像的组合照片的编辑处理的组合照片处理部109C、以及对图像进行解析的被摄体检测部109d。
[0048]基本图像处理部109a对RAW数据实施光学黑(OB)减法处理、白平衡(WB)校正、拜耳数据情况下进行的同时化处理、色彩再现处理、伽马校正处理、色彩矩阵运算、降噪(NR)处理、边缘强化处理等。在仅为I张摄影、且未设定艺术滤镜的情况下，仅凭该基本图像处理部109a的处理即可完成图像处理。
[0049]另外，特殊图像处理部10%根据所设定的特殊效果(艺术滤镜)，对由基本图像处理部处理后的图像实施降低周边亮度的针孔效果、使图像模糊并与原图像合成的柔焦处理、与噪声图像合成的噪声效果、在亮点描绘十字图案的十字滤镜效果、使得周边部模糊的微缩效果等各种特殊效果。
[0050]组合照片处理部109c组合多个图像生成I张图像(组合照片)。在图像组合时，从闪存125读入模板(参照后述图5)，使用基本图像处理部109a内的伽马校正进行亮度变更，以使得图像亮度相同。此外，为了统一整体的白平衡(WB)，使用基本图像处理部109a内的色彩再现处理来变更WB。此外，在合成后使用特殊图像处理部10%来应用针孔效果等特殊效果，进行组合图像或置换图像的修正等。
[0051]组合照片处理部109c实现作为画质调整部的功能(参照图11的S128)，该画质调整部的功能对第2图像(置换图像)进行产生与通过不可逆压缩所产生的画质变化同样的画质变化的画质转换处理。此外，组合照片处理部109c还实现作为编辑部的功能(参照图11的S133)，该编辑部使用通过画质调整部调整后的第2图像(置换图像)进行编辑处理。
[0052]组合照片处理部109c还实现作为画质调整部的功能，该画质调整部进行产生与不可逆压缩所产生的量化误差导致的画质变化同样的画质变化的处理。此外，组合照片处理部109c还实现作为进行不可逆压缩和解压缩的画质调整部的功能(参照图22A)。此外，组合照片处理部109c还实现作为画质调整部的功能(参照图22B)，该画质调整部进行产生与不可逆压缩所产生的量化误差导致的画质变化同样的画质变化的处理。此外，组合照片处理部109c还实现作为进行低通滤波处理的画质调整部的功能(参照图22C)。
[0053]被摄体检测部109d利用模式匹配等来解析图像，检测人脸或宠物等被摄体。在能够检测到被摄体的情况下，取得图像内被摄体的种类、大小、位置、可靠性等信息。
[0054]AE处理部111根据经由总线110输入的图像数据测定被摄体亮度，并经由总线110将该被摄体亮度信息输出给微型计算机121。为进行被摄体亮度的测定也可以设定专用的测光传感器，但在本实施方式中，根据图像数据计算被摄体亮度。
[0055]AF处理部113从图像数据中提取出高频成分的信号，通过累计处理取得对焦评价值，并经由总线110输出给微型计算机121。在本实施方式中，通过所谓的对比度法进行摄影镜头201的对焦。在本实施方式中以基于对比度法的AF控制为例进行了说明，但也可以在光路上设置相位差传感器，或者在摄像元件上设置相位差传感器，通过基于相位差AF的AF控制进行对焦。
[0056]图像压缩解压缩部115在将图像数据记录到记录介质131时，将从SDRAM127读出的图像数据在静态图像的情况下按照JPEG方式等对其进行压缩，在动态图像的情况下按照MPEG等各种压缩方式对其进行压缩。微型计算机121对JPEG图像数据或MPEG图像数据附加构成JPEG文件、MPO (Multi Picture Ob ject，多图像对象)文件或MPEG文件所需的文件头，生成JPEG文件、MPO文件、MPEG文件，将该生成的文件通过存储器I/F129记录于记录介质131中。
[0057]此外，图像压缩解压缩部115还进行用于图像再现显示的JPEG图像数据和MPEG图像数据的解压缩。在进行解压缩时，读出在记录介质131中记录的文件，在图像压缩解压缩部115中实施解压缩处理，然后将解压缩后的图像数据暂时存储于SDRAM127中。另外，在本实施方式中，作为图像压缩方式，采用的是JPEG压缩方式和MPEG压缩方式，然而压缩方式不限于此，也可以采用TIFF、H.264等其他压缩方式。
[0058]通信部117利用基于USB、LAN等的有线通信、无线通信等与外部进行通信。通过通信部117更新或追加在闪存125内存储的用于组合照片的分割的模板。
[0059]微型计算机121实现作为该相机主体的控制部的功能，总括地控制相机的各种动作时序。微型计算机121除了与所述I/F300连接以外，还连接着操作部123和闪存125。
[0060]操作部123包括电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮、十字键、OK按钮、删除按钮、放大按钮等各种输入按钮和各种输入键等操作部件，操作部123检测这些操作部件的操作状态，将检测结果输出给微型计算机121。微型计算机121根据来自操作部123的操作部件的检测结果，执行与用户的操作对应的各种动作时序。电源按钮是用于指示该数字相机的电源的接通/断开的操作部件。按下电源按钮时，该数字相机的电源接通，再次按下电源按钮时，该数字相机的电源断开。
[0061]释放按钮由通过半按下而打开的第一释放开关和从半按下状态进一步按下而成为全按下时打开的第二释放开关构成。微型计算机121在第一释放开关打开时，执行AF动作和AF动作等摄影准备动作时序。此外，在第二释放开关打开时，执行控制机械快门101等，从摄像元件103等取得基于被摄体图像的图像数据，将该图像数据记录于记录介质131的一系列摄影动作时序，来进行摄影。
[0062]动态图像按钮是用于指示动态图像摄影的开始和结束的操作按钮，最初对动态图像按钮进行操作时开始动态图像摄影，再次进行操作则结束动态图像摄影。再现按钮是用于设定和解除再现模式的操作按钮，当设定了再现模式时，从记录介质131读出摄影图像的图像数据，并在显示面板135中再现显示摄影图像。删除按钮例如是用于在一览显示再现图像时或显示组合照片时等，指定图像并进行删除的操作按钮。放大按钮是用于在再现显示时放大显示图像的操作按钮。
[0063]菜单按钮是用于在显示面板135中显示菜单画面的操作按钮。在菜单画面上能够进行各种相机设定。作为相机设定，例如有通常摄影模式和组合照片等摄影模式的设定、自然、鲜艳、平淡、肖像、艺术滤镜等完成效果的设定。作为艺术滤镜，具有波普艺术效果、玩具相机效果、梦幻对焦效果、黑白效果、透视画效果、水晶效果等。此外，在菜单画面上还能够进行组合照片的样式、组合照片的置换图像的选择、组合照片编辑时是否记录编辑前的图像等各种设定。另外，在组合照片的情况下，根据样式和组合图像选择状况来变更实时取景(LV)的显示(参照图7的S47)。
[0064]此外，操作部123中设有触摸输入部123a。显示面板135可进行触摸操作，触摸输入部123a检测用户触摸的位置等，输出给微型计算机121。
[0065]闪存125存储有用于执行微型计算机121的各种动作时序的程序。微型计算机121根据该程序进行相机整体的控制。
[0066]SDRAM127是用于暂时存储图像数据等的可进行电改写的易失性存储器。该SDRAM127暂时存储从Α/D转换部107输出的图像数据以及在图像处理部109和图像压缩解压缩部115等中进行了处理的图像数据。
[0067]存储器I/F129与记录介质131连接，进行将图像数据和在图像数据中附加的文件头等数据写入记录介质131以及从记录介质131读取这些数据的控制。记录介质131例如是可在相机主体100上自由拆装的存储卡等记录介质，但不限于此，也可以是内置于相机主体100内的硬盘等。
[0068]显示驱动器133与显示面板135连接，根据从SDRAM127和记录介质131中读出并由图像压缩解压缩部115解压缩后的图像数据，在显示面板135上显示图像。显示面板135配置于相机主体100的背面等，进行图像显示。图像显示包括在刚结束摄影后短时间显示所记录的图像数据的记录浏览显示、在记录介质131中记录的静态图像和动态图像的图像文件的再现显示以及实时取景显示等动态图像显示。另外，作为显示部可采用液晶显示面板(IXD)、有机EL等各种显示面板。
[0069]下面使用图2至图5说明本实施方式的相机的组合照片的编辑动作。图2示出选择了组合照片模式，并将显示面板135的画面分割为4部分的情况下的实时取景显示。另夕卜，分割画面内的斜线(人物肘部附近的二重线、腿部后方的二重线)表示被摄体正在运动。此外，图2的左侧表示被摄体的情形，右侧表示显示面板135的显示状态。
[0070]首先，在图2中，如135a所示，在分割为4部分的画面内的左上画面进行实时取景显示。用户在希望作为组合照片的图像而取入的情况下，若触摸了显示面板135的左上部，则如135b所示，确定摄影，在下一画面(右上画面)进行实时取景显示。接着，135c是确定了右上画面的摄影的情形，135d表示确定了左下画面的摄影的情形。当确定了右下画面的摄影时(参照135e)，摄影结束，能够取得组合照片。
[0071]在图2所示例子中，通过触摸显示面板135来确定摄影，按照左上一右上一左下一右下的顺序进行了实时取景显示。但也可以不按照该顺序进行实时取景显示。例如也可以如图3所示，在左上画面进行实时取景显示时(参照图3的135f)，若触摸了未进行实时取景显示的左下画面，则在该画面进行实时取景显示(参照图3的135g)。另外，后面会使用图14的步骤S161、S163说明该摄影帧的具体变更操作。
[0072]此外也可以是，在图2中，虽然在实时取景显示中触摸了显示面板135时确定了摄影，但也可以当在所确定的画面中再次进行了触摸时，返回实时取景画面。在图3所示的显示面板135h中，在3个画面(左上、右上、左下画面)示出了确定了摄影的情形，但是，若触摸该确定了摄影的左下画面，则显示面板135j的左下画面成为实时取景显示画面。
[0073]此外，在本实施方式中，即使在确定了所有的摄影，完成了组合照片之后，也能将其中一部分图像置换为其他图像。例如在图4中，示出在确定了 4张图像的情况下，用户为了使用其他图像置换右下画面的图像而进行指定的情形。在本实施方式中，通过进行触摸，而显示该图像的外框，表示是组合替换对象图像。
[0074]在图2至图4所示的组合照片的例子中，分割为左上、右上、左下、右下4个部分，但画面的分割不限于此。例如图5所示，也可以分割为各种形状。该分割的形状(模板、样式)可预先存储于闪存125中，能够根据用户的喜好进行设定。
[0075]下面使用图6和图7所示的流程图，说明本实施方式的相机的主要处理。另外，图6?图11、图13?图15、图17?图22D所示的流程图是由微型计算机121依照在闪存125中存储的程序控制各部分来执行的。
[0076]在对操作部123内的电源按钮进行操作使电源接通后，图6所示的主流程开始动作。开始动作后，首先执行初始化(Si)。作为初始化，进行机械性初始化以及各种标记等的初始化等电气初始化。作为各种标记之一，将表示是否处于动态图像记录之中的记录中标记重置为关闭(参照步骤S13、S15)。
[0077]进行了初始化后，接下来判定是否按下了再现按钮(S3)。在此，检测操作部123内再现按钮的操作状态并进行判定。该判定结果为按下了再现按钮的情况下，执行再现/编辑(S5)。在此，从记录介质131中读出图像数据，在IXD135中显示静态图像和动态图像的一览。用户通过对十字键进行操作，从一览中选择图像，通过OK键确定图像。此外，在该步骤中，还进行组合照片的编辑。后面使用图17说明该再现/编辑的详细动作。
[0078]在执行了步骤S5的再现/编辑后，或者步骤S3的判定结果为未按下再现按钮的情况下，判定是否进行相机设定(S7)。在操作了操作部123内的菜单按钮时，在菜单画面中进行相机设定。因此，在该步骤中根据是否进行了该相机设定来进行判定。
[0079]在步骤S7的判定结果为相机设定的情况下，进行相机设定(S9)。如上所述，能够在菜单画面中进行各种相机设定。如上所述，作为相机设定例如有通常摄影模式和组合照片等摄影模式的设定、自然、鲜艳、平淡、肖像、艺术滤镜等完成效果的设定。作为艺术滤镜，有波普艺术效果、玩具相机效果、梦幻对焦效果、黑白效果、透视画效果、水晶效果等。此外，还能够进行组合照片的样式、组合照片的置换图像的选择、在组合照片编辑时是否记录编辑前的图像、选择用于将已记录的图像嵌入到组合照片的预定帧中的图像等各种设定。
[0080]在步骤S9中进行了相机设定后，或者步骤S7的判定结果为并非相机设定的情况下，接下来进行是否按下了动态图像按钮的判定(S11)。在此，微型计算机121从操作部123输入动态图像按钮的操作状态并进行判定。[0081]在步骤Sll的判定结果为按下了动态图像按钮的情况下，判定记录中标记(S13)。在动态图像摄影中，记录中标记被设定为打开(I )，在未拍摄动态图像的情况下被重置为关闭(O)。在该步骤中，将标记反转，即在设定了打开(I)的情况下，使其反转为关闭(0)，在设定了关闭(O)的情况下，使其反转为打开(I)。
[0082]在步骤S13中进行了记录中标记的反转后，接下来判定是否为动态图像记录中(S15)。在此，根据在步骤S13中被反转的记录中标记是被设定为打开还是被设定为关闭来进行判定。
[0083]在步骤S15的判定结果为动态图像记录中的情况下，生成动态图像文件(S19)。在后述的步骤S61中进行动态图像的记录，但在该步骤中，生成动态图像记录用的动态图像文件，进行准备以能够记录动态图像的图像数据。
[0084]另一方面，在判定结果为并非动态图像记录中的情况下，关闭动态图像文件(S17)。由于对动态图像按钮进行操作而结束了动态图像摄影，因而在该步骤中关闭动态图像文件。在关闭动态图像文件时，在动态图像文件的文件头记录帧数等，从而将动态图像文件设为能够再现的状态，结束文件写入。
[0085]在步骤S17中关闭了动态图像文件后，或者在步骤S19中生成了动态图像文件后，或者步骤Sll的判定结果为未按下动态图像按钮的情况下，接下来判定是否在组合照片模式下对操作部进行了操作(S21)。如上所述，在步骤S9的相机设定中，能够进行组合照片模式的设定。在该步骤中，判定是否在设定了该组合照片模式的状态下操作了操作部123的操作部。
[0086]在步骤S21的判定结果为在组合照片模式下对操作部进行了操作的情况下，执行组合照片操作(S23)。在该组合照片操作中，在进行了用于进行组合照片的编辑的各种操作例如摄影帧变更、取消操作、恢复操作、暂时保存操作、暂时保存读入操作等操作时，执行该组合照片操作。后面使用图14和图15说明该组合照片操作的详细动作。
[0087]在步骤S23中执行了再现/编辑后，或者步骤S21的判定结果为未在组合照片模式下对操作部进行操作的情况下，判定是否半按下了释放按钮，换言之判定第一释放开关是否从关闭变为了打开(S31)。该判定是通过由操作部123检测与释放按钮联动的第一释放开关的状态，并根据该检测结果来进行的。在检测的结果为第一释放开关从关闭转变到打开的情况下判定结果为“是”，另一方面，在维持打开状态或关闭状态的情况下，判定结果为“否”。
[0088]在步骤S31的判定结果为释放按钮被半按下，从关闭转变为第一释放的情况下，执行AE、AF动作(S33)。在此，AE处理部111根据由摄像元件103取得的图像数据检测被摄体亮度，根据该被摄体亮度，计算成为适当曝光的快门速度、光圈值等。
[0089]此外，在步骤S33中进行AF动作。在此，驱动器205通过更换式镜头200内的微型计算机207使摄影镜头201的焦点位置移动，以使得由AF处理部113取得的对焦评价值成为峰值。因此，在未进行动态图像摄影的情况下，若半按下了释放按钮，则在该时刻进行摄影镜头201的对焦。此后进入步骤S35。
[0090]在步骤S31的判定结果为释放按钮未从关闭转变为第一释放的情况下，接下来判定是否释放按钮被全按下而使第二释放开关打开(S37)。在该步骤中，通过操作部123检测与释放按钮联动的第二释放开关的状态，根据该检测结果进行判定。[0091]在步骤S37的判定结果为全按下了释放按钮而使第二释放开关打开的情况下，进行基于机械快门101的静态图像摄影(S39)。在此，以在步骤S33中运算得到的光圈值来控制光圈203，并以运算得到的快门速度来控制机械快门101的快门速度。然后，在经过了与快门速度相应的曝光时间后，从摄像元件103读出图像信号，将由模拟处理部105和A/D转换部107进行了处理后的RAW数据输出到总线110。
[0092]在进行了基于机械快门101的摄影后，接下来进行图像处理(S41)。在此，读出通过基于机械快门101的摄影而由摄像元件103取得的RAW数据，通过图像处理部109进行图像处理。后面使用图8说明该图像处理的详细动作。
[0093]进行了图像处理后，接下来进行静态图像记录(S43)。在此，将实施了图像处理后的静态图像的图像数据记录于记录介质131。另外，在以组合照片进行了摄影的情况下，当希望取消(删除)组合照片内的一部分图像时，能够通过取消操作进行删除。后面使用图13说明该静态图像记录的详细动作。
[0094]进行了静态图像记录后，接下来进行是否为组合照片模式的判定(S45)。如上所述，组合照片模式是在菜单画面等中设定的，在该步骤中判定是否设定了该组合照片模式。
[0095]在步骤S45的判定结果为设定了组合照片模式的情况下，进行实时取景(LV)显示的变更(S47)。在设定了组合照片模式的情况下，根据样式(模板、参照图5)和图像的张数，变更实时取景显示。在始终对所有帧进行实时取景显示的情况下，在摄影图像以外的部分进行实时取景显示。此外，在逐帧地进行实时取景显示的情况下(参照图2的显示方式)，摄影后向下一帧(例如在图2的显示面板135a?135e中，按照左上一右上一左下一右下的顺序)切换实时取景显示。无论何种情况下，所拍摄的帧都显示摄影图像。此外，也可以使用OSD (屏幕直接显示)，以能够知道是摄影完毕的图像还是实时取景图像的方式进行显示，还可以是以能够知道摄影顺序的方式显示摄影完毕的图像。此后进入步骤S35。
[0096]在步骤S37的判定结果为并非第二释放操作的情况下，即第二释放开关并非打开的情况下，接着进行AE (S51)。从所述步骤S31经过S37的情况是未对释放按钮进行任何操作的情况，该情况下在后述的步骤S57中进行实时取景显示。在步骤S51中，进行用于进行实时取景显示的曝光控制。即，计算出为了以适当曝光进行实时取景显示的摄像元件103的电子快门的快门速度和ISO灵敏度。
[0097]在进行了 AE后，接下来进行基于电子快门的摄影(S53 )。在此，使用摄像元件103的电子快门取得图像数据。接着对所取得的图像数据进行图像处理(S55)。此处的图像处理用于实时取景显示，并且在设定了特殊效果的情况下，还进行与所设定的特殊效果对应的图像处理。后面使用图8说明该图像处理的详细动作。
[0098]进行了图像处理后，在显示面板135中进行实时取景显示(S57)。由于在步骤S53中取得了图像数据，并且在步骤S55中进行了图像处理，因而在该步骤中进行实时取景显示的更新。摄影者能够通过观察该实时取景显示，来确定构图和快门释放时机。
[0099]在步骤S57中进行了实时取景显示后，进行是否为动态图像记录中的判定(S59)。在此，判定记录中标记是否打开。在该判定的结果为动态图像记录中的情况下，进行动态图像记录(S61)。在此，对从摄像元件103读出的摄像数据进行图像处理，使其成为动态图像用的图像数据，并记录于动态图像文件中。然后进入步骤S35。
[0100]在步骤S35中，进行是否为电源断开的判定。在该步骤中，判定是否再次按下了操作部123的电源按钮。在该判定结果为并非电源断开的情况下，返回步骤S3。另一方面，在判定结果为电源断开的情况下，进行主流程的结束动作，然后结束主流程。
[0101]这样，在本发明一个实施方式的主流程中，在设定了组合照片模式的情况下，能够进行再现/编辑(S23)，并且在进行了释放按钮的全按下(第二释放操作)时进行摄影，并且进行实时取景显示的变更。
[0102]接着，使用图8所示的流程图说明步骤S41、S55的图像处理。进入图像处理的流程后，首先进行基本图像处理(S71)。在此，基本图像处理部109a对从摄像元件103读出并通过A/D转换部107进行了 A/D转换的图像数据实施光学黑(OB)减法、白平衡(WB)校正、同时化处理、色彩再现处理、亮度变更处理、边缘强化处理、降噪(NR)处理等。后面使用图9说明该基本图像处理的详细动作。
[0103]进行了基本图像处理后，接下来判定是否设定了艺术滤镜(S73 )。由于在所述相机设定(S9)中设定艺术滤镜，因此判定在该步骤中是否设定了艺术滤镜。
[0104]在步骤S73的判定结果为设定了艺术滤镜的情况下，进行特殊图像处理(S75)。在此，根据所设定的艺术滤镜的种类实施特殊图像处理。后面使用图10说明该特殊图像处理的详细动作。
[0105]在进行了特殊图像处理后或者步骤S73的判定结果为未设定艺术滤镜的情况下，接下来进行是否为组合照片的判定(S77)。在该判定的结果为设定了组合照片模式的情况下，进行组合照片生成(S79)。在该组合照片生成中，进行图像缩放和旋转等预处理，并进行颜色变更和亮度变更，然后根据样式(模板)进行图像的合成，生成组合照片。后面使用图11说明该组合照片生成的详细动作。
[0106]在进行了组合照片生成后或者步骤S77的判定结果为未设定组合照片模式的情况下，返回原流程。
[0107]这样，在本实施方式的图像处理中，进行基本图像处理，并根据需要进行特殊图像处理，然后在设定了组合照片模式的情况下，进行组合照片生成。
[0108]接着，使用图9所示的流程图说明步骤S71(图8)的基本图像处理的详细动作。进入基本图像处理的流程后，首先进行光学黑(OB)运算(S81)。在该步骤中，通过基本图像处理部109a内的OB运算部，从构成图像数据的各像素的像素值分别减去由摄像元件103的暗电流等导致的光学黑体值。
[0109]进行了 OB运算后，接下来进行白平衡(WB)校正(S83)。在该步骤中，根据预先设定的白平衡模式，通过基本图像处理部109a内的WB校正部对图像数据进行WB校正。具体而言，从相机主体的闪存125中读出与用户设定的白平衡模式相应的R增益和B增益，对拜耳排列的图像数据乘以该值由此进行校正。或者在自动白平衡的情况下，根据RAW数据等计算出R增益和B增益，使用这些值进行校正。
[0110]接着进行同时化处理(S85)。在该步骤中，通过基本图像处理部109a内的同时化处理部将进行了白平衡校正的图像数据转换为各像素由RGB数据构成的数据。具体而言，通过插补由周边求出该像素中不存在的数据，并转换为RGB数据。但是，例如在RAW数据已经是与RGB数据相同的形式(由Foveon传感器得到的RAW数据等)的情况下，无需进行同时化处理。
[0111]在进行了同时化处理后，接下来进行色彩再现处理(S87 )。在该步骤中，通过基本图像处理部109a内的色彩再现处理部进行对图像数据乘以与所设定的白平衡模式相应的色彩矩阵系数的线性转换，校正图像数据的颜色。色彩矩阵系数存储于闪存125中，因此需读出来使用。
[0112]在进行了颜色再现处理后，接下来进行亮度变更处理(S89 )。在该步骤中，通过基本图像处理部109a内的伽马处理部读出在闪存125中存储的伽马表，对图像数据进行伽马校正处理。即，利用RGB进行伽马转换，颜色转换为YCbCr后，使用Y进一步进行伽马转换。
[0113]在进行了伽马转换后，接下来进行边缘强化(S91)。在该步骤中，由基本图像处理部109a内的边缘强调处理部通过带通滤波器对进行了伽马转换的图像数据提取边缘成分，根据边缘强化度乘以系数并与图像数据相加，由此对图像数据的边缘进行强化。
[0114]然后进行NR (噪声去除)(S93)。在该步骤中，对图像进行频率分解，根据频率进行降低噪声的处理。进行了降噪处理后返回原流程。
[0115]接着，使用图10所示的流程图说明步骤S75 (图8)的特殊图像处理的详细动作。
[0116]进入特殊图像处理的流程后，首先判定是否设定了玩具相机效果作为艺术滤镜模式(S101)。在该判定结果为设定了玩具相机效果的情况下，附加阴影效果(S103)。在此，特殊图像处理部10%根据与中心的距离生成使得亮度逐渐降低的增益图(增益值在I以下)，对每个像素乘以与像素相应的增益，由此对图像周边赋予阴影效果。
[0117]在进行了阴影附加后或者步骤SlOl的判定结果并非玩具相机效果的情况下，接下来判定是否设定了梦幻对焦作为艺术滤镜模式(S105)。在该判定结果为设定了梦幻对焦的情况下，进行柔焦处理(S107)。在此，特殊图像处理部10%使原图像模糊，按照预定比例(例如模糊的图像:模糊前的图像=2:3的比例)将该模糊的图像与模糊前的图像合成。
[0118]在进行了柔焦处理后或者步骤S105的判定结果并非梦幻对焦的情况下，接下来判定是否设定了黑白效果作为艺术滤镜模式(S109)。该判定结果为设定了黑白效果的情况下，进行噪声重叠处理(S111)。在此，特殊图像处理部109b对图像数据实施噪声附加处理。噪声附加处理是将预先生成的噪声图形图像与被摄体图像相加的处理。可以根据随机数等生成噪声图形图像。
[0119]在进行了噪声重叠处理后或者步骤S109的判定结果并非黑白效果的情况下，接下来判定是否设定了透视画效果作为艺术滤镜模式(S113)。在该判定结果为设定了透视画效果的情况下，进行模糊处理(S115)。在此，特殊图像处理部109b进行以原图像的AF目标为中心，按照上下或左右或距离逐渐模糊的处理。
[0120]在进行了模糊处理后或者步骤S113的判定结果并非透视画效果的情况下，接下来判定是否设定了水晶效果作为艺术滤镜模式(S117)。在该判定结果为设定了水晶效果的情况下，进行十字滤光处理(S119)。在此，特殊图像处理部109b从图像中检测亮点，以该亮点为中心描绘具备呈十字状或多根放射状的形状演绎光耀的效果的十字图形。
[0121]在进行了十字滤光处理后或者步骤S117的判定结果为未设定水晶效果的情况下，结束特殊图像处理的流程，返回原流程。
[0122]接着，使用图11所示的流程图说明步骤S79 (图8)的组合照片生成的详细动作。如上所述，在图8所示的图像处理的流程中，首先进行基本图像处理，接着进行特殊图像处理，然后进行该组合照片生成。在该组合照片生成中，将图像合成到图5所示的样式(模板)中。进行该合成时，大体上若存在未在步骤S121?S127中实施过预处理的帧，则实施预处理。实施了预处理后，进行颜色变更和亮度变更等，执行在样式中嵌入图像的图像处理，然后进行图像记录。
[0123]进入组合照片生成的流程后，首先进行是否存在未执行预处理的帧的判定(S121)。在此，判定对于要合成的全部帧的图像是否已完成在步骤S128以后的处理中不需要每次执行的缩放/旋转/裁剪、图像解析等预处理。
[0124]当步骤S121的判定结果为存在未实施预处理的帧时，接下来进行缩放/旋转/裁剪(S123)。此时，为了嵌入到图5所示的样式中，组合照片处理部109c配合帧来进行图像缩放、旋转和裁剪等处理。
[0125]在进行了缩放后，接下来进行图像解析(S125)。对进行合成的原图像(置换图像)进行解析，取得图像特征(例如亮度分布和颜色分布等)。可以使用完成了基本图像处理等图像处理的图像进行解析，此外，也可以解析作为其原始数据的RAW数据。
[0126]在进行了图像解析后，接下来进行帧图像存储(S127)。在此，将进行了步骤S123、S125的预处理的图像存储于SDRAM127中。图16A示出了 SDRAM127的显示/记录用组合图像存储区域，区域Rl是与组合到组合照片中的帧数量相当的区域，区域R2是与组合到组合照片中的帧数量相当的退避区域。在该步骤S127中，将进行了预处理的图像的图像数据和图像解析结果存储于帧图像区域Rl内的对应的区域(帧图像区域I?帧图像区域η中的某个)。
[0127]在进行了帧图像的存储后或者步骤S121的判定结果为不存在未实施预处理的帧的情况下，接下来进行画质调整(S128)。在此，进行对存储于帧图像区域中的图像的画质调整。作为画质调整，实施使图像成为与组合照片的其他帧同等的画质的调整。将画质调整后的图像覆盖地存储于帧图像区域Rl中。后面使用图20Α?20C和图21Α、21Β说明该画质调整的详细动作。
[0128]在进行了画质调整后，接下来进行颜色变更(S129)。在此，组合照片处理部109c校正CbCr，使得进行合成的图像成为大致相同的颜色。此时，使用各帧图像区域的数据进行处理，但并不变更SDRAM127的帧图像区域Rl内的数据。这是为了以后以MPO形式保存数据。
[0129]作为颜色变更的校正方法，例如使图像的CbCR偏移，使得进行合成的所有图像的颜色分布(在CbCr平面的分布)的峰值成为各峰值的平均值。使用图12B、12C说明该校正方法。图12B的曲线图(b-Ι)表示图像I和图像2的色差(Cb)，图12C的曲线图(c-1)表示色差(Cr)。若分别针对图像1、2使色差偏移以使得颜色分布的峰值成为平均值(参照图12B的曲线图(b-2)、图12C的曲线图(c-2))，则两个图像的色差变得大致相同(参照图12B的曲线图(b-3)和图12C的曲线图(c-3))。
[0130]在步骤S129中进行了颜色变更后，接下来进行亮度变更(S131)。在此，组合照片处理部109c进行校正以使得进行合成的图像的亮度变得相同。作为校正方法，例如进行校正以使得各图像的平均值与进行合成的所有图像的亮度分布的平均值大致一致。此时，若通过亮度伽马(仅亮度成分的伽马)进行转换，则在大幅变更了亮度的情况下，颜色看起来会不自然。因此，例如也可以进行RGB转换，在RGB颜色空间进行伽马校正。
[0131]使用图12A说明亮度变更的例子。图12A的曲线图(a-Ι)表示图像I和图像2的亮度。在RGB颜色空间对二者进行表转换(参照曲线图(a-2))。根据曲线图(a-1)可知，图像2整体上低亮度成分较多，因此通过表转换提升低亮度侧的亮度。转换后如曲线图(a-3)所示，图像I和图像2成为大致同样的亮度分布。
[0132]在步骤S131中进行了亮度变更后，接下来进行合成(S133)。在此，组合照片处理部109c将背景图像上的各图像合成。即，将图像嵌入合成到图5所示的样式的各位置，从而生成组合照片。
[0133]在进行了合成后，接下来附加特殊效果(S135)。在此，对合成后的图像附加阴影或模糊等特殊效果。另外，在图8的步骤S75中对各图像附加特殊效果，而在该步骤中，附加对于合成图像的特殊效果。
[0134]在附加了特殊效果后，接下来进行图像存储(S137)。在此，将合成结果存储于显示/记录用组合图像记录区域。进行了图像存储后返回原流程。
[0135]这样，在组合照片生成的流程中，在未实施预处理的情况下，实施缩放等处理和图像解析(S123、S125)，将该预处理后的图像数据存储于SDRAM127的帧图像区域Rl中(S127)，对预处理完毕的图像进行颜色变更和亮度变更(S129、S131)，然后，合成组合照片图像(S133)，进行图像记录(S137)。由于将进行了预处理并在进行颜色变更和亮度变更之前的图像数据存储于帧图像区域Rl中，因而在生成了组合照片之后，能够在与置换图像替换时读出预处理时的图像数据，能够进行适当的颜色变更和亮度变更。
[0136]此外，在组合照片生成的流程中，进行画质调整以使得组合照片的各图像的画质一致(参照S128)。因此组合照片的各图像的画质一致，感觉自然。
[0137]接着，使用图13所示的流程图说明步骤S43 (图7)的静态图像记录的详细动作。该静态图像记录是在基于所述机械快门101的摄影(S39)、图像处理(S43)之后接着执行的，进行用于将进行了图像处理的图像数据记录于记录介质131中的处理。
[0138]当进入了静态图像记录的流程后，首先进行是否为组合照片模式的判定(S141)。在该判定结果为并非组合照片模式的情况下，是通常模式，进行记录浏览显示(S157)。在此，在预定时间的期间在显示面板135中暂时地显示记录在记录介质131中的图像。由此用户能够确认摄影图像。
[0139]当进行了记录浏览显示后，接下来进行静态图像记录(S159)。在组合照片以外，对进行了图像处理的图像进行JPEG压缩并记录于记录介质131中。但是不限于此，也可以通过非压缩形式(例如TIFF等)进行记录，还可以采取其他压缩形式。此外，也可以记录RAW图像。
[0140]在步骤S141的判定结果为是组合照片模式的情况下，判定是否进行摄影图像记录(S143)。在组合照片模式中，将各图像嵌入到图5所示的样式中，但也可以是，即使在设定了组合照片模式的情况下，也记录不嵌入到样式中的图像。在该步骤中，在图6的步骤S9的相机设定中，判定用户是否将是否记录组合照片的各帧的设定设为了打开。
[0141]在步骤S143的判定结果为摄影图像记录的情况下，进行静态图像记录(S145)。在此，与步骤S159同样地，不作为组合照片而作为单独的摄影图像进行摄影，通过JPEG等进行压缩等并记录于记录介质131中。
[0142]在步骤S145进行了静态图像记录后或者步骤S143的判定结果为并非摄影图像记录的情况下，接下来进行组合是否完成的判定(S147)。在此，判定是否拍摄了满足预先设定的样式的数量的图像并进行了合成。例如在使用图2、图3说明的组合照片中，判定是否拍摄了 4张照片并进行了合成。此外，例如在合成4张图像的情况下，拍摄了两张图像并从记录图像中选择了两张图像的情况也判定为组合完成。
[0143]在步骤S147的判定结果为组合完成的情况下，进行记录浏览显示(S149)。在此，组合照片的所有图像都已齐全，因而在显示面板135上对该组合照片进行记录浏览显示。另外，在记录浏览显示中，也可以是与后述的再现流程同样地，能够进行放大显示。
[0144]在进行了记录浏览显示后，接下来判定是否进行了取消操作(S151)。用户观察记录浏览显示时，有时希望删除一部分照片并进行替换。因此，在本实施方式中，进行记录浏览显示，在预定时间(例如3秒)内进行了取消操作的情况下，能够取消所指定的帧，进行重新摄影。另外，作为取消操作，既可以通过触摸面板来指定，也可以通过删除按钮进行取消。
[0145]在步骤S151的判定结果为进行了取消操作的情况下，进行组合照片操作(S155)。在组合照片操作的子程序中，执行取消操作(参照后述的图14的S165?S173)。
[0146]另一方面，在步骤S151的判定结果为未进行取消操作的情况下，进行组合照片记录(S153)。在此，将完成的组合照片的合成图像数据记录于记录介质131中。
[0147]在步骤S153中进行了组合照片记录后、或者在步骤S155中进行了组合照片操作后、或者步骤S147的判定结果为未完成组合、或者在步骤S159中进行了静态图像记录后，返回原流程。
[0148]这样，在静态图像记录流程中，在凑齐由样式确定的图像张数之前不进行组合照片的记录(S147—否)，在凑齐张数后进行组合照片的记录(S153)。此外，在组合照片完成后，通过进行取消操作(S151)，也能够进行组合照片中的指定的图像的删除。
[0149]接着，使用图14和图15所示的流程图说明步骤S23 (图6)和步骤S155 (图13)的组合照片操作的详细动作。如上所述，该组合照片操作是在进行了用于进行组合照片的编辑的各种操作时执行的。
[0150]在进入组合照片操作后，首先进行是否进行了摄影帧变更操作的判定(S161)，在该判定的结果为进行了摄影帧变更操作的情况下，进行摄影帧的变更(S163)。如图3的显示面板135f、135g中所说明的那样，对于将摄影图像嵌入到组合照片的样式中的哪个框中，能够适当进行变更。在通过十字键和OK按钮的操作或者触摸面板操作等进行了变更要摄影的帧的操作时，变更要摄影的帧。此时，为了知道对哪个帧进行摄影，可以在帧上显示框，或者显示图标，或者将摄影帧以外的帧显示得较暗，或者降低摄影帧以外的帧的彩度。在触摸了实时取景显示中的帧的情况下，执行释放操作(第一释放和第二释放或仅第一释放)。在利用多个帧进行实时取景显示的情况下，使用释放按钮选择要摄影的帧。
[0151]在步骤S163中进行了摄影帧的变更后或者步骤S161的判定结果为不存在摄影帧的变更操作的情况下，接下来判定是否进行了取消操作(S165)。如在静态图像记录的流程中说明的那样，对于完成的组合照片，有时希望删除一部分图像来置换图像。因此，在本实施方式中，在通过十字键选择了所拍摄的帧并按下删除按钮时或者在通过触摸面板将所拍摄的帧拖曳至垃圾箱图标时等，取消所拍摄的帧。在该步骤S165中，判定是否进行了这些操作。
[0152]在步骤S165的判定结果为进行了取消操作的情况下，接下来判定触摸操作中帧尺寸是否较小(S167)。判定在通过触摸操作进行了取消操作的情况下，要取消的帧的尺寸(纵横尺寸或面积)是否较小(例如面积在I平方厘米以下)。因为若帧尺寸较小则属于误操作。
[0153]在步骤S167的判定结果为触摸操作中帧尺寸大于预定值的情况下，接下来使图像退避(S169)，进行实时取景显示的变更(S171)。有时在通过取消操作删除了图像的情况下，还希望将其恢复。因此，为了能够实现恢复(即取消操作的取消)，将进行了删除指定的摄影图像(组合照片的帧的图像)暂时退避到存储器内的其他区域，将该帧视作未摄影状态，变更实时取景显示。后面使用图16B、图16C说明该图像退避。
[0154]在进行了实时取景显示后，进行组合照片生成(S173)。已使用图11说明了该组合照片生成的子程序。由于通过取消操作指定的图像已被删除，因此在该步骤中使用剩余图像重新生成组合照片。
[0155]在步骤S173中进行了组合照片生成后、或者步骤S167的判定结果为触摸操作中帧尺寸较小时、或者步骤S165的判定结果为未进行取消操作的情况下，接下来进行是否进行恢复操作的判定(S175)。在通过十字键选择了希望恢复的帧并操作删除按钮，或者通过触摸操作进行了将垃圾箱图标拖曳至希望恢复的帧的操作等时，通过操作部123或触摸面板123a的操作进行恢复操作。
[0156]步骤S175的判定结果为进行了恢复操作的情况下，接下来恢复图像(S177)，进行实时取景显示的变更(S179)。此时，将被退避的图像恢复到原来的位置，视作对该帧进行了摄影，变更实时取景显示。
[0157]在进行了实时取景显示的变更后，进行组合照片生成(S181)。已使用图11说明了该组合照片生成的子程序。由于通过恢复操作指定的图像已被恢复，因此在该步骤中包括所恢复的图像在内重新生成组合照片。
[0158]在步骤S181中进行了组合照片生成后或者步骤S175的判定结果为未进行恢复操作的情况下，接下来进行是否进行暂时保存操作的判定(图15的S183)。在短时间的期间内进行多次摄影并进行组合照片的生成的情况下，能够连续地进行摄影。但是在使用早晨、中午、夜间等隔着时间间隔拍摄的图像生成组合照片的情况下，若能暂时保存制作过程中的图像则较为方便。因此在本实施方式中，能够实现构成组合照片的图像的暂时保存。作为恢复操作，是通过菜单画面或触摸面板操作等，通过暂时保存菜单的选择操作和图标的选择操作等进行的。
[0159]在步骤S183的判定结果为进行了暂时保存操作的情况下，进行组合数据的记录(S185)。此时，将当前的组合照片的状态、即通过哪个样式拍摄了哪个照片等记录于闪存125或记录介质131中。作为记录的组合数据，至少具有样式(与模板有关的信息)、摄影得到的照片数据、照片数据和模板上的关联信息。
[0160]在进行了组合数据的记录后，接下来进行组合照片的重置(S187)。在记录后，重置所拍摄的组合照片的信息，设为与第I张摄影同样的状态、即将实时取景显示和SDRAM127
重置等的状态。
[0161]在步骤S187中进行了组合照片的重置后或者步骤S183的判定结果为未进行暂时保存操作的情况下，接下来判定是否进行了暂时保存读入操作(S189)。该操作是在步骤S183、S185中暂时保存了组合照片的组合数据的情况下，进行该暂时保存的组合数据的读出。作为操作，例如通过菜单画面或触摸面板等进行暂时保存读入菜单或图标的选择操作。
[0162]在步骤S189的判定结果为进行了暂时保存读入操作的情况下，接下来进行是否为摄影过程中的判定(S191)。存在正在对组合照片进行摄影的过程中进行暂时保存读入操作的情况。这种情况下，由于必须暂时中断当前进行的组合照片摄影，因而在步骤S191?S195中进行应对。在该步骤中，判定是否为组合照片摄影模式且对模板拍摄了 I张以上。
[0163]在步骤S191的判定结果为是组合照片摄影中的情况下，接下来确认是否进行暂时保存(S193)。这种情况下，在显示面板135中显示是否暂时保存摄影过程中的当前状态的确认画面并询问用户。在该判定结果为进行暂时保存的情况下，进行组合数据的记录(S195)。在此，为了暂时保存当前状态，记录与步骤S185同样的组合数据。
[0164]在步骤S195中进行了组合数据记录后、或者步骤S193的判定结果为不进行暂时保存时、或者步骤S191的判定结果为并非摄影过程中的情况下，接下来读入组合数据(S197)，进行实时取景显示(S199)，进行组合照片生成(S201)。在此，读出在步骤S185中暂时保存的组合数据，与步骤S171和S179同样地进行实时取景显示的变更，与步骤S173和S181同样地进行组合照片的生成。
[0165]在步骤S201中进行了组合照片的生成后或者步骤S189的判定结果为未进行暂时保存读入操作的情况下，结束组合照片操作的动作，返回原流程。
[0166]这样，在组合照片操作的流程中，能够在样式的帧中变更要进行摄影的帧(S163)，还能够删除并恢复帧(S169、S177)。并且，在组合照片摄影中也能够暂时保存数据，还能够读出该暂时保存的数据，继续组合照片摄影。
[0167]接下来使用图16B说明在组合照片操作的流程中说明的图像退避(S169)和图像恢复(S177)。
[0168]图16B示出SDRAM127的显示/记录用组合图像存储区域。图16B的左侧栏示出在由4张构成的组合照片内拍摄了 3张图像的状态。即，在帧图像区域Rl内记录有帧图像I?帧图像3的数据。
[0169]在图16B中拍摄了 3张图像的状态下，若对图像2进行了取消操作(图14的S165为“是”)，则帧图像区域Rl的帧图像2的数据被复制为退避图像区域R2的帧图像2，删除帧图像区域Rl的帧图像2的位置的数据(参照图16B中央处的栏)。
[0170]接着，当对帧图像2进行了恢复操作时(图14的S175为“是”)，退避图像区域R2的帧图像2的数据被复制到帧图像区域Rl的帧图像2的位置处。然后，删除退避图像区域R2的帧图像2的位置的数据(参照图16B右侧的栏)。
[0171]这样，在本实施方式中设置有预先记录帧图像的数据的帧图像区域Rl和用于退避数据的退避图像区域R2。而且，在进行了取消操作后，在退避图像区域R2中进行存储，在进行了恢复操作后，复制到帧图像区域Rl中。因此能够简单地恢复曾被消除的图像。
[0172]另外，在本实施方式中，在取消操作和恢复操作时会复制数据。但是不限于此，也可以通过指针进行管理。图16C示出通过指针进行管理的例子。
[0173]在图16C所示的例子中，在SDRAM127的显示/记录用组合图像记录区域中设置有存储参照指针的参照指针区域R3和帧图像区域R1。首先，在对4张图像中的3张进行了摄影的时刻，在参照指针区域R3中，作为有效图像记录有与帧图像I?帧图像3对应的地址(参照图16C左侧的栏)。
[0174]在对帧图像2进行了取消操作后，虽然在帧图像区域Rl中仍然记录着帧图像2，但是从参照指针区域R3中删除帧图像2的地址(参照图16C中央的栏)。[0175]接着，在对帧图像2进行了恢复操作后，在帧图像区域Rl中仍然记录着帧图像2，此外在参照指针区域R3中恢复了帧图像2的地址(参照图16C右侧的栏)。
[0176]接下来，使用图17所示的流程图说明步骤S5 (图6)的再现/编辑的详细动作。如上所述，该再现/编辑是在从记录介质131中读出摄影完毕的图像数据并进行再现时执行的。
[0177]在进入再现/编辑流程后，首先进行一览显示(S211)，进行图像选择(S213)。在此，对在记录介质131中所记录的图像文件的缩略图进行一览显示。用户从一览显示中选择图像。
[0178]在进行了图像选择后，接下来进行所选择的图像是否为动态图像的判定(S215)。由于作为图像记录有静态图像和动态图像，因而根据图像形式进行判定。
[0179]在步骤S215的判定结果为所选择的图像是动态图像的情况下，读入帧数(S217)。在动态图像文件中记录有帧数，因此读入该信息。接着将计数器i初始化为I (S219)。该计数器i对帧数进行计数。
[0180]接下来对第i帧进行再现/显示(S221)，对计数器i加I (S223)，判定计数器i是否小于帧数(S225)。在此，从第I帧起依次读出动态图像的图像数据，并显示于显示面板135中。进行动态图像的再现，直到计数器i达到在步骤S217中读出的帧数为止。此后进入步骤S227。
[0181]步骤S215的判定结果为在步骤S213中选择的图像为静态图像的情况下，读入图像(S229)并显示(S231)。在此，读出在记录介质131中记录的静态图像的图像数据，进行解压缩处理，并显示于显示面板135中。
[0182]在进行了显示后，接下来判定是否进行了放大操作(S233)，在该判定结果为进行了放大操作的情况下进行放大显示(S235)。在静态图像显示过程中，例如通过操作放大按钮等来进行放大显示。此时，在组合照片的情况下，放大显示各帧或放大显示特定的I个帧。
[0183]在步骤S235中进行了放大显示后或者步骤S233的判定结果为未进行放大操作的情况下，接下来判定是否处于放大中且进行了显示位置变更操作(S237)，在该判定结果为进行了变更操作的情况下，进行放大位置变更(S239)。在处于放大显示中且进行了显示位置的变更操作、例如十字键操作的情况下，变更在图像中进行放大显示的部分。在组合照片的情况下，限制为仅能够在放大中的帧内变更显示位置。在不存在限制的情况下，设为与通常图像相同的显示。
[0184]在步骤S239中进行了放大位置变更后或者步骤S237的判定结果为放大中且未进行显示位置变更操作的情况下，接下来判定是否为组合照片且进行了显示帧变更操作(S241)，在进行了变更操作的情况下，进行显示帧的变更(S243)。在是组合照片的情况下，若为放大显示中且存在显示帧变更操作、例如功能按钮(Fn按钮)操作等，则切换进行放大显示的帧。此时，预先存储在各帧的放大位置，在指示了再次显示当前所显示的帧的情况下，放大显示相同的位置。
[0185]在步骤S243中进行了显示帧变更后或者步骤S241的判定结果为是组合照片且不存在显示帧变更操作的情况下，接下来进行是否为组合照片且进行了编辑操作的判定(S245)，在该判定的结果为进行了编辑操作的情况下，进行组合照片编辑(S247)。在是组合照片的情况下，通过从菜单画面选择组合照片编辑，或者通过触摸操作选择编辑图标等，能够编辑当前正在再现的组合照片中的帧。后面使用图18说明该组合照片编辑的详细动作。
[0186]在步骤S247进行了组合照片编辑后或者步骤S245的判定结果为是组合照片且未进行过编辑操作的情况下，接下来判定是否显示结束(S249)。当操作了显示结束按钮时或对显示结束图标等进行了触摸操作时，结束显示。在该步骤S249的判定结果并未显示结束的情况下，返回步骤S233，继续进行显示。另一方面，结果为显示结束的情况下，进入步骤S227。
[0187]在步骤S249的判定结果为显示结束时、或者步骤S225中的判定结果为动态图像的计数器i超过了帧数的情况下，接下来判定是否结束再现(S227)。若再次操作了再现按钮，则结束再现。在该步骤的判定结果并未再现结束的情况下，返回步骤S211，继续再现模式。另一方面，在判定结果为再现结束的情况下，结束该再现/编辑的流程，返回原流程。
[0188]这样，在再现/编辑流程中，执行动态图像的再现、静态图像的放大显示、组合照片的编辑操作等。另外，在本实施方式中，仅进行了组合照片的编辑，但也可以除此之外还对动态图像进行编辑。
[0189]接下来，使用图18所示的流程图说明步骤S247 (图17)的组合照片编辑的详细动作。如上所述，在从记录介质131中读出完成的组合照片图像的数据，利用其他记录图像或新拍摄取得的图像来置换组合照片中的图像时，执行该组合照片编辑。
[0190]在进入了组合照片编辑的流程后，首先进行组合图像的读入(S251)。读入组合图像，将主图像和副图像存储于SDRAM127的各存储区域。在此，主图像为所合成的组合照片的图像数据，副图像为进行了预处理(参照图11的S123、S125)的图像数据。副图像以对应于各巾贞的方式存储于图16A?图16C所不的巾贞图像区域。
[0191]在进行了组合图像的读入后，接着进行编辑帧的指定(S253)。在此，用户指定用其他图像置换构成组合照片的多个帧内的哪一个帧。
[0192]在进行了编辑帧的指定后，接下来判定是否与记录图像进行置换(S255)。如上所述，在进行编辑时，能够选择记录完毕的图像或新摄影的图像。在选择记录完毕的图像的情况下，显示记录完毕的图像的一览表，并从中进行选择。另一方面，在新摄影的情况下，转移到摄影待机状态，通过执行摄影时的实时取景显示和摄影动作时序来取得。通过菜单画面或图标显示，选择与记录图像进行置换还是与摄影图像进行置换。
[0193]在步骤S255中的判定结果为与记录图像进行置换的情况下，接下来进行一览显示(S257)，进行图像选择(S259)。在此，与步骤S211、S213 (图17)同样地，对在记录介质131中记录的图像文件的缩略图进行一览显示。用户操作十字键和OK按钮等从一览显示中选择进行置换的图像。
[0194]在进行了图像选择后，接下来进行图像读入(S261)。在此，从记录介质131中读出在步骤S259中所选择的图像数据。
[0195]在步骤S255中的判定结果为进行置换的图像并非记录图像的情况下、即进行置换的图像为新摄影的图像时，接下来判定是否释放操作从关闭变为第一释放(S273)。在此，判定是否半按下了释放按钮。通过释放按钮的半按下，转移到摄影准备状态。在步骤S273的判定结果为释放操作从关闭转变为第一释放的情况下，接着进行AE/AF(S275)。在此，与步骤S33 (图7)同样地，执行AE动作和AF动作。在进行了 AE/AF后返回步骤S273。[0196]在步骤S273中的判定结果为释放操作并未从关闭转变为第一释放的情况下，接下来判定释放操作是否为第二释放(S277)。在此，判定是否全按下了释放按钮。在该判定结果为释放操作并非第二释放的情况下进行AE (S281)，进行基于电子快门的摄影(S283)，进行图像处理(S285)，进行实时取景显示(S287)。该步骤S281?S287的动作与所述图7的步骤S51?S57相同，因而省略详细说明。在进行了实时取景显示后，返回步骤S273。
[0197]在步骤S277中的判定结果为是第二释放操作的情况下，接下来进行基于机械快门101的摄影(S279)。即，用户观察实时取景显示，进行释放按钮的全按下，从而能够取得与组合照片的帧进行置换的图像。在基于机械快门101的摄影中结束了曝光后，取得RAW数据。
[0198]在步骤S261中读出图像数据后或者步骤S279中基于机械快门101的摄影结束后，接下来判定图像数据的形式是否为RAW数据(S263)。在步骤S279中取得的图像数据为RAW数据，而从记录介质131中读出的图像数据包含RAW和JPEG等各种形式。在是RAW数据的情况下，在步骤S265?S269中进行基本图像处理和特殊图像处理。在是JPEG数据的情况下，由于已进行了图像处理，因而跳过这些处理。
[0199]在步骤S263的判定结果为是RAW数据的情况下，接下来进行基本图像处理(S263)。该基本图像处理为图9所示的流程，因此省略详细说明。在进行了基本图像处理后，判定是否设定了艺术滤镜(S267)，该判定结果为设定了艺术滤镜的情况下，进行特殊图像处理(S269)。该特殊图像处理为图10所示的流程，因此省略详细说明。
[0200]在步骤S269中进行了特殊图像处理后、或者步骤S263的判定结果为并非RAW数据、或者步骤S267的判定结果为未设定艺术滤镜的情况下，接下来进行组合照片生成记录(S271)。在步骤S261中读入指定为置换图像的记录图像的图像数据，或在步骤S279中取得了作为置换图像而新摄影得到的摄影图像的图像数据，因而在该步骤中，将组合照片的I个帧的图像置换为置换图像而生成组合照片。使用图19说明该组合照片生成记录的详细动作。
[0201]这样，在组合照片编辑的流程中，从记录图像中选择组合照片中进行置换的图像(S257?S261)，或者通过重新摄影来取得图像(S279)。然后使用组合照片和置换图像，重新生成组合照片(S271)。
[0202]下面使用图19所示的流程图说明步骤S271的组合照片生成记录的详细动作。进入了该组合照片生成记录的流程后，首先进行组合照片生成(S291)。在此，执行在图11说明的流程。即，对构成组合照片的各帧进行了预处理后，通过进行颜色变更和亮度变更等来调整各帧，使得没有不协调感。此外，进行画质调整，使得因压缩率差异等导致的画质差异不显著。进行了各帧的颜色、亮度、画质的调整后，进行合成以生成组合照片。
[0203]在进行了组合照片生成后，接下来进行静态图像记录(S293)。此时，将在步骤S291中生成的组合照片的数据记录于记录介质131中。
[0204]接着，使用图20A?图20C以及图21A、图21B所示的流程图说明步骤S128(图11)的画质调整的动作。在进行组合照片生成时，在合成了构成组合照片的各图像(帧)时，由于图像压缩会产生画质降低和画质差异。因此，在画质调整中，将置换图像调整为与置换图像以外的其他组合照片的图像相同的画质，从而消除上述问题。
[0205]该画质调整具有各种方法，本实施方式中使用图20A?图20C、图21A、图21B这合计5种方法中的任意一种。
[0206]图20A所示的画质调整的流程是最为简单的方法。进入图20A的画质调整的流程后，首先取得组合图像量化参数(S301)。在此，从文件头读入在进行编辑的组合图像(除置换图像之外的构成组合照片的图像)中记录的量化表。
[0207]取得了组合图像的量化参数后，接下来进行画质变更处理(S303)。在此，指定读入的量化表，对进行了缩放或旋转等的组合替换图像(用于在组合照片中合成的置换图像)进行画质变更处理。即，在之前的步骤中取得了组合照片的量化参数，因而使用该量化参数将置换图像的画质调整为与其他组合照片的图像大致同等的画质。该画质变更处理具有各种方法，将在后面使用图22A?22D进行说明。
[0208]图20B所示的画质调整的流程根据图像文件的大小判定是否进行画质调整。进入图20B的画质调整的流程后，首先判定原尺寸(置换图像的图像尺寸)是否大于组合尺寸(构成组合照片的被置换图像尺寸)(S311)。在此，根据图像文件的尺寸来判定置换图像的尺寸是否大于组合尺寸(构成组合照片的被置换图像尺寸)。更具体而言，图像文件中不仅包含图像，还包含与图像关联的信息以及缩略图图像(简易缩小图像)等，因此图像文件的尺寸与图像的尺寸并不一致。由于在图像文件中的EXIF标签区域记录有仅图像的图像尺寸，因此参照该尺寸。在置换图像的图像尺寸大于被置换图像的情况下，在组合照片中合成时进行缩小处理。在进行缩小处理后高频成分会增多，因而与其他组合的图像的画质差异增大。另一方面，在置换图像的图像尺寸小于被置换图像的情况下，也可以不考虑这种高频成分的影响。在进行了画质变更处理后返回原流程。
[0209]在步骤S311中的判定结果为原尺寸(置换图像的图像尺寸)大于组合尺寸(被置换图像的图像尺寸)的情况下，取得组合图像的量化参数(S313)，进行画质变更处理(S315)。这两个步骤与所述步骤S301、S303相同，因而省略详细说明。另一方面，在步骤S311中的判定结果为原尺寸小于组合尺寸的情况下，不进行步骤S313、S315的处理。
[0210]在步骤S315中进行了画质变更处理后或者步骤S311的判定结果为原尺寸小于组合尺寸的情况下，结束画质调整的流程，返回原流程。
[0211]图20C所示的画质调整的流程进行图像解析并判定是否进行画质调整。进入图20C的画质调整的流程后，首先进行图像解析(S321)。在此，对进行了缩放或旋转等的组合替换图像(置换图像)解析高频成分的程度。具体而言，该解析通过转换为频率空间，取得高频成分的信号来进行。
[0212]在进行了图像解析后，接下来取得组合图像的量化参数(S323)。在此，与步骤S301相同，从文件头读入在进行编辑的组合图像(除置换图像外的构成组合照片的图像)中记录的量化表。
[0213]在取得了组合图像的量化参数后，接下来判定是否高频成分较多(S325)。在此，针对相机中使用的所有量化表预先计算出能够在通常场景再现的高频成分，并存储于闪存125中，使用从组合图像读入的量化表取得高频成分的值并与该值进行比较。即，判定进行编辑的组合图像(除置换图像外的构成组合照片的图像)与通常场景相比高频成分是否较多。
[0214]在步骤S325的判定结果为高频成分较多的情况下，进行画质变更处理(S327)。在此如上所述，指定所读入的量化表，对进行了缩放或旋转等的组合替换图像(用于在组合照片中合成的置换图像)进行画质变更处理。后面使用图22A?22D说明该画质变更处理。
[0215]在步骤S327中进行了画质变更处理后或者步骤325的判定结果为高频成分较少的情况下，结束画质调整的流程，返回原流程。
[0216]图21A所示的画质调整的流程根据图像解析结果变更画质调整。在所述图20C的画质调整的流程中，仅在图像解析的结果为高频成分较多的情况下进行画质变更处理，但在该图21A的画质调整的流程中，在高频成分较少的情况下，也根据图像解析结果进行画质调整。
[0217]在进入图21A的画质调整的流程后，到步骤S321?S327为止与图20C所示的画质调整的流程相同，因而省略详细说明。在步骤S325中的判定结果为高频成分较少的情况下，进行画质变更处理(S329)。在该画质变更处理中，使用与进行图像解析取得的高频成分的信号对应的量化表，变更已组合的图像的画质。在置换图像为低频场景的情况下，能够相应地将画质调整为整体均衡的印象的图像。
[0218]图21B所示的画质调整流程中，比较两个图像的量化表，根据该比较结果改变画质变更处理。进入图21B的画质调整的流程后，首先与步骤S301相同，取得组合图像的量化参数(S331)。在此，从文件头读入在进行编辑的组合图像(除置换图像外的构成组合照片的图像)中记录的量化表。
[0219]在取得了组合图像的量化参数后，接下来取得置换图像的量化参数(S333)。在此，从文件头读入在置换图像中记录的量化表。
[0220]在取得了置换图像的量化参数后，接下来进行与缩放对应的量化参数的校正(S335)。在此，对在编辑中进行置换的图像(置换图像)中记录的量化表，根据缩放时的缩小率来校正量化表。具体而言，越缩小时使其为越小的值，而放大时使其增大。
[0221 ] 在进行了量化参数的校正后，接下来进行量化表的比较(S337 )。在此，在进行编辑的组合图像(除置换图像外的构成组合照片的图像)的量化表小于在步骤S335中校正后的量化表的情况下，由于通过编辑使得置换图像的画质劣化，因而在该步骤中判定为“否”。另一方面，在进行编辑的组合图像(除置换图像外构成组合照片的图像)的量化表大于在步骤S335中校正后的量化表的情况下，判定为“是”。另外，量化表的比较只要比较量化表中特定要素的值即可。
[0222]在步骤S337的判定结果为“是”的情况下，进行画质变更处理(S339)。在此，指定在进行编辑的组合图像(除置换图像外的构成组合照片的图像)中记录的量化表，对进行了缩放或旋转等的组合替换图像(在组合照片中合成的图像、置换图像)进行画质变更处理。
[0223]在步骤S377中的判定结果为“否”的情况下，进行画质变更处理(S341)。在此，使用在步骤S335中校正后的量化表，变更已组合的图像(除置换图像外的构成组合照片的图像)的画质。由此能够与进行组合替换的图像(置换图像)相应地变更其他图像的画质。
[0224]在步骤S339、S341中进行了画质变更处理后，结束画质调整的流程，返回原流程。
[0225]这样，在本实施方式的画质调整的流程中，将除置换图像外的构成组合照片的图像与置换图像调整为使得两图像的画质大致等同。因此，在将置换图像与构成组合照片的多个图像进行组合时，画质大致等同，能够合成不存在不协调感且感觉自然的组合照片。
[0226]接下来，使用图22A?22D所示的流程图说明步骤S303、S315、S327、S329、S339、S341 (图20A?20C、图21A、21B)中的画质变更处理的动作。该画质变更处理具有各种方法，本实施方式中使用图22k?22D中的合计4种方法中的任意一种。
[0227]进入图22A所示的类型I的画质变更处理的流程后，首先进行JPEG压缩(S351)。在此，使用所指定的量化表进行JPEG压缩。进行了 JPEG压缩后，接下来进行JPEG解压缩(S353)。在此，对进行了 JPEG压缩的数据解压缩。这样，在本流程中，使用JPEG来统一画质。
[0228]接下来，在进入图22B所示的类型2的画质变更处理的流程后，首先转换为频率区域(S361)。在此，对重新组合的图像(选择或摄影得到的图像、置换图像)与记录时同样地进行频率转换(例如离散余弦转换(DCT))。
[0229]转换为频率区域后，接下来实施量化(S363)。在此，与记录时同样地对在步骤S361中进行了频率转换的数据进行量化。此时使用所指定的量化表。
[0230]实施了量化后，接下来进行逆量化(S365)。在此将在步骤S363中进行了量化的数据恢复。进行了逆量化后，接下来向图像空间进行转换(S367)。在此使用所指定的量化表将逆量化后的数据向图像空间转换。向图像空间转换后，返回原流程。
[0231]接下来，在进入图22C所示的类型3的画质变更处理的流程后，首先计算低通滤波器(LPF)系数(S371)。在此，根据所指定的量化表计算LFP系数。量化的步骤越细则将LPF系数设为使越高频率通过的系数，步骤越粗则将LPF系数设为越截止高频率的系数。
[0232]计算出LPF系数后，接下来进行LPF处理(S373)。在此对图像整体实施低通处理。
[0233]这样，在类型3的画质变更处理中，通过低通滤波器进行了画质的变更。越是图像的高频成分在合成组合照片时越容易受到影响。因此，在类型3的画质变更处理中，不进行量化，代之能够通过低通滤波器取得同样效果。
[0234]接着，进入图22D所示的类型4的画质变更处理后，首先进行缩小率的计算(S381)。在此，按照所指定的量化表，计算缩小率。量化的步骤越细则使缩小率越接近I倍(等倍)，步骤越粗则越缩小。
[0235]在进行了缩小率的计算后，接下来进行缩小(S383)。在此，对图像整体进行缩小。然后进行放大(S385 )。在此将缩小后的图像放大，使其恢复原本尺寸。
[0236]这样，在类型4的画质变更处理中，通过图像的缩小/放大进行了画质的变更。通过将图像缩小/放大，能够取得与低通滤波器同样的效果。因此，在类型4的画质变更处理中，不进行量化，代之通过缩小/放大来附加同样的效果。
[0237]接着使用图23说明本实施方式的画质调整(参照图11的S128、图20A?图22D)的效果。图23的图像(b)是显示于显示面板135上的作为编辑对象的组合照片的例子。在该组合照片中，通过照片(Pl)?(P4)这4张图像构成组合照片。通过组合照片编辑(图6的S5、图17的S247、图18)将该4张图像内的左上的图像(Pl)置换为图23的图像(a)所示的置换图像。
[0238]根据图23所示的图像(a)、(b)可知，作为置换对象的图像(Pl)的尺寸小于置换图像。因此如图23所示的图像(c)所示那样进行缩放(缩放为图11的S123)。在通过缩放缩小后，表观分辨率得以提升。若将该缩放后的置换图像直接与图像(Pl)进行置换，则如显示面板135中显示的图像(d)所示，相比其他图像(P2)?(P4)，图像(Pl)的表观分辨率较高，因而无法获得画质的统一性，成为存在不协调感的组合照片。
[0239]因此，利用与进行编辑的组合照片同样的量化表来压缩图23的图像(C)所示的缩放后的图像。由此能够成为与其他图像(P2)?(P4)相同的画质级别，调整为不存在不协调感。另外，关于该画质调整，也可适当组合图20A?图22D所示的各种方法(例如低通滤波器等的使用)来进行。
[0240]图23所示的图像(e)是使用JPEG等调整为相同画质级别的图像，若将该置换图像与图23的图像(b)中的图像(Pl)进行置换，则如图23的图像(f)所示，由于4张图像的画质大致相同，因而成为具有统一感、感觉自然的组合照片。另外，图像(f)是在显示面板135中显示的图像。
[0241]如上所述，本发明一个实施方式的图像编辑装置将进行了不可逆压缩的第I图像(组合照片)的一部分置换为第2图像(置换图像)，其具有:画质调整部(组合照片处理部109c、图11的S128)，其对第2图像(置换图像)进行画质转换处理，该画质转换处理产生与通过不可逆压缩所产生的画质变化同样的画质变化；以及编辑部(组合照片处理部109c、图11的S133)，其使用由画质调整部调整后的第2图像(置换图像)，进行编辑处理。因此，在组合照片编辑等中将图像的一部分置换为其他图像的情况下，在调节为与其他图像同样的画质后进行置换，因而置换后的图像不存在画质差异，尤其能够使得表观分辨率一致。其结果是，在进行了编辑的情况下也不会产生不协调感，能够得到感觉自然的组合照片编辑结果。
[0242]此外，本发明的一个实施方式的图像编辑装置对组合多个图像而构成的组合照片图像进行编辑，其具有:第I图像指示部(操作部123、参照图17的S241)，其指示构成组合照片的多个图像中的I个图像;第2图像指示部(操作部123、参照图18的S253)，其指示用于与第I图像指示部指示的图像进行置换的置换图像；图像压缩处理部(图像压缩解压缩部115)，其使用代表组合照片图像的量化表值对图像进行不可逆压缩；画质调整部(组合照片处理部109、图11的S128)，其对置换图像进行画质变化处理，该画质变化处理产生与通过不可逆压缩所产生的画质变化同样的画质变化；存储部(闪存125)，其存储图像和量化表值；以及控制部(组合照片处理部109c、图11的S133)，其通过画质调整部使用不可逆压缩图像的量化表值对由第2图像指示部指示的置换图像进行不可逆压缩，然后将压缩后的图像与第I图像指示部指示的图像进行置换。
[0243]此外，本发明一个实施方式的图像编辑装置具有对拍摄视场重复摄像的摄像部(摄像元件103等)，置换图像是由摄像部进行重复摄像得到的摄像图像(参照图18的S255 “否”一S273 — S277 “是” 一S279)。因此不限于已摄影并被记录的图像，还能一边摄影一边生成组合照片。
[0244]另外，在本发明的一个实施方式中，说明了将本发明用于相机的例子，但不限于此，还可以将本发明应用于用于使用摄影完毕的图像来生成组合照片的图像编辑装置、个人计算机等不具备摄影功能的图像编辑装置。
[0245]此外，在本发明的一个实施方式中使用相机作为用于摄影的设备进行了说明，但作为相机既可以是数字单反相机也可以是紧凑型相机，还可以是摄像机、摄影机等动态图像用相机，进而还可以是在移动电话、智能手机或便携信息终端(PDA Personal DigitalAssist，个人数字助理)、游戏设备等中内置的相机。无论何种情况，只要是用于能够拍摄组合照片的摄影的设备，就能应用本发明。
[0246]此外，关于权利要求书、说明书以及附图中的动作流程，为了方便起见使用“首先”、“接下来”等表现顺序的词语进行了说明，然而在没有特别说明的情况下，并不表示必须按照该顺序进行实施。
[0247]本发明不仅限于上述实施方式，能够在实施阶段中不脱离其主旨的范围内对构成要素进行变形并使其具体实现。此外，通过上述实施方式中公开的多个构成要素的适当组合，能够形成各种发明。例如可以删除实施方式所示的所有构成要素中的几个构成要素。进而，还可以适当组合不同实施方式中的构成要素。
【权利要求】
1.一种图像编辑装置，其用第2图像置换进行了不可逆压缩的第I图像的一部分，该图像编辑装置具有: 画质调整部，其对所述第2图像进行画质转换处理，该画质转换处理产生与通过所述不可逆压缩所产生的画质变化同样的画质变化；以及 编辑部，其使用由所述画质调整部调整后的所述第2图像，进行所述编辑处理。
2.根据权利要求1所述的图像编辑装置，其中， 所述画质调整部进行产生与通过所述不可逆压缩所产生的量化误差所导致的画质变化同样的画质变化的处理。
3.根据权利要求1所述的图像编辑装置，其中， 所述画质调整部进行所述不可逆压缩和解压缩。
4.根据权利要求1至3中的任意一项所述的图像编辑装置，其中， 所述画质调整部进行低通滤波处理。
5.一种图像编辑装置，其对组合多个图像而构成的组合照片图像进行编辑，该图像编辑装置具有: 第I图像指示部，其指示构成所述组合照片的多个图像中的I个图像； 第2图像指示部，其指示用于与由所述第I图像指示部指示的图像进行置换的置换图像； 图像压缩处理部，其使用代表所述组合照片图像的量化表值对图像进行不可逆压缩；画质调整部，其对所述置换图像进行画质变化处理，该画质变化处理产生与通过所述不可逆压缩所产生的画质变化同样的画质变化； 存储部，其存储所述图像和所述量化表值；以及 控制部，其通过所述画质调整部使用所述量化表值对由所述第2图像指示部指示的所述置换图像进行不可逆压缩和解压缩，然后该控制部将进行了所述不可逆压缩和解压缩后的置换图像与由所述第I图像指示部指示的图像进行置换。
6.根据权利要求5所述的图像编辑装置，其中， 该图像编辑装置还具有对拍摄视场进行重复摄像的摄像部， 所述置换图像是由所述摄像部进行重复摄像得到的摄像图像。
7.一种图像编辑方法，用第2图像置换进行了不可逆压缩的第I图像的一部分，该图像编辑方法包括以下步骤: 对所述第2图像进行画质转换处理，该画质转换处理产生与所述不可逆压缩所产生的画质变化同样的画质变化；以及 使用调整后的所述第2图像，进行所述编辑处理。
【文档编号】G06T7/00GK103685934SQ201310430389
【公开日】2014年3月26日 申请日期:2013年9月18日 优先权日:2012年9月26日
【发明者】市川学 申请人:奥林巴斯映像株式会社