图像处理装置及数字式照相机的制作方法

专利名称：图像处理装置及数字式照相机的制作方法
技术领域：
本发明涉及容易确认晕色(out-of-focus)处理的图像处理装置及数字
式照相机。更详细地说，将一张图像数据分离为被摄体及除此以外的背景， 对于背景施以晕色处理后,通过再合成两图像，能生成/表示背景晕色的图像， 涉及这样的图像处理装置及数字式照相机，在这样的图像处理装置及数字式 照相机中，很容易确认晕色处理。
背景技术：
以往，在专利文献l的照相机装置及通过透镜的图像表示方法中，提出以
下方法:将表示施以白平衡处理等的图像处理的样本图像以及表示没有施以 图像处理的图像的区域表示在不同区域，使用者能识别图像处理结果。即使 在小型数字式照相机中，为了实现单镜头反光式照相机那样的晕色效果，也 有通过加工图像数据实现同样的晕色效果的方法。 专利文献1:特开2005-229326号公报
但是，在上述以往照相机中，用同一照相机确认施以背景晕色处理的图 像时，存在难以确认细部的问题。这是由于搭载在数字式照相机中的显示装 置(LCD等)的分辨率与被记录的图像文件的像素数相比，不充分，即低分辨率 的原因。在专利文献l的照相机装置中，没有考虑希望确认背景晕色处理效果 时确认表示区域细部场合，不能充分确认图像处理结果。

发明内容
本发明就是为解决上述先有技术所存在的问题而提出来的，本发明的目 的在于，提供使得确认晕色处理容易的图像处理装置及数字式照相机。
为了实现上述目的，本发明提出以下方案
(1) 一种图像处理装置，包括 被摄体提取手段，从原图像数据提取被摄体； 被摄体分离手段，分离提取的被摄体区域和其以外的区域； 第一滤波手段，对被摄体区域进行晕色滤波处理； 第二滤波手段，对被摄体以外区域进行晕色滤波处理； 图像合成手段，对从第一滤波手段输出的图像数据以及从第二滤波手段
输出的图像数据进行合成；
图像显示手段，表示上述施以晕色处理的合成图像数据以及没有施以晕 色处理的图像数据;其特征在于，进一步包括
区域分割手段，将合成图像数据分割成复数区域；
高频成份取得手段，取得由上述区域分割手段分割的各区域的高频成
份；
高频成份判断手段，判断由上述高频成份取得手段得到的高频成份； 放大表示手段，放大表示由上述高频成份判断手段得到的高频成份高的 区域。
(2) 在上述(l)所述的图像处理装置中，其特征在于 上述区域分割手段将上述合成图像数据的被摄体区域的该被摄体区域
和其以外区域的境界部分分割成复数区域。
(3) 在上述(l)所述的图像处理装置中，其特征在于 上述区域分割手段以被摄体区域以外部分作为对象。
(4) 在上述(1)-(3)中任一个所述的图像处理装置中，其特征在于 上述高频成份判断手段没有得到高频成份场合，以被摄体区域以外的区
域作为对象，取得高频成份。
(5) 在上述(l)-(3)中任一个所述的图像处理装置中，其特征在于 上述高频成份判断手段没有得到高频成份场合，以被摄体区域作为对象，
取得高频成份。(6) —种数字式照相机，其特征在于
设有上述(1)-(5)中任一个所述的图像处理装置。
(7) —种图像数据处理方法，包括 从原图像数据提取被摄体； 分离提取的被摄体区域和其以外的区域； 对被摄体区域进行晕色滤波处理,输出第一图像数据； 对被摄体以外区域进行晕色滤波处理，输出第二图像数据； 对第一图像数据及第二图像数据进行合成； 对原图像数据施以晕色滤波处理； 将合成图像数据分割成复数区域； 取得各区域的高频成份；
判断高频成份；
表示上述合成图像数据以及没有施以晕色处理的原图像数据，放大表示 上述复数区域中一个区域，该区域的高频成份比其他区域高。 按照本发明，具有以下效果。
(1) 通过放大表示背景晕色图像的结果，能很容易确认以往縮小图像确 认困难的背景晕色效果。
(2) 通过将原图像及晕色结果的合成图像同时表示在画面内，能相对比 较，很容易确认晕色效果程度。
(3) 通过一次操作能将同时表示的原图像及晕色图像表示在相同区域， 使用者能轻松地选择想确认的图像区域。
(4) 在背景晕色处理中，判断所提取的被摄体和背景的境界部分，自动地 放大表示背景晕色效果的可识别区域，使用者能即刻确认背景晕色处理结果 的效果。
(5) 在表示上次背景晕色处理结果状态下，能以简单操作在不同晕色滤 波参数再实行背景晕色处理，使用者能简单地变更和确认晕色滤波参数。


图1为表示本发明实施形态构成的方框图。
图2为表示本发明实施形态的数字式照相机的外观图。
图3为表示本发明实施形态的动作流程图。.
图4为表示本发明实施形态的动作流程图。
图5为表示本发明实施形态的动作流程图。
图6为表示本发明实施形态的动作流程图。
图7为表示本发明实施形态的表示装置的表示例。
图8为表示本发明实施形态的表示装置的表示例。
具体实施例方式
下面，参照附图详细说明本发明实施形态，在以下实施形态中，虽然对构 成要素，种类，组合，形状，相对配置等作了各种限定，但是,这些仅仅是例举， 本发明并不局限于此。
图l为表示本发明实施形态涉及的数字式照相机的系统构成图，图2为
数字式照相机的外观图。先说明图1的数字式照相机的系统构成图的各部 分。位于透镜单元内的透镜(变焦及聚焦透镜U由电机驱动器2驱动。电机 驱动器2由包含在信号处理IC3内部的CPU4等构成的微型机控制。
摄像部由CCD5，用于驱动CCD5的时间信号发生器(以下简记为"TG")6， 从来自CCD5的输出数据取样图像信号的CDS (correlated double sampler, 相关双重取样)7,模拟增益控制器(以下简记为"AGC" ) 8，将CCD输出电信号 (模拟图像数据)变换成数字信号的A/D变换器9构成。在此，将CDS7， AGC8， 以及A/D变换器9作为模拟前端(AFE)。从摄像部输入信号处理IC3的数字 数据通过CCD接口 (CCDI / F)模块(block) 11，取入信号处理IC3。
信号处理IC3由CCDI/F部11，图像处理部12，显示I/F部13， JPEG编码 部14，尺寸恢复滤波器部15，卡片控制器部16，通信I/F部17，存储控制器 18，CPU4构成。CCDI/F部11实行画面水平同步信号(HD)和画面垂直同步信
号(VD)的输出，与该同步信号一致，取入从A/D变换器9输入的数字RGB信 号。监控动作时，将RGB数据送入图像处理部12，在图像处理部12，将RGB数 据变换为YUV数据，再在尺寸恢复滤波器部15变换为适于显示的尺寸，结果 输出到SDRAM19。
静止画面摄影时，将CCD5的全部像素分若干回传送，各范围数据经存储 控制器18,向SDRAM19写入RGB数据。在图示例中，VD和HD取从信号处理 IC3输出的形式,但是，也可以作为从TG6输出那样的形式，设为同步系统。 图像处理部12根据由系统控制部设定的图像处理参数，将从CCDI/F部11送 来的RGB数据，或暂时保管在SDRAM19的RGB数据等变换处理为YUV数据输 出。
尺寸恢复滤波器部15将YUV数据及RGB数据作为输入，为了记录，实行 向必要尺寸的尺寸变换，向索引图像的尺寸变换，向适于显示的尺寸变换等。 在该模块中，还具有空间滤波处理功能，为了减少放大或縮小时产生的粗糙 感或嵌镶等画质劣化，可以选择线性插补，双三次插补等复数的插补方式，根 据必要的画质或速度，通过CPU变更设定，进行滤波处理。
例如，监控动作时，需要高速处理速度，选择仅仅水平的线性插补及不滤 波(单纯拉长间隔)，静止画面摄影时，需要分辨率，选择双三次插补。又，尺寸 恢复滤波器部15通过将尺寸恢复倍率设定为1倍，能仅仅使得滤波功能动 作。作为滤波器设定，可以设定仅仅取出空间频率高的成份(图像的边缘成份) 的高通滤波器，或仅仅取出空间频率低的成份使其平滑化的低通滤波器。
JPEG编码部14在记录时压縮被写入SDRAM19中的YUV数据23，输出 JPEG编码的数据，再生时，将从记录介质读出的JPEG编码数据伸展为YUV数 据输出。
显示1/F部13将被写入SDRAM19中的显示用数据送向显示装置，显示摄 影图像。该显示装置既可以显示在数字式照相机内藏的LCD上，也可以作为 TV视频信号输出显示在电视上。该显示装置的分辨率一般比作为显示对象 的摄影图像低。
图像处理部12对输入的图像数据，实行白平衡处理，边缘强调处理等的 图像处理。在本发明的实施形态中，在图像处理部12，对输入的图像数据，适 用背景晕色处理。
卡片控制器部16根据CPU4的指示，读出存储卡片27内数据，向SDRAM19 写入，或者读出SDRAM19上的数据，向存储卡片27写入。
作为整体控制部的微型机，起动时,将存储在可重写的R0M25中的程序 及控制数据下载到SDRAM19，根据该程序码控制整体。微型机根据通过操作 部29中按钮等的指示,或者没有图示的遥控器等的外部动作指示,或者从个 人计算机等外部终端经通信的通信动作指示，控制摄像动作，设定图像处理 装置的图像处理参数，控制存储，控制显示。
通信I/F部17不仅控制数字式照相机，而且与PC或打印机等通信，发送 或接受图像文件。微型机的控制程序的版本更新也通过从PC接受程序实现。
操作部29相当于图2所示各种按钮或开关，摄影者用于实行摄像装置的 动作指示，设有用于指示摄影的快门释放键41，用于设定光学变焦及电子变 焦倍率的变焦按钮，例如广角按钮42及望远按钮43，用于从外部实行曝光模 式选择或记录尺寸选择或其他各种设定的输入手段。尤其，为了实现后述动 作例所说明的操作，设有十字按钮(上下左右)44-47，放像按钮48，确认按钮 49，菜单按钮51，显示按钮52。符号53是显示装置。
实施例1
说明本发明实施例1。图3-图6是再生模式的背景晕色处理及其显示的 动作流程图。先说明再生模式的背景晕色处理及其显示。图3表示再生模式 开始和结束的处理。使用者通过按压放像按钮48，能确认已摄影记录的图像。 将通过放像按钮48迁移的状态称为再生模式。若迁移到再生模式,表示可再 生的图像文件。使用者为了对再生图像文件实行背景晕色处理，先选择成为 对象的图像文件。若使用者按压右按钮47，则表示下一图像。相反，若使用 者按压左按钮46，则表示前图像。通过该操作，能选择适用背景晕色处理的 对象文件。
更具体地说,在实行再生表示时(步骤S301)，用户判断是否实行指示显
示再生菜单(步骤S302)，若实行指示显示再生菜单(步骤S302的"是")，则 进入步骤S303，显示再生菜单。若不实行指示显示再生菜单(步骤S302的 "否")，则不显示再生菜单(即，表示再生图像状态下)，判断是否结束再生模 式(步骤S304)。若再生模式结束(步骤S304的"是")，则结束再生模式，若 没有结束再生模式(步骤S304的"否")，则回到步骤S301，实行再生处理。
在本发明中，所谓再生菜单是指表示用于设定是否实行晕色显示的菜单 画面，但并不局限于此，也可以包括是否实行缩小图像的一览显示或放大图 像显示的设定画面。
下面说明对现在所选择显示的图像适用背景晕色处理的方法。图4及图 5表示选择背景晕色处理，图6表示背景晕色处理。
图4说明从再生菜单选择背景晕色处理场合的动作。从显示再生菜单状 态(步骤S401),判断是否选择背景晕色(步骤S402)。若判断选择背景晕色 (步骤S402的"是")，则进入步骤S403，进行背景晕色处理。若判断没有选 择背景晕色(步骤S402的"否")，则进入步骤S404，判断再生菜单是否结束。 若再生菜单结束(步骤S404的"是")，则结束再生菜单，若没有结束再生菜 单(步骤S404的"否")，则回到步骤S401，实行选择再生菜单处理。
图5说明实行背景晕色处理后，表示晕色图像以及显示区域，晕色滤波 的变更。
根据现在的设定(文件种类等)实行背景晕色处理(步骤S501)，表示通 过背景晕色处理作成的图像(晕色图像)(步骤S502)。在该晕色图像显示中， 如何表示被摄体区域和背景区域，记载在图7和图8中。
此后，判断是否实行变更显示区域的动作(步骤S503)，若实行变更显示 区域的动作(步骤S503的"是")，则需要设定变更区域，回到步骤S502。
若不实行变更显示区域的动作(步骤S503的"否")，则进入步骤S504， 判断是否变更用于实行晕色处理的滤波。若变更用于实行暈色处理的滤波 (步骤S504的"是")，则为了以变更的滤波实行晕色处理，回到步骤S501。
若不变更用于实行晕色处理的滤波(步骤S504的"否")，则进入步骤
S505，判断背景晕色模式是否结束。
若背景晕色模式没有结束场合(步骤S505的"否")，则回到步骤S503。 若背景晕色模式结束场合(步骤S505的"是")，则结束背景晕色模式。
图6说明背景晕色处理。
识别被摄体，判断被摄体区域及背景区域(步骤S601),根据S601的判断 结果，实行区域分割，分割成两张图像数据(被摄体图像数据及背景图像数 据)(步骤S602)。
在S602分割的两张图像数据，实行晕色滤波处理(步骤S603)。在被摄 体区域实行的晕色处理和在背景区域实行的晕色处理，滤波强度不同，背景 区域实行强滤波处理。对于被摄体区域，仅仅对轮廓部分实行弱滤波处理， 减少轮廓部分和背景部分的模糊差异引起的不自然感。
通过合成在S603分离的两图像，作成晕色图像(步骤S604)。
使用者按压菜单按钮51,从显示的再生菜单画面选择背景晕色处理(步 骤S402的"是")。若选择背景晕色处理,则开始所选择的图像的背景晕色 用的显示(步骤S502)。该背景晕色处理由被摄体识别处理(步骤S601)，区域 分割处理(步骤S602)，适用晕色滤波处理(步骤S603)，图像合成处理(步骤 S604)组成。若选择背景晕色处理，从现在显示的图像实行被摄体识别处理 (步骤S601)。在该被摄体识别处理(步骤S601)中，从图像区域中提取被摄体 部分区域。被摄体以外区域作为背景部分提取。
用以下方式实现上述被摄体识别及提取处理。先将图像数据分割成网块 状。提取分割的各块区域的反差及色信息。从提取的反差及色信息检测包含 被摄体区域以及以外区域的块。接着，实行区域分割处理(步骤S602)，生成 分割为被提取的被摄体及背景部分的两张图像。在被摄体识别处理(步骤 S601)中，通过对块实行境界分离，作为被摄体部分区域和其以外的背景部分 区域，能将检测到的块分离为被摄体区域和其以外的区域。
此后，对生成的两张图像数据，适用晕色滤波处理(步骤S603)。被适用
的两张图像数据图像合成(步骤S604)，生成背景晕色图像。在晕色滤波处理 中，通过对分离的各图像，适用低通滤波处理，能得到晕色效果。
下面说明背景晕色图像的显示处理。图7为表示在显示装置53的显示
图像结果。在左区域表示所选择的图像没有适用背景晕色处理的原图像。在 右区域表示所选择的图像适用背景晕色处理得到的晕色图像。在此，在各显 示区域表示的图像区域成为图像全区域之中能识别背景晕色效果的区域。
图8为背景晕色处理效果的确认区域的例子。说明选择能确认背景晕色 效果的区域。在背景晕色处理中，原图像分别形成被分割为背景部分和被摄 体的区域的图像。当确认背景晕色效果场合，使用者大多考虑离开被摄体的 距离评价背景晕色程度。在此,将上述提取的被摄体和背景的境界区域作为 能确认背景晕色效果的区域。
尤其，在本实施形态中，将被摄体区域与背景部分的境界之中，高频成份 最高区域作为中心，决定显示区域。高频成份最高区域是最易确认晕色处理 中使用的低通滤波效果的区域。根据与被摄体的距离差确认晕色程度场合， 可以实行显示区域变更操作，表示使用者所希望的区域。具体地说，在晕色图 像处理的区域分割时，根据生成的境界信息，决定显示对象区域。
下面说明表示的图像显示区域的变更方法。最初表示的变倍率对确认晕 色处理不充分场合，使用者通过按压广角按钮42或望远按钮43，能变更显示 图像的显示倍率。具体地说，若使用者按压望远按钮43,放大显示图像，若按 压广角按钮42，则縮小显示图像。上述放大縮小处理对左右表示区域也适用， 能以左右表示区域观察相同区域。
通过按压十字按钮(上下左右)44-47，能移动(巻动)在显示区域表示的 图像。具体地说，维持现在的表示尺寸状态，朝按压按钮的方向移动显示区 域。按压右按钮47场合，能观察现在显示图像的往右侧的图像区域。
下面说明表示的晕色处理的滤波器的变更方法。本实施形态的图像暈色 处理场合，在上述两画面显示状态中，能选择晕色滤波器。具体地说，若使用 者按压显示按钮52，则画面显示晕色滤波器的参数信息。迁移到晕色滤波器
变更画面场合,十字按钮44-47作为晕色滤波器的参数变更按钮动作。晕色
滤波器参数用晕色滤波器的大小及强度构成。
变更晕色滤波器大小场合，当增大滤波器尺寸时，能得到更大的晕色效 果，当减小滤波器尺寸时，能减少晕色效果。同样，通过变更晕色强度，当增强 强度时，能增强晕色效果，当减弱滤波强度时，能减少晕色效果。具体地说，
在表示该晕色滤波变更信息状态下，使用者用上下按钮44， 45能调整晕色滤 波的大小，用左右按钮46， 47能调整晕色滤波强度。
在本实施例中，在晕色参数变更中，使用十字按钮44-47变更滤波,但是, 也可以通过将晕色滤波变更分配给其他按钮，在晕色参数变更模式下，变更 上述显示区域。使用者欲变更晕色滤波，若按压上下左右按钮，则更新表示在 显示装置53的显示区域的右半部分的晕色图像。具体地说，在上次晕色处理 生成的被摄体和背景的各区域分割图像中，实行使用新的晕色滤波参数的晕 色处理。实行的各图像在图像合成处理中表示在生成晕色合成图像的显示区 域的右半部分。
在本晕色滤波变更中，也考虑在画面上表示现在的晕色滤波的设定信 息。使用者一边确认暈色滤波的设定量及晕色处理结果图像， 一边实行晕色 处理。
接着,使用者通过按压显示按钮52结束晕色滤波变更。如果所表示的晕 色处理结果图像是使用者所希望的结果，则使用者通过最终按压确认按钮， 将晕色处理结果的晕色图像记录在记录介质上。结束晕色处理模式。向记录 介质的记录处理可以作为与原图像文件不同的文件记录，或者也可以更新原 图像文件记录。
实施例2
在实施例1形态中，作为背景晕色效果的确认区域，表示被摄体区域的 与背景部分的境界附近的高频成份区域场合。当确认背景晕色效果时,考虑 不仅上述境界部分，而且从作为背景部分识别的区域也表示对于确认背景晕 色效果的最适部分。于是，在实施例2中，从作为背景部分识别的区域也表示对于确认背景晕色效果的最适部分。因此，不仅境界，也显示背景部分。这种 场合，从图像区域整体，通过表示包含高频成份最多的区域，能确认晕色滤波 效果。该场合的背景暈色效果的确认区域的决定部分以外可以取为与实施例 l相同的形态。 实施例3
在实施例1形态中，在境界区域没有用于确认背景晕色效果的最适高频 成份场合，这种场合的显示区域的决定方法作为实施例3说明。这种场合， 从背景部分区域中决定高频成份的高部分，作为显示区域。为了决定对于背 景部分的背景晕色效果确认充分的区域，按离开被摄体区域周边距离近的顺 序进行判断，对于确认背景晕色效果包含充分的高频成份的区域，将最初判 定部分设为显示区域。该场合的背景晕色效果的确认区域的决定部分以外可
以取为与实施例1相同的形态。
上面参照

了本发明的实施例，但本发明并不局限于上述实施 例。在本发明技术思想范围内可以作种种变更，它们都属于本发明的保护范 围。
权利要求
1.一种图像处理装置，包括被摄体提取手段，从原图像数据提取被摄体；被摄体分离手段，分离提取的被摄体区域和其以外的区域；第一滤波手段，对被摄体区域进行晕色滤波处理；第二滤波手段，对被摄体以外区域进行晕色滤波处理；图像合成手段，对从第一滤波手段输出的图像数据以及从第二滤波手段输出的图像数据进行合成；图像显示手段，表示上述施以晕色处理的合成图像数据以及没有施以晕色处理的图像数据；其特征在于，进一步包括区域分割手段，将合成图像数据分割成复数区域；高频成份取得手段，取得由上述区域分割手段分割的各区域的高频成份；高频成份判断手段，判断由上述高频成份取得手段得到的高频成份；放大表示手段，放大表示由上述高频成份判断手段得到的高频成份高的区域。
2. 如权利要求l所述的图像处理装置，其特征在于 上述区域分割手段将上述合成图像数据的被摄体区域的该被摄体区域和其以外区域的境界部分分割成复数区域。
3. 如权利要求l所述的图像处理装置，其特征在于 上述区域分割手段以被摄体区域以外部分作为对象。
4. 如权利要求l-3中任一个所述的图像处理装置，其特征在于 上述高频成份判断手段没有得到高频成份场合，以被摄体区域以外的区域作为对象，取得高频成份。
5. 如权利要求l-3中任一个所述的图像处理装置，其特征在于上述高频成份判断手段没有得到高频成份场合，以被摄体区域作为对象， 取得高频成份。
6. —种数字式照相机，其特征在于 设有权利要求l-5中任一个所述的图像处理装置。
7. —种图像数据处理方法，包括 从原图像数据提取被摄体； 分离提取的被摄体区域和其以外的区域； 对被摄体区域进行晕色滤波处理，输出第一图像数据； 对被摄体以外区域进行晕色滤波处理，输出第二图像数据； 对第一图像数据及第二图像数据进行合成；对原图像数据施以晕色滤波处理； 将合成图像数据分割成复数区域； 取得各区域的高频成份； 判断高频成份；表示上述合成图像数据以及没有施以晕色处理的原图像数据，放大表示 上述复数区域中一个区域，该区域的高频成份比其他区域高。
全文摘要
本发明涉及容易确认晕色处理的图像处理装置及数字式照相机。使用者通过按压广角按钮(42)及望远按钮(43)，变更显示图像的表示倍率。即，若使用者按压望远按钮(43)，则放大表示所显示图像，若按压广角按钮(42)，则缩小表示所显示图像。该放大缩小处理也适用左右显示区域，能在左右显示区域观察相同区域。通过按压十字按钮(44，45，46，47)，能翻滚移动显示区域的图像。即，维持现在显示尺寸状态下，能朝按压按钮方向移动显示区域。例如，按压右按钮(47)场合，能观察现在显示图像的右侧图像。在数字式照相机中，很容易确认晕色处理。
文档编号H04N5/232GK101355631SQ200810144239
公开日2009年1月28日 申请日期2008年7月28日 优先权日2007年7月26日
发明者兼弘亮 申请人:株式会社理光