图像处理装置以及摄像装置的制作方法

专利名称：图像处理装置以及摄像装置的制作方法
技术领域：
本发明涉及进行图像处理的图像处理装置以及数码照相机等的摄像装置。
背景技术：
现在，使用CCD (Charge Coupled Device)传感器或 CMOS (Complimentary Metal Oxide Semiconductor)传感器等的固体摄像元件的数码静态照相机或数码摄像机等的摄 像装置正在广泛普及。为了在摄影对象中获得一方面焦点已对准的被摄体被鲜明地勾画出、而另一方面 除了焦点已对准的被摄体之外的其他被摄体呈现模糊的图像，也就是说为了获得在整体上 使焦点已对准的被摄体突出的具有所谓“模糊感”的摄影图像，例如，需要使用固体拍摄元 件的尺寸大的摄像装置或用于使固体摄像元件成像摄影图像的透镜的口径大的摄像装置。 由于根据这种类型的摄像装置，能使景深充分变浅进行摄影，因此，能获得使焦点已对准的 被摄体突出的具有所谓“模糊感”的摄影图像。但是，在使用固体摄像元件的尺寸小或透镜的口径小的、即所谓的微型数码照相 机这种摄像装置的情况下，由于不能使景深充分变浅进行摄影，因此，很难获得具有“模糊 感”的摄影图像。另外，即使是固体摄像元件的尺寸大的摄像装置以及透镜口径大的摄像装 置，也很难通过在焦点已对准的被摄体和其他被摄体之间产生亮度差或色度差来获得强调 了焦点已对准的被摄体的摄影图像。并且，在现有技术中也存在通过图像处理来获得具有“模糊感”的图像的方法。在 该现有技术的方法中，首先，将1个基准图像数据分离成被摄体区域的图像数据和背景区 域的图像数据这2个各自独立的图像数据。接下来，在对被分离的背景图像数据实施模糊 处理之后，将模糊处理后的背景图像数据与基准图像数据合成。在合成之后，为了防止背景 区域和被摄体区域的边界线变成锯齿状而产生不协调感，实施抗锯齿处理，由此，获得具有 “模糊感”的图像。在该现有技术的方法中，即使能获得具有“模糊感”的图像，也需要进行 上述复杂的处理。

发明内容
本发明的图像处理装置，具有第2摄影图像生成部，其通过对包括多个小区域的 第1摄影图像实施模糊处理，而生成包括多个第2小区域的第2摄影图像；聚焦度导出部， 其导出上述第1摄影图像的各小区域的聚焦程度；和合成处理部，其将与上述第1摄影图像 的各小区域对应的上述第2摄影图像的各第2小区域与上述第1摄影图像的各小区域进行 合成，其中，由上述聚焦度导出部导出的各小区域的聚焦程度越小，上述合成处理部越增大 上述合成中的上述第2摄影图像的混合比例，上述第2摄影图像生成部具有脸部区域检测部，其从上述第1摄影图像中检测出脸部图像区域；和模糊处理部，其根据检测出的脸部图 像区域，通过对上述第1摄影图像实施上述模糊处理，而生成上述第2摄影图像。本发明的意义以及效果通过以下所示的实施方式的说明将更加明确。不过，以下 的实施方式只不过是本发明的一个实施方式，本发明以及各技术特征中的用语的含义不局 限于以下实施方式中所记载的内容。


图1是本发明的实施方式中的摄像装置的整体构成图。图2是图1的镜头部的内部构成图。图3(a) (C)是用于说明本发明的第1实施例中的强调图像生成处理的概要的 图。图4是用于说明本发明的第1实施例中的强调图像生成处理的概要的图。图5是用于说明本发明的第1实施例中的强调图像生成处理的动作的图。图6涉及本发明的第1实施例，是用于说明极局部区域差分提取、局部区域差分提 取以及边缘差分比计算处理的图。图7(a) (c)是用于说明本发明的第1实施例中的扩展处理的图。图8是用于说明本发明的第1实施例中的扩展处理的图。图9(a)以及(b)是用于说明本发明的第1实施例中的模糊处理以及边缘强调处 理的图。图10是用于说明本发明的第2实施例中的强调图像生成处理的动作的图。图11是用于说明本发明的第2实施例中的带通滤波器(band pass filters)的 动作的图。图12是用于说明本发明的第3实施例的强调图像生成处理的动作的图。图13是用于说明本发明的第4实施例的强调图像生成处理的动作的图。图14(a)以及(b)是用于说明本发明的第4实施例的位置信息表的动作的图。图15是用于说明本发明的第5实施例的强调图像生成处理的动作的图。图16是用于说明本发明的第5实施例的位置信息表的动作的图。图17是用于说明本发明的第6实施例的强调图像生成处理的动作的图。图18是用于说明本发明的第6实施例的变换表的动作的图。图19是表示图1的摄像装置生成强调图像的顺序的流程图。图20是用于说明本发明的第7实施例的强调图像生成处理的动作的图。图21 (a)以及(b)是用于说明在本发明的第7实施例(模糊处理例U中模糊处 理部所使用的模糊过滤器的图。图22是用于说明本发明的第7实施例(模糊处理例U中的模糊处理部的动作 的图。图23(a)以及(b)是用于说明在本发明的第7实施例(模糊处理例U中，模糊 处理部在某一位置上生成的掩模过滤器以及校正模糊过滤器的图。图以及(b)是用于说明在本发明的第7实施例(模糊处理例U中，模糊 处理部在其他的位置上生成的掩模过滤器以及校正模糊过滤器的图。
图25是用于说明本发明的第7实施例(模糊处理例7C)中的模糊处理部的动作 的图。图沈⑷以及(b)是用于说明在本发明的第7实施例(模糊处理例7C)中，模糊 处理部在某一位置上生成的掩模过滤器以及校正模糊过滤器的图。图27(a) (d)是用于说明本发明的第7实施例(模糊处理例^1)中的模糊处理 部的动作的图。图观是用于说明本发明的第7实施例(模糊处理例7d)中的模糊处理部的模糊 处理的效果的图。图四是用于说明本发明的第7实施例(模糊处理例U中的模糊处理部的动作 的图。图30是用于说明本发明的第8实施例的强调图像生成处理的动作的图。
具体实施例方式参照附图对在数码静态照相机或数码摄像机等的摄像装置中实施本发明的图像 处理的实施方式进行说明。在所参照的各图中，对同一部分标注相同的符号或编号，原则上 省略有关相同部分的重复说明。摄像装置如果能拍摄静止画面，则也可以是进行动态图像 摄影的摄像装置。并且，在本说明书中，“摄像”和“摄影”同义。(摄像装置的构成)图1是表示本发明的实施方式中的摄像装置1的内部构成的框图。在图1中， 摄像装置1具有将入射到自身的光转换成电信号的(XD(Charge Coupled Device)或 CMOS (Complimentary Metal Oxide Semiconductor)传感器等的图像传感器(固体摄像元 件)2;具有变焦透镜以及聚焦透镜，且使被摄体的光学图像成像在图像传感器2上的镜头 部3 ；具有将作为从图像传感器2输出的模拟电信号的图像信号进行放大的放大电路(图 中未显示)以及将模拟的图像信号转换为数字的图像信号的A/D(Analog/Digital)转换电 路(图中未显示)的AFE(Anal0g Front End)4 ；将从AFE4输出的多个帧份的数字的图像信 号以帧单位暂时保存的帧存储器5 ；将从外部输入的声音信号转换为电信号的麦克风6 ；对 暂时保存在帧存储器5中的图像信号实施图像处理的图像处理部7 ；将来自麦克风6的模 拟的声音信号转换为数字的声音信号，且对获得的数字声音信号实施声音处理的声音处理 部8 ；和对来自图像处理部7的图像信号以及来自声音处理部8的声音信号实施压缩编码 处理的压缩处理部9。在摄像装置1中，在摄影静止画面的情况下，压缩处理部9针对来自 图像处理部7的图像信号，能使用JPEG(Joint Photographic Experts Group)压缩方式等 来实施压缩编码处理。当在摄像装置1中摄影动态图像时，压缩处理部9针对来自图像处理 部7的图像信号以及来自声音处理部8的声音信号，能使用MPEG (Moving Picture Experts Group)压缩方式等实施压缩编码处理。另外，摄像装置1具有将在压缩处理部9被压缩编码的压缩编码信号记录在 SD (Secure Digital)卡等的外部存储器22中的驱动部10 ；将通过驱动部10从外部存储器 22读取的压缩编码信号进行解压缩解码的解压缩处理部11 ；和将在解压缩处理部11解码 获得的图像信号转换为模拟的图像信号的图像信号输出部12 ；具有进行以通过图像信号 输出部12的转换获得的图像信号为基础的图像的显示的LCD(Liquid Crystal Display)等的显示部13 ；将来自解压缩处理部11的数字的声音信号转换为模拟的声音信号并输出 的声音信号输出部14 ；和将来自声音信号输出部14的模拟的声音信号进行播放的扬声器 部15。另外，摄像装置1具有输出用于使摄像装置1内的各块的动作时机同步的时 机控制信号的TG(Timing Generator) 16 ；对摄像装置1内所有的驱动动作进行控制的 CPU (Central Processing Unit) 17 ；存储用于各动作的各程序并且在程序执行时暂时保管 数据的存储器18 ；具有静止画面摄影用的快门按钮等，并接受来自用户的指示输入的操作 部19 ；在CPU17与摄像装置1内的各块之间进行数据交换的总线20 ；和在存储器18与摄像 装置1内的各块之间进行数据的交换的总线21。图2是镜头部3的内部构成图。镜头部3具备具有构成为包括变焦透镜30以及 聚焦透镜31的多个透镜的光学系统35 ；光圈32 ；和驱动器34。驱动器34由用于实现变焦 透镜30以及聚焦透镜31的移动以及光圈32的开度(换言之，开口部的大小)的调节的电 动机等构成。摄像装置1具有通过自动地控制聚焦透镜31的位置而使表现被摄体的光学图像 成像在图像传感器2的摄像面上的功能，即AF(Aut0matiC R)cus)功能。摄像面也可以称 为受光面。根据AF功能，最理想的是表现被摄体的光学图像的成像点与图像传感器2的摄 像面上的点一致。在本实施方式中，使表现某一被摄体的光学图像成像在图像传感器2的 摄像面上这一状态表示为使焦点对准被摄体。另外，将已对准焦点的被摄体表示为焦点已 对准的被摄体。另外，将未对准焦点的状态表示为焦点模糊。另外，摄像装置1具有通过自动地控制光圈32的开度、图像传感器2的曝 光时间以及AFE4的放大率而将摄影图像的亮度大致保持为恒定的功能，该功能称为 AE(Automatic Exposure)功能。而且，摄像装置1还具有判定照射到被摄体的光的光源， 且根据该光源自动地决定白色的色相，并且根据该白色的色相来决定白色以外的颜色的色 相的功能，该功能称为AWB (Automatic White Balance)功能。在摄像装置1中，在摄影者通过操作部19进行了变更变焦倍率的动作的情况下， CPU17根据该动作使变焦透镜30沿着光轴移动，即进行所谓的变焦控制。由此，图像传感 器2的摄影的视角被变更(换句话说，在图像传感器2的摄像面上形成的被摄体的图像被 扩大或缩小)。在任意的图像中，将已对准焦点的被摄体也称为特定被摄体，将未对准焦点的被 摄体也称为背景。图1的摄像装置1在静止画面摄影时，通过图像处理部7的图像处理，能 比较容易地生成与背景图像部分相比更加强调了特定被摄体的图像部分的摄影图像(以 下，也称为强调图像)。以下，对在图像处理部7实现的强调图像生成处理的各实施例进行 说明。(第1实施例)对第1实施例进行说明。图3(a) (c)是用于说明第1实施例的强调图像生成 处理的概要的图。图3(a)表示在摄像装置1中作为静止画面拍摄人物101以及建筑物102 所获得的输入图像100。在输入图像100中，人物101相当于特定被摄体，建筑物102相当 于背景之一。即，在输入图像100中包括作为特定被摄体的图像的人物101的图像和作为 背景的图像的建筑物102的图像。在输入图像100这种任意的二维图像中，将沿着水平方向以及垂直方向的轴分别称为X轴以及Y轴。关于输入图像100，图3(b)表示沿着人物101存在的图像区域内的X轴方向的亮 度信号的变化的情况。在输入图像100中，人物101存在的图像区域是作为焦点已对准的 部分的聚焦部。由于在输入图像100中焦点已对准人物101，因此，在作为亮度变化的边界 部分(以下，也称为边缘部分)的地点E附近亮度值急剧变化。亮度值表示亮度信号的值， 与亮度信号(即Y信号)的信号等级含义相同。针对某一像素，随着亮度值增大，该像素的 亮度提高。有时也将亮度值简称为亮度。在关注像素存在于聚焦部内的地点E的情况下，可以将以地点E为中心的地点A 和地点B之间定义为极局部区域，并且，可将以地点E为中心且比极局部区域宽的地点C和 地点D之间的区域定义为局部区域，在这种情况下，极局部区域内的亮度的最大值与最小 值之差(以下，称为极局部区域的亮度差分值)和局部区域内的亮度的最大值与最小值之 差(以下，称为局部区域的亮度差分值)成为大致相等。即，在聚焦部中，(极局部区域的 亮度差分值)/(局部区域的亮度差分值)—1成立。即，在聚焦部中，局部区域的亮度差分 值与极局部区域的亮度差分值之比大致成为1。另一方面，关于输入图像100，沿着存在建筑物102的图像区域内的X轴方向的亮 度信号的变化的情况如图3(c)所示。在输入图像100中，存在建筑物102的图像区域是作 为焦点未对准的部分的非聚焦部。在输入图像100中，由于焦点未对准建筑物102，因此，在 作为亮度变化的边界部分的地点J附近亮度值缓慢变化。在关注像素存在于非聚焦部内的 地点J的情况下，可以将以地点J为中心的地点F和地点G之间定义为极局部区域，并且， 可将以地点J为中心且比极局部区域宽的地点H和地点I之间定义为局部区域，在该情况 下，极局部区域的亮度差分值与局部区域的亮度差分值相比变得非常小。即，在非聚焦部 中，(极局部区域的亮度差分值)/(局部区域的亮度差分值)<<1成立。即，在非聚焦部 中，局部区域的亮度差分值与极局部区域的亮度差分值之比是比1小很多。并且，以下，将(极局部区域的亮度差分值)/ (局部区域的亮度差分值)、即局部区 域的亮度差分值与极局部区域的亮度差分值之比称为边缘差分比。如上所述，在输入图像中，由于焦点已对准的部分(即，聚焦部)与焦点未对准的 部分(即，非聚焦部)的边缘部分的亮度信号的变化模式彼此不同，因此，边缘差分比彼此 不同。即，在输入图像的各像素中，由于对应的聚焦程度不同，该像素周边的亮度信号的变 化模式也不同，由此，对应的边缘差分比也不同。聚焦程度是表示焦点已对准到什么程度的 指标。在第1实施例中，在对输入图像实施模糊处理而生成输出图像时，根据边缘差分 比来变更该模糊处理中的模糊程度。图4是用于说明通过在输入图像中实施该模糊处理而 生成的输出图像的图。边缘差分比图像103是通过针对输入图像100的各像素计算出边缘 差分比进行作图而生成的图像。输出图像IOOa是针对输入图像100通过实施根据与边缘 差分比相应的模糊程度进行的模糊处理而生成的图像。符号IOla以及10 表示输出图像 IOOa上的人物101以及建筑物102。通过设定为以使边缘差分比越小、模糊程度变得越强，从而对未对准焦点的建筑 物102实施模糊程度强的模糊处理。另一方面，对于已对准焦点的人物101不实施模糊处 理或实施模糊程度弱的模糊处理。因此，在输出图像IOOa中，与输入图像100相比，使包括未对准焦点的建筑物10 的背景图像的模糊程度进一步增大，其结果是，能获得具有所谓 的模糊感的摄影图像作为输出图像100a。图5是用于说明第1实施例的强调图像生成处理的动作的图。图5所示的各部位 能设置在图1的图像处理部7中。如上所述，在帧存储器5中暂时保存从AFE4输出的数字 图像信号。该数字图像信号以RAW数据的形式保存。YUV生成部41针对在帧存储器5中暂 时保存的RAW数据形式的图像信号实施所谓的颜色分离处理(也称为逆马赛克变换处理或 颜色同时化处理)，并且，从进行了颜色分离的数字图像信号中生成作为亮度信号的Y信号 以及作为色差信号的U以及V信号。极局部区域差分提取部42从由YUV生成部41输出的亮度信号中针对每个输入图 像的像素提取并输出极局部区域的亮度差分值。局部区域差分提取部43从由YUV生成部 41输出的亮度信号中针对每个输入图像的像素提取并输出局部区域的亮度差分值。边缘差 分比计算部44根据极局部区域的亮度差分值以及局部区域的亮度差分值计算并输出每个 输入图像的像素的边缘差分比。图6是用于说明极局部区域差分提取部42进行的极局部区域差分提取处理、局 部区域差分提取部43进行的局部区域差分提取处理、以及边缘差分比计算部44进行的边 缘差分比计算处理的图。图6的行列表601是从由YUV生成部41输出的亮度信号中取出 例如7X7像素份的图。在图6的行列表601中“aij”表示输入图像的像素Pij的亮度值 (i以及j为整数)。例如，“al2”表示像素P12的亮度值。像素Pil Pi7是在水平方向 上连续的7个像素，像素Plj P7j是在水平方向上连续的7个像素。在此，将极局部区域 定义为以关注像素为中心且离该关注像素比较窄的范围的图像区域；将局部区域定义为以 关注像素为中心且比极局部区域宽的范围的图像区域。即，将以关注像素为中心的比较小 的图像区域称为极局部区域，并且将以关注像素为中心且比极局部区域大的图像区域称为 局部区域。在图6的行列表601中，作为其中一例，将由3X3像素构成的区域定义为极局部 区域，并且将由7X7像素构成的区域定义为局部区域。具体而言，将关注像素作为像素 P44，将由像素Pij(i = 3,4,5, j = 3,4,5)构成的区域作为极局部区域而定义，并且，将由 像素？。(1 = 1，2· *7、j = l，2· · 7)构成的区域作为局部区域而定义。极局部区域差分提取部42提取关注像素的极局部区域中的亮度的最大值与最小 值的差分作为极局部区域的亮度差分值。参照图6的行列表601，例如，在关注像素P44的 极局部区域中，如果a55是亮度的最大值，a33是亮度的最小值，则关注像素P44的极局部 区域的亮度差分值b44为b44 = a55-a330极局部区域差分提取部42使极局部区域以1个 像素单位移动(换句话说，使关注像素以1个像素单位移动)，在每次移动时提取极局部区 域的亮度差分值。由此，提取针对所有像素的极局部区域的亮度差分值。图6的行列表602表示各像素中的极局部区域的亮度差分值。例如，b44表示像 素P44中的极局部区域的亮度差分值。局部区域差分提取部43提取关注像素的局部区域中的亮度的最大值与最小值的 差分作为局部区域的亮度差分值。参照图6的行列表601，例如，在关注像素P44的局部区 域中，如果all是亮度的最大值，al7是亮度的最小值，则针对关注像素P44的局部区域的 亮度差分值c44为c44 = all-al70局部区域差分提取部43使局部区域以1个像素单位移动(换句话说，使关注像素以1个像素单位移动)，在每次移动时提取局部区域的亮度差分 值。由此，提取针对所有像素的局部区域的亮度差分值。图6的行列表603表示各像素中 的局部区域的亮度差分值。例如，c44表示像素P44中的局部区域的亮度差分值。在极局部区域的亮度差分值以及局部区域的亮度差分值分别用符号YDa以及YDb 表示的情况下，图5的边缘差分比计算部44会针对每个像素计算出值(ΥΑ+α )与值YDa2 比。即，针对每个像素计算出比“YDa/(YDb+ci ) ”。在此，将计算出的比“YDa/(YDb+CI ) ”称为 校正边缘差分比。α是微小的偏移量值，且α >0。并且，在局部区域的亮度差分值YDb中 加入偏移量值α是为了防止校正边缘差分比的计算公式的分母变成0。图6的行列表604 表示各像素中的校正边缘差分比。例如，d44表示像素Ρ44中的校正边缘差分比。图5的扩展处理部45根据计算出的各像素的校正边缘差分比来扩展边缘部分的 区域。图7(a) (c)是用于说明扩展处理部45进行的扩展处理的概要的图。图7(a)是 表示在输入图像100中存在人物101的画像区域内的沿着X轴方向的亮度信号的变化的模 式图(也参照图3(a))。在图7(a)中，地点L是边缘部分，以地点L为中心的规定区域，即 地点K和地点M之间的区域被设定为扩展处理对象区域。地点K以及地点M中的亮度值分 别是v7以及ν8(ν8 > ν7) ο图7(b)是表示与图7(a)对应的图像区域中的沿着X轴方向的校正边缘差分比的 变化的模式图。在图7(b)中，地点K以及M中的校正边缘差分比是v9，地点L中的校正边 缘差分比是vlO (vlO > v9)。由图7 (b)可以明确，通过边缘差分比计算部44计算出的校正 边缘差分比在作为边缘部分的地点L处最大。扩展处理部45用取最大值的地点L的校正 边缘差分比来置换扩展处理对象区域中的各像素的校正边缘差分比。图7(C)是表示与图7(a)对应的图像区域中的沿着X轴方向的扩展处理后的校正 边缘差分比的变化的模式图。在图7(c)中，扩展处理对象区域的校正边缘差分比被地点L 的校正边缘差分比置换，作为该置换的结果，包括地点K以及M在内的扩展处理对象区域内 的所有像素的校正边缘差分比成为vlO。即，扩展处理部45在以关注像素为中心的扩展处 理对象区域中，将关注像素的校正边缘差分比置换成扩展处理对象区域内的最大的校正边 缘差分比。图8是用于说明扩展处理部45进行的扩展处理的图。在图8的行列表611、612、 613以及614中分别表示针对从边缘差分比计算部44输出的输入图像的校正边缘差分比中 的、7X7像素份的校正边缘差分比。在图8的行列表611中，扩展处理部45将像素P44设 定为关注像素，将由以关注像素P44为中心的3X3像素构成的图像区域设定为扩展处理对 象区域。现在，在图8的行列表611中，在扩展处理对象区域内的所有像素的校正边缘差分 比中，如果关注像素P44的校正边缘差分比d44是最大的校正边缘差分比，则扩展处理部45 不将关注像素P44的校正边缘差分比置换为其他的校正边缘差分比，而就维持该状态。图 8的行列表615表示在将像素P44设定为关注像素的状态下进行了扩展处理的结果。若以 像素P44是关注像素的状态为起点，将关注像素以及扩展处理对象区域向右移动一个像素 份，则像素P45被设定为关注像素。图8的行列表612对应于像素P45被设定为关注像素 的状态。在图8的行列表612中，如果在扩展处理对象区域内的所有像素的校正边缘差分 比中的校正边缘差分比d44是最大的校正边缘差分比，则扩展处理部45用d44的值置换关注像素P45的校正边缘差分比。图8的行列表616表示在将像素P44以及P45按顺序设定 为关注像素的状态下进行扩展处理的结果。在图8的行列表616中，像素P45的校正边缘 差分比被从d45置换为d44。如果以像素P44是关注像素的状态为起点，将关注像素以及扩 展处理对象区域向上移动1个像素份，则像素P34被设定为关注像素。图8的行列表613 对应于像素P34被设定为关注像素的状态。如果在图8的行列表613中，扩展处理对象区域内的所有像素的校正边缘差分比 中的校正边缘差分比d44也是最大的校正边缘差分比，则扩展处理部45用d44的值置换关 注像素P34的校正边缘差分比。图8的行列表617表示在将像素P44、P45以及P34按顺序 设定为关注像素的状态下进行扩展处理的结果。在图8的行列表617中，像素P34的校正 边缘差分比被从d34置换为d44。如果以像素P44是关注像素的状态为起点，将关注像素以 及扩展处理对象区域向下移动1个像素份，则像素PM被设定为关注像素。图8的行列表 614对应于像素PM被设定为关注像素的状态。如果在图8的行列表614中，扩展处理对象区域内的所有像素的校正边缘差分比 中的校正边缘差分比d44也是最大的校正边缘差分比，则扩展处理部45用d44的值置换关 注像素P54的校正边缘差分比。图8的行列表618表示在将像素P44、P45、P34以及PM按 顺序设定为关注像素的状态下进行扩展处理的结果。在图8的行列表618中，像素P54的 校正边缘差分比被从肪4置换为d44。如上所述，扩展处理部45对所有像素进行扩展处理。由于扩展处理使边缘部分的 区域扩展，因此，焦点已对准的被摄体与焦点未对准的被摄体的边界变得明确，可以生成更 具有模糊感的强调图像。扩展处理部45输出扩展处理后的校正边缘差分比。图5的变换表46根据从扩展处理部45输出的每个像素的校正边缘差分比，导出 并输出每个像素的模糊程度以及边缘强调程度。图9 (a)表示用于变换表46根据校正边缘差分比导出模糊程度的函数。如图9(a) 所示，由变换表46导出的模糊程度，当对应的校正边缘差分比小于阈值 β时最大(在图 9(a)的例中7)；当对应的校正边缘差分比是阈值THa以上时最小(在图9(a)的例中1)。 其中， β < ΤΗα。在校正边缘差分比为阈值THb以上且小于THa的情况下，随着校正边缘差 分比的增加，使模糊程度线性地减少。并且，在该情况下，虽然可以随着校正边缘差分比的 增加使模糊程度非线性地减少，但优选随着校正边缘差分比的增加的模糊程度的减少为单 调减少。图9(b)表示用于变换表46从校正边缘差分比导出边缘强调程度的函数。如图 9(b)所示，由表46导出的边缘强调程度，当对应的校正边缘差分比小于阈值THc时最小(在 图9(b)的例中1.0)；当对应的校正边缘差分比是阈值THd以上时最大(在图9(b)的例中 2.0)。其中，THc<THd。在校正边缘差分比为阈值THc以上且小于THd的情况下，随着校正 边缘差分比的增加，使边缘强调程度线性地增加。并且，在该情况下，虽然可以随着校正边 缘差分比的增加使边缘强调程度非线性地增加，但优选随着校正边缘差分比的增加的边缘 强调程度的增加为单调增加。图5的模糊处理部47根据从变换表格46输出的每个像素的模糊程度，针对从YUV 生成部41输出的Y、U以及V信号，对每个像素实施模糊处理。模糊处理部47例如不采用 单纯的平均化滤波器，而可采用越接近关注像素越加权，且该权重接近于高斯分布的高斯滤波器。在该情况下，可将从变换表格46输出的模糊程度用作该高斯分布的分散值。模糊 处理后的Y、U以及V信号从模糊处理部47输出。边缘强调处理部48针对从模糊处理部47输出的Y、U以及V信号，对每个像素实施 边缘强调处理。例如，在边缘强调部48可采用能根据从变换表格46输出的每个像素的边缘 强调程度来变更边缘强调程度(边缘强调的强度)的锐化滤波器。并且，作为上述高斯滤波 器以及锐化滤波器，可采用例如CG-ARTS协会发行的文献“数字图像处理(digital image processing)”(2007年3月1日发行，第2版)中的108页到110页以及122页到IM页 记载的滤波器。另外，在涉及第1实施例的上述例子中，虽然将极局部区域设为由3X3的 像素构成的区域；将局部区域设为由7X7的像素构成的区域，并将扩展处理对象区域设为 由3X3的像素构成的区域，但是，这些区域的大小不局限于这些例子。作为极局部区域、局 部区域或扩展处理对象区域，也可使用由比在第1实施例采用的区域宽的范围或窄的范围 构成的区域。(第2实施例)对第2实施例进行说明。图10是说明图像处理部7中的强调图像生成处理的第 2实施例的图。图10所示的各部位可设置在图像处理部7中。在图10中，由于与图5标 注相同编号的部位是具有与第1实施例的情况相同的功能以及动作的部位，因此，省略其 功能以及动作的说明。并且，虽然在第2实施例中的扩展处理部45中会输入后面要提到的 频率分量比，但是，扩展处理部45进行与第1实施例的情况相同的处理。即，利用与图5的 扩展处理部45针对按每个像素求出的校正边缘差分比进行扩展处理的方法相同的方法， 图10的扩展处理部45针对按每个像素要求的频率分量比进行扩展处理，且输出扩展处理 后的频率分量比。虽然在图10的变换表46中通过扩展处理部45输入每个像素的频率分量比，但 是，变换表46进行与第1实施例的情况相同的处理。即，图10的变换表46根据从扩展处理 部45输出的每个像素的频率分量比，导出并输出每个像素的模糊程度以及边缘强调程度。 根据频率分量比来决定模糊程度以及边缘强调程度的方法与第1实施例中描述的根据校 正边缘差分比来决定模糊程度以及边缘强调程度的方法相同。因此，在将图9(a)以及(b) 用于第2实施例的情况下，图9(a)以及(b)所示的图表的各横轴表示频率分量比。BPF_H50以及BPF_L51分别是从由YUV生成部41输出的亮度信号提取包括规定范 围的频率频带的分量在内的亮度信号的带通滤波器(Band Pass Filter)。并且，在本实施 方式中所述的频率是空间频率(spatial frequency)。图11表示BPF_H50以及BPF_L51的频率特性。在图11中，I7h表示BPF_H50的中 心频率，Fhc1 以及 Fhc2 表示 BPF_H50 的截止频率(cut off frequency)。FHcl < Fh < Fhc20 将从低频侧的截止频率Flfcl到高频侧的截止频率 ^Η。2为止的频带称为BPF_H50的通频带。 同样，&表示BPF_L51的中心频率，Flc1以及Fm表示截止频率。Fui < Fl < Flc20从低频 侧的截止频率Fui到高频侧的截止频率Fw为止的频带为BPF_L51的通频带。BPF_H50使 中心频率I7h的亮度信号100%通过；BPF_L51使中心频率&的亮度信号100%通过。在任 意的带通滤波器中，中心频率可解释为该带通滤波器的通频带的中心频率。BPF_H50以及 BPF_L51分别针对来自YUV生成部41的亮度信号执行具有上述频率特性的频带通过滤波， 将频带通过滤波后的亮度信号进行输出。关于输入亮度信号的后面要提到的其他带通滤波器(图12的H_BPF_H53等)也同样。在BPF_H50中，为了能提取亮度信号的高频分量，将频率I7h设定为比较高的频率。 另一方面，在BPF_L51中，为了能提取比BPF_H50低的频率分量，将频率&设定为比频率I7h 低的频率。频率分量比计算部52，根据从BPF_H50输出的亮度信号值和从BPF_L51输出的 亮度信号值，按照下列公式(1)针对每个像素计算出频率分量比。即，关于关注像素，在分 别用符号OUThsi以及OUIY51表示从BPF_H50输出的亮度信号值以及从BPF_L51输出的亮度 信号值的情况下，针对关注像素计算出的频率分量比为IουτΗ5(ι/ουιγ511。频率分量比=I (BPF_H50的输出值)/ (BPF_L51的输出值)…(1)在图3(a)的输入图像100中，在焦点已对准的人物101存在的区域中包括很多的 高频分量的亮度信号。另一方面，在焦点未对准的建筑物102的图像部分中，由于焦点未对 准，因此高频分量的亮度信号少，包括很多中频带分量或低频带分量的亮度信号。因此，在焦点已对准的位置(即聚焦位置)上，OUTh50 > OUTl5J,在焦点未对准的位置(即非聚焦位置)上，OUTh50 < I OUTl51 |。在第2实施例中，当对输入图像实施模糊处理而生成输出图像时，根据通过上述 公式(1)计算出的频率分量比，变更该模糊处理中的模糊程度。具体而言，根据频率分量比 来变更模糊程度，以使越是频率分量比大的像素，越实施模糊程度小的模糊处理，并且，越 是频率分量比小的像素，越实施模糊程度大的模糊处理。由此，能生成强调焦点已对准的被 摄体的强调图像。(第3实施例)对第3实施例进行说明。图12是说明图像处理部7中的强调图像生成处理的第3 实施例的图。图12所示的各部位可设置在图像处理部7中。在图12中，与图10标注相同 编号的部位由于是具有与第2实施例的情况相同的功能以及动作的部位，因此省略其功能 以及动作的说明。并且，在第3实施例中，在扩展处理部45中，虽然会输入后面提到的水平 频率分量比或垂直频率分量比，但是，扩展处理部45进行与第2实施例的情况相同的处理。 即，利用与图10的扩展处理部45针对按每个像素求出的频率分量比进行扩展处理的方法 相同的方法，图12的扩展处理部45针对由选择部59提供的每个像素的水平频率分量比或 垂直平率分量比进行扩展处理，输出扩展处理后的水平频率分量比或垂直频率分量比。另 外，虽然在图12的变换表46中通过扩展处理部45输入每个像素的水平频率分量比或垂直 频率分量比，但是，图12的变换图表46进行与第2实施例的情况相同的处理。即，图12的 变换图表46根据从扩展处理部45输出的每个像素的水平频率分量比或垂直频率分量比， 导出并输出每个像素的模糊程度以及边缘强调程度。根据水平频率分量比或垂直频率分量 比来决定模糊程度以及边缘强调程度的方法与在第1实施例中描述的根据校正边缘差分 比来决定模糊程度以及边缘强调程度的方法相同。因此，在将图9(a)以及(b)应用于第3 实施例的情况下，图9 (a)以及(b)所示的图表的各横轴表示水平频率分量比或垂直频率分 量比。H_BPF_H53以及H_BPF_LM分别是从由YUV生成部41输出的亮度信号提取包括水平方向(图3(a)的X轴方向)上的规定范围的频率频带的分量的亮度信号的带通滤波器。在H_BPF_H53中，为了能提取亮度信号的高频分量，将H_BPF_H53的中心频率Fhh 设定为比较高的频率。另一方面，在H_BPF_LM中，为了能提取比H_BPF_H53低的频率分量， 将H_BPF_LM的中心频率Fm设定为比频率Fhh低的频率。水平频率分量比计算部57根据从H_BPF_H53输出的亮度信号值和从H_BPF_LM 输出的亮度信号值，按照下列公式(2)计算出水平频率分量比。即，关于关注像素，在分别 用符号OUTm3以及OUIY54表示从H_BPF_H53输出的亮度信号值以及从H_BPF_LM输出的亮 度信号值的情况下，针对关注像素计算出的水平频率分量比为|ουτΗ53/ουιγ54|。水平频率分量比=I (H_BPF_H53 的输出值)/ (H_BPF_L54 的输出值).. . (2)V_BPF_H55以及V_BPF_L56分别是从由YUV生成部41输出的亮度信号提取包括垂 直方向(图3(a)的Y轴方向)上的规定范围的频率频带的分量在内的亮度信号的带通滤 波器。在V_BPF_H55中，为了能提取亮度信号的高频分量，将V_BPF_H55的中心频率Fvh 设定为比较高的频率。另一方面，在V_BPF_L56中，为了能提取比V_BPF_H55低的频率分量， 将V_BPF_L56的中心频率Fvl设定为比Fvh低的频率。垂直频率分量比计算部58根据从V_BPF_H55输出的亮度信号值和从V_BPF_L56 输出的亮度信号值，按照下列公式(3)计算出垂直频率分量比。即，关于关注像素，在分别 用符号OUTh55以及OUIY56表示从V_BPF_H55输出的亮度信号值以及从V_BPF_L56输出的亮 度信号值的情况下，针对关注像素计算出的垂直频率分量比为|ουτΗ55/ουιγ56|。垂直频率分量比= I (V_BPF_H55 的输出值)/ (V_BPF_L56 的输出值)…(3)选择部59从由水平频率分量比计算部57输出的水平频率分量比和由垂直频率分 量比计算部58输出的垂直频率分量比中选择出大的一方，并向扩展处理部45输出。如上所述，在第3实施例中，能考虑到关于输入图像的水平以及垂直的两个方向 的聚焦程度，来控制模糊处理部47的模糊程度以及边缘强调处理部48的边缘强调程度。因 此，通过第3实施例，能生成更加细致地实施了模糊处理以及边缘处理的强调图像。(第4实施例)对第4实施例进行说明。图13是用于说明图像处理部7中的强调图像生成处理 的第4实施例的图。图13所示的各部位可设置在图像处理部7中。在图13中，由于与图 10标注相同编号的部位是具有与第2实施例的情况相同的功能以及动作的部位，因此，省 略其功能以及动作的说明。在摄像装置1的镜头部3具有的透镜中，通常，随着远离摄影图像的中心点， MTF(Modulation Transfer Function)变差。并且，如果以图3(a)的输入图像100为例， 则摄影图像的中心是指通过X轴方向上的输入图像100的中点并与Y轴平行的直线、和通 过Y轴方向上的输入图像100的中点并与X轴平行的直线的交点。因此，例如，当在远离摄 影图像的中心点的4个角的任意的周边上配置了人物101的状态下使焦点对准了人物101时，人物101的亮度信号的高频分量的大小变得比在以人物101为中心点的附近对准了焦 点的情况小。因此，即使对整个摄影图像实施共同特性的BPF，用上述公式(1)计算出频率 差分比，也很难获得精确度良好的特性(表示聚焦程度的正确特性，换句话说，表示聚焦位 置的偏离的正确特性)。因此，作为用于提高频率差分比的特性的精确度的方法之一，可考虑根据输入图 像内的像素位置来变更BPF的特性(中心频率)，提高聚焦程度的检测精确度。在图13中，BPF_H61以及BPF_L62分别是从由YUV生成部41输出的亮度信号提取 包括一定范围的频率频带的分量在内的亮度信号的带通滤波器。并且，BPF_H61以及BPF_ L62能分别根据从后面提到的位置信息表60输出的参数，变更自身的中心频率。因此，能变 更从亮度信号提取的频率频带的范围。在位置信息表60中事先保存用于设定BPF_H61以及BPF_L62应该提取的频率频 带的范围的参数，BPF_H61以及BPF_L62应该提取的频率频带的范围取决于从YUV生成部 41输出的亮度信号的各像素位置。具体而言，随着关注像素的位置远离存在于输入图像的中心点的像素或离中心点 最近的像素(以下，将它们统称为中心像素)而使BPF_H61以及BPF_L62所提取的频率频 带的范围向低频率侧移动的滤波器系数，作为上述参数被保存。在对输入的亮度信号实施 滤波器处理时，BPF_H61以及BPF_L62获取从位置信息表60输出的滤波器系数，进行滤波处理。在图14(a)中表示了，输入图像100、输入图像100上的中心像素103、和存在于输 入图像100上的角部的像素(以下称为角像素)104。图14(b)是表示根据输入图像100的 像素位置而变动的BPF_H61以及BPF_L62的频率特性的图。在对输入图像100的中心像素103进行滤波处理的情况下，BPF_H61从位置信息 表60获得指示曲线1(X3H的参数，利用与曲线1(X3H—致的频率特性进行滤波处理。同样， 在对输入图像100的中心像素103进行滤波处理的情况下，BPF_L62从位置信息表60获得 指示曲线103L的参数，利用与曲线103L —致的频率特性进行滤波处理。另一方面，在对输入图像100的角像素104进行滤波处理的情况下，BPF_H61从位 置信息表60获得指示曲线104H的参数，利用与曲线104H —致的频率特性进行滤波处理。 同样，在对输入图像100的角像素104进行滤波处理的情况下，BPF_L62从位置信息表60获 得指示曲线104L的参数，利用与曲线104L—致的频率特性进行滤波处理。在对输入图像 100的中心像素103进行滤波处理的情况下的BPF_H61以及BPF_L62的中心频率，比在对输 入图像100的角像素104进行滤波处理的情况下的BPF_H61以及BPF_L62的中心频率高。根据第4实施例，能考虑到摄像装置1的镜头部3所具有的透镜的MTF特性，并针 对输入图像内的各像素，通过具有与各像素位置对应的频率特性的BPF_H61以及BPF_L62 进行滤波处理。由此，频率分量比计算部52能以高的精确度计算出频率分量比，其结果是， 能以更高的精确度生成强调图像。并且，即使对第3实施例也当然可采用位置信息表60(参照图12)。并且，在第3 实施例中，根据位置信息表60的参数可改变H_BPF_H53、H_BPF_LM、V_BPF_H55以及V_BPF_ H56所提取的频率频带的范围，由此，可获得与第4实施例相同的效果。(第5实施例)
对第5实施例进行说明。图15是说明图像处理部7中的强调图像生成处理的第 5实施例的图。图15所示的各部位可以设置在图像处理部7中。在图15中，由于与图10 标注相同编号的部位是具有与第2实施例的情况相同的功能以及动作的部位，因此，省略 其功能以及动作的说明。在位置信息表63中，针对每个在输入图像中所包含的亮度信号的频率而事先保 存增益值。可对输入图像的每个像素位置设定增益值。针对输入图像的关注像素位置的增 益值，具有对应于输入图像的中心像素中的MTF与输入图像的关注像素位置中的MTF之差 的值。位置信息表63从BPF_H50获得中心频率，将与获得的BPF_H50的中心频率对应的 增益值导出并输出给乘法部64。同样，从BPF_L51获得中心频率，将与获得的BPF_L51的中 心频率对应的增益值导出并输出给乘法部65。以下，也将增益值简称为增益。图16表示BPF_H50以及BPF_L51的频率特性、图14 (a)的中心像素103以及角像 素104中的MTF。曲线105以及曲线106分别表示BPF_H50以及BPF_L51的频率特性，I7h以 及Fl分别表示BPF_H50以及BPF_L51的频率特性的中心频率。曲线10:3m表示针对中心像 素103中的亮度信号的频率的MTF。曲线l(Mm表示针对角像素104中的亮度信号的频率的 MTF。当前，例如，将亮度信号的频率为Fs时的曲线10 !上的值以及曲线l(Mm上的值 分别设为0. 65以及0. 4。这表示中心像素103中的频率Fs的亮度信号的大小成为原来应 该具有的大小的65%。同样，也表示角像素104中的频率Fs的亮度信号的大小成为原来应 该具有的大小的40%。在图16中，表示BPF_H50的频率特性的中心频率I7h中的中心像素103的MTF 与角像素104的MTF之差。同样，表示BPF_H50的频率特性的中心频率Fl中的中心像 素103的MTF与角像素104的MTF之差。在位置信息表63中保存对应于^fc的增益Glfc以 及对应于的增益Gta。图15的乘法部64从位置信息表63获取增益GHn，将增益Glfc与针对角像素104的 BPF_H50的滤波处理结果相乘并输出。同样，乘法部65从位置信息表63获取增益Gta，将增 益Gta与针对角像素104的BPF_L51的滤波处理结果相乘并输出。并且，乘法部64以及乘 法部65将1. 0与针对中心像素103的BPF_H50以及BPF_L51的滤波处理结果相乘。根据第5实施例，考虑到摄像装置1的镜头部3所具有的透镜的MTF特性，将根据 各像素位置的增益值与BPF_H50以及BPF_L51的输出相乘。由此，与第4实施例相同，频率 分量比计算部52能以高精确度计算出频率分量比，其结果是，能以更高的精确度生成强调 图像。并且，当然对第3实施例也可采用位置信息表63 (参照图12)，在第3实施例中，通 过将从位置信息表63获得的4种增益值与H_BPF_H53、H_BPF_LM、V_BPF_H55以及V_BPF_ L56的输出相乘，能发挥与第5实施例相同的效果。(第6实施例)对第6实施例进行说明。图17是说明图像处理部7中的强调图像生成处理的第6 实施例的图。图17所示的各部位可以设置在图像处理部7中。在图17中，由于与图5标 注相同编号的部位是具有与第1实施例的情况相同的功能以及动作的部位，因此，省略其功能以及动作的说明。在图17中，模糊处理部66对输入图像实施模糊处理，并将模糊图像输出。模糊 处理部66可使用例如使相邻的像素信号的浓淡变化平滑的平均化滤波器，或使用在图像 信号中所包含的空间频率分量中一方面留下低频分量而另一方面除去高频分量的LPF(Low Pass Filter)，来实现上述模糊处理。作为上述平均化滤波器或LPF，例如，可采用CG-ARTS 协会发行的文献“数字图像处理(digital image processing) ”(2007年3月1日发行、第 2版)的从108页到110页以及从131页到133页记载的滤波器。变换表67根据扩展处理 部45输出的校正边缘差分比，针对每个输入图像的像素，导出表示输入图像和模糊图像的 合成程度的加法运算比率K。用于变换表67导出加法运算比率K的函数如图18所示。如图18所示，变换表67 在校正边缘差分比小于阈值 ε时，将加法运算比率K设为0 ；在校正边缘差分比为1. 0以 上时，将加法运算比率K设为1。0 ^ THe < I0在校正边缘差分比为THe以上且小于1.0的 情况下，随着校正边缘差分比的增加，加法运算比率K线性地增加。并且，在该情况下，随着 校正边缘差分比的增加，加法运算比率K也可以非线性地增加，但是，伴随着校正边缘差分 比的增加的加法运算比率K的增加优选为单调增加。加权加法运算处理部68根据加法运算比率K合成输入图像和模糊图像，并生成输 出图像。换句话说，以按照加法运算比率K的混合比例，针对每个像素位置来混合输入图像 的像素信号和模糊图像的像素信号，并生成具有通过混合获得的各像素信号的图像作为输 出图像。关于某一像素或某一像素位置的图像信号被称为像素信号。像素信号的值被称为 像素值。加权加法运算处理部68也可以对Y、U以及V信号分别进行混合。具体而言，针对 每个像素通过进行按照以下公式的加权加法运算处理来生成输出图像。即，在用符号 SIN、SBUIK以及Sott分别表示共同的像素位置的输入图像、模糊图像以及输出图像的像素信号 的情况下，“SQUT = (SINXK)+ (SblueX (I-K))，，成立。输出图像=(输入图像X加法运算比率K) +(模糊图像X (1-加法运算比率K). . . (4)根据上述公式G)，例如，在输入图像为图3(a)的输入图像100的情况下，关于人 物101，由于校正边缘差分比变大，因此，与人物101的图像对应的像素的加法运算比率K成 为1或近似1的值。因此，输出图像中的人物101的图像成为与输入图像100的人物101 的图像大致相等。另一方面，关于输入图像100的建筑物102的图像，由于焦点未对准，因此，对应的 校正边缘差分比具有比1小的值。因此，加法运算比率K接近于零，通过在输入图像100的 建筑物102的图像中混合模糊图像的建筑物102的图像，从而生成输出图像中的建筑物102 的图像。因此，输出图像中的建筑物102的图像成为模糊效果比输入图像100的建筑物102 的图像还大的图像。其结果是，输出图像成为人物101看上去被强调的图像。并且，在第2实施例的图10、第3实施例的图12、第4实施例的图13以及第5实 施例的图15中，当然也可采用图17中的变换表67、模糊处理部66以及加权加法运算处理 部68来分别代替变换表46、模糊处理部47以及边缘强调处理部48。在将第2、第4或第5实施例变形的情况下，在变换表67中输入频率分量，图18中 的变换表67的函数的横轴成为频率分量比。
在将第3实施例变形的情况下，在变换表67中输入水平频率分量比或垂直频率分 量比，图18中的变换表67的函数的横轴成为水平频率分量比或垂直频率分量比。在第1实施例的图5、第2实施例的图10、第3实施例的图12、第4实施例的图13 以及第5实施例的图15中，也可采用根据从变换表46输出的模糊程度而只降低Y信号的 大小的可变亮度降低处理部(图中未显示)来代替模糊处理部47。另外，在第6实施例的 图17中，也可采用只降低Y信号的大小的固定亮度降低处理部(图中未显示)来代替模糊 处理部66。由此，例如，在输入图像为图3(a)的输入图像100的情况下，焦点未对准的建筑 物102的亮度被降低，能获得人物101看上去被强调突出的输出图像。另外，在第1实施例的图5、第2实施例的图10、第3实施例的图12、第4实施例 的图13以及第5实施例的图15中，也可采用根据从变换表46输出的模糊程度而只降低U 以及V信号的大小的可变色度降低处理部(图中未显示)来代替模糊处理部47。另外，在 第6实施例的图17中，也可以采用只降低U以及V信号的大小的固定色度降低处理部(图 中未显示)来代替模糊处理部66。由此，例如，在输入图像为图3(a)的输入图像100的情 况下，焦点未对准的建筑物102的色度被降低，能获得人物101看上去被强调突出的输出图 像。另外，在本实施例以及变形例中，虽然是以输入图像的像素单位进行强调图像生 成处理，但不局限于此。例如，也可将由多个图像构成的小区域设为实施强调图像生成处理 的单位。这样一来，可减轻进行强调图像生成处理的处理量。另外，小区域也可以解释为只 由1个像素形成。图19是表示摄像装置1生成强调图像为止的一系列的处理的流程图。在步骤SlOO 中，如果开启摄像装置1的电源，则进入步骤S 101。在步骤SlOl中，摄影者选择摄像装置1的动作模式。在可选择的摄像装置1的动 作模式中包含拍摄动态图像以及静止画面的摄影模式和播放已经拍摄且已记录在外部存 储器22中的摄影图像的播放模式。在此，设为摄影者选择了摄影模式，且还选择了强调图 像生成模式。在步骤S102中，摄像装置1进入预览模式。在预览模式中，经过镜头部3，通过图 像传感器2的光电转换获得的模拟的图像信号在AFE4中被转换为数字的图像信号并向图 像处理部7输出。然后，在图像处理部7中，对该数字的图像信号实施AF处理、AE处理以 及白平衡处理等的图像处理，通过图像信号输出部12显示在显示部13上。在步骤S103中，摄影者对摄影图像的构图或变焦倍率进行调整。在步骤S104中，摄像装置1在步骤S103所设定的构图或变焦倍率下执行AF/AE/ AWB控制。在步骤S105中，CPU17判定操作部19的快门按键是否被按到一半。在摄像装置1的操作部19中具有用于静止画面摄影的快门按键(图中未显示)。 快门按键为2阶段开关，如果摄影者将快门按键按下到大致一半为止则开启第1开关。如 果将快门按到最后为止则开启第2开关。以下，将把快门按键按到最后为止记载为全按下。如果判断快门按键按下一半，则进入步骤S106。如果不是，则返回到步骤S102，摄 像装置1继续预览模式。在步骤S106中，摄像装置1通过AF功能使焦点对准摄影者关注的被摄体(例如，图3(a)的人物101)，并且通过AE功能进行光圈32的开度的设定以及图像传感器2的曝光 时间(即，快门速度)的设定，然后通过AWB功能进行色相的设定。在步骤S107中，CPU17判断快门按键是否被全按下。在判断为全按下的情况下， 进入步骤S108。在不是的情况下，即在维持按下一半的状态的情况下，摄像装置1维持在步 骤S107设定的摄影条件直至全按下为止。在步骤S108中，摄像装置1通过在步骤S106设定的摄影条件下进行静止摄影，获 取例如图3(a)的输入图像100，以RAW数据或YUV形式将输入图像保存在帧存储器5中，进 入步骤S109。在步骤S109中，CPU17判断是否已设定为强调图像生成模式。在已设定为强调图 像生成模式的情况下，进入步骤S110。在不是的情况下，进入步骤S111。在步骤SllO中，使用本实施方式中的任意的实施例或变形例中记载的强调图像 生成处理，从通过摄影获得的输入图像中生成强调图像，进入步骤S112。可生成任意的输出 图像(例如，边缘强调处理部48或加权加法运算处理部68生成的输出图像)作为强调图 像。在步骤Sl 11中，在CPU17的控制下，对通过摄影获得的输入图像，利用图像处理部 7实施图像处理，接下来，利用压缩处理部9实施压缩处理。进行了这些处理后的输入图像 被保存在外部存储器22中。然后，返回到步骤S102。在步骤S112中，在CPU17的控制下，对通过摄影获得的输入图像(例如输入图像 100)以及强调图像，利用图像处理部7实施图像处理，接下来，利用压缩处理部9实施压缩 处理。进行了这些处理后的输入图像以及强调图像被保存在外部存储器22中。然后，返回 到步骤S102。(第7实施例)对第7实施例进行说明。图20是说明图像处理部7中的强调图像生成处理的第 7实施例的图。图20所示的各部位可以设置在图像处理部7中。在图20中，由于与图17 标注相同编号的部位是具有与第6实施例的情况相同的功能以及动作的部位，因此，省略 其功能以及动作的说明。在图20中，模糊处理部69通过对输入图像实施模糊处理而生成 并输出模糊图像。模糊处理部69通过使用以下的滤波器来实现模糊处理，这些滤波器分别 是例如，针对输入图像使像素信号的浓淡变换变得平滑的平均化滤波器、保留图像信号中 所包含的空间频率分量中的低频分量并除去高频分量的LPF(Low Pass Filter)、或离成为 处理对象的像素越近越进行大的加权且使该权重接近于高斯分布的高斯滤波器等。以下， 将实现模糊处理的滤波器记载为模糊滤波器。模糊处理部69进行正规化，以使从扩展处理部45输出的输入图像的各像素的校 正边缘差分比在0. 0以上且1. 0以下的范围内，利用正规化后的校正边缘差分比作为各像 素的聚焦程度。例如，在关于从扩展处理部45输出的像素P44以及P45的校正边缘差分比 分别是d44以及d45，并且，对校正边缘差分比d44以及d45实施上述正规化后获得的校正 边缘差分比分别是d44，以及d45，的情况下，使用d44，以及d45，分别作为像素P44以及 P45的聚焦程度。关于其他的像素也同样。模糊处理部69在对成为模糊处理的对象的像素 (以下，也称为对象像素)实施模糊处理时，根据该对象像素的聚焦程度来变更通过模糊处 理进行的模糊的程度。以下，作为通过模糊处理部69进行的模糊处理的具体例，对模糊处理例7a 7b进行说明。可将模糊处理例7a 7b看作第7实施例的一部分。(模糊处理例7a)对模糊处理例7A进行说明。模糊处理部69根据输入图像中的对象像素的聚焦程 度，变更在对象像素的模糊处理中使用的模糊滤波器的滤波器尺寸。模糊处理部69在对象 像素的聚焦程度为事先规定的规定阈值THl以上的情况下，使模糊滤波器的滤波器尺寸变 得比较小；当对象像素的聚焦程度比规定的阈值THl小的情况下，使滤波器尺寸变得比较 大。例如，可事先规定阈值TH1，以满足“0 < THl < 1”。例如，在规定的阈值THl为0. 5的情况下，模糊处理部69在对象像素的聚焦程度 为0. 5以上时，判断为该对象像素接近于焦点已对准的状态，将对对象像素进行的模糊处 理中的滤波器尺寸设为3X3。另一方面，在对象像素的聚焦程度小于0.5的情况下，判断为 该对象像素接近于焦点未对准的状态，将对对象像素进行的模糊处理中的滤波器尺寸设为 5X5。在使用具有QXQ的滤波器尺寸的模糊滤波器的模糊处理中，使用以对象像素为中心 (QXQ)的像素的像素信号，生成模糊处理后的对象像素的像素信号⑴为整数)。因此，可 认为对对象像素进行的模糊处理中的滤波器尺寸越大，对象像素的模糊程度变得越大。根据通过模糊处理部69进行的上述模糊处理，在对象像素接近于焦点已对准的 状态的情况下，只利用离对象像素非常近、例如与该对象像素相邻的像素的像素值来实施 滤波处理。因此，该对象像素的模糊程度具有变小的倾向。另外，在对象像素接近于焦点未 对准的状态的情况下，不仅是离该对象像素非常近的像素，也利用与对象像素具有一定距 离的位置上的像素的像素值来实施滤波处理。因此，该对象像素的模糊程度具有变大的倾 向。即，针对接近于焦点已对准的状态的像素，执行针对输入图像的模糊处理，以便模糊程 度变小；并且针对接近于焦点未对准的状态的像素，执行针对输入图像的模糊处理，以便模 糊程度变大。其结果是，能更加有效地生成使焦点已对准的被摄体得到强调的图像。(模糊处理例7b)对模糊处理例7b进行说明。模糊处理部69根据在模糊滤波器的模糊处理中所使 用的像素的聚焦程度，对该模糊滤波器实施掩模处理，并生成掩模处理后的模糊滤波器作 为校正模糊滤波器。模糊处理部69使用该校正模糊滤波器，对输入图像实施模糊处理。当 前，模糊处理部69使用滤波器尺寸5X5的模糊滤波器。图21 (a)表示滤波器尺寸5 X 5的模糊滤波器。滤波器尺寸5 X 5的滤波器用5行 5列的行列表示。因此，模糊滤波器是由25个要素排列构成。将构成模糊滤波器的25个要 素分别称为模糊滤波器要素(不过，有时也只称为滤波器要素)。在图21 (a)中，a y表 示模糊滤波器要素。各模糊滤波器要素具有规定的滤波器系数。在图21(b)中，Ca Cy分 别是模糊滤波器要素a y所具有的滤波器系数。并且，有时会将模糊滤波器要素的滤波 器系数Ca Cy统一记载为模糊滤波器的滤波器系数。在此，成为使用模糊滤波器的模糊 处理对象的输入图像中的对象像素，是与模糊滤波器要素m对应的像素。模糊滤波器要素 m位于模糊滤波器的中心。模糊处理部69根据对象像素(与模糊滤波器要素m对应的像素)的聚焦程度和 与各模糊滤波器要素(除了模糊滤波器要素m)对应的像素的聚焦程度，生成用于对模糊滤 波器实施掩模处理的掩模滤波器。即，根据对象像素的聚焦程度和各非对象像素的聚焦程 度来生成掩模滤波器。在此，由于是将模糊滤波器的滤波器尺寸假定为5X5，因此，非对象像素的个数是M个。即，非对象像素是指在位于以对象像素为中心的5X5像素的图像区 域内的共计25个像素中的除了对象像素以外的像素。生成的掩模滤波器的滤波器尺寸与 模糊滤波器的滤波器尺寸相同。在此，关于掩模滤波器的掩模滤波器要素以及掩模滤波器 的滤波器系数的用语的含义与模糊滤波器的情况相同。接下来，模糊处理部69通过将模糊 滤波器的滤波器系数与掩模滤波器的滤波器系数相乘，从而生成校正模糊滤波器。此时，相 互对应的滤波器系数被相乘。即，例如，将与对象像素对应的滤波器系数Cm与位于掩模滤 波器的中心的掩模滤波器要素的滤波器系数相乘，其相乘的结果被代入位于校正模糊滤波 器的中心的要素的滤波器系数。将模糊滤波器要素a y作为第1 第25的模糊滤波器要素，用符号FD [i]表示 与第i模糊滤波器要素对应的像素的聚焦程度(i为整数)。模糊处理部69例如根据以下 的规则来生成掩模滤波器。将比事先规定了对象像素的聚焦程度的阈值THl大的情况称为 情况C[l]，将对象像素的聚焦程度在阈值THl以下的情况称为情况C[2]。在情况C[l]中，针对每个掩模滤波器要素，可根据规则[1-1]以及[1-2]来设 定掩模滤波器要素的滤波器系数，在情况C[2]中，针对每个掩模滤波器要素，可根据规则 [2-1]以及[2-2]来设定掩模滤波器要素的滤波器系数。规则[1-1]是在“TH1 < FD[i]≤1”成立时，将与第i模糊滤波器要素对应的掩 模滤波器要素的滤波器系数设为1的规则。规则[1-2]是在“0≤FD[i]≤THl”成立时，将与第i模糊滤波器要素对应的掩 模滤波器要素的滤波器系数设为0的规则。规则[2-1]是在“TH1 < FD[i]≤1”成立时，将与第i模糊滤波器要素对应的掩 模滤波器要素的滤波器系数设为0的规则。规则[2-2]是在“0≤FD[i]≤THl”成立时，将与第i模糊滤波器要素对应的掩 模滤波器要素的滤波器系数设为1的规则。图22是用于说明通过模糊处理部69进行的针对输入图像200的模糊处理的图。 在输入图像200中，焦点与人物201已对准，另一方面，焦点与人物202以及203未对准。模 糊处理部69使模糊滤波器的位置朝水平方向以及垂直方向移动1个像素，并在各位置上生 成掩模滤波器。然后，根据模糊滤波器以及所生成的掩模滤波器来生成校正模糊滤波器，通 过该校正模糊滤波器，对对象像素实施模糊处理。在模糊滤波器处于位置651的情况下(例如，模糊滤波器的中心处于位置651的 情况下)，对模糊处理部69如何实施模糊处理进行说明。在模糊滤波器处于位置651的情 况下，与模糊滤波器要素m对应的像素是焦点已对准的人物201的脸部的一部分的像素，将 与模糊滤波器要素m对应的像素的聚焦程度设为大于THl且在1以下。另外，与模糊滤波 器要素a、b、c、f、g、k、1、p、q、U、ν以及w对应的像素的各自的聚焦程度为0以上且在THl 以下，与模糊滤波器要素d、e、h、i、j、m、η、ο、r、s、t、χ以及y对应的像素的各自的聚焦程 度为大于THl且在1以下。在这种情况下，模糊处理部69按照规则[1-2]，使与模糊滤波器要素a、b、c、f、g、 k、l、p、q、U、v以及w对应的掩模滤波器要素的滤波器系数为0，并且，按照规则[1-1]，使与 模糊滤波器要素d、e、h、i、j、m、n、o、r、s、t、χ以及y对应的掩模滤波器要素的滤波器系 数为1，由此，生成图23(a)所示的掩模滤波器。如图23(b)所示，模糊处理部69将模糊滤波器的滤波器系数和掩模滤波器的滤波器系数相乘，生成校正模糊滤波器。模糊处理部69 使用所生成的校正模糊滤波器，对位置651中的对象像素(输入图像200的对象像素)实 施模糊处理。即，模糊处理部69在对聚焦程度为THl以上的对象像素实施模糊处理的情况 下，只使用聚焦程度为THl以上的像素的像素值来实施模糊处理。由此，在针对焦点已对准 的对象像素的模糊处理中，可减轻由于混杂焦点未对准的像素的颜色而引起的颜色浸透。在模糊滤波器处于位置652的情况下(例如，在模糊滤波器的中心处于位置652 的情况下)，与模糊滤波器要素m对应的像素是焦点未对准的人物202的身体的一部分的像 素，将与模糊滤波器要素m对应的像素的聚焦程度设为0以上且在THl以下。另外，与模糊 滤波器要素a、f、g、k、1、p、q、u对应的像素的各自的聚焦程度大于THl且在1以下，与模 糊滤波器要素b、c、d、e、h、i、j、m、n、o、r、s、t、v、w、χ以及y对应的像素的各自的聚焦程 度设为0以上且在THl以下。此时，模糊处理部69按照规则[2-1]，使与模糊滤波器要素a，f、g、k、l、p、q以及 u对应的掩模滤波器要素的滤波器系数为0，并且，按照规则[2-2]，使与模糊滤波器要素b、 c、d、e、h、i、j、m、η、ο、r、s、t、ν、w、χ以及y对应的掩模滤波器要素的滤波器系数为1，由 此，生成图所示的掩模滤波器。如图M(b)所示，模糊处理部69将模糊滤波器的滤 波器系数和掩模滤波器的滤波器系数相乘，生成校正模糊滤波器。模糊处理部69使用生成 的校正模糊滤波器，对位置652中的对象像素(输入图像200的对象像素)实施模糊处理。 即，模糊处理部69在对聚焦程度为比THl小的对象像素实施模糊处理的情况下，只使用聚 焦程度为小于THl的像素的像素值来实施模糊处理。由此，在针对焦点未对准的对象像素 的模糊处理中，可以减轻由于混杂焦点对准的像素的颜色而引起的颜色浸透。(模糊处理例7C)对模糊处理例7C进行说明。模糊处理部69和模糊处理例7b相同，根据在用模糊 滤波器进行的模糊处理中使用的像素的聚焦程度，对该模糊滤波器实施掩模处理，并生成 校正模糊滤波器。然后，使用该校正模糊滤波器对输入图像实施模糊处理。以下，对与模糊 处理例7B的不同点进行说明。模糊处理部69通过将聚焦程度可取的数值范围、即0.0以上且1.0以下的范围， 用事先规定的规定范围进行划分，从而细分为3个以上的小范围。然后，根据对象像素(与 模糊滤波器要素m对应的像素)的聚焦程度以及与各模糊滤波器要素(除了模糊滤波器要 素m)对应的像素的聚焦程度属于被细分的小范围中的哪一个，来生成掩模滤波器。接下 来，根据模糊滤波器和生成的掩模滤波器生成校正模糊滤波器，使用该校正模糊滤波器对 对象像素实施模糊处理。模糊处理部69能使用例如满足“0 < THl < TH2 < 1”的事先规定的阈值THl以 及TH2，将聚焦程度可取的数值范围细分为3个小范围，并且能按照以下的规则，生成掩模 滤波器。将对象像素的聚焦程度大于阈值THl且在阈值TH2以下的情况称为情况C[3]；将 对象像素的聚焦程度大于阈值TH2且在1以下的情况称为情况C[4]；将对象像素的聚焦程 度为0以上且在阈值THl以下的情况称为情况C[5]。在情况C[3]中，针对各掩模滤波器要素，能按照[3-1]、[3-2]以及[3_3]设定掩 模滤波器要素的滤波器系数；在情况C[4]中，针对各掩模滤波器要素，能按照
以及[4-3]设定掩模滤波器要素的滤波器系数；在情况C[5]中，针对各掩模滤波器要素，能按照[5-1]、[5-2]以及[5-3]设定掩模滤波器要素的滤波器系数；规则[3-1]是在“TH2 < FD[i]≤1”成立时，将与第i的模糊滤波器要素对应的 掩模滤波器要素的滤波器系数设为0的规则。规则[3-2]是在“TH1 < FD[i]≤TH2”成立时，将与第i的模糊滤波器要素对应 的掩模滤波器要素的滤波器系数设为1的规则。规则[3-3]是在“0≤FD[i]≤THl”成立时，将与第i的模糊滤波器要素对应的 掩模滤波器要素的滤波器系数设为0的规则。规则是在“TH2 < FD[i]≤1”成立时，将与第i的模糊滤波器要素对应的 掩模滤波器要素的滤波器系数设为1的规则。规则[4-2]是在“TH1 < FD[i]≤TH2”成立时，将与第i的模糊滤波器要素对应 的掩模滤波器要素的滤波器系数设为0的规则。规则[4-3]是在“0≤FD[i]≤THl”成立时，将与第i的模糊滤波器要素对应的 掩模滤波器要素的滤波器系数设为0的规则。规则[5-1]是在“TH2 < FD[i]≤1”成立时，将与第i的模糊滤波器要素对应的 掩模滤波器要素的滤波器系数设为0的规则。规则[5-2]是在“TH1 < FD[i]≤TH2”成立时，将与第i的模糊滤波器要素对应 的掩模滤波器要素的滤波器系数设为0的规则。规则[5-3]是在“0≤FD[i]≤THl”成立时，将与第i的模糊滤波器要素对应的 掩模滤波器要素的滤波器系数设为1的规则。图25是用于说明通过模糊处理部69进行的模糊处理的图。在图25的输入图像 300中，人物301由脸部分301a、身体部分301b、及手臂部分301c构成。人物301穿着蓝 色的衣服。因此，虽然不能通过图25看出，但是身体部分301b以及手臂部分301c是蓝色。 另外，在输入图像300中，方向盘302为红色，背景303为绿色。背景303是指整个输入图 像300内的人物301以及方向盘302以外的部分。在输入图像300中，焦点已对准方向盘302以及手臂部分301c，方向盘302以及手 臂部分301c的像素的聚焦程度大于TH2。另外，人物301的身体部分301b的像素的聚焦 程度大于THl且在TH2以下，背景303的像素的聚焦程度在0以上且在THl以下。以下，在 模糊滤波器处于位置661上的情况下(例如，在模糊滤波器的中心处于位置661上的情况 下)，对模糊处理部69如何实施模糊处理进行说明。在图25中，模糊处理的对象像素是与模糊滤波器的滤波器要素m对应的像素。该 对象像素是存在于方向盘302内的缝隙之间的人物301的身体301b的一部分的像素。因 此，该对象像素的聚焦程度如上所述，大于THl且在TH2以下。当前，与滤波器要素d、g、k、 m以及q对应的像素的各自的聚焦程度大于THl且在TH2以下。另外，与滤波器要素a、b、c、f、h、i、1、η、ρ、r、s、U、ν以及w对应的像素的各自的
聚焦程度大于TH2且在1以下。另外，与滤波器要素e、j、o、t、x以及y对应的像素的各自的聚焦程度为0以上且 在THl以下。此时，模糊处理部69根据规则[3-1]，将与模糊滤波器要素a、b、c、f、h、i、1、η、 p、r、s、U、v以及w对应的掩模滤波器要素的滤波器系数设为0，并且，根据规则[3-2]，将与模糊滤波器要素d、g、k、m以及q对应的掩模滤波器要素的滤波器系数设为1，而且，根据规 则[3-3]，将与模糊滤波器要素e、j、o、t、x以及y对应的掩模滤波器要素的滤波器系数设 为0，由此，生成图^Ua)所示的掩模滤波器。模糊处理部69如图^(b)所示，将模糊滤波 器的滤波器系数和掩模滤波器的滤波器系数相乘，生成校正模糊滤波器。模糊处理部69使 用生成的校正模糊滤波器，对位置661的对象像素(输入图像300的对象像素)实施模糊 处理。根据使用上述校正模糊滤波器的模糊处理，仅使用聚焦程度与对象像素在相同范 围内的像素的像素值(仅使用属于与对象像素的聚焦程度所属的小范围相同的小范围的 聚焦程度的像素的像素值)，实施模糊处理，因此，能减轻由于混杂聚焦程度不同的像素的 像素值而引起的颜色浸透。因此，在输入图像300中，在蓝色的对象像素(在方向盘302内 的缝隙之间存在的蓝色的身体301b的一部分的像素)的模糊处理中，不使用红色或绿色的 比例多的像素，而使用蓝色的比例多的像素，因此，能在模糊处理后的对象像素中减轻红色 或绿色的混杂。(模糊处理例八)对模糊处理例7d进行说明。与模糊处理例7B以及7C相同，模糊处理部69根据在 模糊滤波器进行的模糊处理中使用的像素的聚焦程度，对该模糊滤波器实施掩模处理，生 成校正模糊滤波器。然后，使用该校正模糊滤波器，对输入图像实施模糊处理。以下，对与 模糊处理例7b以及7C的不同点进行说明。例如，在已对准焦点的被摄体向水平方向移动的场景的图像被输入的情况下，模 糊处理部69实施强调该移动的速度感的产生所谓的摇拍效果的模糊处理。图27(a) (d)是用于说明通过模糊处理部69进行的产生摇拍效果的模糊处理 的图。在图27(a)中，在输入图像400中，焦点与人物401已对准。输入图像400是通过对 人物401沿着水平方向从左侧向右侧移动的场景进行拍摄而获得的图像。模糊处理部69随着模糊滤波器的位置向与人物401的水平移动方向(从左侧向 右侧的方向)相反的方向(从右侧向左侧的方向)前进，在模糊处理中所使用的模糊滤波 器的最末尾列中追加新的模糊滤波器要素的列，由此，生成新的模糊滤波器。并且，模糊滤 波器的最末尾列是指在将与人物401的水平移动方向相反的方向作为前进方向的情况下 的最末尾列。如图27(b)所示，模糊处理部69在位置671处实施针对对象像素(与滤波器要素 m对应的像素)的模糊处理时使用的模糊滤波器402的滤波器尺寸为5X5。图27 (c)的位 置672是从位置671向左侧移动1像素份后的位置，该移动可认为是相当于使模糊滤波器 沿着水平方向从右侧向左侧前进。图27(d)的位置673是从位置672再向左侧移动1像素 份后的位置，该移动可认为是相当于使模糊滤波器沿着水平方向再从右侧向左侧前进。如图27 (c)所示，在从图27 (b)的状态向左侧移动1个像素的位置672处对对象 像素(与滤波器要素m对应的像素)实施模糊处理的情况下，模糊处理部69在模糊滤波器 402的右端的列(即，由模糊滤波器要素e、j、ο、t以及y构成的列)中追加由模糊滤波器 要素zi、h、z3^4以及Z5构成的列，由此，生成滤波器尺寸为5X6的模糊滤波器403。然后， 生成对模糊滤波器403实施了掩模处理的校正模糊滤波器，并使用校正模糊滤波器来实施 模糊处理。
然后，如图27(d)所示，在从图27(c)的状态向左侧移动1个像素的位置673上对 对象像素(与滤波器要素m对应的像素)实施模糊处理的情况下，模糊处理部69在模糊滤 波器403的右端的列(即，由模糊滤波器要素Zl、z2, z3、Z4以及Z5构成的列)中追加由模 糊滤波器要素z6、z7, z8, Z9以及Z10构成的列，由此，生成滤波器尺寸为5X7的模糊滤波器 404。然后，生成对模糊滤波器404实施了掩模处理的校正模糊滤波器，并使用校正模糊滤 波器来实施模糊处理。图28是表示在图27 (a)的输入图像400上通过实施上述的模糊处理而生成的模
糊图像。如上所述，在针对焦点已对准的特定被摄体在水平方向移动的场景的输入图像实 施模糊处理的情况下，在对朝向与特定被摄体的水平移动方向相反的方向排列的像素实施 模糊处理时，模糊处理部69能随着向该相反方向前进而使在模糊处理中使用的模糊滤波 器的滤波器尺寸在特定被摄体的水平移动方向上变大(伸展)。由此，能生成对移动的特定 被摄体的速度感进行了强调的模糊图像。(模糊处理例U对模糊处理例7e进行说明。与模糊处理例7B以及7C相同，模糊处理部69根据在 模糊滤波器进行的模糊处理中使用的像素的聚焦程度，对该模糊滤波器实施掩模处理，生 成校正模糊滤波器。然后，使用该校正模糊滤波器对输入图像实施模糊处理。以下，对与模 糊处理例7b以及7C的不同点进行说明。例如，当摄影时，在已对准焦点的被摄体沿着摄影方向向摄像装置1移动的场景 的图像为输入图像的情况下，模糊处理部69实施对该移动的速度感进行强调的产生所谓 的变焦摇拍效果的模糊处理。图四是用于说明通过模糊处理部69进行的产生变焦摇拍效果的模糊处理的图。 在图四中，输入图像500是在摄影时人物501沿着摄影方向向摄像装置1移动的场景的摄 影图像。在输入图像500中，焦点已对准人物501。模糊处理部69在对人物501以外的被摄体实施模糊处理的情况下，导出人物501 的重心位置，随着远离该重心位置，使模糊处理中使用的模糊滤波器的尺寸变大。即，在针 对判断为焦点未对准的像素实施模糊处理的情况下，导出判断为焦点已对准的像素群的重 心，随着远离该重心，使模糊处理中所使用的模糊滤波器的尺寸变大。在图四中，模糊处理部69在位置681处实施针对对象像素(与滤波器要素m对 应的像素)的模糊处理时使用的模糊滤波器502的滤波器尺寸为5X5。并且，与模糊滤波 器502的模糊滤波器要素m对应的像素是人物501的重心。在图四中，位置682的对象像素(与滤波器要素m对应的像素)是被判断为焦点 未对准的像素。在位置682处实施针对对象像素的模糊处理时，模糊处理部69将使用的模 糊滤波器503的滤波器尺寸设为7X7。另外，位置683的对象像素(与滤波器要素m对应 的像素)是被判断为焦点未对准的像素，位置683处的对象像素与位置682处的对象像素 相比更远离人物501的重心。因此，在位置683处实施针对对象像素的模糊处理时，模糊处 理部69将模糊滤波器504的滤波器尺寸设为9X9。根据这种模糊处理，关于被判断为焦点未对准的像素，其具有随着离已对准焦点 的被摄体的重心越远，模糊处理的模糊程度变得越大的倾向。由此，能生成使已对准焦点的被摄体沿着摄影方向向摄像装置接近时的速度感得到强调的模糊图像。(第8实施例)对第8实施例进行说明。图30是说明图像处理部7的强调图像生成处理的第8 实施例的图。图30所示的各部位能设置在图像处理部7中。在图30中，与图17标注相同 编号的部位是具有与第6实施例的情况相同的功能以及动作的部位，因此，省略其功能以 及动作的说明。在摄影对象中包含人物的情况下，使焦点对准该人物的脸部并将该人物的脸部拍 摄得比较大的摄影图像，可认为是摄影者将该人物作为主要被摄体而拍摄的图像。对于这 种摄影图像，可认为针对聚焦程度低的背景图像(除了主要被摄体之外的其他摄影对象 的摄影图像)而实施模糊程度更大的模糊处理，这是按照摄影者的意愿。另一方面，虽然摄影对象中包括人物，但是，景深深度深的使焦点对准摄影对象的 大致整体并且该人物的脸部被拍摄的比较小的摄影图像，可认为是摄影者将包括该人物的 摄影对象整体作为主要被摄体而拍摄的图像。对于这种拍摄图像，可认为即使是聚焦程度 低的部分，也实施模糊程度更小的模糊处理或不实施模糊处理，这是按照摄影者的意愿。在图30中，脸部检测处理部70从输入图像检测出被认为是关注被摄体的人物的 脸部图像区域，并且根据占检测出的脸部图像区域的输入图像区域整体的比例PRface，来调 整后面要提到的模糊处理部71的模糊程度。占脸部图像区域的输入图像区域整体的比例 PRface,例如能通过计算输入图像的所有像素数与脸部图像区域的像素数的比例而计算出。 即例如，能求出脸部图像区域的像素数与输入图像的所有像素数之比作为比例PRface。输入 图像区域整体是指输入图像的所有图像区域。脸部图像区域占输入图像区域整体的比例PRface如果在例如30%以上，则可认为 摄影者想拍摄以该人物作为主要被摄体的所谓的肖像(人物画)。另一方面，如果脸部图像 区域占输入图像区域整体的比例PRface小于规定的基准比例，例如小于30%，则可认为摄影 者想拍摄以摄影对象整体为主要被摄体的所谓的景色(风景画)。因此，如果脸部图像区域占输入图像区域整体的比例PRface为事先规定的基准比 例(换句话说基准值)PRkef以上，则脸部检测处理部70使得后面要提到的模糊处理部71 的模糊程度变得比较大，以使人物看上去更加被强调突出。另一方面，在脸部图像区域占输 入图像区域整体的比例PRface不到基准比例PRkef的情况下，使后面要提到的模糊处理部71 的模糊程度变得比较小，以使摄影对象整体的模糊程度变小或完全消失。此时，可以使模糊 程度小到为零。更具体而言，当比例PRface不到基准比例PRkef时，与比例PRface在基准比例 PReef以上时相比，减小模糊程度，或使模糊程度为零。通过该处理，在摄影者将人物作为主 要被摄体进行摄影的情况下，能获得人物更加被强调的摄影图像。另一方面，在将摄影对象 整体作为主要被摄体进行摄影的情况下，能获得加深景深深度摄影的原摄影图像、即与以 焦点对准摄影对象整体的方式拍摄的原摄影图像大致相等的图像。在从输入图像中检测出多个人物脸部的情况下，脸部检测处理部70从上述多个 人物脸部中选择符合事先设定的条件的人物脸部，并根据所选择的人物的脸部的脸部图像 区域来求出比例PRFAeE。上述选择的方式如下例如，选择脸部图像区域最大的人物的脸部、 从输入图像的中心选择位于最近的位置处的人物脸部、或选择从扩展处理部45输出的校 正边缘差分比的平均为最高的人物的脸部等。
在图30中，模糊处理部71对输入图像实施模糊处理，将模糊处理后的输入图像 作为模糊图像而输出。作为模糊滤波器，模糊处理部71可采用例如使相邻的像素信号的 浓淡变化变得平滑的平均化滤波器、或保留图像信号中所包含的空间频率分量中的低频分 量并除去高频分量的LPF (Low Pass Filter)。作为上述平均化滤波器或LPF，可采用例如 CG-ARTS协会发行的文献“数字图像处理(digital image processing) ”(2007年3月1日 发行，第2版)中的108页到110页以及131页到133页记载的滤波器。模糊处理部71可通过增大模糊滤波器的滤波器尺寸来增大模糊程度，相反，可通 过减小滤波器尺寸来减小模糊程度。另外，在作为空间滤波器的模糊滤波器中，将1设定为 针对对象像素的滤波器系数，并且将0设定为针对对象像素以外的各像素的滤波器系数， 由此能使模糊程度为0。另外，例如，在将模糊滤波器的滤波器尺寸固定为7X7的情况下， 通过随着远离对象像素而增大滤波器系数，能增大模糊程度；相反，通过随着接近对象像素 而增大滤波器系数，能减小模糊程度。如果表示脸部图像区域占输入图像区域整体的比例PRface为规定的基准比例PRkef 以上的信号被脸部检测处理部70输入，则模糊处理部71例如将模糊滤波器的滤波器尺寸 设定为7X7。另一方面，如果对脸部图像区域占输入图像区域整体的比例PRface小于规定 的基准比例PRkef进行表示的信号、或对未检测出脸部图像区域进行表示的信号被脸部检测 处理部70输入，则将模糊滤波器的滤波器尺寸设定为3 X 3，或者，在模糊滤波器中，将1设 定为针对对象像素的滤波器系数，并将0设定为所有的针对对象像素以外的各像素的滤波 器系数。并且，在第1实施例的图5、第2实施例的图10、第3实施例的图12、第4实施例的 图13以及第5实施例的图15中，当然可采用图30中的变换表67、脸部检测处理部70、模 糊处理部71以及加权加法运算处理部68来代替变换表46、模糊处理部47以及边缘强调处 理部48。在对第2、第4或第5实施例进行变形的情况下，在变换表67中输入频率分量比， 图18中的变换表67的函数的横轴成为频率分量比。在对第3实施例进行变形的情况下， 在变换表67中输入水平频率分量比或垂直频率分量比，图18中的变换表67的函数的横轴 成为水平频率分量比或垂直频率分量比。对脸部检测处理部70进行的脸部检测处理进行说明。在图30中，在脸部检测处理 部70中输入由Y、U以及V信号构成的输入图像的图像信号。脸部检测处理部70根据输入 图像的图像信号，从输入图像中检测出人物脸部，并提取包括检测出的脸部的脸部区域。脸 部区域和上述脸部图像区域是指相同的区域。作为检测出图像中所包含的脸部的方法有各 种各样，脸部检测处理部70可采用任意的方法。例如，即可以如JP特开2000-105819号公 报中所记载的方法那样，通过从输入图像中提取皮肤颜色区域来检测出脸部(脸部区域)； 也可以使用JP特开2006-211139号公报或JP特开2006-72770号公报中记载的方法来检 测出脸部(脸部区域)。典型地，例如，对在输入图像内设定的注目区域的图像和具有规定的图像尺寸的 基准脸部图像进行对比，判定两图像的类似程度，根据该类似程度来检测出注目区域中是 否包括脸部(注目区域是否是脸部区域)。在输入图像中，注目区域被一个像素一个像素地 在左右方向或上下方向上移动。并且，对移动后的注目区域的图像和基准脸部图像进行对比，再次判定两图像的类似程度，进行同样的检测。如上所述，例如，一边从输入图像的左上 到右下方向一个像素一个像素地移动，一边更新设定注目区域。另外，以一定比例缩小输入 图像，对于缩小后的图像进行同样的脸部检测处理。通过反复进行这种处理能从输入图像 中检测出任意大小的脸部。这种脸部检测方法详细记载于JP特开2007-265390号公报中。在第8实施例中，虽然对着眼于人物的脸部图像的动作例进行了说明，但不局限 于人物的脸部图像，对动物的脸部图像也能实现与上述相同的动作。(第9实施例)对第9实施例进行说明。在与第1实施例对应的图5、与第2实施例对应的图10、 与第3实施例对应的图12、与第4实施例对应的图13以及与第5实施例对应的图15中，扩 展处理部45不仅对变换表46，也可以对模糊处理部47输出校正边缘差分比。在这种情况 下，模糊处理部47对具有规定值以上的值的校正边缘差分比的个数进行计数。模糊处理部 47在相对于输入图像的所有像素数的计数值的比例为规定比例以上的情况下，可以在将根 据变换表46的输出的模糊程度变成更大之后实施模糊处理。相反，在相对于输入图像的所 有像素数的计数值的比例小于规定比例的情况下，也可以在将根据变换表46的输出的模 糊程度变得更小之后、或将该模糊程度变成0之后实施模糊处理。(第10实施例)对第10实施例进行说明。在与第6实施例对应的图17中，扩展处理部45不仅对 变换表67，也可以对模糊处理部66输出校正边缘差分比。在这种情况下，模糊处理部66对 具有规定值以上的值的校正边缘差分比的个数进行计数。模糊处理部66在相对于输入图 像的所有像素数的计数值的比例为规定比例以上的情况下，能在将模糊程度变大之后实施 模糊处理。相反，在不到规定比例的情况下，能实施将模糊程度变小、或将模糊程度设为0 的模糊处理。根据第9实施例以及第10实施例，关于具有规定值以上的值的校正边缘差分比的 个数较多的输入图像、即焦点已对准的被摄体较大的输入图像，能获得焦点未对准的背景 图像更模糊的图像作为输出图像。另外，关于具有规定值以上的值的校正边缘差分比的个 数较少的输入图像、即焦点已对准的被摄体较小的输入图像，能获得接近于原输入图像的 图像作为输出图像。如上所述，在本申请发明中，关于作为多个小区域的集合体的输入图像，能针对每 个小区域导出聚焦程度，对每个小区域根据聚焦程度来降低小区域的图像信号。具体而言， 例如，可以聚焦程度越小越降低对应的图像信号的高频分量，或者，也可以聚焦程度越小越 降低作为亮度信号的Y信号或越降低也称为色度信号的U以及V信号。某一小区域的聚焦 程度可认为是表示该小区域的图像信号与焦点已对准的小区域的图像信号相比偏离到什 么程度。另外，如上所述，各自的小区域可认为是由1个或多个像素形成。通过这种处理，例如，在使输入图像100的背景(包括建筑物10 模糊的同时，人 物101得到强调，其结果是，摄像装置1的摄影者能获得突出了人物101的具有“模糊感”的 强调图像。另外，例如，可按如下方式考虑。在图30中，包括脸部检测处理部(脸部区域检测 部)70以及模糊处理部71的部位发挥从作为第1摄影图像的输入图像生成作为第2摄影 图像的模糊图像的第2摄影图像生成部的功能。通过摄影获取输入图像的摄像部可以认为包括镜头部3以及图像传感器2。作为导出输入图像的各小区域中的聚焦程度的聚焦程度 导出部的构成，上面虽然描述了各种构成，但是，例如在图30的例中，可以认为提取部42、 提取部43以及计算部44包括在聚焦程度导出部的构成要素中。另外，例如在上述的各实 施例中，也可以认为向扩展处理部45输入的信息(例如，扩展处理前的边缘差分比或频率 分量比)或从扩展处理部45输出的信息(例如，扩展处理后的边缘差分比或频率分量比) 表示聚焦程度。加权加法运算处理部68是通过将输入图像的图像信号与模糊图像的图像 信号混合而生成输出图像的图像信号的合成处理部的一种。该混合式输入图像中的小区域 的图像信号与模糊图像中的对应的小区域的图像信号的混合，是针对每个输入图像的小区 域进行的，并且是按照对应的聚焦程度进行的。即，合成处理部针对每个小区域执行根据聚 焦程度将输入图像的图像信号与模糊图像的图像信号混合的合成处理，由此，能在每个小 区域生成输出图像的图像信号。输出图像能记录在作为记录部的外部存储器22中。
权利要求
1.一种图像处理装置，具有第2摄影图像生成部，其通过对由多个小区域构成的第1摄影图像实施模糊处理，而生 成由多个第2小区域构成的第2摄影图像；聚焦度导出部，其导出上述第1摄影图像的各小区域的聚焦程度；和 合成处理部，其将与上述第1摄影图像的各小区域对应的上述第2摄影图像的各第2 小区域与上述第1摄影图像的各小区域进行合成，其中，由上述聚焦度导出部导出的各小区域的聚焦程度越小，上述合成处理部越增大 上述合成中的上述第2摄影图像的混合比例， 上述第2摄影图像生成部具有脸部区域检测部，其从上述第1摄影图像中检测脸部图像区域；和 模糊处理部，其根据检测出的脸部图像区域，通过对上述第1摄影图像实施上述模糊 处理，而生成上述第2摄影图像。
2.根据权利要求1所述的图像处理装置，其特征为， 上述模糊处理部，使在上述检测出的脸部图像区域相对于上述第1摄影图像区域的比例为规定比例以 上的情况下与在小于上述规定比例的情况下，上述模糊处理中的模糊程度不同，使在上述检测出的脸部图像区域相对于上述第1摄影图像区域的比例为上述规定比 例以上的情况下的模糊程度大于在上述检测出的脸部图像区域相对于上述第1摄影图像 区域的比例小于上述规定比例的情况下的模糊程度。
3.根据权利要求2所述的图像处理装置，其特征为，在上述检测出的脸部图像区域相对于上述第1摄影图像区域的比例小于上述规定比 例的情况下的模糊程度包括0。
4.根据权利要求1所述的图像处理装置，其特征为，上述聚焦度导出部根据上述各小区域中的亮度信号的变化模式来导出上述各小区域 的聚焦程度。
5.根据权利要求1所述的图像处理装置，其特征为，上述聚焦度导出部根据上述各小区域中的亮度信号所包含的频率分量来导出上述各 小区域的聚焦程度。
6.一种摄像装置，具有通过摄影获取由多个小区域构成的第1摄影图像的摄影部；权利要求1所述的图像处理装置；和记录由上述图像处理装置而生成的输出图像的记录部。
全文摘要
本发明提供一种图像处理装置以及摄像装置。图像处理装置具有第2摄影图像生成部，其通过对由多个小区域构成的第1摄影图像实施模糊处理，而生成第2摄影图像；和聚焦度导出部，其导出各小区域的聚焦程度；和合成处理部，其将与上述第1摄影图像的各小区域对应的上述第2摄影图像的各第2小区域与上述第1摄影图像的各小区域进行合成。通过上述聚焦度导出部导出的各小区域的聚焦程度越小，上述合成处理部越增大上述合成中的上述第2摄影图像的混合比例。上述第2摄影图像生成部具有脸部区域检测部，其从上述第1摄影图像中检测出脸部图像区域；和模糊处理部，其根据检测出的脸部图像区域，通过对上述第1摄影图像实施上述模糊处理，而生成上述第2摄影图像。
文档编号G06K9/00GK102104728SQ20101059800
公开日2011年6月22日 申请日期2010年12月15日 优先权日2009年12月17日
发明者小岛和浩, 畑中晴雄 申请人:三洋电机株式会社