图像拾取设备及其控制方法

专利名称：图像拾取设备及其控制方法
技术领域：
本发明涉及如提供有模糊处理功能的数字静态相机的图像拾取设备以及 用于控制该图像拾取设备的方法。
背景技术：
用于紧凑(compact)数字相机中的图像拾取元件小于用于单镜头反射相 机以及银盐胶片中的图像拾取元件。因此，为了拍摄具有相同视角的图像， 要求拍摄光学系统的焦距更短。即使拍摄光学系统的光圈数(F-number)被 设置相同，当焦距小时，景深也变得更大。尽管当光圈数可以与焦距的缩短 成比例地减少时景深可能变浅，还是将要求拍摄光学系统的光圈(aperture) 大，这导致拍摄光学系统的大小和成本的增加。因此，相比较而言，当利用 这种紧凑数字相机拍摄时，聚焦范围更宽。在这方面，当利用相同亮度拍摄 图像时，这可以被认为是紧凑数字相机的优点。然而，当拍摄如人像的图像 时，对该人像来说背景的模糊程度是重要的，这也可以被认为是缺点，因为 图像的背景不期望地清楚。为了解决上述问题，经由图像处理来模糊图像背 景的相机已经在日本申请公开号2000-207549、日本申请公开号2000-259823、 曰本申请公开号2005-175956和日本申请公开号Hei9-318870中提出。
已知的是，对应图像内的各个区域的距离信息是不可缺少的，以便适当 地确定以适当的模糊量对其执行模糊处理的区域。然而，在前述提议中，距 离的基本信息的获取在描述中不清楚。更不利地，由两种系统的图像拾取元 件组成的光学系统的采用已经导致光学系统增加的大小和成本的问题。此外， 在前述提议中，因为没有考虑在用户的拍摄前确定适当的模糊量，该模糊量 等于意图的调节量，所以表示为模糊效果增加的实际微调实际上还不可行。

发明内容
已经考虑到现有技术至今未解决的问题来实现了本发明，并且本发明的 目的是提供一种用作相机的图像拾取设备以及用于控制该图像拾取设备的方法，该图像拾取设备能够执行适当的模糊处理，同时采用用于普通紧凑数字
相机中的CCDAF而不是使用特殊硬件。
为了实现上面的目的，该图像拾取设备配置如下。该图像拾取设备包括 图像拾取元件，用于拍摄被摄体；成像镜头，用于将被摄体图像形成在图像 拾取元件上；移动部分，用于移动镜头以便执行焦距调节；以及确定图像内 每个预定区域的聚焦程度的部分，其中所述图像拾取设备提供有镜头位置确 定部分，其获得各个镜头移动部分的每个聚焦程度，以便确定具有最大聚焦 程度的镜头位置；距离确定部分，其确定从镜头位置到对应于图像内的各个 预定区域的被摄体的距离；图像区域确定部分，其确定被摄体的对焦 (in-focus)图像区域；以及图像处理部分，其基于所述距离对超过被摄体的 对焦图像区域的图像执行图像处理。


图1是示出根据本发明实施例的图像拾取设备的结构的方块图;
图2是根据示例1的图像的示意性图3是示例1的操作流程；
图4是示例2的操作流程；
图5是根据示例3的图像的示意性图6是示例3的操作流程；以及
图7是示例4的操作流程。
具体实施方式
实施例1
以下将参照附图详细描述本发明的各优选实施例。图i图示数字静态相 机的示意性结构和连接设备的配置。在图1中，参考标记01表示数字静态相 机；参考标记02表示包括CPU、 NAND闪存、SDRAM、定时器等的系统控 制部分，其提供来执行对整个数字静态相机Ol的控制；以及参考标记03表 示包括光学系统组件(镜头和镜头驱动马达)、CCD、 CCD驱动电路、A/D 转换器等的图像拾取部分。
参考标记04表示包括用于处理图像的DSP (数字信号处理器)、RAM等 的图像处理部分，其提供来执行图像的压缩和扩展。图像处理部分执行图像
拾取部分03的CCD驱动定时、用于控制镜头驱动马达的缩放、聚焦以及曝 光调节等，伴随地对由图像拾取部分03获得的图像执行各种图像处理。参考 标记05表示显示控制部分，用于执行信号处理以便将在图像处理部分04中 处理的处理后的图像信号显示到LCD。显示控制部分05包括D/A转换器、 屏上显示控制器等，其提供来将为用户接口生成的各种图形图像显示到LCD。
参考标记06表示用于显示图像的LCD，其提供来显示用于用户接口的 图形图像。参考标记07表示包括存储卡控制器等的记录介质接口部分，其提 供来连接记录介质。参考标记08表示包括闪存等的记录介质，其提供来存储 与压缩图像信号和图像相关联的各种信息。记录介质08可附接到数字静态相 机01并且可/人其拆卸。
参考标记09表示包括子CPU等的硬键接口部分。该硬键接口部分09提 供来检测如键(未显示)和转盘(未显示)的用户接口的状态，并且对主CPU 执行主功率控制。参考标记IO表示包括通信控制器的通信接口部分，其提供 来经由连接到USB来执行数据通信。参考标记11表示PC,其提供来执行对 数字静态相机Ol的各种设置，并且经由USB连接到数字静态相机Ol以传输 和显示来自数字静态相机Ol的图像。
首先，传统的启动操作将图示如下。当用户按下电源按钮(未显示)时， 硬键接口部分09开始给主CPU供电。系统控制部分02中的主CPU首先启 动来自NAND闪存的引导部分的访问(程序的执行)，并经由引导程序将程 序/数据传输到SDRAM。当到SDRAM的传输完成时，程序的执行指针(程 序计数器)被移动到SDRAM上的传输程序，此后由SDRAM上的程序开始 启动处理。
启动处理包括OS (操作系统)的初始化、镜头镜筒的伸展以及记录介质 的初始化等。通过经由图像处理部分04以预定间隔(2ms)给出脉冲信号到 图像拾取部分03的镜头驱动马达，执行镜头镜筒的伸展。关于记录介质的初 始化，在经由记录介质接口部分07提供电力和时钟到记录介质08后，发出 初始化命令到记录介质08。记录介质的实际初始化处理在记录介质08内执 行。为了检测记录介质08的实际初始化处理的完成，系统控制部分02以10ms 的间隔轮询记录介质08的状态。
然后，在拍摄时的操作将图示如下。在拍摄之前，用户通过操作各种键 (未显示)和转盘(未显示)来确定拍摄模式(高图像质量模式、低图像质
量模式等)。用户的操作内容经由硬键接口部分09在系统控制部分02中确定。 系统控制部分02响应于用户的操作生成向导图形到显示控制部分05，由此 促进用户的以下操作。当拍摄模式被确定时，系统控制部分02设置对应于拍 摄模式的图形处理部分04的处理参数。
或者，用户通过操作缩放杆(未显示)来确定视角(合成)。用户的操作 内容经由石更^t接口部分09在系统控制部分02中确定。系统控制部分02响应 于用户操作，控制图像拾取部分03并且驱动其镜头。在来自图像处理部分 04的控制下并且在实际拍摄前，图像拾取部分03启动拍摄操作以便显示监 视图像。
拍摄的数据被连续地传送到图像处理部分04,并且在图像处理部分04 中执行如颜色空间转换、伽玛补偿、白平衡调节等的处理，此后图像数据被 传送到显示控制部分05。显示控制部分05对图像数据执行信号处理并且将 处理后的数据显示到LCD 06，以便呈现拍摄状态给用户。当释放按钮(未显 示)被按下时，类似于模式设置，用户的操作内容经由硬键接口部分09在系 统控制部分02中确定。
在来自图像处理部分04的控制下，图像拾取部分03在执行焦距调节后 将拍摄的图像传输到图像处理部分04。图像处理部分04执行对应于拍摄模 式的图像处理和压缩处理。在压缩的图像数据由系统控制部分02读取并且报 头信息被另外增加后，转换后的数据经由记录介质接口部分07被写到记录介 质08。连续的拍摄操作如上所述完成。
示例1
然后，将图示当基于亮度的变化获取距离信息时的本发明的第 一示例。 在图3中显示了操作流程，其中图示了在监视期间的操作。当监视器操作开 始时，系统控制部分02设置以下描述的模糊量参数为初始值(=5)(步骤 01-001 )。系统控制部分02控制图像处理部分04和图像拾取部分03,并且执 行CCDAF的扫描操作(步骤01-002 )。然后，系统控制部分02对每个图像 的每个位置执行距离确定(步骤01-003 )。
如图2(A)所示，参考标记IOO表示监视图像的视角以及参考标记101 表示各AF评估值区域之一，该AF评估值区域是在监视图像的视角范围内均 匀分割的小的区域。能够通过CCDAF获得每个小的区域的AF评估值(小的 区域内的图像的对比度的积分值)。系统控制部分02基于预定算法分析与通
过CCDAF扫描获得的每个区域的每个镜头位置相对应的AF评估值，并且确 定镜头相对于峰值AF评估值的驱动位置。此外，对于每个区域，系统控制 部分02将与当前缩放位置偏离的镜头的驱动位置转换为距离信息。
已知的是，AF评估值的技术定义已经在日本申请公开号2000-152065的 第0016段中说明。更具体地，通过对于区域内的每个像素在水平方向上执行 HPF计算、并且通过相加获得的结果获得AF评估值。例如，k i = {-1， -2， 6, -2， -l)能够被用于确定HPF的系数。具体地，"k0"是通过乘以位于感兴趣的像 素的水平方向上的坐标-2的像素获得的系数；"kl"是通过乘以位于感兴趣 的像素的水平方向上的坐标-1的像素获得的系数；"k3"是通过乘以感兴趣 的像素获得的系数；"k4"是通过乘以位于感兴趣的像素的水平方向上的坐标 十l的像素获得的系数；以及"k5"是通过乘以位于感兴趣的像素的水平方向 上的坐标+2的像素获得的系数。
能够根据高斯成像等式l/a+l/b= 1/f从AF评估值获取距离信息，从该等 式能够获得公式"a = bf/(b-f)"。这里，"a"是镜头到被摄体距离，即，要获 取的距离信息，"b"是镜头到成像元件距离，以及"f，是镜头的焦距。镜头 的焦距f能够从在拍摄时的缩放位置唯一地获得。镜头到成像元件距离b能 够从聚焦镜头的驱动位置唯一地获得，该聚焦镜头从AF评估值的峰值确定。 视角100的整个范围内的每个小的区域(如AF评估值区域101 )的各自的距 离信息可如上所述获得。
此外，如图2(A)所示，参考标记102表示由AF设置为执行聚焦的 AF区域。系统控制部分02确定图像中心部分的各AF评估区域中具有最接 近度的区域作为AF区域(见步骤01-004)。此外，具有与AF区域相同距离 的块被确定为主被摄体块(见步骤01-005 )。如图2(B)所示，参考标记103 表示主被摄体块(主被摄体块103包括AF区域102 )。
此时，系统控制部分02计算并存储对应于主被摄体块103的位置的图像 数据的平均亮度(见步骤01-006)。此外，系统控制部分02基于获得的关于 主被摄体块103和拍摄的图像的信息确定主被摄体区域(见步骤01-007 )。与 传统图像处理(轮廓提取)相比，该处理确定包括主^皮摄体块103的任意形 状的区域。
如图2 (C)所示，参考标记104表示主被摄体区域。基于关于主被摄体 区域104的信息，图像处理部分04顺序地执行主被摄体图像的提取处理、背
景图像的模糊处理以及合成处理(见步骤01-008-010)。如图2 (D)所示， 参考标记105表示拍摄的图像；参考标记106表示主净皮t聂体；参考标记107 表示提取的主被摄体图像；参考标记108表示背景图像；参考标记109表示 模糊的背景图像；以及参考标记IIO表示合成图像。
在主被摄体的提取处理中(步骤01-008 ),通过沿着主被摄体区域104的 轮廓将图像从其分离来提取主被摄体。因此，拍摄的图像105被分离为主被 摄体图像107和背景图像108。在背景图像的模糊处理中(步骤01-009),基 于模糊量参数对背景图像108执行模糊处理，由此生成模糊的背景图像109。 该处理量以由模糊量参数指定的大小(在5的情况下为5x5)的平滑滤波处 理。
在平滑滤波处理中，对输入图像(In( x, y))计算平滑滤波器(k( ix, iy)), 由此获得输出图像(Out ( x, y))。 公式1可以表示如下。
<formula>formula see original document page 9</formula>这里，"In"是输入图像；"Out"是输出图像；"k"是平滑滤波器；以及 "fs，，是平滑滤波器大小(>=1)。在该实施例中，k(ix，iy)-l; ix: 0-fs陽l; 以及iy: 0~fs-l。依赖于用户的操作，模糊量参数可变，由此可以控制模糊 量。前述平滑滤波器的大小可以通过该参数来改变。在^^式1中，"fs，，等效 于模糊参数，并且随着用户在以下所示的步骤01-015中的操作，"fs，，的值每 次改变1。
输入图像(In (x, y))的"x"和'y，表示感兴趣的像素的坐标值(水 平坐标为x以及垂直坐标为y)。平滑滤波器(k (ix， iy))的"ix"和"iy" 表示平滑滤波器的系数的位置("ix"表示水平方向以及"iy，，表示垂直方向)。 根据公式l,感兴趣的像素的值能够由周围像素(其一侧大小为"fs"的正方 形)的平均值替代。当"fs"增加时，平均区域的大小相应地增加。因此， 实现了高模糊效果。然而，当fs=l时，因为感兴趣的像素的值变为只有感 兴趣的像素的平均值，所以感兴趣的像素的值保持不变。因此，在这种情况 下没有实现模糊效果。
在合成处理中(步骤01-010)，主被摄体图像107与模糊的背景图像109 重叠以合成两者，由此生成合成图像110。生成的合成图像经由显示控制部
分05显示到LCD06 (步骤01-011)。如上所述完成了一帧监视图像的处理。 此时，系统控制部分02计算对应于主被摄体块103的位置的图像数据的平均 亮度(见步骤01-012),用于与在步骤01-006中计算并存储的值比较。当存 在超过指定量的差时，系统控制部分02再次切换到CCDAF的扫描操作(见 步骤01-013)。
当执行改变模糊量的操作时，模糊量参数对应于操作而改变(见步骤
01- 014,015)，由此重复执行上面的操作直到监视完成(见步骤01-016)。对 于每一帧，从步骤01-007重复执行监视图像的处理。在该实施例中，尽管经 由平均亮度检测到主被摄体图像的改变，但是主被摄体图像的改变也可以经 由亮度直方图或经由AWB控制中采用的评估值(R积分值，B积分值)检测。
示例2
然后，将图示当基于模式的变化获得距离信息时的另一示例。图4中显 示了操作流程，其中从步骤02-001到步骤02-005执行的处理与步骤01中的 那些相同。当主被摄体块的确定完成时，系统控制部分02将对应于主被摄体 块103的位置的图像数据复制到系统控制部分02内的工作存储器(见步骤
02- 006)。从步骤02-007到步骤02-011执行的处理与步骤01中的那些相同。
当显示合成图像时，系统控制部分02将对应于主被才聂体块103的位置的 图像数据与在步骤02-006复制到工作存储器的数据比较。当存在超过指定量 的差时，系统控制部分02再次切换到CCDAF的扫描操作(见步骤02-013 )。
关于步骤01-009,作为示例，背景图像108根据模糊量参数被唯一地模 糊。然而，还可以通过根据背景图像108的每个小的部分的距离将背景图像 108分割为多个小的部分来改变模糊量。在这种情况下，在步骤01-009中， 基于从步骤01-003获得的图像的每个位置的距离，背景图像108可以被分割 为多个小的部分。关于那些具有大的距离的小的部分，在模糊参数增加+l的 情况下执行模糊处理。同时，在拍摄时执行模糊处理的优点是能够拍摄优化 照片并且合成图像具有模糊效果，因为模糊效果可以在拍摄前经由直达 (through)图l象净皮确i人。
关于步骤01-009的模糊处理，基于从步骤01-003获得的图像的每个位置 的距离，背景图像108可以被进一步分割为多个小的部分。在模糊参数对应 于每个小的部分的距离确定后，执行模糊处理。模糊量参数"fs"可以由以 下公式确定。
fs = Kf|(a，-a)|(a， a)(在小数点后进位舍入(round-up),其中"a，"是直 到对其执行模糊处理的背景的距离，"a"是直到对焦被摄体的距离，"f，是 焦距以及"K"是由成像元件或光圈确定的系数)(例如，1.2E3)。
实施例2
以下将描述本发明的本实施例。图1图示数字静态相机的示意性结构和 连接设备的配置。在图1中，参考标记01表示数字静态相机；参考标记02 表示包括CPU、 NAND闪存、SDRAM、定时器等的系统控制部分，其提供 来执行对整个数字静态相机01的控制；以及参考标记03表示包括光学系统 组件(镜头和镜头驱动马达)、CCD、 CCD驱动电路、A/D转换器等的图像 拾取部分。
参考标记04表示包括用于处理图像的DSP (数字信号处理器)、RAM等 的图像处理部分，其提供来执行图像的压缩和扩展。图l象处理部分执行图像 拾取部分03的CCD驱动定时、用于控制镜头驱动马达的缩放、聚焦以及曝 光调节等，伴随地对由图像拾取部分03获得的图像执行各种图像处理。参考 标记05表示显示控制部分，用于执行信号处理以便将在图像处理部分04中 处理的处理后的图像信号显示到LCD。显示控制部分05包括D/A转换器、 屏上显示控制器等，其提供来将为用户接口生成的各种图形图像显示到LCD。
参考标记06表示用于显示图像的LCD，其提供来显示用于用户接口的 图形图像。参考标记07表示包括存储卡控制器等的记录介质接口部分，其提 供来连接记录介质。参考标记08表示包括闪存等的记录介质，其提供来存储 与压缩的图像信号和图像相关联的各种信息。记录介质08可附接到数字静态 相机01并且可从其拆卸。
参考标记09表示包括子CPU等的硬键接口部分。该硬键接口部分09提 供来一企测如4定(未显示)和转盘(未显示)的用户接口的状态，并且对主CPU 执行主功率控制。参考标记IO表示包括通信控制器的通信接口部分，其提供 来经由连接到USB执行数据通信。参考标记11表示PC，其提供来执行对数 字静态相机Ol的各种设置，并且经由USB连接到数字静态相机Ol以传输和 播放来自数字静态相机Ol的图像。
首先，传统的启动操作将图示如下。当用户按下电源按钮(未显示)时， 硬键接口部分09开始给主CPU供电。系统控制部分02中的主CPU首先启 动来自NAND闪存的引导部分的访问(程序的执行)，并经由引导程序将程
序/数据传输到SDRAM。当到SDRAM的传输完成时，程序的执行指针(程 序计数器)被移动到SDRAM上的传输程序，此后由SDRAM上的程序开始 启动处理。
启动处理包括OS (操作系统)的初始化、镜头镜筒的伸展以及记录介质 的初始化等。通过经由图像处理部分04以预定间隔(2ms)给出脉冲信号到 图像拾取部分03的镜头驱动马达，执行镜头镜筒的伸展。关于记录介质的初 始化，在经由记录介质接口部分07提供电力和时钟到记录介质08后，发出 初始化命令到记录介质08。记录介质的实际初始化处理在记录介质08内执 行。为了检测记录介质08的实际初始化处理的完成，系统控制部分02以10ms 的间隔轮询记录介质08的状态。
然后，在拍摄时的操作将图示如下。用户通过操作转盘来确定拍摄模式 (高图像质量模式、低图像质量模式等)。用户的操作内容经由硬键接口部分 09在系统控制部分02中确定。系统控制部分02响应于用户的操作生成向导 图形到显示控制部分05,由此促进用户的以下操作。当拍摄模式被确定时， 系统控制部分02设置对应于拍摄模式的图形处理部分04的处理参数。
或者，用户通过操作缩放杆(未显示)来确定视角(合成)。用户的操作 内容经由硬键接口部分09在系统控制部分02中确定。系统控制部分02响应 于用户操作，控制图像拾取部分03并且驱动其镜头。在来自图像处理部分 04的控制下并且在实际拍摄前，图像拾取部分03启动拍摄操作以便显示监 视图像。同时，图像处理部分04开始面部检测的处理。
拍摄的数据被连续地传送到图像处理部分04,并且在图像处理部分04 中执行如颜色空间转换、伽玛补偿、白平衡调节等的处理，此后图像数据被 传送到显示控制部分05。同时，图像处理部分04利用面部检测的结果执行 曝光检测，并且调节图像拾取部分03。显示控制部分05对图像数据执行信 号处理并且将处理后的数据显示到LCD06，以便呈现拍摄状态给用户。当释 放按钮(未显示)被按下时，类似于模式设置，用户的操作内容经由硬键接 口部分09在系统控制部分02中确定。
在来自图像处理部分04的控制下，图像拾取部分03在执行焦距调节后 将拍摄的图像传输到图像处理部分04。图像处理部分04执行对应于拍摄模 式的图像处理和压缩处理。在压缩的图像数据由系统控制部分02读取并且报 头信息被另外增加后，转换后的数据经由记录介质接口部分07被写到记录介
质08。连续的拍摄操作如上所述完成。 示例3
然后，将图示当基于面部检测的结果获取距离信息时的本发明的第三示 例。在图6中显示了操作流程，其中图示了在监视期间的操作。当监视器操
作开始时，系统控制部分02设置以下描述的模糊量参数为初始值(=5)(步 骤03-001 )。如果由图像处理部分04检测到面部(步骤03-002 ),则系统控制 部分02控制图像处理部分04和图像拾取部分03，并且执行CCDAF的扫描 操作(步骤03-003 )。然后，系统控制部分02对每个图像的每个位置执行距 离确定(步骤03-004)。
如图5 (A)所示，参考标记200表示监视图像的视角以及参考标记201 表示各AF评估值区域之一，该AF评估值区域是在监视图像的视角范围内均 匀分割的小的区域。能够通过CCDAF获得每个小的区域的AF评估值(小的 区域内的图像的对比度的积分值)。系统控制部分02基于预定算法分析与通 过CCDAF扫描获得的每个区域的每个镜头位置相对应的AF评估值，并且确 定镜头相对于峰值AF评估值的驱动位置。此外，对于每个区域，系统控制 部分02将与当前缩放位置偏离的镜头的驱动位置转换为距离信息。
已知的是，AF评估值的技术定义已经在日本申请7>开号2000-152065的 第0016段中具体说明。更具体地，通过对于区域内的每个像素在水平方向上 执行HPF计算、并且通过相加获得的结果来获得AF评估值。例如，k i = {-1, -2， 6,-2,-U能够被用于确定HPF的系数。具体地，"kO"是通过乘以位于感 兴趣的像素的水平方向上的坐标-2的像素获得的系数；"kl"是通过乘以位 于感兴趣的像素的水平方向上的坐标-1的像素获得的系数；"k3"是通过乘 以感兴趣的像素获得的系数；"k4"是通过乘以位于感兴趣的像素的水平方向 上的坐标+1的像素获得的系数；以及"k5，，是通过乘以位于感兴趣的像素的 水平方向上的坐标+2的像素获得的系数。
能够根据高斯成像等式l/a+l/b= 1/f从AF评估值获取距离信息，从该等 式能够获得公式"a = bf/(b-f)"。这里，"a"是镜头到被摄体距离，即，要获 取的距离信息，"b"是镜头到成像元件距离，以及"f，是镜头的焦距。镜头 的焦距f能够从在拍摄时的缩放位置唯一地获得。镜头到成像元件距离b能 够从聚焦镜头的驱动位置唯一地获得，该聚焦镜头从AF评估值的峰值确定。 视角200的整个范围内的每个小的区域(如AF评估值区域201 )的各自的距 离信息可如上所述获得。
此外，如图5(A)所示，参考标记202表示面部4企测区域而参考标记 203表示面部检测块，该面部检测块是包括在面部检测区域中的AF评估区域。 系统控制部分02将包括在面部检测区域中的AF评估区域确定为面部检测块 203 (见步骤03-005 )。此外，具有与面部检测块203相同距离的块被确定为 主被摄体块(见步骤03-006)。如图5 (B)所示，参考标记204表示主被摄 体块(主被摄体块204包括面部检测块203 )。
系统控制部分02基于获得的关于主被摄体块204和拍摄的图像的信息确 定主被摄体区域(见步骤03-007)。与传统图像处理(轮廓提取)相比，该处 理确定包括主被摄体块204的任意形状的区域。如图5 (C)所示，参考标记 205表示主被摄体区域。基于关于主被摄体区域205的信息，图像处理部分 04顺序地执行主被摄体图像的提取处理、背景图像的模糊处理以及合成处理 (见步骤03-008 ~ 010)。
如图5(D)所示，参考标记206表示拍摄的图像；参考标记207表示主 被摄体；参考标记208表示提取的主被摄体图像；参考标记209表示背景图 像；参考标记210表示模糊的背景图像；以及参考标记211表示合成图像。 在主被摄体的提取处理中(步骤03-008),通过沿着主被:慑体区域205的轮廓 将图像从其分离来提取主被摄体。因此，拍摄的图像206被分离为主被摄体 图像208和背景图像209。在背景图像的模糊处理中(步骤03-009),基于模 糊量参数对背景图像209执行模糊处理，由此生成模糊的背景图像210。该 处理是以由模糊量参数指定的大小(在5的情况下为5x5)的平滑滤波处理。
在平滑滤波处理中，对输入图像(In( x， y))计算平滑滤波器(k(ix， iy )), 由此获得输出图像(Out (x,y))。
公式2表示如下。
/"1 /、-1 >-1
Out(x，y) = (Z Z k(ix,iy)In(x+ix陽fs/2,y+iy-fs/2)) / Z J] k(ix,iy)
这里，"In"是输入图像；"Out"是输出图像；"k"是平滑滤波器；以及 "fs"是平滑滤波器大小(>=1)。在该实施例中，k(ix,iy) =1; ix: 0~fs-l; 以及iy: 0 fs-l。依赖于用户的操作，模糊量参数可变，由此可以控制模糊 量。前述平滑滤波器的大小可以通过该参数来改变。在^^式2中，"fs"等效 于模糊参数，并且随着用户在以下所示的步骤03-015中的操作，"fs"的值每 次改变1。
输入图像(In (x, y))的"x"和"y"表示感兴趣的像素的坐标值(水 平坐标为x以及垂直坐标为y)。平滑滤波器(k (ix， iy))的"ix"和"iy" 表示平滑滤波器的系数的位置("ix"表示水平方向以及"iy，，表示垂直方向)。 根据公式2，感兴趣的像素的值能够由周围像素(其一侧大小为"fs"的正方 形)的平均值替代。当"fs"增加时，平均区域的大小相应地增加。因此， 实现了高模糊效果。然而，当fs=l时，因为感兴趣的《象素的值变为只有感 兴趣的像素的平均值，所以感兴趣的像素的值保持不变。因此，在这种情况 下没有实现模糊效果。
在合成处理中(步骤03-010)，主被摄体图像208与才莫糊的背景图像210 重叠以合成两者，由此生成合成图像211。生成的合成图像经由显示控制部 分05显示到LCD06 (步骤03-011)。如上所述完成了 一帧监视图像的处理。 此时，如果没有检测到面部，则系统控制部分02切换到面部重新检测备用处 理(见步骤03-012)。或者，当面部的检测位置被检测为与在步骤03-002中 的其检测的位置偏离超过预定范围时，系统控制部分02再次切换到CCDAF 的扫描操作(见步骤03-013)。此外，面部检测在图像处理部分04中并发处 理。
当执行改变模糊量的操作时，模糊量参数根据操作改变(见步骤03-014， 015),由此重复执行上面的操作直到监视完成(见步骤03-016)。对于每一帧， 从步骤03-007重复执行监视图像的处理。
示例4
然后，图示了当基于用户的操作获得距离信息时的示例。图7中显示了 操作流程，其中从步骤04-001到步骤04-012执行的处理与步骤03中的那些 相同。当执行改变模糊量的操作时，模糊量参数根据操作改变(步骤04-013, 014 )。因此，系统控制部分02再次切换到CCDAF的扫描操作。
关于步骤03-009,作为示例，背景图像209根据模糊量参数唯一地模糊。 然而，还可以通过根据背景图像209的每个小的部分的距离将背景图像209 分割为多个小的部分来改变模糊量。在这种情况下，在步骤03-009中，基于 从步骤03-004获得的图像的每个位置的距离，背景图像209可以被分割为多 个小的部分。关于那些具有大的距离的小的部分，在^^糊参数增加+l的情况 下执行模糊处理。同时，在拍摄时执行模糊处理的优点是能够拍摄优化照片
并且合成图像具有模糊效果，因为模糊效果可以在拍摄前经由直达图像被确 认。
关于步骤03-009的模糊处理，基于从步骤03-004获得的图像的每个位置 的距离，背景图像209可以被进一步分割为多个小的部分。在对应于每个小 的部分的距离确定模糊参数后，执行模糊处理。模糊量参数"fs"可以由以 下公式确定。
fs = Kf|(a，-a)|(a，a)(在小数点后进位舍入，其中"a，"是直到对其执行 模糊处理的背景的距离，"a"是直到对焦被摄体的距离，"f，是焦距以及"K" 是由成像元件或光圈确定的系数)(例如，1.2E3)。
根据本发明的 一个实施例，能够实现如下的 一些效果。 (1 )因为经由采用CCDAF而不是使用特殊硬件确定距离，所以另 一方 面，基于距离的图像处理是可执行的；另一方面，模糊处理是可执行的。
(2) 同时，因为基于图像的变化执行了重新测距(re-ranging),所以基 于距离的图像处理和模糊处理是可执行的，而不会削弱用户的方便度。
(3) 因为响应于用户的操作执行重新测距，所以能够获得如(1)中所 述的效果。
(4) 因为响应于用户的操作执行重新测距以改变模糊量，所以能够获得 与(1)中所述相同的效果。
(5) 因为被摄体位于其中的图像区域的确定基于面部检测，所以能够通 过许多拍摄场景安全地确定主被摄体，由此能够适当地执行图像处理。
(6 )因为基于面部检测的结果的变化执行重新测距，所以能够获得与(3 ) 和(5)中所述相同的效果，而不会削弱用户的方便度。
(7)因为距离信息用于确定主被摄体位于其中的图像区域，所以能够以 更高的精度确定图像区域，因此高质量图像处理是可执行的。
尽管已经以示例实施例的形式描述了本发明，但是本发明不限于此。要 意识到的是，本领域技术人员可以对各实施例进行各种改变和修改而不偏离 由权利要求定义的本发明的范围。 相关申请的交叉引用
本申请基于并要求2007年7月18日提交的日本专利申请No. 2007-186553的优先权，在此通过引用并入其全部内容。
权利要求
1.一种图像拾取设备，包括图像拾取元件，用于拍摄被摄体；成像镜头，用于将被摄体图像形成在图像拾取元件上；移动部分，用于移动镜头以便执行焦距调节；以及确定图像内每个预定区域的聚焦程度的部分，其中所述图像拾取设备提供有镜头位置确定部分，其获得各个镜头移动位置的每个聚焦程度，以便确定具有最大聚焦程度的镜头位置；距离确定部分，其确定从镜头位置到对应于图像内的各个预定区域的被摄体的距离；图像区域确定部分，其确定被摄体的特定图像区域；以及图像处理部分，其基于所述距离对超过被摄体的特定图像区域的图像执行图像处理。
2. 如权利要求1所述的图像拾取设备，其中所述图像区域确定部分确定 对其执行聚焦的被:慑体图像区域。
3. 如权利要求1所述的图像拾取设备，其中所述图像区域确定部分确定 主被摄体位于其中的图像区域。
4. 如权利要求1所述的图像拾取设备，其中所述图像处理部分是对图像 执行模糊处理的模糊处理部分。
5. 如权利要求1所述的图像拾取设备，其中所述图像拾取设备包括 显示部分，其显示连续获得的图像；以及基于获得的图^f象的变化经由距离确定部分获得距离信息、并且经由图像 处理部分对连续获得的各个图像执行图像处理的部分。
6. 如权利要求5所述的图像拾取设备，其中所述图像的变化基于被摄体 位于其中的图像的亮度信息的变化。
7. 如权利要求5所述的图像拾取设备，其中所述图像的变化基于被摄体 位于其中的图像的颜色信息的变化。
8. 如权利要求5所述的图像拾取设备，其中所述图像的变化基于被摄体 位于其中的图像的图像模式的变化。
9. 如权利要求1所述的图像拾取设备，其中所述图像拾取设备包括 显示部分，其显示连续获得的图像；以及根据预定操作获得距离信息、并且经由图像处理部分对连续获得的各个 图像执行图像处理的部分。
10. 如权利要求9所述的图像拾取设备，其中所述预定操作是用于改变 模糊量的操作。
11. 如权利要求3所述的图像拾取设备，其中所述主被摄体位于其中的 图像区域的确定基于面部检测。
12. 如权利要求11所述的图像拾取设备，其中所述图像拾取设备包括 显示部分，其显示连续获得的图像；以及基于面部检测结果的变化获得距离信息、并且经由图像处理部分对连续 获得的各个图像执行图像处理的部分。
13. 如权利要求3所述的图像拾取设备，其中距离信息用于确定主被摄 体位于其中的图像区域。
14. 一种控制图像拾取设备的方法，所述图像拾取设备包括通过图像 拾取元件拍摄被摄体；通过成像镜头将被摄体图像形成在图像拾取元件上； 通过移动镜头执行焦距调节；以及确定图像内每个预定区域的聚焦程度，所 述方法包括获得各个镜头移动位置的每个聚焦程度，由此确定具有最大聚焦程度的 镜头位置；确定从镜头位置到对应于图像内的各个预定区域的被摄体的距离； 确定被摄体的特定图像区域；以及基于所述距离对超过被摄体的特定图像区域的图像执行图像处理。
15. 如权利要求14所述的控制图像拾取设备的方法，其中确定图像区域 是确定对其执行聚焦的被摄体的图像区域。
16. 如权利要求14所述的控制图像拾取设备的方法，其中确定图像区域 是确定主被摄体位于其中的图像区域。
17. 如权利要求14所述的控制图像拾取设备的方法，其中所述图像处理 是模糊处理。
18. 如权利要求16所述的控制图像拾取设备的方法，其中确定所述被摄 体位于其中的图像区域基于面部检测。
19. 如权利要求16所述的控制图像拾取设备的方法，其中距离信息用于 确定主^皮摄体位于其中的图像区域。
全文摘要
一种图像拾取设备包括系统控制部分，其将图像中心部分的各AF评估区域中具有最接近度的区域确定为AF区域。此外，具有与AF区域相同距离的块被确定为主被摄体块。然后，系统控制部分计算并存储对应于主被摄体块的位置的图像数据的平均亮度。然后，系统控制部分基于获得的关于主被摄体块和拍摄的图像的信息确定主被摄体区域。此外，基于关于主被摄体区域的信息，顺序地执行主被摄体图像的提取处理、背景图像的模糊处理以及合成处理。
文档编号G06T5/00GK101350889SQ20081013774
公开日2009年1月21日 申请日期2008年7月18日 优先权日2007年7月18日
发明者渡边义一 申请人:株式会社理光