处理、AWB(自动白平衡)处理及 EF(预闪光)处理等下，将运些操作中的至少一者称为图像拍摄准备操作）。运些处理在 系统控制单元208的控制下进行。第二快口开关在快口按钮102的操作完成时、即通过所谓 的全按下操作(进行图像拍摄准备的指令)而开启，并且生成第二快口开关信号SW2。响应于 第二快口开关信号SW2,系统控制单元208开始一系列图像拍摄处理的操作，从自图像拍摄 单元203读取信号，到将图像数据写入至存储介质108。
[0085] 通过进行选择在显示单元101上显示的各种功能图标的操作，针对各场景向操作 单元105的各操作部件适当地分配功能，并且各操作部件充当各种功能按钮中的各按钮。功 能按钮包括例如结束按钮、返回按钮、图像转发按钮、跳转按钮、光圈缩小(narrow-down)按 钮、属性改变按钮等。例如，在按下了菜单按钮的情况下，在显示单元101上，显示能够用W 进行各种设置的菜单画面。用户能够利用在显示单元101上显示的菜单画面、四方向按钮W 及设定（SET)按钮，来直观地进行各种设置。控制器轮106是包括在操作单元105中的、并且 能够被旋转操作的操作部件，并且在指定被选择项目时与方向按钮一同使用。
[0086] 电源控制单元213包括电池检测电路、DC-DC转换器、切换要通电的模块的开关电 路等，并且检测是否附装了电池、电池的种类W及剩余电池寿命。此外，电源控制单元213基 于检测结果W及系统控制单元208的指令来控制DC-DC转换器，并且向包括存储介质108的 各单元供给必要时间段的必要电压。
[0087] 电源单元214包括诸如碱电池及裡电池等的一次电池、诸如NiCd电池、NiMH电池及 Li电池等的二次电池、AC适配器等。
[0088] 接口 215是与诸如存储卡及硬盘等的存储介质108的接口。
[0089] 图3A至图3C是示出在根据本实施例的数字照相机中进行的图像处理的流程的流 程图。通过由系统控制单元208在系统存储器212中展开存储在非易失性存储器211中的程 序，并执行运些程序，来实现运一系列处理。
[0090] 通过由用户开启电源，在步骤S301，系统控制单元208在预定的图像拍摄条件(聚 焦、曝光、白平衡等)下开始图像拍摄。运些图像拍摄条件依赖于装置的规格，诸如恢复并使 用电源关闭之前的值等。
[0091 ] 在步骤S302,系统控制单元208在显示单元101上，显示由图像拍摄单元203获取到 的二维图像。图4是示出在显示单元101上显示的二维图像的示例的图。图4中的二维图像是 在室外拍摄的图像，并且对天空进行了摄影，因此，到最远被摄体的距离是无限远。此时，在 最远被摄体"天空"被对焦的情况下(聚焦距离是无限远），该被摄体的前方景深变为等于所 谓的"超焦距"的1/2。超焦距的值通过下面的式(1)来获得。
[0092] 0-2)/(δ · F) · · ·式（1)
[0093] 在此，f表示透镜的焦距(mm)，F表示透镜的光圈值(f-stop)，并且δ表示容许弥散 圆（permissible circle of confusion)直径(mm)。
[0094] 例如，在透镜的焦距被取为50mm、全开光圈时的透镜的光圈值为2.8、并且容许弥 散圆直径为0.03328mm的情况下，超焦距是大约26.8m，并且前方景深是大约13.4m。在运种 情况下，距离大于约13.4m的区域是"背景区域"。在利用全开光圈使最远被摄体对焦、并且 前方景深中的某一被摄体被对焦的情况下，结果该范围内的所有被摄体均被对焦。因为运 样，通过将运些被摄体的区域显示为一个"背景区域"，能够向用户清楚地表明，该区域中的 被摄体不能被分类为被对焦的区域和未对焦的区域。
[0095] 在步骤S303,在针对诸如强制闪光/闪光禁止/自动等的各种设置、存在预定的用 户操作的情况下，系统控制单元208进行相应的设置。
[0096] 在步骤S304,系统控制单元20如角定是否存在来自用户的改变显示模式的指令。在 存在改变显示模式的指令的情况下，过程进入到步骤S305。另一方面，在不存在改变显示模 式的指令的情况下，过程返回到步骤S302。
[0097] 在步骤S305,系统控制单元208检测拍摄图像中包括的被摄体。作为用于检测拍摄 图像内的被摄体的方法，可W应用诸如在日本特开1997-186931号公报中公开的方法等的 各种方法。图5是示出从图4中所示的二维图像中、分别将人、侧向的汽车、交通标志及建筑 物检测为被摄体的状态的图。在图5中，树丛、邮箱及朝向正面的汽车各被摄体被认为是位 于光圈全开时的超焦距的1/2或更远的距离处，因而连同作为最远被摄体的"天空"一起，被 包括在上述的"背景区域"中。
[0098] 在步骤S306,系统控制单元208获取拍摄的二维图像的距离信息(到从二维图像中 检测到的各被摄体的距离的信息）。在此，距离信息是与二维图像的坐标相关联地记录的、 到二维图像中的各被摄体的距离的信息，并且例如对应于"距离图像(距离图Γ，在该距离 图像中，用灰色浓淡度(shade of gray)来代表坐标的深度的大小(离照相机的距离）。作为 用于获得拍摄图像的距离信息的方法，可W应用诸如在日本特开2001-169308号公报中公 开的方法等的各种方法。图6示出了针对图4中所示的二维图像而生成的距离图像的示例。 在图6中的距离图像中，用根据各距离而浓度不同的灰度级的图像，来表现人、侧向的汽车、 交通标志及建筑物运4个被摄体的区域(用最深的灰色浓淡度来表现距离最近的人，并用最 浅的灰色浓淡度来表现建筑物）。比建筑物远的诸如树丛等的被摄体被包括在如上所述的 背景的一部分中，因此，运些被摄体在此不被视为"被摄体"。
[0099] 在步骤S307中，系统控制单元208基于在步骤S305检测到的被摄体W及在步骤 S306获取到的距离信息，来进行用来提取在下一步骤S308要经历移位处理的被摄体区域的 处理。该被摄体区域提取处理也可W说成是针对各固定距离来分离被摄体区域的处理。例 如，在步骤S305检测到的、但不包括在背景区域中的被摄体之中，将固定距离的范围内（例 如，lm±50cm)的部分提取作为被摄体区域的单位之一。图7是示出从图4中所示的二维图像 中提取出被摄体区域的状态的图，并且，用虚线表示的部分(人、侧向的汽车、交通标志及建 筑物的各区域)代表提取出的各被摄体区域。
[0100] 在步骤S308,系统控制单元208依照在步骤S306获取到的距离信息，进行用来改变 (移位)在步骤S307提取出的各被摄体区域的位置(坐标)的处理，从而生成各被摄体区域在 固定方向上被移位的"移位图像"。例如，在到图7中所示的4个被摄体区域的距离分别对应 于lm、3m、5m及8m的情况下，生成如下的图像，在该图像中，各被摄体区域的坐标在水平方向 上W及在垂直方向上被分别移位预定量(例如，分别移位100像素、33像素、20像素和13像 素）。在"移位图像生成"中的移位量不一定必须与距离成反比例，并且，二者可W成对数比， 或者，预先准备距离和移位量的对应表，并且可W通过应用该表来确定移位量。此时，为了 使各区域的移位方向相同，而使水平方向上的移位量与垂直方向上的移位量之比恒定。作 为另一选择，也可W通过如下所示的处理，来确定水平方向与垂直方向的移位量之比。
[0101] 图8是示出用来确定水平方向与垂直方向的移位量之比的处理的流程的流程图。
[0102] 在步骤S801，系统控制单元208生成W预定比率进行了移位的图像。在紧接在处理 开始之后的阶段中，生成W预定初始值(例如，:1的比率)进行了移位的移位图像。
[0103] 在步骤S802,系统控制单元20如角定在步骤S801获得的移位图像内、是否存在被摄 体区域的重叠。在存在被摄体区域的重叠的情况下，过程进入到步骤S803。另一方面，在不 存在被摄体区域的重叠的情况下，过程进入到步骤S805。
[0104] 在步骤S803,系统控制单元208确定如下的比例是否超过预定阔值(例如，50%)， 所述比例中的一方是在被摄体区域上重叠的另一被摄体区域后面要显示的被摄体区域的 隐藏部分的面积，另一方是在所述另一被摄体区域后面要显示的被摄体区域的面积。在运 种情况下，要在后面显示的被摄体区域的隐藏部分的面积的比例越小，则越能够让用户适 当地掌握被摄体。预定阔值是考虑到运一点而被预先确定的。在隐藏部分的面积的比例超 过阔值的情况下，过程进入到步骤S804。另一方面，在隐藏部分的面积的比例不超过阔值的 情况下，过程进入到步骤S805。
[0105] 在步骤S804,系统控制单元208改变在水平方向与垂直方向上进行移位的比率，并 且过程返回到步骤S801。亦即，改变比率，使得如下的比例变小，所述比例中的一方是在被 摄体区域上重叠的另一被摄体区域后面要显示的被摄体区域的隐藏部分的面积，另一方是 要在后面显示的被摄体区域的面积;然后，生成依照改变后的比率而进行了移位的移位图 像。
[0106] 在步骤S805,系统控制单元20如角定在要在后面显示的被摄体区域的隐藏区域的 比例变为低于阔值的情况下的比率，作为用于显示的正式比率。将依照如上所述确定的比 率的移位量，确定为移位图像生成中的移位量。
[0107] 在移位图像生成处理中，期望在如下的方向上将被摄体区域移位，在所述方向上， 与近距离的被摄体相对应的被摄体区域(第一被摄体区域)看起来低于与远距离的被摄体 相对应的被摄体区域(第二被摄体区域）。运是因为，由此能够产生由用户从前方俯视场景 的、并且适合于用户的感觉的显示。此外，将上述背景区域(在快口的光圈全开的情况下、使 二维图像中的最远距离的被摄体对焦时的前方景深中包括的区域)作为对位置(坐标)进行 移位时的基准。之所W将"背景区域"作为基准来进行移位，是出于W下的原因。本发明的目 的是使用户容易地掌握哪个被摄体被取焦，并且即使在光圈值被改变的情况下，在最远距 离的被摄体对焦的情况下的、在光圈全开时的被摄体深度中包括的区域也被辨识为对焦。 图9是示出对提取出4个被摄体区域的图像(参见图7)进行移位图像生成处理的结果的图， 并且已知依照各被摄体区域的距离，来对该被摄体区域的位置(坐标)进行移位。在图9中的 示例中，为了使对各被摄体区域进行移位的方向相同，而使水平方向与垂直方向的移位量 之比恒定。
[0108] 返回到图3中的流程图的说明。
[0109] 在步骤S309,系统控制单元208对通过步骤S308的移位图像生成处理而生成的"移 位图像"中的各被摄体区域进行剪切处理(斜变形处理），使得水平方向发生倾斜。通过进行 该剪切处理，使得能够产生更适合于用户从斜前方观察场景的感觉的显示。通过预先确定 的剪切角度，来确定在何种程度上应用斜变形。图10是示出对移位图像中的各被摄体区域 (参见图9)进行剪切处理的结果的图。通过该剪切处理，使得用户能够更容易地掌握被摄体 之间的距离间隔。剪切角度可W是预先确定的给定角度，或者，也可W使用户能够任意地指 定剪切角度。
[0110] 在步骤S310,系统控制单元208基于移位方向及剪切角度，来进行叠加(组合)网格 图案的处理。例如，生成包括与移位方向相同方向的线段、w及与剪切(斜变形)方向相同方 向的线段的地面网格图案，并且将该地面网格图案叠加在图像上。图11是示出在经历了剪 切处理的图10中的图像上叠加网格图案的结果的图。由此，使得用户能够更加容易地掌握 被摄体之间的距离间隔。在图11中的示例中，重叠并显示总共两种网格图案:地面网格图案 1101及壁面网格图案1102。由此，使得能够产生更加适合于用户从斜前方观察场景的感觉 的显示。也可W将"背景区域"显示为"壁"，并且不显示与更远距离相对应的网格图案。由 此，使得用户能够直观地掌握景深等的改变的极限（亦即，对于被显示为"壁"的部分，聚焦 距离或景深不能改变）。
[0111] 在步骤S311，系统控制单元208由拍摄图像的图像拍摄条件(焦点、曝光、白平衡 等），来推导前方景深和后方景深。例如，通过利用下面的式(2)及式(3)进行算术运算，分别 推导出前方景深和后方景深。
[0112] 前方景深(111111) = (3~2*8.。)/矿2+1?*8.。）*..式（2)
[0113] 后方景深(mm) = (R~2 · δ · F)/(f ~2-R · δ · F) · · ·式(3)
[0114] 在上述的式（2)及式(3)中，R表示与对焦被摄体(但不是无限远）的距离(mm)，f表 示透镜的焦距(mm)，F表示透镜的光圈值，并且δ表示容许弥散圆直径(mm)。
[0115] 容许弥散圆直径是由图像感测元件的对角线长度推导出的特征值，并且例如对于 具有36mm的宽度、24mm的高度及43.27mm的对角线长度的图像感测元件，使用0.03328mm的 值。
[0116] 在步骤S312,系统控制单元208进行如下的处理:在拍摄图像上，叠加（组合)表示 与对焦被摄体的距离（W下称为"聚焦距离"）、W及表示在步骤S311推导出的前方景深和后 方景深的指标。亦即，在步骤S310叠加的地面网格图案上的、与运些距离相对应的位置，叠 加充当指标的图像。图12是示出在组合有网格图案的图11中的图像上、叠加聚焦距离的指 标W及景深的指标(前方景深的指标和后方景深的指标）的结果的图。在图12中，指标1201 表示人(被摄体P)沿地面网格图案所处的位置在深度方向上的距离（聚焦距离），从而代表 人(被摄体P)对焦。指标1202及1203分别表示沿地面网格图案的前方景深和后方景深，从而 代表侧向的汽车(被摄体C)在景深中（能够辨识出被摄体C在拍摄图像中对焦）。
[0117] 在步骤S313,系统控制单元208在显示单元101上，显示在步骤S312组合了各指标 的拍摄图像。然后，如后所述，通过由用户对组合的指标给出指令并进行操作，能够控制图 像拍摄透镜201、快口202的光圈等，W改变聚焦距离及景深。此时，也可W依照用来移动指 标的用户操作，产生与指标的位置相对应的网格线的突出显示，或者与其他被摄体的区域 的显示不同地，显示与该位置相对应的被摄体的区域。由此，用户能够更清楚地掌握哪个被 摄体被对焦，或者哪个被摄体在景深中。
[0118] 在步骤S314,系统控制单元20如角定是否存在用户在显示单元101上的触摸操作。 在存在用户的触摸操作的情况下，过程进入到步骤S315。另一方面，在不存在用户的触摸操 作的情况下，过程返回到步骤S305。
[0119] 在步骤S315,系统控制单元20如角定用户的触摸操作是否为"在聚焦距离的指标附 近进行触摸着屏然后进行移动"的操作。在用户的触摸操作是"在聚焦距离的指标附近进行 触摸着屏然后进行移动"的操作的情况下，过程进入到步骤S316。另一方面，在用户的触摸 操作是"在聚焦距离的指标附近进行触摸着屏然后进行移动"的操作之外的操作的情况下， 过程进入到步骤S318。
[0120] 在步骤S316,系统控制单元208控制图像拍摄透镜201，使得与用户触摸的位置相 对应的距离的被摄体被对焦，从而调整焦点。
[0121] 在步骤S317,系统控制单元208将表示聚焦距离的指标的显示位置，移动到用户触 摸的位置。
[0122] 在步骤S318,系统控制单元20如角定用户的触摸操作是否为"在景深的指标附近进 行触摸着屏然后进行双指捏合或双指分开"的操作。在用户的触摸操作是"在景深的指标附 近进行触摸着屏然后进行双指捏合或双指分开"的操作的情况下，过程进入到步骤S319。另 一方面，在用户的触摸操作是"在景深的指标附近进行触摸着屏然后进行双指捏合或双指 分开"的操作之外的操作的情况下，过程进入到步骤S321。
[0123] 在步骤S319,系统控制单元208控制图像拍摄透镜201及快口 202,使得分别与用户 的两个手指(接触的手指)相对应的距离之间的被摄体被对焦，从而调整景深。已知在诸如 焦距及容许弥散圆直径等的条件被固定的情况下，景深通过减小光圈而增加。能够通过使 用ND(中性密度)滤波器，或者通过增大或减小图像感测元件的灵敏度，来调整由于光圈值 的改变而导致的光量的增加或减少。
[0124] 在步骤S320,系统控制单元208将表示景深的两个指标的显示位置，分别移动到用 户的两个手指接触的位置。
[0125] 在步骤S321，系统控制单元208进行与用户的触摸操作的内容相对应的处理。例 如，在从拍摄图像中提取出的区域中的任何区域被用户触摸的情况下，系统控制单元208控 制图像拍摄透镜201使得与该区域相对应的距离被对焦，并且将表示聚焦距离的指标的显 示位置移动到相应的位置。
[0126] 在步骤S314