图像处理装置、图像处理方法以及图像处理程序的制作方法

专利名称：图像处理装置、图像处理方法以及图像处理程序的制作方法
技术领域：
本发明涉及一种图像处理装置，并且更具体地，涉及一种根据设定的物体面 (object plane)来执行如模糊等的图像处理的图像处理装置、图像处理方法以及图像处理程序。
背景技术：
在传统的成像装置(摄像装置)如胶片照像机或数字照相机中，通过使用成像透 镜的相机移动(camera movement)进行成像。“相机移动”是指通过打破成像装置与成像透 镜之间的基本关系来改变成像效果的透镜操作(或照相机操作)，所述成像透镜中透镜的 光轴与位于成像画面的中心的胶片面(或成像装置面)相垂直。这样的操作统称为“相机 移动”。相机移动使建筑物等的远景变形(perspective deformation)得到校正，景深(视 场深度)得到控制，并且能够避免照相机的镜面等反射。相机移动可以大致分类如图35所示。相机移动包括两组操作。一种是“位移(displacement)”，包括“移位(shift) ”和 “升/降”。另一种包括“回转(swing)”和“倾斜(tilt)”。前者在保持成像透镜的光轴与胶 片面(或成像装置面)之间的垂直关系的同时，平移透镜面(或胶片面/成像装置面)。换 句话说，光轴与画面垂直的位置远离画面的中心。后者打破成像透镜的光轴与胶片面(或 成像装置面)之间的垂直关系。换句话说，光轴与胶片面(或成像装置面)之间的交叉角 从90°变化。严格意义上讲，只有前者“位移”对应相机移动。然而，一般意义上讲，前者和后者 经常被混淆，并且统称为“相机移动”。于是，在下文中，为方便起见，“移位”、“升/降”、“倾 斜”和“回转”分别称为移位移动、升/降移动、倾斜移动和回转移动。下面将更详细地描述这些内容。“移位移动”是指使向左或向右移动透镜的光轴 (或胶片面/成像装置面)，这用于改善构成或校正歪曲(畸变)。该操作使得无需移动照 相机本身就可以改变水平方向的构成。例如，使用移位移动，可以在向左或向右偏离镜头中 心的位置进行成像，并且获得就像在镜头的中央拍摄似的照片。“升/降移动”是指向上或 向下移动透镜面(或胶片面/成像装置面)，这如同移位移动一样，也用于改善构成或校正 歪曲。升/降移动使得无需伸开升降器或三脚架就能改善垂直方向的构成。当使用通常的 相机抬头向上拍摄高层建筑物时，该建筑物的远处部分在照片中可能变小并成锥形。升/ 降移动可用于拍摄建筑物的远景控制使之显得直立。“倾斜移动”是指使透镜面(或胶片面/成像装置面)相对于透镜的光轴向前或向 后倾斜，这通常用于改变锐聚焦面的位置或校正歪曲。倾斜移动使得甚至在全孔径时也能 够在从近场到远场的宽范围内进行聚焦。“回转移动”是指在与成像透镜的光轴垂直的轴上 回转透镜面(或胶片面/成像装置面)，其效果与上述的倾斜移动的效果类似。例如，通过使用倾斜移动操作物体面使景深看起来更深的原理被称为“沙姆普弗 鲁克原理(Scheimpflug principle)”。以下，将参照图36来简要地描述使用沙姆普弗鲁克原理的成像方法。沙姆普弗鲁克原理声称，通常，从物体面、透镜面和成物体面延伸的三个 面在一条直线处相交。具体地，根据该原理，当成像装置面400和成像透镜401的主平面彼 此倾斜时，被倾斜以与成像装置面400和成像透镜401的主平面在一条棱线处相交的物体 面402将进入锐聚焦状态。在另一目前已知的成像方法中，通过调整相对于成像透镜401 的光轴的倾斜角可以改变物体面。在又一已知的成像方法中，例如，通过使用根据上述方法的相机移动效果，除了通 过操作物体面使场深看起来更深以外，通过调整物体面，城镇和建筑物都被拍摄就像它们
被微型化一样。上述成像方法通过操作光学系统而提供了相机移动效果。另一方面，通过数字处 理提供相机移动效果的成像方法的实例包括使用图像处理通过相机移动(移位移动、升/ 降移动)来进行校正而无需使用特殊透镜的成像装置(例如，参见JP-A-8-163428)，以及基 于手动设置的倾斜角和物体的测距数据将已经给出相机移动效果的图像(例如，从斜下位 置拍摄的白板图像)转换为疑似正面图像的数字照相机(参见JP-A-9-289610)。然而，在JP-A-8-163428中公开的技术用电子学地为数字技术提供类似于相机移 动效果的几何校正(图形校正，geometriccorrection)，但并没有提供相当于使用图像处 理的回转移动和倾斜移动的成像方法。同样，在JP-A-9-289610中公开的技术提供了一种通过将从倾斜方向拍摄的图像 转换为疑似正面图像来成像的方法，但是与JP-A-8-163428中一样，并没有提供相当于使 用图像处理的回转移动和倾斜移动的成像方法。此外，给出与利用可以不用实际的成像装置/焦距进行成像的这样的浅景深和倾 斜的物体面成像相同的效果的图像，以及给出与使用浅景深成像相同的效果的图像目前还 没有实现通过图像处理来获得。

发明内容
鉴于上述，本发明涉及根据设定的物体面来执行如模糊的图像处理。根据本发明的第一个方面的图像处理装置包括物体面设定部，基于与在基于图 像数据的显示图像中通过用户指定的点相对应的距离信息来设定物体面；距离信息转换 部，根据物体面来转换图像数据的距离信息；以及图像处理部，基于通过距离信息转换部转 换的距离信息对图像数据进行图像处理。根据本发明的第二个方面的图像处理方法包括以下步骤基于与在基于图像数据 的显示图像中通过用户指定的点相对应的距离信息来设定物体面；根据该物体面来转换图 像数据的距离信息；以及基于转换的距离信息对图像数据进行图像处理。根据本发明的第三个方面的图像处理程序使计算机执行包括以下步骤的图像处 理方法基于与在基于图像数据的显示图像中通过用户指定的点相对应的距离信息来设定 物体面；根据物体面来转换图像数据的距离信息；以及基于转换的距离信息对图像数据进 行图像处理。因此，根据本发明的第一至第三方面，设置物体面，并根据物体面的设定进行适当 的图像处理。根据本发明，可以提供根据设定的物体面来进行如模糊的图像处理的图像处理装置、图像处理方法以及图像处理程序。


图1是示出了根据本发明的第一实施方式的图像处理装置的基本原理的概念图。图2(a)和(b)是说明物体面的设置的概念图。图3示出了根据本发明的第一实施方式的图像处理装置的构成。图4是详细地描述了通过根据本发明的第一实施方式的图像处理装置执行的以 提供与相机移动效果相同的校正的特征处理的流程图。图5是描述了物体面的临时设置的流程图。图6是描述了物体面的调整的流程图。图7(a)示出了显示拍摄的图像的实例。图7(b)示出了显示深度图(距离信息)的实例。图7(c)示出了将深度图转换为关于距离物体面的距离信息的实例。图7 (d)示出了显示模糊图像的实例。图8是描述了与改变物体面一起进行的距离信息的转换的概念图。图9是描述了获得距离信息的基本原理的概念图。图10(a) (C)是描述了将物体面设定为任意曲面的实例的概念图。图11示出了利用用于显示物体面的窗口进行显示的实例。图12示出了根据本发明的第二实施方式的信息处理装置的构成。图13示出了根据本发明的第三实施方式的图像处理装置的构成。图14(a)和(b)是根据第三实施方式的图像处理装置的透视图。图15是详细地描述了使用根据本发明的第三实施方式的图像处理装置的特征处 理的流程图。图16是详细地描述了与物体面的操作相关的处理的流程图。图17(a)和(b)示出了用于描述物体面的操作的显示例。图18是详细地描述了与图像处理相关的处理的流程图。图19示出了模糊参数与距离信息之间的关系。图20(a) (C)示出了显示与取消相关的图像的实例。图21(a) (C)示出了显示与在本发明的第四实施方式中设定景深相关的图像的 实例。图22(a) (d)示出了显示与在本发明的第五实施方式中设定和完成设定景深相 关的图像的实例。图23(a)和(b)示出了显示与在本发明的第五实施方式中设定物体面相关的图像 的实例。图24示出了显示本发明的第六实施方式中的物体面的倾斜量的实例。图25(a) (c)示出了显示在本发明的第七实施方式中用于固定物体面的水平和 垂直线等的实例。图26(a) (h)示出了显示本发明的第八实施方式中的物体面的实例。图27(a)是示出了子午像面的概念图。
图27(b)是示出了弧矢像面的概念图。图28示出了与深度图相似表示的物体面的形状。图29示出了物体面的形状的概念图。图30(a)和(b)示出了显示与在本发明的第九实施方式中改变物体面的形状相关 的图像的实例。图31(a)和(b)示出了显示与本发明的第十实施方式中设定物体面相关的图像的 实例。图32(a)和(b)示出了显示与本发明的第十实施方式中设定物体面相关的其它图 像的实例。图33(a) (c)示出了显示与本发明的第十实施方式中设定物体面相关的其它图 像的实例。图34(a) (c)示出了显示与本发明的第十实施方式中未设定物体面相关的图像 的实例。图35示出了各种类型的相机移动。图36是说明沙姆普弗鲁克原理的概念图。
具体实施例方式以下将参照附图详细地描述用于实施本发明的最佳模式(在下文中，简称为实施 方式)O(第一实施方式)首先，参照图1所示的概念图来描述根据本发明的第一实施方式的图像处理装置 的基本原理。在该图中，根据第一实施方式的图像处理装置示例性地应用于作为成像装置 的数码照相机，但并不限于此。如图1所示，当通过成像装置1进行成像时，执行预定的图像处理，然后将图像数 据和距离信息(距离数据)存储在内部存储器2中。适当地读出图像数据，并将拍摄的图 像显示在如液晶显示器(IXD)的显示部3上。当查看显示部3上显示的拍摄图像时，用户通过操作触摸面板5指定一个或多个 指定点(期望的点)，并通过操作十字形按键4 (例如，由上、下、左、右按钮组成)来任意设 置物体面的倾斜方向和倾斜角。在该实例中，例如，内部存储器2提供存储功能。例如，触摸面板5提供指定功能。 例如，十字形按键4提供设置功能。在该构造中，控制部(控制器)7根据图像数据基于显示的图像的各区域的距离信 息，以及在显示的图像内由用户指定的指定点的距离信息来设置物体面。然后，控制部7根 据物体面变换与图像数据相关的各点的距离信息。图像处理器6基于转换的距离信息来对 图像数据进行图像处理。因此，在该构造中，控制部7提供物体面设置功能和距离信息转换 功能，而图像处理器6提供图像处理功能。具体地，如图2 (a)所示，当用户在触摸面板5上指定一点时，包含由用户指定的指 定点并且与成像透镜的光轴(在成像器上的入射光的光轴)垂直的平面临时设定为物体面 100，然后通过绕X轴和Y轴旋转物体面100能够设置物体面100的倾斜方向和倾斜角，这两个轴在指定点处相交。指定点是包含在待拍摄的主要物体内的点。例如，当操作十字形按键4的左或右按钮时，物体面100绕Y轴旋转，并且设置与 该旋转相对应的倾斜方向和倾斜角。而且，例如，当操作十字形按键4的上或下按钮时，物 体面100绕X轴旋转，并且设置与该旋转相对应的倾斜方向和倾斜角。作为一个实例，图 2 (b)示出了物体面101，其中十字形按键4的操作使得绕Y轴旋转从而设置Y轴周围的倾 斜方向，并将倾斜角设置为图中所示的Θ。然而，旋转不是必需的。即使没有旋转，也可仅 通过指定一个点来设置物体面100。当完成使用触摸面板5和十字形按键4对物体面100(101)期望的设置后，通过成 像装置内的图像处理器6进行如模糊等的预定的图像处理的图像显示在显示部3 (或未示 出的外部显示器)上。更具体地，在该实例中，基于指定点的坐标来转换关于图像数据的各点的距离信 息，然后基于转换的距离信息对图像数据进行如模糊的图像处理。当通过使物体面绕根据 用户指定的指定点旋转来改变物体面时，基于指定点的坐标和旋转角度来转换关于图像数 据的各点的距离信息。然后基于转换的距离信息对图像数据进行如模糊的图像处理。在该 实例中，例如，图像处理器6提供该图像处理功能。该实施方式中使用的距离信息是所谓的深度图，其是拍摄的图像中的一个点或多 个点的单个距离数据。应当注意，当将图像最精细地分成区域时，各区域对应于像素。在这 种情况下，深度图数据可以指多个像素中的每一个的距离数据。用于获得该距离信息的方法包括T0F(飞行时间)法和散焦测距(cbpth from defocus)法。TOF法是一种基于光从光源发射，通过物体反射，并到达传感器的延迟时间和 光速来确定到物体的距离的方法。这些方法将在后面详细地描述。如上所述，对于根据第一实施方式的图像处理装置，当指定所拍摄的图像中的一 点时，包含指定点并与光轴垂直的平面将被设定为物体面。更具体地，包含指定点和具有与 指定点相同的距离信息的平面被设定为物体面。此外，例如，当使用触摸面板5指定包含在拍摄的图像上的两个以上的点时，从内 部存储器2中读出关于这两个以上的点的距离信息，在控制部7的控制下，单独计算物体面 相对于透镜的光轴的倾斜方向和倾斜角，并且基于该倾斜方向和倾斜角来设置物体面。用 于计算倾斜方向和倾斜角的方法将在后面详细地描述。以这种方式，使用例如触摸面板5来指定与成像透镜的光轴垂直的物体面或不模 糊的一个点，然后基于距离物体面的距离进行如模糊的预定的图像处理。这提供了一种给 出与“用这样的浅景深和倾斜的物体面成像”相同效果的图像，其中所述成像可以不通过调 整实际成像装置、透镜位置等而调整焦距，并且不使用光学相机移动效果(倾斜移动或回 转移动)。因此，当将根据第一实施方式的图像处理装置应用于成像装置时，可以容易地获 得如使用数字单透镜反射式照相机或大像幅照相机的先进技术获得的图像。接着，将参照图3所示的框图来详细地描述采用上述基本原理的根据本发明的第 一实施方式的图像处理装置。在该图中，图像处理装置示例性地应用于如数码照相机的成 像装置，但并不限于此。如图3所示，成像装置12置于成像光学系统11的光轴上，并且连接至图像输出 部13。图像输出部13连接至模数(A/D)转换器14。A/D转换器14连接至存储控制器15和图像处理器24。存储控制器15通信连接至显示存储器16。存储控制器15经由显示处 理器17和数模(D/A)转换器18进一步连接至IXD监视器19。图像处理器24连接至包括 DRAM(动态随机存取存储器)等的帧缓冲器(帧存储器)25。CPU(中央处理单元)21负责控制整个装置，并通过控制总线35通信连接至 R0M(只读存储器)22、RAM(随机存取存储器)23、图像处理器24、OSD (屏上显示)处理器 26、成像条件检测器27、相机驱动控制器28、测距仪29和触摸面板34。此外，CPU 21通过控制总线35和存储器接口(I/F) 30连接至存储卡31，并且通过 控制总线35和输入I/F 32连接至操作输入部33。在该构造中，CPU 2UR0M 22和RAM 23 形成控制器20。在该构造中，例如，RAM 23和存储卡31提供存储功能。例如，操作输入部33提供 指定功能和设定功能。例如，图像处理器24提供图像处理功能。例如，控制器20，更具体地 CPU 21，提供控制功能。在该构造中，CPU 21控制装置的组件(component)并从R0M22中读出图像处理程 序以便根据程序进行处理。ROM 22存储除了图像处理程序以外的各种固定数据。在处理的 过程中，RAM 23用作工作区。来自物体的入射光通过成像光学系统11成像在成像装置12上。相机驱动控制器 28进行如曝光控制、光圈控制、焦点控制、倍率控制和快门控制的各种驱动控制。成像装置 12进行光电转换并向图像输出部13提供模拟图像信号。图像输出部13将模拟图像信号提 供给成像条件检测器27。成像条件检测器27检测包括用于模拟图像信号的白色平衡的成 像条件。图像输出部13进一步将包括亮度信号和色差信号的模拟图像信号发送至A/D转 换器14。A/D转换器14将模拟图像信号转换为数字图像数据，并将图像数据发送至存储 控制器15。存储控制器15将图像数据暂时存储在显示存储器16中。图像数据通过存储 控制器15读出并发送至显示处理器17。显示处理器17将图像数据转换为RGB图像数据。 RGB图像数据通过D/A转换器18转换为用于液晶显示驱动的RGB模拟图像信号并发送至 IXD监视器19。然后，IXD监视器19显示实时图像(live image) 0实时图像称为直接图像 (through image)0在以这种方式显示在IXD监视器19上的实时图像中，当按下作为操作输入部33 的一个元件的快门按钮时，进行成像操作。具体地，在通过控制器20进行的控制下，实时图像的图像数据的一个帧通过图像 处理器24被拍摄到帧缓冲器25中，通过图像处理器24压缩，转换成预定格式的图像文件， 并通过存储器I/F 30记录至存储卡31。同时，关于由包括成像装置的测距仪29测量的到 物体的距离的信息(在下文中，简称为“距离信息”)也以给定的格式存储至存储卡31。当控制器20从存储卡31读出图像数据和距离信息时，压缩的图像数据通过图像 处理器24解压缩，存储在帧缓冲器25中，并同时通过存储控制器15写入显示存储器16，然 后从显示存储器16读出以将图像显示在IXD监视器19上。在该状态下，当用户在触摸面板34上指定期望的点时，CPU 21暂时将拍摄的图像 中的点设定为指定点。在该点处，基于所设定的点临时设置物体面。此外，当操作作为操作 输入部33的一个元件的十字形按键时，CPU 21基于该操作设置物体面的倾斜方向和倾斜角。以这种方式，在存储在帧存储器25中的图像数据中，控制器20的CPU 21使用图像处 理器24来执行图像处理。更具体地，在通过CPU 21进行的控制下，图像处理器24对不在物体面上的模糊像 素进行图像处理，使得可以获得与用胶片照相机拍摄的照片相同的效果，其中焦点在浅景 深处获得并且其他部分是模糊的。对其进行模糊处理的图像数据通过存储控制器15发送 至显示处理器17，以将该处理的图像显示在IXD监视器19上。处理的图像数据通过存储器 I/F 30记录至存储卡31。对于模糊，图像处理器24也可以根据离物体面的距离来控制模糊量。通过该控 制，可以根据物体面与像素之间的距离来逐渐改变模糊量。例如，随着物体面与其他像素之 间的距离增大，增加模糊量可以提供与成像光学系统类似的模糊效果。具体地，这可以提供 使得物体面被聚焦并且模糊量随着离物体面的距离增大而增加(并且图像变得更加模糊) 的效果。在该实例中，模糊量基于物体面与其他像素之间的距离的关系来控制。然而，可以 对包括两个以上的像素的各给定区域进行类似的控制，而不是针对每个像素。接着，下面将参照图4 图6所示的流程图来详细地描述通过根据本发明的第一 实施方式的图像处理装置执行的、以提供与相机移动效果等同的校正的特征处理。下面描述的处理还对应于根据第一实施方式的图像处理方法。从图4所述的处理开始，控制器20的CPU 21进行成像(步骤Si)，生成距离信息 (步骤S2)，并将图像数据和距离信息记录至存储卡31 (步骤S3)。当然，进行成像和生成距 离信息可以以任何顺序或同时进行。记录的目的地并不限于存储卡31。具体地，通过以上步骤，在通过控制器20的CPU 21进行的控制下，图像数据通过 图像处理器24拍摄到帧存储器25中，通过图像处理器24进行压缩，转换为预定格式的图 像文件，并通过存储器I/F 30记录至存储卡31。同时，通过测距仪29测量的距离信息也以 一定的格式记录至存储卡31。在该实例中，通过一个成像装置12进行成像，并通过作为测距仪29的组件的成像 装置(未示出)产生距离信息。然而，代替使用这两个成像装置，对于进行成像和产生距离 信息可以共用一个成像装置12。当然，进行成像和生成距离信息可以并列处理或顺序处理。用于获得距离信息的方法包括TOF法和散焦测距法。“T0F”法是一种通过测量光 从包括在测距仪29内的发光装置发出，被物体反射并返回期间光的传播延迟时间来确定 距离的技术。“散焦测距法”是一种基于分析图像中的模糊量的结果来确定距离的技术。当 使用两个成像装置时，可以通过改变所述成像装置之间的特性、尺寸和光圈条件中的至少 一个来分别优化用于成像的模糊量和用于测距的模糊量。当只使用一个成像装置12时，例 如，可以通过改变成像与测距之间的光圈条件来优化用于成像的模糊量和用于测距的模糊 量。然而，方式并不限于这些。将由此记录的拍摄的图像显示在IXD监视器19上(步骤S4)。显示的一个实例如图7(a)所示。在该实例中，示出了物体O1 04。关于拍摄的 图像的距离信息如图7(b)所示。该图表明暗色调的物体处于近场中，而亮色调的物体处于 远场中。在该实例中，距离信息是所谓的深度图数据，其是拍摄的图像中的一个或多个点的 单个距离数据。可以最大限度地获得各像素的距离信息。然后，将指定的点临时设置在拍摄的图像上(步骤S5)。例如，该子程序的处理的细节如图5的流程图所示。具体地，当用户通过操作触摸面板34指定拍摄的图像上的期望的指定点时(步骤 S21)，CPU 21确认它是不是第一个指定点(步骤S22)。如果CPU 21确认刚才所指定的指 定点是第一个指定点(步骤S22中的“是”)，则CPU 21暂时设置一个包含该指定的第一指 定点并与光轴垂直的面作为第一物体面(步骤S23)，将与第一物体面有关的信息(第一指 定点的坐标)存储在RAM 23中(步骤S27)，并将所指定的第一指定点显示在于LCD监视器 19上显示的拍摄图像上(步骤S28)。然后，CPU 21确认是否用户通过对操作输入部33等进行操作以结束指定点的指 定的请求(步骤S29)。如果CPU 21确认将指定另一个指定点而没有结束(步骤S29中的 “是”)，则该处理回到步骤S21以重复上述步骤。如果CPU 21确认应该结束对指定点的指 定(步骤S29中的“否”)，则该处理结束并返回。另一方面，在步骤S22中，如果CPU 21确认刚才所指定的指定点不是第一指定点 (步骤S22中的“否”)，则CPU 21确认该指定点是否是第二指定点(步骤S24)。如果CPU 21确认刚才所指定的指定点是第二指定点(步骤S24中的“是”)，则CPU 21通过绕X轴和Y轴旋转第一物体面来执行第一物体面的变换，并暂时设置还包含第二指 定点的变换的面作为第二物体面(步骤S25)。然后，CPU 21将关于第二物体面的信息(第 一和第二指定点的坐标、倾斜角和倾斜方向)存储在RAM 23中(步骤S27)，并将所指定的 第一和第二指定点显示在于IXD监视器19上显示的拍摄的图像上(步骤S28)。然而，仅 两个点还不具备暂时设置物体面的足够信息，因为两个以上的面可以包含连接两个点的直 线。然后，CPU 21可以暂时绕Y轴(或X轴)旋转第一物体面并设定包含第二指定点的旋 转面作为第二物体面。然后，再次，CPU 21确认是否用户通过操作触摸面板34等请求指定另一个指定点 (步骤S29)。如果CPU 21确认另一个指定点将被指定(步骤S29中的“是”)，则处理返回 到步骤S21以重复上述步骤。如果CPU 21确认将不指定另一个指定点时(步骤S29中的 “否”)，使处理结束并返回。另一方面，在步骤S24中，如果CPU 21确认刚才所指定的指定点不是第二指定点 (步骤S24中的“否”)，则CPU 21确认该指定点是第三指定点。CPU 21使第二物体面绕X 轴和Y轴旋转，并暂时设置还包含第一至第三指定点的旋转面作为第三物体面(步骤S26)。 此外，CPU 21将关于第三物体面的信息(第一至第三指定点的坐标、倾斜角和倾斜方向)存 储在RAM 23中(步骤S27)，并将如上述所指定的第一至第三指定点显示在于IXD监视器 19上显示的拍摄的图像上(步骤S28)。然后，再次，CPU 21确认是否用户通过操作触摸面板34等请求指定另一个指定点 (步骤S29)。在该实例中，假设可以指定的指定点的数目限制为高达三个，不允许另一指定 点的指定(步骤S29中的“否”)，并且使处理返回到主程序(来自图4的步骤S6)。该高达 三个指定点的限制仅是为了描述实例的方便。然而，用于指定四个或更多个指定点的扩展 当然是可以的。当通过上述处理指定第一至第三指定点时，执行通过这些指定点确定的物体面的 距离信息的转换。例如，当指定了三个指定点时，如图7(c)所示，该距离信息被转换成与三 个指定点的距离信息相关的深度图数据。
回到图4，CPU 21基于设置的物体面(第一至第三物体面中的任一个)的如坐标、 倾斜角和倾斜方向的信息执行图像数据的各点的距离数据的转换，并基于所转换的距离数 据使用图像处理器24来进行图像处理(步骤S6)。具体地，例如，对物体面上的点进行模糊 处理，以便获得给出与“使用这样的浅景深和倾斜的物体面成像”使得该成像可以不使用实 际的成像装置12或焦距进行的效果相同的效果的图像。然后，CPU 21将模糊的图像显示 在IXD监视器19上(步骤S7)。现在，将参照图8描述基于物体面的设定的距离数据的转换。在图8中，X轴的方向垂直于光轴。当指定了第一指定点P1时，包含第一指定点P1 并垂直于光轴的面设定为第一物体面。在该设定下，第一指定点P1成为新坐标系的中心， 其中坐标从(XpYpZ1)变为(0，0，0)。伴随该坐标系转换，例如，第一物体面上的点Pn的坐 标从(xn, Yn, Zn)变为(Xn-X1, Yn-Y1, Zn-Z1)。该转换后的坐标表示为(Xn，，Yn，，Zn，)。当另外指定第二个指定点P2时，将设置包含第一指定点P1和第二指定点P2的第 二物体面。第一指定点P1W然是另一个新坐标系的中心，其中坐标为(0，0，0)。第二物体 面相对于第一物体面的倾斜角为θ。假设倾斜方向是Z轴(正)方向，例如，第一物体面上 的点Pn投影变换为关于离第二物体面的距离的信息，其中ζ坐标变换为τ: -Xn' · tan θ。 这是关于转换后的点Pn的距离信息。这里，为了便于描述，描述了第一物体面上的点Pn的 转换。然而，对各点(例如，逐像素)进行类似的距离信息的转换。这同样适用于绕Y轴旋 转(倾斜角为Θ)的第一物体面。此外，当指定第三指定点并且设置第三物体面(在图8中未示出)时，基于其倾斜 角和倾斜方向另外转换距离信息。假设第三物体面相对于第一物体面沿X轴倾斜了 α倾 斜角，则上述的点Pn的Z坐标为Zn' -Xn' · tan θ-Yn' · tan α。这是关于点Pn相对于第 三物体面的距离信息。这同样适用于绕Y轴旋转(倾斜角为Θ)并另外绕X轴旋转(倾斜 角为α)的第一物体面。具体地，例如，当第一至第三指定点分别指定在物体O1至O3上时，或当指定了第一 指定点，并且通过绕X轴和/或Y轴旋转物体面时，物体O1至O3被设置在物体面上。根据 离物体面的距离来进行模糊处理，如图7(d)所示。换句话说，根据转换的距离信息使图像 数据模糊所述模糊量。更具体地，图像数据被模糊成使得随着离物体面的距离的增大模糊 量增加。因此，在图7(d)所示的实例中，距离物体面最远的物体O4最模糊。应当注意，可 以使图像数据模糊成使得在离物体面预定距离内的点将以同样的模糊量进行模糊。以这样 的方式，景深可以与模糊一起考虑。接着，CPU 21判断用户是否通过操作触摸面板34等请求调整物体面(步骤S8)。 如果CPU 21确认不要执行调整(步骤S8中的“否”)，则如上述模糊的图像的图像数据将记 录至存储卡31 (步骤S12)，并且整个处理结束。在步骤S12中，模糊前的图像数据也可以记 录至存储卡31。建议应当通过增加末位数字(last number)以不同的号码来管理该数据。 另一方面，CPU 21判断将要进行调整(步骤S8中的“是”)，设置物体面相对于透镜的光轴 的倾斜方向和倾斜角。设置的细节如图6的流程图所示。具体地，跳到图6所示的处理，首先，CPU 21确认是否操作了作为操作输入部33的 一个元件的十字形按键(步骤S41)。如果CPU 21确认没有被操作(步骤S41中的“否”)，则使处理结束并返回。另一方面，如果CPU 21确认十字形按键已被操作，则CPU 21判断操作的键是否是 向上键(步骤S42)。如果CPU 21判断操作的键是向上键(步骤S42中的“是”)，则CPU 21 使物体面绕X轴以上部朝后倾斜旋转，并进行到步骤S50 (步骤S43)。另一方面，如果CPU 21判断被操作的键不是向上键(步骤S42中的“否”)，则CPU 21判断被操作的键是否是向下键(步骤S44)。如果CPU 21判断被操作的键是向下键(步 骤S44中的“是”)，则CPU 21使物体面绕X轴以下部朝后倾斜旋转，并进行到步骤S50(步 骤 S45)。另一方面，如果CPU 21判断被操作的键不是向下键(步骤S44中的“否”)，则CPU 21判断被操作的键是否是向右键(步骤S46)。如果CPU 21判断被操作的键是向右键(步 骤S46中的“是”)，则CPU 21使物体面绕Y轴以右部朝后倾斜旋转，并进行到步骤S50(步 骤 S47)。另一方面，如果CPU 21判断被操作的键不是向右键(步骤S46中的“否”)，则CPU 21判断被操作的键是否是向左键(步骤S48)。如果CPU 21判断被操作的键是向左键(步 骤S48中的“是”)，则CPU 21使物体面绕X轴以左部朝后倾斜旋转，并进行到步骤S50(步 骤 S49)。然后，如果CPU 21判断被操作的键不是向左键(步骤S48中的“否”)，则CPU 21 判断该操作错误并进行到步骤S50。然后，CPU 21根据使用作为操作输入部33的一个元件的进入键的操作输入来判 断设置是否结束(步骤S50)。如果CPU 21判断设置没有结束，则处理返回到步骤S41以 重复上述步骤。另一方面，如果CPU 21判断设置结束，则CPU 21将关于所设定的物体面的 设定信息存储在RAM 23中(步骤S51)，并使该处理返回到主程序(从图4的步骤SlO开 始)。图6所示的上述处理允许基于十字形按键(上、下、左、右按键)的操作通过使物 体面绕X轴或Y轴旋转来将物体面调整至期望的倾斜方向和倾斜角。例如，通过十字形按 键的各操作的预定角度进行逐步改变倾斜角的增/减调整也是可能的。这允许为了将所期 望的点存放在物体面上，或为了获得给出与使用对所期望的点使用相机移动效果的浅景深 进行成像的效果相同的效果的图像而进行精确调整。回到图4，CPU 21基于所设定的物体面和距离信息进行图像处理(步骤S10)，并 将进行图像处理的图像显示在IXD监视器19上(步骤Sll)。步骤SlO和Sll中的处理的 细节类似于如已经描述的步骤S6和S7，因此，这里不再重复描述。以这种方式，处理返回到步骤S8，并且CPU 21判断是否再次执行物体面的调整。 如果CPU 21判断再次进行调整，则CPU 21重复从步骤S9的处理。如果CPU 21判断不再 进行该调整(步骤S8中的“否”)，则如上述模糊的图像的图像数据记录至存储卡31(步骤 S12)，并使整个处理结束。现在，作为用于获得距离信息的方法，将参照图9所示的概念图来更详细地描述 TOF法。如图9所示，测距仪29包括发光装置29a、成像透镜29b以及成像装置29c。在该 构造中，具有一定波长的调制光从发光装置29a发出，并照射至物体200。被物体200反射 的光通过成像透镜29b由成像装置29c接收。然后，通过从照射光与反射光之间的相位差判断成像装置20c的各像素的“延迟时间”，基于该延迟时间获得作为距离信息的到物体的 距离d。例如，通过将光速和延迟时间的乘积除以2可以获得该距离信息。通过上述处理， 该实施方式可以最大限度地为各像素提供距离信息。为了获得距离信息，还可以使用相位 差分析。如上所述，根据本发明的第一实施方式，给出与“相机移动(回转、倾斜)”相对应 效果的图像可以通过获得与借助于成像光学系统成像的图像相对应的距离信息，指定拍摄 的图像上的点以设置物体面，并且基于距离信息和关于物体面的信息进行图像处理以简单 的操作获得。当然，在诸如低成本且小型(紧凑)的数码照相机的成像装置中可以实现该功能。具体地，根据本发明的实施方式，可以容易地获得给出与“相机移动(回转、倾 斜)”相对应的效果的图像，因此，例如，消除了对用于实现光学相机移动如回转和倾斜的 复杂机构(根据所谓的“沙姆普弗鲁克”原理的机构设计)的需要，并且消除了对专门用于 “相机移动(回转、倾斜)”的光学设计的需要。于是，可以提供低成本且小型的图像处理装 置和图像处理方法。应当注意，生成的物体面可以不仅是平面，而且还可以是曲面(例如，可变像面弯 曲(field curvature))。具体地，例如，当将与光轴垂直的面设定为物体面时，如图10 (a) 所示，于是通过将物体面的左部和右部以预定的曲率超向图像合成器弯曲而形成的曲面可 以设定为物体面，如图10(b)所示，或者通过将物体面的左部和右部以预定的曲率向图像 合成器的相反侧弯曲而形成的曲面可以设定为物体面，如图10(c)所示。当然，虽然未示 出，但是通过将物体面的上部和下部以预定的曲率向图像合成器(或向图像合成器的相反 侧)弯曲而形成的曲面可以设定为物体面。并且，图像面可以是钵状(mortar-shape)。这 将在本发明的第九实施方式中详细讨论。此外，如图11所示，利用作为操作输入部33的一个元件的十字形按键，物体面被 如何调整，显示在位于IXD监视器19的画面350的右下方的窗口 351上。这将在本发明的 第八实施方式中详细讨论。(第二实施方式)接着，将描述本发明的第二实施方式。本发明的第二实施方式通过使用前述的图像处理装置和信息处理装置如计算机 和附属硬件来实现物体面的设定和模糊处理。图12示出了根据第二实施方式的信息处理装置的构成的实例。如图12所示，信息处理装置50包括输入部51，基于控制程序53来控制整个系统 的控制器52，显示部54，操作输入部55以及存储器56。基于控制程序53，控制器52控制 例如物体面设置功能53a、倾斜设置功能53b以及图像处理功能53c。例如，该控制程序与 图像处理程序相对应。在该构造中，当图像数据和距离信息从输入部51输入时，控制器52读出存储在存 储器56中的控制程序53，并基于控制程序53进行处理。具体地，控制器52基于在显示部 54上的图像数据显示图像，并提示用户通过对操作输入部55进行操作来设定物体面。当用户通过对操作输入部55进行操作而在显示图像中选择期望的点(或区域) 时，控制器52基于物体面设置功能53a来设定物体面。然后，控制器52基于操作输入部55的进一步操作来设置物体面的倾斜方向和倾斜角。然后，控制器52基于最终设定的物体面 的信息和距离信息进行如模糊的图像处理，并将处理的图像显示在显示部54上。上述实例 的设置细节类似于第一实施方式(参见图4 图6所示的流程图)。因此，这里，不再重复 描述。如上所述，根据本发明的第二实施方式，给出与“相机移动(回转、倾斜)”相对应 的效果的图像可以通过提示用户基于输入图像数据和距离信息设置物体面，并且基于物体 面的信息和距离信息进行处理以简单的操作获得。换句话说，本发明的第二实施方式可以提供一种易于获得给出与“相机移动(回 转、倾斜)”相对应的效果的图像的图像处理程序。而且，通过执行该图像处理程序，使用如 计算机的信息处理装置可以容易地且以低成本获得给出这样的效果的图像。以上，已经描述了本发明的第一和第二实施方式。然而，当然，本发明并不限于这 些实施方式，而是在不背离本发明的精神的情况下，可以进行各种改进或修改。例如，在上述第一和第二实施方式中，在查看画面时可以使用触摸面板指定高达 三个期望的点，并且基于该点设定物体面。然而，本发明并不限于这些实例。用户可以指定 三个点，并且也可以指定景深(光圈)以调整模糊变化(使用光圈优先提供与可以不使用 实际的成像装置/焦距进行成像的这样的浅景深和倾斜物体面进行成像等同的效果)。景 深(光圈)可以自动固定。此外，用户可以指定四个或更多个点，并可以计算景深以便对所 有点进行聚焦或对各点加权。“景深”是指认为焦点到达了清晰(焦点对准，in focus)物 体的周围的距离范围。通过35mm尺寸变换(size conversion)，用户可以指定焦距和光圈。这里，35mm 尺寸变换是指将对于各不同成像尺寸，视角等同于35mm标准透镜的透镜视作标准透镜。或 者当指定四个或更多个点时，可基于一般的立体解析几何来确定物体面。这同样适用于基 于物体面的信息变换距离信息。当然，模糊算法并不限于上述实例。图像处理并不限于上述的模糊处理，而是包括各种处理如粒状化、镶嵌化、改变质 地、噪声增加、改变亮度或色度以及逐步分级。当然，物体面可以为曲面，如球面、圆柱形面、 二次曲面以及高阶近似曲面。(第三实施方式)接着，将描述本发明的第三实施方式。图13示出了根据第三实施方式的图像处理装置的构成。在该图中，根据第三实施方式的图像处理装置示例性地应用于如数码相机的成像
直ο如图13所示，图像处理装置包括相机部60、相机DSP(数字信号处理器)61、 SDRAM(同步动态随机存取存储器)63、媒体I/F(媒体接口)64、控制器62、操作部66、 IXD (液晶显示)控制器67、IXD 68、外部I/F (外部接口)69以及记录媒体65。记录媒体 65是可拆卸的。记录媒体65可以是称为采用半导体存储器的存储卡，光学记录媒介如可记录 DVD (数字多功能光盘)和可记录CD (压缩光盘)、磁盘等。相机部60包括光学系统块60a、光圈60b、如CXD (电荷耦合器件)的成像装置60c、 A/D转换器60d、光学块驱动器60e、光圈驱动器60f、成像装置驱动器60g、定时发生器60h、驱动部60i、检测器60j以及模糊检测器60k。光学系统块60a包括透镜、聚焦机构、快门机 构、孔径(光圈)机构以及手振模糊校正驱动器。对于在光学系统块60a中的透镜，使用了 变焦透镜。 控制器62是微计算机，其中CPU (中央处理单元)62a、RAM (随机存取存储器)62b、 闪速R0M(只读存储器)62c、时钟电路62d等经由系统总线62e连接，并且负责控制根据该 实施方式的成像装置的组件。RAM 62b主要用作工作空间，例如，用于暂时存储处理的中间结果。闪速ROM 62c 预先存储将通过CPU 62a执行的各种程序以及处理中使用的数据。图像处理程序可以存储 在闪速ROM 62c中。时钟电路62d可以提供当前日期、现在星期几以及当前时刻，并且也可 以提供拍摄日期和时间。在拍摄图像时，光学块驱动器60e响应于来自控制器62的控制生成用于激活光学 系统块60a的驱动信号，并将该信号提供给光学系统块60a以激活光学系统块60a。响应于 来自光学块驱动器60e的驱动信号，光学系统块60a拍摄物体的图像并将其提供给成像装 置 60c。负责对来自光学系统块60a的图像进行光电转换的成像装置60c响应于来自成像 装置驱动器60g的驱动信号来操作，并拍摄来自光学系统块60a的物体的图像。此外，基于 来自由控制器62控制的定时发生器60h的定时信号，成像装置60c将物体的拍摄图像的模 拟图像数据提供给A/D转换器60d。A/D转换器60d进行A/D转换并生成数字化图像数据。将该数字化图像数据提供给相机DSP 61。相机DSP 61对所提供的图像数据进行 相机信号处理，如AF(自动聚焦)、AE(自动曝光)和AWB(自动白色平衡)。以该方式进行 各种调整的图像数据以预定的压缩方案进行压缩，通过系统总线62e和媒体I/F 64提供给 记录媒体65，然后记录至记录媒体65。在将图像数据记录在记录媒体65中之后，响应于来自通过包括触摸面板和控制 键的操作部66接收的用户的操作输入，通过媒体I/F 64从记录媒体65中读出期望的图像 数据，然后提供给相机DSP 61。相机DSP 61解压缩(扩展)从记录媒体65中读出并通过媒体I/F 64提供的的 压缩图像数据，并通过系统总线62e将解压缩的图像数据提供给IXD控制器67。IXD控制 器67从所提供的图像数据为LCD 68生成图像信号，并将图像信号提供给LCD 68。这使得 与记录在记录媒体65上的图像数据相对应的图像显示在IXD 68的显示画面上。而且，通过外部I/F 69提供的图像数据(例如，通过与外部I/F69连接的外部个 人计算机提供的图像数据)可以记录至记录媒体65。记录在记录媒体65中的图像数据可 以通过外部I/F 69提供给外部个人计算机等。此外，在连接至通信模块的外部I/F 69连接至网络如因特网的情况下，通过网络 可以获得各种图像数据和其他信息，并将其记录至记录媒体65。或者记录在记录媒体65中 的数据可以通过网络发送至目的地。外部I/F 69可以是有线接口如IEEE (电气和电子工程师协会)1394和USB (通用 串行总线)。或者外部I/F 69可以是使用光或无线电波的无线接口。因此，外部I/F 69可 以有线或无线的。如上所述，根据第三实施方式的图像处理装置涉及提供一种尤其与“相机移动(回转、倾斜)”相对应的更简单的成像技术，并且通过使用由CPU 62a控制的图像处理和图 像校正提供该技术，此外作为一个特征允许直观操作。图14示出了作为应用了图像处理装置的成像装置的数码相机的外观构成。图 14(a)是数码相机的前透视图。图14(b)是数码相机的后透视图。如这些图中所示，数码相 机70包括透镜71、快门按钮72、菜单按钮73、输入按钮74、曝光补偿按钮75、触摸面板76 和十字形按键77。通过操作触摸面板76等来执行点的指定(后文描述)。现在，将参照图15所示的流程图来详细地描述使用根据本发明的第三实施方式 的图像处理装置的特征处理。以下描述的一些或全部处理还与根据本发明的第三实施方式 的图像处理方法相对应。开始该处理，控制器62的CPU 62a使用成像装置60c对物体进行成像，并使用A/ D转换器60d生成数字图像数据(步骤S101)。然后，CPU 62a为生成的图像数据产生距离 信息(深度图)(步骤S102)。该距离信息(深度图)是到与图像的各像素相关的物体的距 离，并且可以使用T0F(飞行时间)法或散焦测距法获得。然后，CPU 62a将图像数据和距离信息记录至记录媒体65(步骤S103)。换句话说， 图像数据和距离信息通过与相互连接的媒体I/F 64记录至记录媒体65。距离信息以元数 据的形式保存。使用文件号等将相互联系的图像数据和距离信息存储至不同位置可以减小 图像文件本身的大小。在这种情况下，当使用图像数据和距离信息时，应该确定它们之间的 联系。
然后，CPU 62a控制IXD控制器67以将图像显示在IXD 68上(步骤S104)。然后， CPU 62a基于与“相机移动(回转、倾斜)”相对应的物体面的操作进行处理(步骤S105)。 后面将参照图16来描述步骤S105的处理的细节。物体面是一个与成像装置60c的延伸的光接收面和光学系统的延伸的主面相交 的面，并且在其上实现了聚焦，符合所谓的沙姆普弗鲁克原理。在根据该实施方式的图像处 理装置中，利用与成像装置面的透镜(几乎)垂直的光轴进行成像，使得不能使用成像装置 60c和光学系统块60a的光学系统进行所谓的相机移动(回转、倾斜)操作。使用图像处理 进行与“相机移动(回转、倾斜)”相对应的物体面的操作。然后，CPU 62a读出在步骤S103中记录的图像数据并使用在步骤S105中设定的物 体面进行图像处理(根据离物体面的距离进行模糊处理)(步骤S106)。后面将参照图18 和图19来描述步骤S106的处理的细节。然后，CPU 62a通过媒体I/F 64将已经进行图像 处理的图像数据记录至记录媒体65 (步骤S107)。在这点上，当进行成像时，如果CPU 62a将用于显示图像的图像数据作为与原始 图像数据不同的文件记录至记录媒体65，则CPTO2a同时记录已经进行图像处理的显示图 像的图像数据。然后，使得该处理结束。接着，将参照图16所示的流程图来描述图15中步骤S105的处理的细节。在该处 理，触摸面板76用于物体面的操作。进入该处理，CPU 62a通过触摸触摸面板76来接收物体面的中心的指定(步骤 S201)。具体地，CPU 62a检测触摸位置的坐标并接受该位置作为位置的指定。物体面的中 心是物体面的旋转中心，并且是物体面在由X轴、Y轴和Z轴组成的新坐标系旋转的三维和 空间中心位置。
然后，CPU 62a将表示物体面的旋转中心的点显示在IXD 68的显示画面上，以便 让用户知道物体面的旋转中心如此设定(步骤S202)。然后，CPU 62a对距离信息(深度 图)进行坐标变换，使得物体面的旋转中心将成为三维坐标系的中心(步骤S203)。图像的坐标(X，Y，Z)由二维坐标(X，Y)和图像的深度坐标(Z)定义。距离信息 (深度图)与坐标(X，Y，Z)的深度坐标(Z)有关。CPU 62a首先进行变换，使得设定为物体 面的中心的像素的坐标(X，Y，Z)将成为三维坐标系的原点(0，0，0)。其他点(像素)的坐 标将转换为其中心是物体面的中心的坐标的新坐标系的坐标。以这种方式，距离信息转换 为到物体面的距离。距离信息的该转换的细节如先前参照图8所描述的。因此，这里，不再 重复描述。在该实施方式，物体面的形状假设为简单的平面。当显示器上的物体面的中心偏 移用户期望的位置时，通过拖动显示点进行校正。例如，中心点可以沿通过使用图14(b)所 示的十字形按键77指定的方向移动。然后，CPU 62a判断用户是否通过操作触摸面板76 (例如，轻敲输入键)固定物体 面的中心(步骤S204)。当物体面的中心已根据用户的操作进行校正后，中心的坐标发生改 变。在这种情况下，处理回到步骤S203，并且再次对距离信息(深度图)进行坐标变换，使 得物体面的经校正的中心将成为三维坐标系的中心。另一方面，例如，通过再次轻敲显示在 IXD 68上的物体面的中心而固定中心，该处理进行到步骤S205。如果CPU 62a判断通过用户操作，物体面的中心被固定，则CPU 62a对显示的图 像进行图像处理并显示该图像，使得当操作物体面时将看到效果(S205)。该显示的图像不 是拍摄的图像数据本身，而是为了确认图像本身或操作物体面的效果用于显示在显示画面 (IXD 68)上而写入RAM 62b (或SDRAM 63)的图像。该图像处理可以是简单的处理，因为其 目的仅是确认图像本身。该显示的图像可能会从拍摄的图像数据缩小到与显示画面(IXD 68)的分辨率相 匹配的图像，并且暂时存储在RAM 62b(或SDRAM 63)中。或者，当进行成像时，显示的图像 可以通过媒体I/F 64以不同于原始图像数据的文件存储在记录媒体65中。具体地，在步骤S205中，响应于到物体面的距离，根据到物体面的距离进行模糊 处理。显示图像的尺寸可能比实际记录的图像的尺寸小。期望通过对于显示画面的尺寸和 像素数以最小尺寸显示图像来降低处理负荷并使用户操作顺利。在该实施方式中，假设对于简单的用户操作，仅以固定的景深(然而，浅于实际成 像的景深)操作物体面。然后，CPU 62a根据用户操作旋转物体面(步骤S206)。该物体面的旋转通过轻敲 坐标而不是物体面的中心通过绕X轴或Y轴旋转(或倾斜)物体面来进行。更具体地，如图17(a)所示，通过在显示画面500上轻敲(触摸)位置500a来指 定使物体面倾斜的方向，并且通过敲击强度来指定倾斜物体面的量。在显示画面500中，物 体面绕与连接敲击位置500a的坐标(X，Y)和与先前在物体面上指定的指定点相关的旋转 中心500b的直线相垂直，并且通过物体面的旋转中心500b的旋转轴500c旋转。敲击实现 了撞击物体面的直感。通过基于立体解析几何的坐标变换来进行物体面的旋转。例如，计算各像素离物 体面的距离。具体地，根据指定物体面的旋转中心并旋转物体面的用户操作，CPU 62a进行从距离信息到关于离物体面的距离的信息的坐标变换。然后，CPU 62a对显示的图像进行图像处理，使得可以看到由此使物体面绕其旋转 中心500b旋转(或使物体面倾斜)的效果，并将显示的图像显示在IXD 68上(步骤S207)。 换句话说，CPU 62a根据离旋转(倾斜)物体面的距离来进行模糊处理。结果示于图17(b) 中。与上述步骤S205中的图像处理一样，在步骤S207中进行图像处理的显示图像的 大小对于平稳的用户操作以及确认操作的效果都是最小的。即使在使物体面倾斜后，物体 面的旋转中心也可以通过拖动来校正。这可以通过与上述步骤S203中一样进行坐标变换 来实现。然后，例如，CPU 62a判断用户是否通过再次轻敲在触摸面板76上显示的物体面 的中心来请求结束旋转物体面(步骤S208)。如果CPU 62a判断用户没有请求结束旋转，则 使该处理返回到步骤S206以重复上述步骤。另一方面，如果CPU 62a判断用户请求结束旋 转，则使该处理结束并返回到图15所示的处理。接着，将参照图18所示的流程图来描述图15中的步骤S106的处理的细节。这里， 假设图像处理装置在闪速ROM 62c等中具有基于如图19所示的关系的表格。在图19中， 竖直轴表示模糊参数的值，而水平轴表示距离信息。当距离小于景深时，模糊参数为0。当 距离等于或大于景深时，例如，模糊参数是距离的线性函数(即，模糊参数随着距离的增加 而增加)。优选根据到物体的距离保持某些模糊参数，并且模糊参数不限于线性函数，而是 可以基于光学计算的结果增加参数。开始该处理，CPU 62a设定对其进行图像处理的像素(步骤S301)。然后，CPU 62a 获得对其已进行离物体面的距离的坐标变换的距离信息(步骤S302)。然后，CPU 62a参照 基于图19所示的关系的表格获得与距离信息相对应的模糊参数(步骤S303)。然后，CPU 62a将模糊参数添加给像素(步骤S304)。例如，可以通过使用相邻像素的低通滤波(LPF 处理)进行模糊处理，其中可以通过改变相邻像素的数目来改变模糊量。当待用像素的所 有值的平均值等于目标值的值时，模糊量随着像素量的增加而增大。然后，CPU 62a判断是否所有像素的处理都完成(步骤S305)。如果CPU 62a判断 并不是所有像素的处理都完成，则处理返回到步骤S301以重复上述步骤。另一方面，如果 CPU 62a判断所有像素的处理都完成，则使该处理结束并返回到图15所示的处理。已经描述了执行成像、设置物体面的中心、操作物体面以及进行图像处理的基本 过程。在任一这些步骤中，可以通过选择“取消”或“返回”不进行操作。具体地，如图20(a)所示，“取消”或“返回”重合为显示画面502上的一个操作按 钮502a。按钮502a应该设置成不能遮住物体面的中心。并且，按钮502a优选设置成不干 扰通过拖动物体面的旋转中心进行的校正。并且，如图20(b)所示，通过在显示画面503上拖动可以移动如“取消”或“返回” 的操作按钮503a。这防止按钮503a干扰物体面的旋转中心的校正。此外，使物体面倾斜的 效果的确认可以通过移动按钮在各个角落完全实现。此外，与“相机移动(回转、倾斜)”相对应的效果的确认可能需要同时检查各角落 以及物体面的中心附近。为此，如图20(c)所示，如“隐藏”的操作按钮504a可以置于显示 画面504上。“隐藏”操作按钮504a也可以通过拖动进行移动，如图20(b)所示。
轻敲“隐藏”操作按钮504a会使除了显示画面504之外的所有元件(要素)隐藏 起来，并同时查看画面以确认操作物体面的效果。再次在轻敲显示画面504上的任何地方 可以使所有隐藏的元件再次显示。从菜单操作“隐藏”操作按钮504a允许选择不被隐藏的 元件并显示该元件。例如，可以仅显示物体面的旋转中心并隐藏其他部分。(第四实施方式)接着，将描述本发明的第四实施方式。根据第四实施方式的图像处理装置的构成类似于第三实施方式(图13和图14)。 于是，在下面的描述中，将适当地参照这些图。并且，当参照图15和图16所示的流程图时， 将参照这些图中的步骤描述特征。为了获得与“相机移动(回转、倾斜)”相对应的效果，操作到物体面的景深以及使 物体面倾斜可能是期望的。鉴于上述，在根据第四实施方式的图像处理装置和图像处理方 法中，当固定物体面的旋转中心时(与图16的步骤S204相对应)，通过轻敲两次显示的物 体面的旋转中心可以实现固定物体面的中心和固定景深。通常，景深与光圈具有如下所示的关系。当使用亮的光圈进行成像时，景深浅(快门速度快)。当使用暗的光圈进行成像时，景深大(快门速度慢)。 然后，通过两次敲击的时间间隔来确定景深。当间隔短时，景深设置得较浅。当间 隔长时，景深设置得较长。这对于操作相机的用户很直观，因为这与快门速度多快(或慢) 的关系一致。需要即使在物体面的旋转中心固定后或物体面倾斜后也可以改变景深。因此，在 根据第四实施方式的图像处理装置和图像处理方法中，通过敲击物体面的旋转中心两次， 可以重新设置景深，并且可以基于重新设置的景深按照需要多次进行图像处理(对应于图 16的步骤S207)，直到请求结束物体面的旋转(对应于图16中的步骤S208)。具体地，如图21(a)所示，在显示画面505中，当根据用户的操作设定景深时(在 该实例中，当敲击物体面的旋转中心两次时)，景深的粗略指示作为图形指示505a叠置在 显示画面505上。这使得用户进行更需要的操作。具体地，在图21(a)中，当由用户第一次轻敲物体面的旋转中心时，根据敲击之间 间隔变化的图形指示505a显示在显示画面505上(在没有与物体面的旋转中心重叠的位 置处)。在该实例中，图形指示505a是带状，并且随着从第一敲击开始的时间消逝，从“浅” 到“深”变化指示，以帮助用户设置景深。图像指示505a不限于指示景深是“浅”或“深”。如从图21(b)所示的显示画面 506可以看出的，图形指示506a可以指示在物体面的“前”与“后”实现聚焦的范围。也可 以指示具体值以及直观的图形指示。作为这样的值的实例，可以指示“相当于具有对应于通 过35mm尺寸变换的85mm的视角的F2. 8的景深”。通过35mm尺寸变换的视角可以由图像 数据的成像信息自动计算，并且可以显示具有所述视角的F值。为了通过对物体面的中心敲击两次来设置景深，对物体面的中心敲击一次可能被 视为请求结束物体面的旋转。然后，如图21(c)所示，“结束”按钮507a单独置于显示画面 507上。也可以通过拖动将该“结束”按钮507a移动至显示画面507上期望的位置。这可 以防止“结束”按钮507a干扰物体面的旋转中心的校正。此外，使物体面倾斜的效果的确认可以通过移动按钮在各个角落完全实现。(第五实施方式)接着，将描述本发明的第五实施方式。根据第五实施方式的图像处理装置的结构类似于第三实施方式(图13和图14)。 于是，在下面的描述中，将适当地参照这些图。此外，当参照图15和图16所示的流程图时， 将参照这些图中的步骤描述特征。根据第五实施方式的图像处理装置和图像处理方法的特征在于，代替将“结束”按 钮置于显示的图像上，使用同一用户界面(UI)执行敲击两次并请求结束物体面的旋转。具体地，如图22(a)所示，在显示画面508上，在触摸面板76上的第一次敲击使图 形指示508a提供指示以帮助用户设置“浅”与“深”之间的景深，并将“结束”显示在图形指 示508a的上方以使用户请求结束物体面的旋转。然后，如图22(b)所示，在显示画面509上，图形指示509a的指示随着从在触摸面 板76上第一次敲击开始消逝的时间从“浅”到“深”逐渐变化，并将“深”保持预定的时间。 如果已经对触摸面板76进行第二次敲击直到该时间，则CPU 62a检测已设置了景深，并执 行图像处理(相当于图16的步骤S207)。如果用户设置景深到“深”所需要的预定时间(例如，1秒)已过去，而没有对触摸 面板76进行第二次敲击，则显示画面510上的图形指示510a的指示将逐渐变向“结束”， 如图22(c)所示。如果在该期间内，已对触摸面板76进行了第二次敲击，则景深将设置为 “深”。如果指示到达“结束”而没有对触摸面板76进行第二次敲击，则CPU 62a将此视 为结束物体面旋转的请求(相当于图16的步骤S208)。因此，在根据第五实施方式的图像处理装置等中，在预定的时间过去以后，指示变 换成请求结束物体面的旋转(相当于图16中的步骤S208)，这消除了显示“结束”按钮的需 要，避免了复杂的画面显示。当然，景深可以通过由用户进行的菜单操作通过指定经过35mm 尺寸变换的焦距和孔径来设置。用于设置景深的方法并不限于根据两次敲击的时间长度进行设置。例如，第一次 敲击可以使得显示图22(d)所示的显示画面511，并且触摸面板76上的第二次敲击可以对 其中在“浅”与“深”之间设置景深并且显示有“结束”的图形指示511a进行操作。在该方 法中，可以在一个UI中同时进行设置景深和请求结束物体面的旋转，而不需要花时间来改 变请求结束物体面的旋转的指示。此外，当敲击物体面的旋转中心时(用于固定图16的步骤S204中的物体面，设置 景深，以及请求结束物体面的旋转)，可能会显示确定为“物体面的旋转中心”的敲击范围。具体地，图23(a)是显示确定为“物体面的中心”的敲击范围作为显示画面512上 的圆圈512a的实例。图23(b)是显示确定为“物体面的旋转中心”的敲击范围作为显示画 面513上的矩形框513a的实例。当在触摸面板76上的该范围内进行敲击时，CPU 62a判断“物体面的中心”被敲 击并且执行适当的处理。当在该范围外进行敲击时，执行其它处理(诸如，旋转或倾斜物体 面)°再次，当然，如“取消”、“返回”、“隐藏”和“结束”(按钮)，以及景深的粗略指示的各种画面显示期望置于确定为“物体面的中心”的范围之外。(第六实施方式)接着，将描述本发明的第六实施方式。根据第六实施方式的图像处理装置的构造类似于第三实施方式(图13和图14)。 于是，在下面的描述中，将适当地参照这些图。此外，当参照图15和图16所示的流程图时， 将参照这些图中的步骤描述特征。在根据第六实施方式的图像处理装置和图像处理方法中，当根据图16的步骤 S206来旋转(倾斜)物体面时，旋转角(物体面的倾斜量)可以通过触摸面板76上的敲击 (接触)强度指定，并且倾斜量也可以通过敲击位置来指定，如图24所示。具体地，如图24所示，第六实施方式通过在显示画面514上逐步显示物体面的倾 斜角来帮助用户操作。物体面中心的近旁是确定为“物体面的旋转中心”的敲击范围。离所述范围越远， 所指定的倾斜量(物体面的旋转/倾斜角)越大。换句话说，倾斜量根据从物体面的中心 坐标到敲击位置的坐标(χ，γ)的距离进行设置。例如，对于物体面的旋转中心的附近，倾斜 量可以为1度，对于稍远的区域为2度，并且对于更远的区域为3度。可以设置旋转角，即基于立体解析几何的坐标变换角，以便逐渐从物体面的旋转 中心变化，并且更优选地，可以根据从物体面的旋转中心到敲击位置的距离进行精确调整。 此外，即使当逐渐指示时，该角度实际上也可以比所指示的被更精确设置。因此，第六实施方式通过改变与从物体面的旋转中心到敲击位置的距离成比例的 倾斜角而为用户提供直观的操作。物体面的旋转中心可以根据拍摄的图像的视角(图15中的步骤SlOl中作为元数 据记录)进行改变。例如，在实际的透镜中，当透镜倾斜时，物体面的倾斜量在24mm、45mm 以及90mm透镜之间变化。当透镜与成像装置之间的倾斜角相同(例如，10° )时，透镜的 角度越广，物体面的倾斜量就越大。(第七实施方式) 接着，将描述本发明的第七实施方式。根据第七实施方式的图像处理装置的构造类似于第三实施方式(图13和图14)。 于是，在下面的描述中，将适当地参照这些图。此外，当参照图15和图16所示的流程图时， 将参照这些图中的步骤描述特征。在摄影中，在水平和垂直方向都精确预定的情况下进行成像。此外，在使用实际 的“相机移动(回转、倾斜)”透镜操作物体面时，可以更精确地预先设定水平和垂直方向。 鉴于上述，根据第七实施方式的图像处理装置和图像处理方法的特征在于，在图16的步骤 S205中，如图25(a)所示，水平线515a和竖直线515b显示在显示画面515上。在进行成像过程中(图15的步骤S101)，可以基于作为元数据(例如，来自陀螺仪 的输出)记录的相机的位置和角度来显示水平线515a和竖直线515b。更简单地说，水平线 515a和竖直线515b可以作为穿过物体面的旋转中心的图像信息进行显示。当在触摸面板 76上敲击显示的水平线515a或竖直线515b时，物体面的旋转角将由CPU 62a固定。例如，如图25(b)所示，当在触摸面板76上敲击显示画面516上的水平线516a时， CPU 62a将限制物体面的旋转方向，使得仅绕水平线516a上的轴进行旋转，并显示一个标记516c (在该实例中为三角形)用于表示旋转轴限于水平线516a。在该情形中，物体面的旋转仅绕固定的线轴进行，然后，旋转的角度由从线坐标 (在这种情况下是Y)到敲击位置(在这种情况下是Y)的距离来确定。当再次在触摸面板 76上轻敲固定线时，CPU 62a释放该线。从图25(c)所示的显示画面517可以看到，在不限制水平线或竖直线的情况下，基 于菜单操作可以显示各种线。例如，某些实际的“相机移动(回转、倾斜)”透镜允许确定各 预定角的角度。用户很熟悉这样的用途。(第八实施方式)接着，将描述本发明的第八实施方式。根据第八实施方式的图像处理装置的构造类似于第三实施方式(图13和图14)。 于是，在下面的描述中，将适当地参照这些图。此外，当参照图15和图16所示的流程图时， 将参照这些图中的步骤描述特征。根据第八实施方式的图像处理装置和图像处理方法的特征在于，在旋转(倾斜) 物体面时(图16的步骤S206)，能够显示物体面的状态和角度。对于实际的“相机移动(回转、倾斜)”透镜，物体面倾斜的角度只能通过取景器或 拍摄的图像得知。另一方面，在该实施方式中，其通过图像处理提供了类似的效果，将旋转 物体面(对应于图15中的步骤S206)的角度，即用于坐标变换的角度记录至RAM62b。这使 得当将图像的距离信息转换为关于从物体面的距离信息时，可以获得使物体面从与相机透 镜的光轴垂直的初始位置倾斜的量的信息。显示的具体实例如图26的(a) (h)所示。在显示画面518 525上，分别显示 了状态指示部518a、519a、520a、521a、522a、523a、524a和525a，其中的每一个指示物体面 的状态和角度。由这些状态指示部518a、519a、520a、521a、522a、523a、524a和525a指示的 物体面的状态以三维形式表示，这将是直观和用户友好的。(第九实施方式)接着，将描述本发明的第九实施方式。根据第九实施方式的图像处理装置的构造类似于第三实施方式(图13和图14)。 于是，在下面的描述中，将适当地参照这些图。此外，当参照图15和图16所示的流程图时， 将参照这些图中的步骤描述特征。在上述的第三至第八实施方式中，物体面假设为简单的平面。然而，对于根据第九 实施方式的图像处理装置和图像处理方法，物体面并不限于简单的平面。由于通常的光学 系统(透镜)具有像面弯曲，因此对于通常是平面的成像装置来说物体面的形状将不是平 面的。图27 (a)和(b)是这样的像面弯曲的概念图。图27 (a)示出了子午像面。图27 (b) 示出了弧矢像面。子午像面也称为切向像面。弧矢像面也称为径向像面。子午像面是一个包含光轴和主光束的面。子午像面是一个聚集了在子午面中传播 的大部分子午光束的像面。弧矢面是垂直于子午面的面。弧矢像面是一个聚集了在弧矢面 中传播的大部分弧矢光束的像面。在第九实施方式中，物体面的形状假设为弯曲状的实际透镜，而不是平面状。因 此，在图16中的步骤S203中，当对距离信息(深度图)进行坐标变换，使得物体面的旋转中心将成为三维坐标系的中心时(即，当拍摄的图像的各像素的距离信息转换为关于从物 体面的距离信息时)，考虑到物体面的形状来进行该计算。物体面的形状保持为表示图像高度(到图像中心的距离)与物体面的形状之间关 系的数据。将其保持为距离信息(深度图)以便表示图像中的位置(χ，γ)与物体面(Z)的 形状之间的关系。图28示出了与深度图同样表示的物体面的形状。在该图中，黑色表示前部，而白 色表示后部。对于物体面的形状，仅需要表示图像高度与物体面的形状(如图29所示)之 间的关系，而不需要将数据尽量保持为距离信息。可以保持将整个图像水平和竖直划分的各区域的数据，或者仅保持图像高度与物 体面的形状之间的关系。物体面的形状可以保持并记录在RAM 62b中，或者可以通过外部 I/F 69由外部获得。具体地，CPU 62a进行以下计算。(1)首先，从所有像素的坐标信息减去设定为物体面的中心的像素的坐标(X，Y， Z)的值，使得坐标(x，Y，z)将成为三维坐标系的原点(0，0，0)。这将关于从相机的距离信 息转换为关于从穿过物体面的中心并与用于成像的透镜的光轴垂直的面的距离信息。(2)然后，图像中各像素位置的坐标信息(X，Y，Ζ)加上或减去物体面的形状(根 据保存物体面的形状数据的方式，可以逆转该减法顺序)。这将穿过物体面中心的坐标并与 用于成像的透镜的光轴垂直的面的距离信息转换为离物体面的距离信息。包括物体面的形状的计算增加了处理量。然而，为了允许用户确认图像处理的效 果，并且为了有助于舒适的用户操作，优选在该阶段计算物体面的形状。计算(1)和(2)可 以同时进行。两种计算方法可以用于计算(2)。使在图16的步骤S201中指定的(或者在步骤S204中校正的)物体面的旋转中 心在物体面的形状的中心上对准，并进行该处理。完全使图像的中心在物体面的形状的中心上对准，并进行该处理。在实际的光学系统中，与后者一样，图像的中心在物体面的形状的中心上对准。所 以由后者给出的效果对用户来说是优选的。于是，下面的描述基于后者。然而，为了满足实 现不同于实际透镜的效果的需要，使物体面的旋转中心在物体面的形状的中心上对准可以 通过菜单操作指定来实现。在实际的“相机移动(回转、倾斜)”透镜中，当使用相机移动时，根据焦距、物体面 的倾斜角和成像距离(即，到物体的距离)将物体面的旋转中心远离图像的中心移动。优 选地，通过图像处理提供了“相机移动(回转、倾斜)”效果的该实施方式也提供了允许这样 的行为再现的方法。因此，当在图16的步骤S206中旋转物体面时，根据图像的视角(图15的步骤SlOl 作为元数据记录)和物体面的旋转角，物体面的旋转中心远离图像的中心移动。当在图16的步骤S206中旋转物体面时，图像中的各像素位置的坐标信息(X，Y， Ζ)减去或加上物体面的形状(根据保存物体面形状数据的方式，该顺序可以逆转)。这将 到物体面的距离信息转换为穿过物体面的中心的坐标并与用于成像的透镜的光轴垂直的 面的距离信息。换句话说，物体面暂时存储为原始平面形状。
然后，通过基于立体解析几何的坐标变换，距离信息转换为到穿过物体面中心的 坐标的面的距离信息，并以由用户为各像素指定/操作的角度旋转。换句话说，在平面情形 下进行旋转的坐标变换。物体面的旋转角与物体面的旋转中心从图像中心的移动量之间的关系可以预先 保持并记录在ROM 62b中，或者可以通过外部I/F 69从外部获得。CPU 62a保持这种关系， 使得可以从物体面的旋转角获知从图像中心的坐标移动量(X，Y)。图像中的各像素位置的坐标信息(X，Y，Z)加上或减去根据物体面的旋转角从图 像中心移动的物体面的形状(根据保存物体面形状的数据的方式，该顺序可以逆转)。这将 到穿过物体面中心的坐标并通过由用户指定/操作的角度旋转的面的距离信息转换为到 物体面的距离信息。换句话说，最后，物体面再次恢复至其形状。然而，有些(不止少数)用户需要操作物体面的形状。因此，还优选提供一种改变 物体面的形状的功能。于是，在根据本实施方式的图像处理装置和图像处理方法中，当在图 16的步骤S204或S206中持续按压物体面的中心(没有敲击和拖动)时，如图30 (a)所示， CPU 62a控制成在IXD 68的显示画面526上显示物体面的当前形状的显示帧526a。在图30(a)所示的显示画面526中，例如，可以通过拖动显示帧来移动物体面的形 状的显示帧526a。当敲击或拖动显示在显示帧526a上的物体面的形状时，CPU 62a改变物 体面的形状。改变物体面形状的结果可以快速由用户通过执行图16的步骤S205或S207 中的图像处理来确认。显示物体面形状的操作并不限于保持按压物体面的中心。也可以在显示画面526 上显示“物体面形状”按钮。“物体面形状”按钮期望设置在确定为“物体面中心”的范围之 外。此外，对物体面中心的第一次敲击可以使得画面527显示，如图30(b)所示，并且 第二次敲击可以使图形指示器527a显示从“浅”到“深”设置景深，“结束”及“物体面形状”， 用于与景深相关的输入。这使得可以在同一 UI中设置景深、请求结束物体面的旋转以及请 求显示物体面的形状。此外，由第一次敲击引起的在画面显示中的包括如“取消”和“隐藏”的按钮允许 在同一 UI中操作物体面。(第十实施方式)接着，将描述本发明的第十实施方式。根据第十实施方式的图像处理装置的构造类似于第三实施方式(图13和图14)。 于是，在下面的描述中，将适当地参照这些图。此外，当参照图15和图16所示的流程图时， 将参照这些图中的步骤描述特征。可以通过除了由用户指定外的方式指定物体面的旋转中心等。例如，基于使用如 “面部识别”的检测技术检测的特殊点(特征点)来确定物体面的中心及物体面的旋转角。然后在根据第十实施方式的图像处理装置和图像处理方法中，CPU 62a通过提取 基于图像中的亮度和对比度的特殊点，并将特殊点的位置(位置关系)与RAM 62b中存储 的图案相匹配来识别物体。在图31(a)所示的实例中，通过双眼、鼻子和嘴之间的位置关系来识别面部，并将 物体面的中心设置成面部的中心。在画面528中，面部的识别区域由矩形框528a指示。
此外，如图31(b)所示，通过在画面529中识别两个以上的物体，可以将物体面和 景深设置为包含目标或目标区域(例如，脸)的检测到的特殊点(例如，眼、鼻子和嘴)。在 画面529上，两张或多张脸的识别区域由矩形框529a 529d指示。此外，如图32(a)所示，例如，当检测到两个目标区域(例如，脸)时，CPU 62a使 用基于立体解析几何的坐标变换将物体面的旋转轴置于连接显示画面530上的两点的直 线上，并显示旋转轴530a以允许用户进行旋转。然后，CPU 62a将根据物体面的旋转而模 糊的图像显示在显示画面531上，如图32(b)所示。此外，如图33(a)所示，例如，当检测到三个目标区域(例如，脸)时，CPU 62a将 两个以上的脸部识别区域以矩形框532a 532c显示在显示画面532上，并使用基于立体 解析几何的坐标变换将物体面置于由所述三个点定义的平面上。在这一点上，CPU 62a可以将具有画面532的最大比例的物体确定为主要物体，并 将物体面的旋转中心设置为该主要物体的检测区域的中心。然后，从该点，用户可以操作物 体面并设置景深。此外，当指定检测区域后，CPU 62a可以在该区域内选择主要物体(例如， 物体的检测区域的中心坐标)。例如，如图33(b)所示，在显示画面533中，当位于后部的物体O2而不是具有物体 的较大比例的物体O1被用户指定时，CPU62a选择物体O2 (例如，物体O2的检测区域的中心 坐标)作为主要物体，并将物体面的旋转中心设定至物体02。此外，如图33(c)所示，在显示画面534上，当检测到4个目标区域(例如，脸)时， CPU 62a利用基于立体解析几何的坐标变换设定包含所有检测区域的中心坐标的物体面/ 景深。CPU 62a设置物体面使得所有检测区域的中心坐标到物体面等距离(然而，某些检测 区域的中心坐标可能不在物体面上)。景深设定成等于从物体面到各检测区域的中心坐标 的距离。在这种情况下，物体面的旋转中心(534a)设置在离所设定的物体面距离最近的 位置，如图33(c)所示，而不是检测的区域的中心的坐标之一的位置。即使在这种情况下， 根据从检测区域中进一步指定，CPU 62a也可以选择主要物体并重新设定物体面的旋转中 心。此外，如图34(a)所示，在显示画面535上，被检测的物体区域(例如，脸)由矩形 框535a 535d指示。对于这些物体区域，当通过用户操作来选择一个新物体或取消选择 已识别的物体时，CPU 62a重置用于设定物体面的物体。在图34(b)的实例中，在显示画面 536上显示的物体中，取消了物体03和04的检测区域(矩形框536c和536d)。然后CPU 62a在重置物体中指定主要物体(物体检测区域的中心坐标)，并在显示 画面537上显示如图34(c)所示的模糊图像。当然，根据上述第四至第十实施方式的图像处理装置和图像处理方法可以以这些 实施方式的任何组合来实施。此外，尽管已经对使用触摸面板76为前提进行了描述，但是 用于操作输入的指示装置并不限于此，并且可以为用户提供类似的方便，例如，通过用十字 形按键77移动光标，并使用输入键74进行指定。已经描述了本发明的第一至第十实施方式。这些实施方式提供了以下优点。具体地，通过进行图像处理提供了给出与“相机移动(回转、倾斜)”相一致效果的 图像消除了设计特殊光学系统和透镜镜筒的需要。
消除提供复杂机构(与所谓的沙姆普弗鲁克原理相一致)的需要消除了设计特殊 的用于“相机移动(回转、倾斜)”的光学系统的需要。此外，可以提供这样的图像处理装 置，该图像处理装置可以使用通过紧凑和低成本的成像装置摄取的图像而提供给出与“相 机移动(回转、倾斜)”相一致效果的图像。通过图像处理提供给出与“相机移动(回转、倾斜)”相一致效果的图像排除了在 成像前的复杂操作的需要。这降低了错过成像机会的风险。图像处理装置使用基于现有技术专门设计的光学系统和透镜镜筒可以提供用于 允许灵活的与“相机移动(回转、倾斜)”相一致效果的物体面操作的方法。对于操作物体面，图像处理装置可以为用户提供直观且友好的操作环境。例如，触 摸面板允许更直观的操作。在显示画面上显示由用户设定的虚拟物体面的旋转中心允许用户更容易地操作 物体面和识别物体面的状态。在显示画面上显示由用户对虚拟物体面进行操作的状态允许用户更容易地操作 物体面和识别物体面的状态。即使对于由采用小成像装置和短焦距透镜的组合的小型成像装置摄取的具有大 景深的图像，通过设置虚拟景深也可以进行提供虚拟浅景深的图像处理。允许设定虚拟物体面的形状可以为用户提供各种的图像创作能力。应当注意，本发明并不限于上述第一至第十实施方式，并且在不背离本发明的精 神的情况下，可以进行各种改进和修改。例如，本发明可以以用于上述图像处理装置中的处 理的程序、其上记录有上述程序的记录媒体、用于实施上述图像处理方法的程序以及其上 记录有上述程序的记录媒体来实施。
权利要求
一种图像处理装置，包括物体面设定部，基于与在基于图像数据的显示图像中由用户指定的点相对应的距离信息来设定物体面；距离信息转换部，根据所述物体面来转换所述图像数据的距离信息；以及图像处理部，基于通过所述距离信息转换部转换的距离信息对所述图像数据进行图像处理。
2.根据权利要求1所述的图像处理装置，其中，所述距离信息转换部基于所述指定点的坐标来转换所述图像数据的各点的所述 足巨罔fn息。
3.根据权利要求1所述的图像处理装置，进一步包括在所述点保持在所述物体面中的状态下，根据用户的指定改变所述物体面 的物体面改变部，其中，所述距离信息转换部根据由所述物体面改变部改变的物体面来转换所述距离信肩、ο
4.根据权利要求3所述的图像处理装置，其中，所述物体面改变部通过使所述物体面绕作为旋转中心的所述指定点旋转来改变 所述物体面。
5.根据权利要求4所述的图像处理装置，其中，当通过所述物体面改变部来改变所述物体面时，所述距离信息转换部基于所述 指定点的坐标和所述旋转的角度和方向来转换所述图像数据的各点的所述距离信息。
6.根据权利要求1所述的图像处理装置，其中，所述图像处理部以与通过所述距离信息转换部转换的所述距离信息相应的模糊 量使所述图像数据模糊。
7.根据权利要求6所述的图像处理装置，其中，所述图像处理部使所述图像数据模糊时，所述模糊量随着与所述物体面的距离 的增大而增加。
8.根据权利要求6所述的图像处理装置，其中，所述图像处理部使所述图像数据模糊时，在与所述物体面的预定距离内的点以 相同的模糊量被模糊。
9.根据权利要求6所述的图像处理装置，其中，所述图像处理部基于指示景深的景深信息来调整所述模糊量。
10.根据权利要求1所述的图像处理装置，进一步包括 在显示部上显示所述物体面的状态的显示控制部。
11.根据权利要求1所述的图像处理装置，进一步包括 用于相互关联地存储所述图像数据和所述距离信息的存储部； 用于指定所述点的指定部；以及用于设定包含所述点的所述物体面相对于透镜光轴的倾斜角度和倾斜方向的设定部。
12.根据权利要求11所述的图像处理装置，其中，当由所述指定部指定所述点，并由所述设定部设定所述物体面相对于所述透镜光轴的倾斜方向和倾斜角度时，所述物体面设定部基于所述倾斜方向和倾斜角度设定所述 物体面。
13.根据权利要求11所述的图像处理装置，进一步包括用于测量距离的测距部，其中通过所述测距部获得的距离信息与所述图像 数据相关联地存储在所述存储部中。
14.根据权利要求11所述的图像处理装置，其中，所述指定部是触摸面板，并且当在拍摄的图像中指定点时，所述触摸面板通过检 测坐标来接受位置指定。
15.根据权利要求14所述的图像处理装置，其中，由所述指定部进行的位置指定通过触摸所述触摸面板预定次数来执行。
16.根据权利要求11所述的图像处理装置，进一步包括用于使由所述指定部指定的所述位置与所述拍摄的图像在显示部上一起 显示的显示控制部，其中，所述指定部接受基于指定点的拖动的所述位置的改变。
17.根据权利要求11所述的图像处理装置，其中，所述指定部和设定部是触摸面板，并且其中，所述拍摄的图像上的至少一个点的 指定、所述指定位置的改变、以及包含所述指定点的所述物体面相对于所述透镜光轴的倾 斜方向和倾斜角度的设定，通过触摸所述触摸面板预定的次数来执行。
18.根据权利要求1所述的图像处理装置，其中，所述距离信息转换部根据所述物体面为包括所述图像数据中的两个以上的像素 的各给定区域转换所述距离信息。
19.一种图像处理方法，包括以下步骤基于与在基于图像数据的显示图像中由用户指定的点相对应的距离信息来设定物体根据所述物体面来转换所述图像数据的距离信息；以及 基于转换的距离信息对所述图像数据进行图像处理。
20. 一种用于使计算机执行图像处理方法的图像处理程序，所述图像处理方法包括以 下步骤基于与在基于图像数据的显示图像中通过用户指定的点相对应的距离信息来设定物 体面；根据所述物体面来转换所述图像数据的距离信息；以及 基于转换的距离信息对所述图像数据进行图像处理。
全文摘要
设置物体面，并根据物体面的设置进行适当的图像处理。图像处理装置包含控制器(7)。控制器(7)接收拍摄图像的图像数据及到拍摄图像上的指定点的距离的距离信息，设置包含指定点的物体面(100)，将该距离信息转换为到物体面的距离信息，并根据转换的距离信息进行预定的图像处理。
文档编号G06T1/00GK101933040SQ20088001878
公开日2010年12月29日 申请日期2008年6月5日 优先权日2007年6月6日
发明者牧井达郎 申请人:索尼株式会社