图像处理装置、图像处理方法和程序与流程

本技术涉及用于编辑被设置为处理对象的一个或多个图像的图像处理装置、图像处理方法和程序。

背景技术：

已知用于执行各种图像编辑的图像处理技术。

在专利文献1中，陈述了在布置和组合多个图像时考虑位置关系来确定布局的处理。

引用列表

专利文件

专利文献1：日本专利申请公开no.2010-79570

技术实现要素：

本发明要解决的问题

随着最近社交媒体的普及，普通用户共享照片或运动图像每天都在进行。因此，用于对图像应用效果的应用程序已经普及，并且表示被规范化并且用户的个性未被很好地展示的情况已经发生。

另一方面，为了执行如图像的合成、图像效果的应用等的高级和创造性编辑，需要使用专用工具直接处理图像，需要特殊功能，并且还需要大量劳动或时间。此外，编辑图像的完成程度反映了用户的技能，因此存在许多不能说具有自然光洁度的产品。因此，一般用户不能容易地执行这种图像编辑。

因此，本技术的目的是使普通用户能够容易地执行各种和高级的图像编辑。

解决问题的方法

根据本技术，提供了一种图像处理装置，包括：基准深度设置单元，被配置为设置基准深度信息，所述基准深度信息用作被设置为处理对象的图像中的像素的深度信息的比较基准；以及图像编辑处理单元，被配置为使用基准深度信息和被设置为处理对象的图像的像素的深度信息来执行图像编辑处理。

在这种情况下，将包括深度信息的图像数据设置为处理对象，该深度信息是针对每个像素的到被摄体的距离(深度)的值。顺便提及，例如，可以为图像数据的每个像素添加深度信息，或者可以为作为彩色像素的每个像素块(例如，包括r像素、g像素和b像素的三个像素的单元)添加深度信息。或者，可以为四个像素、九个像素等的每个像素块添加深度信息。

基准深度信息是用作比较基准的深度的阈值、指示特定深度的值、插入深度或用作处理基准的深度范围等。

图像处理装置针对每个像素(像素块)将深度信息与基准深度信息进行比较，并基于比较结果执行图像处理。

在根据本技术的图像处理装置中，基准深度设置单元可以响应于操作输入来设置基准深度信息。

也就是说，用户可以任意设置在图像处理中使用的基准深度信息。

在根据本技术的图像处理装置中，基准深度设置单元可以将深度阈值设置为基准深度信息，并且图像编辑处理单元可以执行基于设置为处理对象的图像的每个像素的深度信息与深度阈值之间的比较结果生成提取的被摄体的裁剪图像的图像编辑处理。

也就是说，在被摄体的深度方向上设置阈值，并且使用阈值作为基准深度从要处理的图像中提取要显示的像素。

在根据本技术的图像处理装置中，基准深度设置单元可以设置公共深度阈值，该公共深度阈值与被设置为处理对象的图像的所有像素进行比较。

将一个值设置为深度阈值，将阈值与要处理的图像的所有像素进行比较，并且作为比较结果提取要显示的像素。

在根据本技术的图像处理装置中，基准深度设置单元可以设置多个深度阈值，并且图像编辑处理单元可以针对每个像素将每个像素的深度信息与对应于该像素的深度阈值进行比较。

设置多个深度阈值。例如，为图像的区域设置不同的深度阈值，或者为像素设置对应的深度阈值。然后，将每个像素与对应的深度阈值进行比较，并提取要显示的像素。

在根据本技术的图像处理装置中，图像编辑处理单元可以获取要裁剪的被摄体的信息，并且图像编辑处理单元可以执行使用针对要处理的图像的每个像素的与深度阈值的比较结果以及该像素是否是要被裁剪的被摄体的像素的判定结果来生成裁剪图像的图像编辑处理。

在这种情况下，还执行每个像素是否是使用通过图像分析的被摄体识别判定的被摄体的像素的判定，并且除了深度比较的结果之外，还作为判定的结果提取要显示的像素。

在根据本技术的图像处理装置中，基准深度设置单元可以将深度阈值设置为基准深度信息，并且图像编辑处理单元可以执行基于被设置为处理对象的图像的每个像素的深度信息与深度阈值之间的比较结果来将被判定为深度阈值的近侧和深侧中的一个的像素设置为要显示的像素并将被判定为近侧和深侧中的另一个的像素的值替换为另一值的处理。

也就是说，在被摄体的深度方向上设置阈值，并且使用阈值作为基准深度在近侧和深侧划分将在没有任何改变的情况下显示的像素和要替换像素值的像素。

在根据本技术的图像处理装置中，图像编辑处理单元可以对被判定为近侧和深侧中的另一个的所有像素执行将像素值替换为用于不显示被摄体的值或者用于赋予显示效果的值的图像编辑处理。

例如，当使用深度阈值划分的另一侧的被摄体的像素被替换为用于不显示被摄体的值，从而使得像素值变为与原始被摄体不相关联的像素值时，可以生成不显示另一侧的被摄体并且仅显示一侧的被摄体的裁剪图像。

此外，例如，当使用深度阈值划分的另一侧的被摄体的像素被替换为用于向被摄体赋予图像效果的值时，可以生成原始地显示一侧的被摄体并且向另一侧的被摄体应用图像效果的裁剪图像。

在根据本技术的图像处理装置中，图像编辑处理单元可以执行将被判定为近侧和深侧中的另一个的像素的像素值替换为另一图像的像素值的图像编辑处理。

例如，当使用深度阈值划分的另一侧的被摄体的像素被替换为另一图像的像素的像素值时，可以生成原始地显示一侧的被摄体并且另一图像的被摄体与另一侧合成的图像。

在根据本技术的图像处理装置中，基准深度设置单元可以将插入深度设置为基准深度信息，并且图像编辑处理单元可以执行基于第一图像的每个像素的深度信息与插入深度的比较结果判定第二图像的像素与针对第一图像的像素之间的前后关系，并基于判定结果生成合成图像的图像编辑处理，作为将第二图像与第一图像合成的处理。

第一图像是例如照片图像等，并且被摄体具有深度信息。另一方面，假设第二图像不具有深度信息。例如，第二图像是原始的二维图像，诸如字符图像或二维生成的图形。将第二图像插入第一图像的深度设置为插入深度。执行合成使得第二图像位于深度的位置。

在根据本技术的图像处理装置中，图像编辑处理单元可以对第二图像执行基于插入深度的图像效果处理。

合成第二图像以在设置的插入深度的深度位置处插入第一图像。对应于插入深度的图像效果被赋予第二图像。

此外，当在不同插入深度处合成多个第二图像时，每个第二图像经历与其插入深度对应的图像效果。

在根据本技术的图像处理装置中，基准深度设置单元可以将深度基准值设置为基准深度信息，并且图像编辑处理单元可以执行基于针对设置为处理对象的图像的每个像素的深度基准值和深度信息之间的比较结果设置图像效果等级，并对被设置为处理对象的图像执行图像效果处理的图像编辑处理。

也就是说，当对要处理的图像执行图像效果时，设置基于被摄体的深度的效果等级(效果的强度)。例如，这种设置基于像素的深度信息和深度基准值之间的差值。

在根据本技术的图像处理装置中，基准深度设置单元可以将插入深度设置为基准深度信息，并且图像编辑处理单元可以执行改变第一图像的被摄体和第二图像的被摄体中的一个或两个的尺寸，基于第一图像的每个像素的深度信息与插入深度之间的比较结果判定第二图像的像素与针对第一图像的像素之间的前后关系，以及基于该判定结果生成合成图像的图像编辑处理，作为将第二图像与第一图像合成的处理。

例如，假设具有不同比例或时间的图像被作为第一图像和第二图像合成。在这种情况下，将第二图像插入第一图像的深度设置为插入深度。执行合成处理，使得改变第二图像的被摄体的尺寸并且将第二图像插入到深度的位置。

在根据本技术的图像处理装置中，图像编辑处理单元可以执行将从第二图像裁剪的被摄体图像与第一图像合成的处理。

例如，执行合成处理，使得通过裁剪来提取第二图像的一些被摄体，改变第一图像的被摄体和第二图像的被摄体中的一个或两个的尺寸，并且将第二图像的裁剪被摄体插入第一图像。

在根据本技术的图像处理装置中，图像编辑处理单元可以对从第二图像裁剪的被摄体图像执行基于插入深度的图像效果处理。

例如，合成与第一图像的尺寸关系已改变的第二图像，以将其在设置的插入深度的深度位置处插入第一图像。对应于插入深度的图像效果被赋予第二图像。

此外，当以不同的插入深度合成多个第二图像时，每个第二图像经历与其插入深度相对应的图像效果。

在根据本技术的图像处理装置中，基准深度设置单元可以将多个深度阈值设置为基准深度信息，并且图像编辑处理单元可以执行合成通过对使用各深度阈值从被设置为处理对象的图像提取的像素进行平坦化而获得的图像的图像编辑处理。

也就是说，使用一些深度阈值来剪切被摄体并将其平坦化。被摄体被平坦化并被合成以例如以原始位置状态叠加。

在根据本技术的图像处理装置中，图像编辑处理单元可以在最小值到最大值的范围中将多个深度阈值设置为要处理的图像的每个像素的深度信息。

因此，可以适当地截出被摄体。

在根据本技术的图像处理装置中，基准深度设置单元可以将一个或多个深度阈值设置为基准深度信息，并且图像编辑处理单元可以执行使用所设置的一个或多个深度阈值从一个或多个图像中提取被摄体图像并合成所提取的被摄体图像的图像编辑处理。

在这种情况下，可以使用深度信息截出被摄体图像，并且可以合成多个截出的被摄体图像。

根据本技术，提供了一种由信息处理装置执行的图像处理方法，所述图像处理方法包括：基准深度设置过程，用于设置基准深度信息，所述基准深度信息用作被设置为处理对象的图像中的像素的深度信息的比较基准；以及图像编辑处理过程，用于使用基准深度信息和被设置为处理对象的图像的像素的深度信息来执行图像编辑处理。

根据本技术，提供了一种使信息处理装置执行与这些处理相对应的处理步骤的程序。

利用这种方法或程序，能够提供可以容易地实现各种图像编辑的图像处理装置。

发明效果

根据本技术，能够提供一种环境，其中普通用户可以容易地执行高级图像处理，作为各种图像编辑，诸如图像的合成和图像效果的应用，而不需要高级技能。

顺便提及，本文描述的有益效果不是限制性的，并且可以实现本公开中描述的任何有益效果。

附图说明

图1是示出根据本技术的实施例的图像处理装置的框图。

图2是描述用于根据实施例的图像处理的操作形式的图。

图3是描述要根据实施例处理的图像的深度信息的图。

图4是体现根据实施例的图像处理装置的信息处理装置的框图。

图5是描述根据第一实施例裁剪图像的图。

图6是描述根据第一实施例剪切图像的处理的图。

图7是示出根据第一实施例的图像编辑处理的流程图。

图8是示出根据第一实施例的图像编辑处理的另一示例的流程图。

图9是描述根据实施例的为每个像素设置作为基准深度信息的阈值的示例的图。

图10是描述根据实施例的为每个像素设置作为基准深度信息的阈值的示例的图。

图11是描述根据第一实施例的裁剪图像和另一图像的合成的图。

图12是示出根据第一实施例的图像编辑处理的另一示例的流程图。

图13是描述根据第二实施例的合成图像的图。

图14是描述根据第二实施例的合成图像的图。

图15是示出根据第二实施例的图像编辑处理的流程图。

图16是描述根据第二实施例的修改示例的合成图像的图。

图17是示出根据第二实施例的修改示例的图像编辑处理的流程图。

图18是描述根据第三实施例的效果图像的图。

图19是示出根据第三实施例的图像编辑处理的流程图。

图20是描述根据第三实施例的效果处理的图。

图21是描述根据第四实施例的合成图像的图。

图22是描述根据第四实施例的合成图像的图。

图23是示出根据第四实施例的图像编辑处理的流程图。

图24是描述根据第五实施例的编辑图像的图。

图25是示出根据第五实施例的图像编辑处理的流程图。

图26是描述根据第五实施例的深度阈值的图。

图27是描述根据第五实施例的编辑图像的另一示例的图。

图28是示出根据第五实施例的图像编辑处理的另一示例的流程图。

具体实施方式

在下文中，将按以下顺序描述实施例。

<1.图像处理装置的配置>

<2.第一实施例>

<3.第二实施例>

<4.第三实施例>

<5.第四实施例>

<6.第五实施例>

<7.结论和修改示例>

<1.图像处理装置的配置>

图1示出了根据本公开的图像处理装置1的功能配置和图像处理装置1的外围配置。图像处理装置1包括图像获取单元2、深度获取单元3、基准深度设置单元4、图像编辑处理单元5和图像输出单元6。

此外，操作单元10、显示单元11、通信单元12、存储单元13和图像源14被示出为图像处理装置1的外围配置的示例。

操作单元10、显示单元11、通信单元12、存储单元13和图像源14可以设置在与图像处理装置1一体形成的装置中，或者可以通过有线或无线通信作为单独的装置连接到图像处理装置1。

首先，将描述图像处理装置1的外围配置。

操作单元10检测来自用户的用于图像编辑的各种操作。操作单元10可以被配置为检测诸如实际键或开关的操作件的操作，或者可以被配置为检测计算机装置中的鼠标或键盘的操作或者诸如语音输入、手势输入或非接触输入的操作。

此外，操作单元10可以被配置为例如检测图2a所示的诸如智能电话的移动终端101中的触摸操作、轻击操作等。图2a示出了例如在安装有图像处理装置1的移动终端101中在屏幕102上显示要编辑的图像的状态。图2b示出了在屏幕102上进一步显示用于触摸操作的操作按钮111和滑动杆110的状态。用户可以使用操作按钮111或滑动杆110执行用于图像编辑的各种操作。

显示单元11是为用户(摄影师等)执行各种显示的显示单元，并且例如是在包括图像处理装置1的装置的外壳中设置的诸如液晶显示器(lcd)或有机电致发光(el)显示器的显示装置。例如，显示单元11是形成图2a等所示的移动终端101的屏幕102的lcd等。或者，显示单元11可以是与包括图像处理装置1的装置分离的显示装置。

在显示单元11中执行用于用户界面的各种显示。例如，执行通过图像处理装置1的编辑处理生成的图像(静止图像或运动图像)的显示、编辑之前的图像(静止图像或运动图像)的显示、诸如操作按钮111或滑动杆110的操作件图像的显示以及其他必要的显示。

通信单元12通过有线或无线连接执行与另一装置的通信。例如，通信单元12使用基于例如诸如无线保真(wifi：注册商标)或蓝牙(注册商标)的无线电通信标准的通信系统来执行通信。或者，通信单元12可以将图像数据(静止图像文件或运动图像文件)发送到外部显示装置、记录装置、再现装置等并从其接收图像数据(静止图像文件或运动图像文件)，或者可以用作使用诸如因特网、家庭网络、局域网(lan)等的各种网络执行通信并且在网络上将各种数据发送到服务器、终端等并从其接收各种数据的网络通信单元。

通信单元12将例如通过图像处理装置1的编辑处理生成的图像(静止图像或运动图像)发送到外部装置。此外，通信单元12可以从外部接收用于编辑处理的图像数据。

存储单元13包括例如非易失性存储器，并且存储编辑的图像数据作为静止图像数据、运动图像数据等的图像文件。存储单元5可以以各种形式体现。例如，存储单元13可以是结合在装置外壳中的固态存储器(诸如闪存)，或者可以具有包括可以附接到装置和从装置拆卸的存储卡(例如，便携式闪存)和访问存储卡以进行记录和再现的卡记录和再现单元的形式。此外，存储单元13可以体现为硬盘驱动器(hdd)、光盘、盘驱动器等。

存储单元13存储由图像处理装置1生成的编辑图像数据。此外，可以从存储单元13读取用于图像处理装置1的编辑处理的图像数据。

顺便提及，使计算机装置执行图像处理装置1的功能的程序可以存储在存储单元13中。

图像源14指的是用于图像处理装置1的编辑处理的图像数据源。要处理的静止图像或运动图像的图像数据从图像源14提供给图像处理装置1。

例如，通信单元12或存储单元13可以对应于图像源14。

下面将描述图像处理装置1的功能配置。

图像处理装置1的图像获取单元2从图像源14获取作为编辑处理的对象的图像数据。例如，通过用户的操作选择的静止图像数据等被设置为处理对象。

深度获取单元3检测被设置为处理对象的图像中的像素的深度信息。在该实施例中，针对每个像素将深度信息dp添加到被设置为图像处理装置1的编辑处理的对象的图像数据。深度信息dp是在捕获图像时被摄体的深度位置的信息。

例如，假设图像数据(静止图像数据)包括0到n行和0到m列的像素阵列，并且包括{(m+1)×(n+1)}个像素px0-0、px0-1、……、pxn-m，如图3所示。

深度信息dp0-0、dp0-1、……、dpn-m被添加到像素px0-0、px0-1、……、pxn-m。每个深度信息是在捕获被摄体的图像时每个像素的深度信息。深度获取单元3从被设置为处理对象的图像中检测深度信息dp0-0、dp0-1、……、dpn-m。

顺便提及，图3中示出的像素px0-0至pxn-m中的每个可以被认为是诸如r像素、g像素或b像素的每种颜色的一个像素，或者可以被认为是包括r像素、g像素和b像素的一个彩色像素。也就是说，深度信息dp(dp0-0至dpn-m)可以以像素为单位添加，或者可以以彩色像素为单位添加。此外，尽管未示出，但是可以为包括多个像素(或多个彩色像素)的每个像素块添加深度信息dp。

将被摄体的深度信息添加到捕获图像的技术是已知的，因此将不描述其细节。

顺便提及，深度获取单元3可以接收并获取由另一装置或传感器检测到的深度信息或者预先为要处理的图像数据登记的深度信息等。此外，深度获取单元3可以检测用户任意设置的深度信息。

基准深度设置单元4执行设置基准深度信息的处理，该基准深度信息用作图像处理时像素的深度信息的比较基准。

尽管将在稍后描述的第一至第五实施例中描述，但是基准深度设置单元4将用于剪切图像等的深度阈值th(也简称为“阈值th”)、图像等的插入的插入深度(对应于插入深度的阈值thi)、用于判定作为基准的深度位置的深度基准值dpref等设置为基准深度信息。

图像编辑处理单元5使用由基准深度设置单元4设置的基准深度信息和已经由图像获取单元2作为处理对象接收的图像的像素的深度信息dp0-0至dpn-m来执行图像编辑处理。稍后将描述裁剪、各种图像的合成、图像效果的添加等作为图像编辑处理的示例。

图像输出单元6输出图像数据作为由图像编辑处理单元5准备的编辑图像。也就是说，图像输出单元6将通过编辑处理准备的编辑图像数据输出到显示单元11以显示编辑结果。

此外，图像输出单元6可以将准备好的编辑图像数据输出到通信单元12，以将编辑图像数据发送到外部装置。

此外，图像输出单元6可以将准备好的编辑图像数据输出到存储单元13，以将编辑图像数据存储在存储介质中。

例如，通过具有如图1所示的上述功能配置，根据实施例的图像处理装置1可以执行稍后将描述的各种图像编辑并生成编辑图像。

图像处理装置1例如被体现为具有如图4所示的硬件配置的信息处理装置100。

如图4所示，信息处理装置100包括中央处理单元(cpu)51、只读存储器(rom)52、随机存取存储器(ram)53。

cpu51根据存储在rom52中的程序或从存储单元59加载到ram53的程序执行各种处理。此外，使cpu51执行各种处理等所需的数据被适当地存储在ram53中。

cpu51、rom52和ram53经由总线54彼此连接。输入和输出接口55也连接到总线54。

包括液晶面板、有机el面板等的显示器56，包括键盘、鼠标等的输入单元57、扬声器58、包括hdd等的存储单元59、通信单元60等可以连接到输入和输出接口55。

当图1所示的显示单元11是与信息处理装置100一体形成的装置时，显示器56指的是显示单元11。显示单元11可以是与信息处理装置100分开的装置。在这种情况下，显示器56可以是连接到输入和输出接口55的单独装置。

图4所示的输入单元57指的是由使用信息处理装置100的用户使用的输入装置，并且还具有例如图1所示的操作单元10的功能。

通信单元60使用包括因特网的网络或与外围装置的通信来执行通信处理，并且还具有例如图1所示的通信单元12的功能。

另外，如果需要，将驱动器61连接到输入和输出接口55，将存储卡62附接到其上，并且如果需要，将从存储卡62读取的计算机程序安装在存储单元59中或者将由cpu51处理的数据存储在其中。驱动器61可以是用于诸如磁盘、光盘或磁光盘的可移除存储介质的记录和再现驱动器。

驱动器61和存储卡62还具有图1所示的存储单元13的功能。

利用该硬件配置，可以执行根据实施例的图像处理装置1的处理，也就是说，图1所示的图像获取单元2、深度获取单元3、基准深度设置单元4、图像编辑处理单元5和图像输出单元6的处理。也就是说，这些处理由cpu51启动的软件实现。构成软件的程序从网络下载或从可移除存储介质读取，并安装在图4所示的信息处理装置100中。或者，程序可以预先存储在作为存储单元59的hdd等中。

然后，通过使cpu51启动程序，可以执行各种图像编辑处理，如稍后将详细描述的。

顺便提及，根据实施例的图像处理装置1不限于具有图4所示的硬件配置的单个信息处理装置(计算机装置)100，而是可以通过使多个计算机装置系统化来配置。多个计算机装置可以由lan等系统化，或者可以通过例如使用因特网等的虚拟专用网络(vpn)布置在远程位置。多个计算机装置可以包括可以在云计算服务中使用的计算机装置。

此外，图4所示的信息处理装置100可以体现为固定类型、笔记本类型等的个人计算机或诸如平板终端或智能电话的移动终端。此外，根据该实施例的图像处理装置1还可以安装在具有信息处理装置100的功能的电子装置(诸如电视装置、监视器装置、图像编辑装置或成像装置)中。

<2.第一实施例>

将描述其中图像处理装置1使用深度信息裁剪具有任意深度的被摄体的编辑处理的示例作为第一实施例。

以下将在本文中描述为使用深度信息提取被摄体：

·使用虚拟垂直面剪切被摄体；

·使用虚拟水平面/虚拟倾斜面剪切被摄体；以及

·利用图像识别使用虚拟面结合提取来剪切被摄体。

首先，将描述使用虚拟垂直面剪切被摄体的示例。

图5a示出了被设置为投影对象的原始图像数据的图像。这是其中面向前方的三个人物被成像为被摄体h1、h2和h3的静止图像。

三个被摄体h1、h2和h3的人物在捕获图像时人物在深度方向上站立的位置彼此不同。图6a示出了从上侧倾斜地观察捕获图像时的被摄体h1、h2和h3的位置状态的状态。被摄体h1站在朝向正捕获图像的相机的最近侧，并且被摄体h2站在稍微更深的一侧。另外，被摄体h3站在最深侧。

在图5a所示的图像中不能容易地识别深度方向上的位置关系，由于针对每个像素，深度信息dp被添加到图像数据，因此图像处理装置1可以识别被摄体h1、h2和h3的深度方向(深度)上的位置。

这里，将用于裁剪的阈值th设置为基准深度信息。使用阈值th假设图6b中所示的虚拟垂直面vp1，并且根据其是在虚拟垂直面vp1之前还是之后(在近侧/深侧)来执行被摄体的剪切。

在图6b中，示出了虚拟垂直面vp1，其中被设置为阈值th的深度的值大于被摄体h1的深度的值并且小于被摄体h2的深度的值。

在这种情况下，仅被摄体h1、h2和h3中的被摄体h1位于比虚拟垂直面vp1更近侧。因此，当裁剪比虚拟垂直面vp1更近侧的被摄体时，可以生成仅出现被摄体h1的编辑图像，如图5b所示。

具体地，图像处理装置1可以通过设置阈值th、比较每个像素的深度信息dp与阈值th、并且作为比较的结果判定该像素是否是要显示的像素来利用使用阈值th设置的深度来裁剪在虚拟垂直面vp1之前(或在其深侧)的被摄体。

图7中示出了图像处理装置1的处理示例。顺便提及，图7中所示的处理流程是由图4中所示的cpu51执行的处理流程，该cpu51具有图1所示的图像处理装置1的功能(主要是基准深度设置单元4和图像编辑处理单元5的功能)。

顺便提及，在稍后将描述的图8、图12、图15、图17、图19、图23、图25和图28的流程图中，类似地示出了基于图像处理装置1的功能的处理流程。

此外，在附图所示的流程图中，与前述流程图中相同的处理将用相同的步骤编号表示，并且不再重复其描述。

图像处理装置1在图7中的步骤s101中指定要处理的图像。例如，将如图5a所示并由图像获取单元2获取的图像数据设置为处理对象。

在步骤s102中，图像处理装置1(基准深度设置单元4)将阈值th设置为基准深度信息。也就是说，将某个深度的值设置为阈值th。在这种情况下，假设图像处理装置1基于从操作单元10输入的操作信息来设置阈值th的值。

例如，假设图2b中所示的滑动块110是用于设置阈值th的操作件。用户通过触摸操作将滑动块110移动到任意位置。通过使滑动块110的位置指示深度，用户可以输入任意深度。

顺便提及，可以想到用于指定阈值th的各种操作形式。用户可以触摸屏幕102上的被摄体，使得被摄体之前的深度被设置为阈值th，或者用户可以输入数值作为深度。

当设置阈值th时，图像处理装置1顺序地选择要作为处理对象编辑的图像数据的每个像素px，并在步骤s103或其后的步骤中将该像素与阈值th进行比较。

也就是说，图像处理装置1(图像编辑处理单元5)在步骤s103中指定一个像素px，并在步骤s104中指定像素px的深度信息dp。

顺便提及，例如，通过深度获取单元3从图像数据中检测由图像获取单元2获取的要处理的图像数据中的像素px0-0至pxn-m的深度信息dp0-0至dpn-m。图像编辑处理单元5从深度获取单元3获取对应像素px的深度信息dp。

此外，当以彩色像素或像素块为单位添加深度信息dp时，可以在步骤s103中指定一个彩色像素或一个像素块。

在步骤s105中，图像处理装置1(图像编辑处理单元5)将对应像素px的深度信息dp与阈值th进行比较。

当满足dp<th时，像素px是比作为阈值th的深度更近侧的被摄体的像素。因此，在这种情况下，在步骤s107中，图像处理装置1将像素px设置为编辑图像数据中将在没有任何改变的情况下显示的像素。

当不满足dp<th时，像素px是比作为阈值th的深度更深侧的被摄体的像素。因此，在这种情况下，在步骤s106中，图像处理装置1用编辑图像数据中的另一像素数据值替换像素px的图像数据值。例如，像素px的像素值被替换为用作掩蔽数据(maskeddata)的特定像素值。

在步骤s108中，图像处理装置1检查是否已经对要处理的图像数据的所有像素px0-0至pxn-m完全执行了上述处理。当尚未完全执行处理时，图像处理装置1再次在步骤s103中指定下一个要处理的像素px，并以类似的方式在其上执行步骤s104到s107的处理。

在步骤s108中判定已经对所有像素完全执行了步骤s103至s107的处理的时间点，生成通过裁剪比虚拟垂直面vp1更近侧的被摄体而获得的如图5b所示的编辑图像数据。也就是说，使用深度信息dp来体现基于在捕获图像时被摄体的位置的裁剪图像。

以这种方式生成的编辑图像数据从图像输出单元6输出，使得编辑图像数据显示在显示单元11上，由通信单元12发送到外部装置，或者通过存储单元13存储在存储介质中。

在图5b所示的示例中，示出了其中剪切了被摄体h1的整个身体的图像，但是例如根据原始图像数据中的被摄体h1的人物的姿势或者阈值th的设置，能够进行各种表示。

例如，可以生成其中仅提取被摄体h1的前表面的图像、当被摄体h1在原始图像中向下弯腰时上半身从墙壁逃逸的图像等。

顺便提及，当在步骤s105中满足dp>th时执行步骤s107并且当不满足dp>th时执行步骤s106时，获得其中提取比虚拟垂直面vp1更深侧的被摄体的裁剪图像。

此外，可以想到在步骤s106中用作掩蔽数据的各种像素值。掩蔽数据被设置为要裁剪的被摄体的背景中的像素的亮度/颜色，但是可以被设置为用于表达预定亮度/颜色的固定值。当然，可以通过用户的操作来选择亮度或颜色(掩蔽数据值)。

此外，代替固定值，还可以想到使用根据像素位置逐渐变化为渐变背景的值或使用随机值。

也就是说，使用掩蔽数据值能够进行各种图像表示。

下面将描述使用虚拟水平面/虚拟倾斜面来执行对被摄体的剪切作为裁剪的示例。

关于虚拟垂直面，执行裁剪，就好像虚拟垂直面vp1存在于基于阈值th的特定深度，但是用作裁剪基准的平面不限于垂直面并且可以在空间中自由定义。

例如，图6c示出了假设虚拟水平面vp2处于包括被摄体h1、h2和h3的空间中的状态。顺便提及，在图中，假设虚拟水平面vp2前面的垂直面vp2f是深度为0的平面，而其后面的垂直面vp2r是具有最大深度的平面。

此外，图6d示出了假设虚拟倾斜面vp3处于包括被摄体h1、h2和h3的空间中的状态。

当对图5a所示的图像执行如图6c所示的以虚拟水平面vp2作为基准的裁剪时，例如，可以生成其中如图5c所示的虚拟水平面vp2上方的图像被裁剪的编辑图像数据。当然，可以根据处理生成其中裁剪虚拟水平面vp2下方的图像的编辑图像数据。

此外，当对图5a所示的图像执行如图6d所示的以虚拟倾斜面vp3作为基准的裁剪时，例如，可以生成其中如图5d所示的虚拟倾斜面vp3上方的图像被裁剪的编辑图像数据。当然，可以根据处理生成其中裁剪虚拟倾斜面vp3下方的图像的编辑图像数据。

作为这样的编辑图像，例如可以根据例如剪切被摄体与除了裁剪部分之外的背景颜色或背景图像之间的关系来执行图像表示，诸如被摄体上升到水面的图像、被摄体从墙壁表面突出的图像、被摄体被埋在地面中的图像、以及被摄体浸没在水中的图像。

通过设置阈值th可以实现以虚拟水平面vp2和虚拟倾斜面vp3为基准的裁剪。

在图7中，首先，将一个值设置为阈值th，但是当执行与所有像素px0-0至pxn-m比较的处理时，实现使用虚拟垂直面vp1的裁剪。另一方面，通过为每个像素或每个区域设置阈值th，可以实现使用虚拟水平面vp2或虚拟倾斜面vp3的裁剪。

将参考图8和9描述具体的处理示例。

当在图8中的步骤s101中指定了要处理的图像时，图像处理装置1在步骤s102a中设置作为基准深度信息的阈值th。在这种情况下，图像处理装置1将多个阈值th0-0到th(n-m)设置为阈值th以对应于像素px0-0到pxn-m。

图9a示出了设置对应于像素px0-0至pxn-m的阈值th0-0至th(n-m)的示例。

如稍后将描述的，根据对与像素px0-0至pxn-m对应的阈值th0-0至th(n-m)的设置，可以假设各种虚拟面。

当设置阈值th(在这种情况下为阈值th0-0至th(n-m))时，图像处理装置1在步骤s103中指定一个像素px，并在步骤s110a中指定与像素px对应的阈值th。例如，当首先将像素px0-0指定为处理对象时，在步骤s102a中设置的阈值th0-0至th(n-m)中指定阈值th0-0。

在步骤s104中，图像处理装置1指定指定的像素px的深度信息dp。然后，在步骤s105a中，图像处理装置1将像素px的深度信息dp与对应的阈值th(例如，像素px0-0的深度信息dp与阈值th0-0)进行比较。

当满足dp<th时，像素px是比作为阈值th的深度更近侧的被摄体的像素。因此，在这种情况下，在步骤s107中，图像处理装置1将像素px设置为编辑图像数据中将在没有任何改变的情况下显示的像素。

当不满足dp<th时，像素px是比作为阈值th的深度更深侧的被摄体的像素。因此，在这种情况下，图像处理装置1在步骤s106中用编辑图像数据中的另一像素数据值替换像素px的像素数据值。例如，像素px的像素数据值被替换为用作掩蔽数据的特定像素值。

在步骤s108中，图像处理装置1检查是否已经对要处理的图像数据的所有像素px0-0至pxn-m完全执行了上述处理。当尚未对所有像素完全执行处理时，图像处理装置1在步骤s103中指定下一次要处理的像素px，并且类似地执行步骤s110a至s107的处理。

在步骤s108中判定已经对所有像素完全执行了步骤s103至s107的处理的时间点，生成通过裁剪比虚拟水平面vp2更靠上侧的被摄体或者比虚拟倾斜面vp3更近侧的被摄体而获得的如图5c和5d所示的编辑图像数据。

以这种方式生成的编辑图像数据从图像输出单元6输出，使得编辑图像数据显示在显示单元11上，由通信单元12发送到外部装置，或者通过存储单元13存储在存储器中。

在该处理示例中，可以根据对阈值th0-0至th(n-m)的设置来执行其中假设各种虚拟面的裁剪。

例如，当设置虚拟水平面vp2时，与作为图像的上半身的第0行至第k行中的像素px0-0至pxk-m对应的阈值th0-0至thk-m被设置为相同的值thu，如图9b所示。此外，与作为例如图像的下半身的第(k+1)行至第n行中的像素pxk+1-0至pxn-m对应的阈值thk+1-0至thn-m被设置为相同的值thl。

在这种情况下，当thu被设置为最大深度值并且thl被设置为零时，可以设置图6c所示的虚拟水平面vp2。

也就是说，图像的上半部分包括在比阈值th更近侧的像素，因此保持为编辑图像数据中的像素。图像的下半部分包括比阈值th更深侧的像素，因此被掩蔽。结果，生成其中由虚拟水平面vp2剪切图像的编辑图像。

布置虚拟水平面vp2的高度位置也可以通过设置图9b中的第k行中的“k”的值来任意设置。

例如，当设置虚拟水平面vp2时，假设图像处理装置1根据从操作单元10输入的操作信息来设置k的值。

例如，假设图2b中的滑动块110是用于设置k的值的操作件。通过将滑动块110移动到任意位置，用户可以指定虚拟水平面vp2将被布置在图像中的什么高度位置。

可以想到用于指定值k的各种操作形式。用户可以触摸屏幕102上的特定位置，使得其高度位置被设置为虚拟水平面vp2，或者用户可以输入数值作为高度位置。

此外，当设置虚拟倾斜面vp3时，同一行中的像素的阈值th被设置为相同的值，如图10a所示。

例如，与第一行中的像素px0-0至px0-m对应的阈值th0-0至th0-m被设置为相同的值thr0。与第二行中的像素px1-0至px1-m对应的阈值th1-0至th1-m被设置为相同的值thr1。与最后一行中的像素pxn-0到pxn-m对应的阈值thn-0到thn-m被设置为相同的值thrn。

在这种情况下，通过将值thr0设置为最大深度值并将值thr1至thrn设置为逐渐减小的深度的值，可以设置图6d所示的虚拟倾斜面vp3。在这种情况下，可以通过图8所示的处理流程生成图5d所示的编辑图像数据。

顺便提及，另一方面，通过将值thr0设置为最小深度值并将值thr1至thrn设置为逐渐增加的深度的值，可以设置具有与图6d所示的倾斜方向相反的倾斜方向的虚拟倾斜面。在这种情况下，通过图8所示的处理流程生成其中更近的被摄体被更加掩蔽的编辑图像。

在设置这样的虚拟倾斜面vp3时，用户可以设置倾斜角。

例如，在设置虚拟倾斜面vp3时，图像处理装置1可以基于从操作单元10输入的操作信息，通过将行之间的深度值的差值设置为从值thr0到值thrn改变从而使得倾斜角被设置来改变倾斜角。通过允许将行之间的深度值的差值输入为正值或负值，用户还可以设置倾斜方向。

在这种情况下，图像处理装置1可以被配置为应对用户对滑动块110的操作、触摸操作、输入倾斜角的数值的操作等。

此外，还可以想到在图像空间中水平倾斜的虚拟面作为虚拟倾斜面。例如，将同一列中的像素的阈值th设置为相同的值，如图10b所示。

例如，对应于第一列中的像素px0-0至pxn-0的阈值th0-0至thn-0被设置为相同的值thc0。对应于第二列中的像素px0-1至pxn-1的阈值th0-1至thn-1被设置为相同的值thc1。对应于最后一列中的像素px0-m至pxn-m的阈值th0-m至thn-m被设置为相同的值thcm。

在这种情况下，通过将值thc0设置为最大深度值并将值thc1至thcn设置为逐渐减小的深度的值，可以设置在图像中从左深侧延伸到右近侧的虚拟倾斜面。在这种情况下，通过图8所示的处理流程生成其中右被摄体被更多掩蔽的编辑图像。

此外，通过将值thc0设置为最小深度值并将值thc1至thcn设置为逐渐增加的深度的值，可以设置从图像中的左近侧向右深侧延伸的虚拟倾斜面。在这种情况下，通过图8所示的处理流程生成其中左被摄体被更多掩蔽的编辑图像。

此外，在设置这样的虚拟倾斜面vp3时，图像处理装置1可以允许用户通过将值thc0至thcm设置为对应于用户对滑动块110的操作、触摸操作、输入倾斜角的数值的操作等来设置水平方向上的倾斜角。

顺便提及，在图8所示的处理流程的步骤s105a中，当满足dp>th时执行步骤s107并且当不满足dp>th时执行步骤s106时，可以生成其中剪切侧与虚拟水平面vp2和虚拟倾斜面vp3的关系反转的裁剪图像。

此外，类似于虚拟垂直面vp1，可以考虑在步骤s106中用作掩蔽数据的各种像素值。

下面将描述利用图像识别使用虚拟面结合提取来剪切被摄体。

图11a示出了被设置为处理对象的原始图像。这是静止图像，其中面向前侧的三个人物被成像为被摄体h1、h2和h3，并且在人物之前和之后出现环境景观。

这里，在图7所示的处理流程中，假设虚拟垂直面vp1被假设并且执行对作为最近侧的人物的被摄体h1的裁剪。原样，在图像中，假设被摄体h4存在于比被摄体h1更近侧。然后，被摄体h4也包括在裁剪图像中。在这种情况下，例如，执行通过图像分析等识别人物的图像区域的处理，并且例如，可以使用识别结果生成如图11b所示的仅剪切作为人物的被摄体h3的裁剪图像。

图12示出了由图像处理装置1执行的处理流程的示例。

当在图12中的步骤s101中指定了要处理的图像时，图像处理装置1在步骤s120中获取被摄体指定信息。

例如，当如图11a所示的图像是要处理的图像时，图像处理装置1在图2b所示的屏幕102上显示图像，并且获取在由用户触摸屏幕102的位置上的被摄体作为被摄体指定信息。

假设用户触摸被摄体h1的区域。然后，图像处理装置1(图像编辑处理单元5)获取其操作信息(触摸位置的信息)。

图像编辑处理单元5可以对要处理的图像执行图像分析。例如，图像编辑处理单元5可以通过人物识别、面部识别等识别特定被摄体，并判定被摄体的像素区域。当通过分析判定特定被摄体(例如，人物)时，图像编辑处理单元5呈现所判定的被摄体。例如，在屏幕102上执行用于呈现所判定的被摄体的显示(诸如围绕人物的一部分的框的显示)。用户可以通过触摸操作指定所识别的被摄体之一。然后，例如，当获取触摸位置的信息并且该位置在人物识别等中判定的人物的区域内时，图像编辑处理单元5识别出该人物被指定。

或者，当显示要处理的图像并且获取触摸位置的信息时，图像编辑处理单元5可以判定被摄体的图像中的位置的像素的轮廓并且将轮廓中的区域识别为指定被摄体的区域。

以任何方式，通过用户的操作等指定特定被摄体。或者，可以自动指定诸如人物的特定被摄体，而不管用户的操作如何。

例如，响应于用户的操作，图像处理装置1在步骤s102中设置用于假设虚拟垂直面vp1的阈值th。

然后，以类似于图7所示的方式执行步骤s103、s104和s105的处理。

在图12中，在步骤s105中将像素px的深度信息dp与阈值th进行比较，并且当满足dp<th时，在步骤s122中检查像素px是否是在步骤s120中指定的被摄体的像素。然后，当像素px是指定被摄体的像素时，在步骤s107中将像素px设置为编辑图像数据中将在没有任何改变的情况下显示的像素。另一方面，当像素px不是指定被摄体的像素时，处理流程转换到步骤s121。

此外，当在步骤s105中判定不满足dp<th时，处理流程也转换到步骤s121。

在步骤s121中，图像处理装置1对像素px的像素数据执行替换或效果处理。例如，以类似于图7所示的方式用掩蔽数据替换像素数据。

重复这些过程，直到在步骤s108中判定已经对所有像素完全执行了处理。因此，能够进行更精确的裁剪。

例如，假设打算使用虚拟垂直面vp1从图11a所示的图像中仅裁剪被摄体h1。在简单地提取了比虚拟垂直面vp1更近侧的像素的编辑图像中，保留了被摄体h1和h4。通过步骤s122的处理，在步骤s121中用掩蔽数据替换被摄体h4的像素。因此，可以生成如图11b所示的仅剪切被摄体h1的裁剪图像。也就是说，能够进行精确地仅剪切要裁剪的被摄体的图像编辑。

在步骤s121中，可以执行效果处理以及用掩蔽数据替换。

例如，执行单色化处理。然后，如图11d所示，可以生成其中仅作为要被剪切的最近侧的人物的被摄体h1保持没有任何改变作为彩色图像并且其他被摄体是单色图像的编辑图像(图11d中的灰色部分是单色的)。

也就是说，通过与形状识别、对象识别、颜色识别等相结合，可以执行仅将特定被摄体留下作为彩色图像且不将甚至定位在待裁剪位置的另一被摄体与特定被摄体的颜色混合的处理。因此，可以执行能够精确地将特定被摄体与另一被摄体区分开的裁剪或效果处理。

步骤s121的处理不限于单色化处理，并且还可以考虑色调的改变、亮度的改变、模糊处理、马赛克处理、多重曝光处理等。也就是说，能够进行通过基于深度信息的剪切和改变另一被摄体的表示来仅留下特定被摄体的编辑。

此外，在步骤s121中，可以执行用不同图像中的对应像素位置处的像素值替换像素值的处理。

然后，可以获得其中剪切被摄体h1出现在另一背景中的编辑图像。例如，可以生成其中从图11a所示的图像中剪切被摄体h1并如图11c所示将其布置在另一背景中的编辑图像。

顺便提及，如图12所示的一起使用被摄体的指定的裁剪处理可以自然地应用于使用虚拟水平面vp2或虚拟倾斜面vp3的情况。此外，通过将步骤s121中的图像效果处理或用另一图像的像素值进行替换应用到使用虚拟水平面vp2或虚拟倾斜面vp3的情况，能够进行各种图像表示。

<3.第二实施例>

作为第二实施例，将描述使图像处理装置1使用深度信息自然地将图形效果与空间混合的编辑处理的示例。

这里，假设没有深度的字符或图形与具有深度的图像合成。也就是说，当将字符或图形添加到捕获图像时，可以通过使用深度信息调整与被摄体等的重叠来实现更自然的表示。

在图13a中示出了被设置为处理对象的捕获图像(第一图像)的示例。这是类似于图5a中所示的图像。

例如，图13b以某种字体示出了“abcde”，作为作为第二图像插入第一图像的字符/图形的示例。

图13b所示的字符/图形与图13a所示的图像合成。在这种情况下，将指示插入深度的阈值thi设置为基准深度信息。作为插入深度的阈值thi是字符/图形被插入到图13a所示的图像中的深度的值。

例如，阈值thi被设置为在比被摄体h1更深侧并且比被摄体h2更近侧的值。如图13c所示，在插入深度处判定插入区域ia。

然后，合成字符/图形“abcde”以插入插入区域ia。

结果，生成如图13d所示的合成图像。由于插入区域ia是作为插入深度的阈值thi的位置并且位于比被摄体h1更深侧，因此“abcde”的一部分隐藏在被摄体h1的后面。

此外，图14a示出了以类似于图13a所示的方式被设置为处理对象的捕获图像的示例。

例如，图14b示出了五个心形标记作为要插入的字符/图形的示例。例如，图14b是由计算机图形(cg)准备的图形的示例。

图14b中所示的字符/图形与图14a中所示的图像合成。在这种情况下，将表示五个心形标记的插入深度的阈值thi1至thi5设置为基准深度信息。此外，如图14c所示，设置心形标记的插入区域ia1至ia5。插入区域ia1至ia5是由阈值thi1至thi5指示的深度区域。

在这种情况下，阈值thi1被设置为比被摄体h1更近侧的深度，阈值thi2被设置为比被摄体h1更深侧并且比被摄体h2更近侧的深度，阈值thi3被设置为比被摄体h2更深侧并且比被摄体h3更近侧的深度，并且阈值thi4和thi5被设置为比被摄体h3更深侧的深度。

另外，合成五个心形标记的字符/图形以分别插入插入区域ia1至ia5。

结果，生成如图14d所示的合成图像。心形标记是根据与被摄体h1、h2和h3的前后关系可见或不可见的图像，使得它们位于被设置为阈值thi1至thi5的深度的位置处。

用于实现这种编辑处理的处理流程的示例在图15中示出。

图像处理装置1指定要在图15的步骤s131中处理的第一图像。例如，将由图像获取单元2获取的如图13a或14a所示的图像数据设置为处理对象。

在步骤s132中，图像处理装置1指定插入第一图像的第二图像(插入图像)。例如，第二图像是图13b或14b中所示的字符/图形。

响应于用户对图像的指定，执行第一图像和第二图像的指定。

在步骤s133中，图像处理装置1将插入第二图像(插入图像)的插入区域ia设置在第一图像上，并将阈值thi设置为基准深度信息。

例如，如图13c所示，设置一个插入区域ia和作为其插入深度的阈值thi。或者，如图14c所示，设置多个插入区域ia1至ia5和作为其插入深度的阈值thi1至thi5。

例如，可以基于用户指定的第一图像上的位置来判定该设置。

例如，执行设置使得字符/图形紧接在用户指定的第一图像上的位置处的被摄体之前插入。

例如，当用户指定图13a所示的第一图像中的被摄体h2上的位置时，图13b中的第二图像的插入区域ia被布置在比被摄体h2更近侧。

在图14b中，当用户指定第一图像中的被摄体h1上的位置时，一个前导心形标记的插入区域ia1被设置在比被摄体h1更近侧的深度(阈值thi1)处，并且对于其余四个插入区域ia2至ia5，设置作为对应于尺寸的深度(例如，逐渐变深的深度)的阈值thi2至thi5。

顺便提及，插入区域ia和阈值thi不是由用户指定的，而是可以由图像处理装置1自动设置。

在步骤s134和随后的步骤中，图像处理装置1顺序地将包括在插入区域ia中的每个像素px与第一图像的图像数据中的阈值thi进行比较。

也就是说，图像处理装置1在步骤s134中在第一图像中指定作为特定插入区域ia的区域中的一个像素px，并且在步骤s135中指定像素px的深度信息dp。

顺便提及，这里，当设置的插入区域ia的数量是一个时，插入区域ia中的一个像素自然地被指定为处理对象。

当设置的插入区域ia的数量是两个或更多个(例如，存在插入区域ia1至ia5)时，例如，第一插入区域ia1中的一个像素被指定为处理对象。

在步骤s136中，图像处理装置1将要处理的像素px的深度信息dp与针对包括像素px的插入区域ia设置的阈值thi进行比较。

当满足dp<thi时，第一图像中的像素px是比作为阈值thi的深度更近侧的被摄体的像素。因此，在步骤s138中，图像处理装置1将像素px设置为编辑图像数据中将在没有任何改变的情况下显示的像素。

当不满足dp<thi时，第一图像中的像素px是比作为阈值thi的深度更深侧的被摄体的像素。因此，在这种情况下，在步骤s137中，图像处理装置1将编辑图像数据中的像素px的图像数据值替换为与第二图像(插入图像)中的像素位置对应的像素数据值。也就是说，第二图像的像素数据被设置为要显示的像素。

在步骤s139中，图像处理装置1检查是否已经对用作插入区域ia的区域中的第一图像中的所有像素完全执行了上述处理。当尚未完全执行处理时，图像处理装置1再次在步骤s134中当前正在处理的插入区域ia中指定下一次要处理的像素px，并且以类似的方式执行步骤s135至s138中的处理。

当在步骤s139中判定已经对一个插入区域ia中的所有像素完全执行了步骤s134至s138的处理时，图像处理装置1在步骤s140中检查是否剩余另一设置的插入区域ia。

当如图13c所示设置一个插入区域ia时，处理流程结束。

当如图14c所示设置多个插入区域ia1至ia5并且存在未处理的插入区域ia时，在步骤s141中选择下一个插入区域ia(例如，插入区域ia2)，并且对插入区域ia执行步骤s134到s139的处理。在步骤s140中检查到已经对所有插入区域ia完全执行了处理的时间点，图15中所示的处理流程结束。

在图15所示的处理流程结束的时间点，例如，生成如图13d或14d所示的编辑图像数据。

以这种方式生成的编辑图像数据从图像输出单元6输出，使得编辑图像数据显示在显示单元11上，由通信单元12发送到外部装置，或者由存储单元13存储在存储介质中。

在图15所示的处理流程的示例中，作为第二图像的字符/图形以预定深度插入到第一图像中，并且实现了其中字符/图形似乎实际存在于被摄体空间中的合成图像。

也就是说，通过使用深度信息调整重叠，能够进行其中图形效果自然地与被摄体空间混合的图形表示。

顺便提及，通过根据深度应用图像效果以及前后关系，能够进行更自然的图像表示。

将图16a所示的图像被设置为出现三个被摄体h1、h2和h3的第一图像。

这里，假设以图16b所示的深度关系插入字符“abcd”的第二图像g1和g2。

第二图像g1的深度被设置在被摄体h1和h2之间，并且另一第二图像g2的深度被设置在被摄体h2和h3之间。

在图16c中示出了如下编辑图像，其中在深度方向上以这样的布置状态插入第二图像g1和g2，并且然后进一步执行表示深度方向上的模糊感的图像处理。

以这种方式，通过类似于第一图像的自然模糊感向第二图像g1和g2添加模糊感，可以获得其中甚至原始没有深度的图像(诸如字符/图形)与第一张图像自然地混合的合成图像。

图17示出了处理流程的示例。在图17中，图15所示的处理流程的示例中的步骤s137变为步骤s142和s143。步骤s131至s136的处理类似于图15中的处理。

在步骤s136中，图像处理装置1将要处理的像素px的深度信息dp与针对包括像素px的插入区域ia设置的阈值thi进行比较。

当满足dp<thi时，第一图像中的像素px是比作为阈值thi的深度更近侧的被摄体的像素，因此在步骤s138中将像素px设置为编辑图像数据中将在没有任何改变的情况下显示的像素。

当不满足dp<thi时，第一图像中的像素px是比作为阈值thi的深度更深侧的被摄体的像素。因此，在这种情况下，图像处理装置1在步骤s142中用第二图像(插入图像)中与其像素位置对应的像素数据值替换编辑图像数据中的像素px的像素数据值。也就是说，选择第二图像的像素数据。

然后，在步骤s143中，将对应于深度(即，阈值thi的设置值)的图像效果应用于第二图像的像素数据。例如，执行降低亮度值以对应于深度位置或赋予模糊感的处理。

步骤s139、s140和s141类似于图15中的步骤。

顺便提及，步骤s143的图像效果处理可以在步骤s139之后的时间点处对第二图像的范围适当地执行，其中在步骤s139中，第二图像的像素已经根据图像效果的类型布置在插入区域ia中。

通过上述处理，可以在已经赋予与第一图像中的插入位置对应的图像效果的状态下合成作为第二图像的没有深度的字符/图形，并且可以生成与第一图像匹配得很多的合成图像，即，在捕获第一图像时似乎实际存在字符/图形的合成图像。

这里，已经描述了合成字符/图形的示例，但是，例如，当诸如雾、云或耀斑的自然现象与图像合成时，可以使用深度信息来实现除了与第一图像中的被摄体重叠之外的包括渐变等的自然表示。

例如，通过使用诸如雪或雨滴的悬浮颗粒的图像作为第二图像，悬浮颗粒也根据第一图像的像素的深度信息dp和插入位置被反映。此外，设置与深度对应的灰度。因此，能够生成合成图像作为更自然的场景。

此外，即使当由虚拟照明光引起的阴影、光束、被摄体的阴影等被作为第二图像合成时，也可以根据其深度适当地表达它们。

<4.第三实施例>

将描述使图像处理装置1使用深度信息应用图像效果的编辑处理的示例作为第三实施例。

也就是说，诸如基于深度的光学效果的图像效果被应用于被设置为处理对象的图像的被摄体。

要处理的原始图像是类似于图5a中所示的图像。

图18a示出了在捕获要处理的图像时被摄体h1、h2和h3之间的布置关系。被摄体h1、h2和h3从近侧依次布置。

在这种情况下，如图18b所示，假设似乎存在多个膜e的状态，并且如图18c所示，由多个膜e生成朝向较深侧变模糊的编辑图像。换句话说，生成其中被摄体h1、h2和h3站在雾中的图像。

例如，通过在应用图像效果时根据被摄体的深度设置效果等级，可以如在该示例中那样实现基于被摄体的深度位置的图像效果表示。

例如，当执行应用诸如雾或雨的效果的图像效果处理时，可以通过根据被摄体的深度改变其密度或浓度来生成可称为光学天气现象仿真的图像。

图19中示出了处理流程的示例。

在图19的步骤s150中，图像处理装置1指定要处理的图像。例如，作为由图像获取单元2获取的图像数据的如图5a所示的图像数据被指定为处理对象。

在步骤s151中，图像处理装置1设置应用于要处理的图像的图像效果。也就是说，设置要应用什么类型的图像效果。实际上，可以通过用户的操作来选择图像效果的类型。

在步骤s152中，图像处理装置1将深度基准值dpref设置为基准深度信息。

深度基准值dpref表示用作图像效果等级(效果的强度)的基准的深度。

例如，图20示出了在捕获要处理的图像时相机的透镜平面被定义为位置lp并且某个深度位置被设置为深度基准值dpref的示例。

深度基准值dpref的深度可以被设置为例如相机的焦距等，或者可以被设置为通过用户的操作选择的深度。使用一定深度作为图像效果等级的基准深度。

在步骤s153或其后的步骤中，图像处理装置1顺序地处理要处理的图像数据中的像素px。

也就是说，图像处理装置1在步骤s153中指定一个像素px，并在步骤s154中指定像素px的深度信息dp。

在步骤s155中，图像处理装置1计算要处理的像素px的深度信息dp与深度基准值dpref之间的差(dp-dpref)。

当不满足差值(dp-dpref)＝0时，图像处理装置1在步骤s156中设置与差值对应的图像效果等级ep。

例如，将图像效果等级的初始值epd乘以差值(dp-dpref)以计算图像效果等级ep。

然后，在步骤s157中，使用图像效果等级ep执行图像效果处理。例如，当对图像赋予雾的效果时，雾的浓度被设置为图像效果等级ep。

然后，在步骤s158中，将已经执行了图像效果处理的像素值设置为用于编辑图像的像素数据。

当在步骤s155中满足差值(dp-dpref)＝0时，图像处理装置1在步骤s158中将像素px设置为编辑图像数据中要显示的像素，而不进行改变。也就是说，不对像素执行图像效果处理。

然而，在这种情况下，选择这样一种图像效果处理，其中将与深度基准值dpref对应的像素的图像效果等级设置为零。

当选择对应于深度基准值dpref的像素的图像效果等级被设置为除零以外的初始值epd并且满足差值(dp-dpref)＝0的这种类型的图像效果处理时，如图19中的虚线所示，在步骤s157中使用初始值epd执行图像效果处理。然后，在步骤s158中，将已经执行了图像效果处理的像素值设置为用于编辑图像的像素数据。

在图20所示的示例中，被摄体ob1、ob2和ob3在距透镜平面lp的深度处示出，并且深度分别是dp1、dp2和dp3。然后，在该示例中，深度基准值dpref被设置为dp1。

在这种情况下，例如，被摄体ob1的像素不经历或经历使用初始值进行的图像效果处理。

被摄体ob2经历初始值epd×差值(dp2-dpref)的等级的图像效果处理。

被摄体ob3经历初始值epd×差值(dp3-dpref)的等级的图像效果处理。

当被摄体ob1、ob2和ob3的深度对应于图18a中的被摄体h1、h2和h3时，例如，如图18c所示，实现了使得被摄体h1清晰并使在更深侧的被摄体h2和h3变得模糊的图像效果处理的编辑图像。

在图19的步骤s159中，图像处理装置1检查是否已经对要处理的图像中的所有像素完全执行了上述处理。当尚未完全执行处理时，图像处理装置1再次在步骤s153中指定下一次要处理的像素px，并以类似的方式执行步骤s154至s158的处理。

在步骤s159中判定已经对所有像素完全执行了步骤s153至s158的处理的时间点，图19所示的处理流程结束。

在图19所示的处理流程结束的时间点，例如，生成如图18c所示的编辑图像数据。以这种方式生成的编辑图像数据从图像输出单元6输出，使得编辑图像数据显示在显示单元11上，由通信单元12发送到外部装置，或者由存储单元13存储在存储介质中。

通过图19所示的处理流程的示例，例如，可以生成如下编辑图像，其中基于被摄体的深度信息自由地改变由于点光源等引起的背景模糊或改变颜色或形状。

此外，例如，除了深度之外，还可以通过考虑墙壁或地板的形状或纹理来改变光的量、强度、角度、颜色等来执行适当的光表示。

此外，当考虑将虚拟光源布置在图像的空间中的图像效果时，还可以生成通过改变照明的位置或强度来改变高光或阴影的图像。例如，使用深度dp在三维空间中模拟要处理的图像，并且在该空间中设置用于虚拟照明的光源的三维位置。在这种情况下，通过将光源的深度位置设置为深度基准值dpref，可以计算来自光源的照明对每个被摄体的影响(亮度或阴影)。也就是说，可以基于每个像素的深度信息与深度基准值dpref之间的比较结果来设置照明效果。因此，可以生成似乎实际经受了从虚拟光源执行照明的图像效果处理的编辑图像。此外，在这种情况下，可以通过允许用户任意地设置光源的位置来生成表达各种照明情况的编辑图像。

如上所述，通过将对应于被摄体的深度的图像效果应用于要处理的图像，各种图像表示是可能的。

<5.第四实施例>

将描述使图像处理装置1重叠具有深度信息的不同图像的编辑处理的示例作为第四实施例。

这是对具有深度的多个图像执行与被摄体的深度相对应的自然重叠或图像效果的示例。

假设第一图像和第二图像作为处理对象。假设两者都是例如捕获的图像。

第一图像被定义为插入另一图像的图像，并且第二图像被定义为插入另一图像中的被摄体的图像。

图21a示出了第一图像。第一图像是出现一组多个人物的照片。阴影人物被定义为被摄体h10。

图21b示出了第二图像。第二图像是一个人物(被摄体h20)的照片。

被摄体h10和h20具有不同的图像尺寸(像素区域的面积)。

这里，假设调整被摄体h20的比例，然后将被摄体h20合成到第一图像中的被摄体h10的斜后侧。

如图21c所示，设置在第一图像中位于被摄体h10的斜后侧的插入区域ia。此外，减小第二图像中的被摄体h20的尺寸，使得获得与被摄体h10相同的比例感，如图21d所示。此外，关于它们之间的位置关系，被摄体h20存在于设置在被摄体h10的斜后侧的插入区域ia中。

图21e示出了合成编辑图像。被摄体h20与被摄体h10具有前后关系，经历尺寸调整，并被插入第一图像中。

此外，图22a示出了作为从特定图像裁剪的被摄体h40的第二图像(其被插入另一图像)。图22b示出了包括被摄体h30的第一图像(其中插入了另一图像)。

在这种情况下，改变第一图像的尺寸，并且执行在第一图像中布置第二图像的被摄体h40的合成，以获取图22c所示的编辑图像。

在图22c所示的编辑图像中，执行图像表示，使得作为处于坐姿的人物的第二图像的被摄体h40坐在作为放大的第一图像的容器的被摄体h30的台阶部分上。也就是说，生成了根据基于被摄体h30的实际三维形状的像素的深度和人物处于坐姿的被摄体h40的像素的深度信息设置合成位置的图像。

用于实现这种编辑处理的处理流程的示例在图23中示出。

图像处理装置1指定要在图23的步骤s170中处理的第一图像。此外，在步骤s171中，图像处理装置1指定要处理的第二图像。第一图像和第二图像两者都是由图像获取单元2例如响应于用户的图像指定操作等获取的图像数据。

在步骤s172中，图像处理装置1设置用于合成第一图像和第二图像的插入区域ia以及用作基准深度信息(插入深度)的阈值thi。

例如，如图21c所示，在第一图像中设置插入区域ia和作为其插入深度的阈值thi。这些可以例如基于用户指定的第一图像中的位置来判定。或者，图像处理装置1可以自动设置插入区域ia和插入深度。例如，在图21c中，可以自动判定和设置可以插入被摄体h20的位置和深度。

此外，在图22c所示的示例中，用户可以在第一图像中设置插入区域ia和作为插入深度的阈值thi，或者图像处理装置1可以根据被摄体h30和h40的像素深度自动设置插入区域ia和插入深度。

在步骤s173中，图像处理装置1调整第一图像和第二图像中的一个或两个的尺寸，并且临时重叠两个图像。

例如，对图21b中的被摄体h20进行尺寸调整，使得它可以布置在第一图像的插入区域ia中。然后，将第二图像的被摄体h20与第一图像的插入区域ia重叠。

图像处理装置1在步骤s174以及随后的步骤中对插入被摄体的第一图像的图像数据的所有像素执行基于与第二图像的重叠关系的处理。

也就是说，图像处理装置1在步骤s174中指定第一图像的一个像素px，并且在步骤s175中判定像素px是否是与第二图像的插入被摄体(例如，被摄体h20)重叠的像素。

当像素px不是重叠像素时，处理流程经步骤s178返回到步骤s174，并处理下一个像素。

当某个像素px是与第二图像的被摄体重叠的像素时，处理流程从步骤s175转换到步骤s176，并且图像处理装置1判定前后关系。在由阈值thi指示的插入深度处插入第二图像。

因此，在步骤s176中，图像处理装置1获取像素px的深度信息，并将深度dp与阈值thi进行比较。

当满足dp>thi时，第一图像的像素在更近侧。

当不满足dp>thi时，判定第二图像的像素在更近侧。

然而，作为第二图像的被摄体h20的所有像素不具有相同的深度。更准确地说，被摄体h20的像素的深度具有不同的值。因此，优选地，将作为插入深度的阈值thi设置为例如被摄体h20中的最近位置等，并且将被摄体h20的像素中位于最近侧的像素的深度的值dps设置为插入深度(阈值thi)。

例如，当添加到第二图像的被摄体h20的每个像素的深度信息dp的值被定义为“dpx”时，基于像素的深度dpx执行比较。也就是说，当满足dp>thi+(dpx-dps)时，第一图像的像素位于更近侧。

当不满足dp>thi+(dpx-dps)时，判定第二图像的像素在更近侧。

以这种方式，第二图像的像素的实际深度信息被反映在作为插入深度的阈值thi中，并且确定第一图像的像素和第二图像的像素之间的前后关系。

然后，图像处理装置1在步骤s177中选择更近的像素作为要显示的像素。

因此，选择一个像素，使得当第一图像和第二图像重叠时显示更近的部分。

在步骤s178中，图像处理装置1检查是否已经对第一图像的所有像素完全执行了上述处理。当尚未完全执行处理时，再次在步骤s174中指定下一次要处理的像素px，并且以类似的方式执行步骤s175至s177的处理。

当在步骤s178中判定已经对第一图像的所有像素完全执行了步骤s174至s177的处理时，图像处理装置1使处理流程从步骤s178转换到步骤s179。

可以不必执行步骤s179，但是图像处理装置1在此基于合成图像的深度执行图像效果处理。

例如，添加通过将作为第二图像的被摄体插入第一图像而生成的阴影，或者对第二图像执行基于其插入深度的模糊。

图22c示出了执行使第二图像的被摄体h40的阴影sdw出现在第一图像上的图像效果处理的示例。

在图23所示的处理流程结束的时间点，例如，生成如图21e和22c所示的编辑图像数据。

以这种方式生成的编辑图像数据从图像输出单元6输出，使得编辑图像数据显示在显示单元11上，由通信单元12发送到外部装置，或者由存储单元13存储在存储介质中。

在图15所示的处理流程的示例中，作为第二图像的被摄体以预定深度插入第一图像中。此外，还执行在插入时调整被摄体的尺寸。因此，实现了在实际捕获第一图像时第二图像的被摄体似乎存在于第一图像的空间中的合成图像。

此外，当执行基于第二图像的插入深度的图像效果处理时，能够进行更自然的合成。

可以以例如图21e所示的与现实相匹配的尺寸关系或者以图22c所示的与现实不匹配的尺寸关系执行尺寸调整。例如，也可以生成如下合成图像，其中人物图像(第二图像)相对于正常背景图像(第一图像)的尺寸被改变为实际上不基于与背景的比率的尺寸。

因此，更自由的图像表示是可能的。

此外，当第二图像是如图22a所示从原始图像裁剪的被摄体h40时，与第一图像重叠的区域的自由度增加或者在步骤s175中被判定为重叠像素的像素px的数量减少，因此可以减小图23中的处理负荷。

顺便提及，已经描述了调整第一图像和第二图像之一的尺寸的示例，但是可以调整第一图像和第二图像两者的尺寸。

此外，第一图像和第二图像是具有深度信息的图像，但不限于实际捕获的图像。例如，第一图像和第二图像中的一个或两个可以是具有被摄体或像素的深度信息的3d图形图像。例如，当图22a是实际捕获的图像并且图22b是3d图形图像时，还假设使用其深度信息生成如图22c所示的合成图像。

<6.第五实施例>

将描述使图像处理装置1使用深度信息改变深度表示的编辑处理的示例作为第五实施例。

图24示出了通过在一些深度处剪切像素、使像素平坦化、然后重新合成像素来生成表示轮廓线的图像或阴影框图像的示例。

图24a示出了对包括被摄体h50的待处理图像执行使用虚拟垂直面vp11进行裁剪的状态。

图24b、24c、24d和24e示出了分别对要处理的图像执行使用虚拟垂直面vp12、vp13、vp14和vp15进行裁剪的状态。

虚拟垂直面vp11至vp15设置为不同的深度。

图24f、24g、24h、24i和24j中示出通过生成使用不同深度从要处理的一个图像剪切的多个裁剪图像并对裁剪图像进行平坦化而获得的图像。平坦化意味着剪切像素的深度是均匀的。

然后，合成平坦化图像以彼此重叠。因此，可以像图24k所示的被摄体h50'那样生成阴影框的编辑图像。

图25示出了处理流程的示例。

图像处理装置1在步骤s190中指定要处理的图像。

在步骤s191中，图像处理装置1将阈值th1至th(p)设置为基准深度信息。

阈值th1至th(p)是用于设置诸如虚拟垂直面vp11至vp15的裁剪深度的值。

设置阈值th的示例在图26a中示出。例如，一些阈值th1至th7被设置在0到最大深度(∞)的深度范围内。由阈值th1至th7划分的深度的宽度可以相等或不相等。

图26b示出了在0到最大深度(∞)的深度范围中的代表被摄体深度范围中设置一些阈值th1到th6的示例。

例如，假设设置如图26a和26b所示的固定阈值th1至th(p)。

此外，可以根据被设置为处理对象的图像来设置阈值th1至th(p)。图26c示出了在要处理的图像的所有像素中计算最小深度值(dpmin)和最大深度值(dpmax)并且通过一些阈值th1至th5划分其间的范围的示例。

通过执行该设置，可以设置适合于要处理的图像的裁剪深度。

当设置p个阈值th1到th(p)时，图像处理装置1在图25的步骤s192中设置参数q＝1，然后执行步骤s193的处理。

在步骤s193中，图像处理装置1使用阈值th(q)提取像素。也就是说，提取深度位于比阈值th(q)更近侧的像素。

然后，在步骤s194中，图像处理装置1生成第(q)图像，其中提取的像素被平坦化。

图像处理装置1在步骤s195中检查参数q是否满足q＝p，当参数q未达到p时在步骤s196中增加参数q，并再次执行步骤s193的处理。

也就是说，通过步骤s192至s196的处理，执行使用阈值th1至th(p)的裁剪，并且生成平坦化的第一至第(p)图像。

当参数q最终通过上述处理满足q＝p时，图像处理装置1在步骤s197中在其代表深度处合成第一至第(p)图像。阈值th1至th(p)的深度可以用作代表深度。

结果，生成如图24k所示的编辑图像。

也就是说，可以通过逐步处理深度信息来生成其中被摄体的形状看起来变得简单的编辑图像。

下面将描述生成拼贴式(collage-like)合成图像的示例。

从图27a所示的图像中提取被摄体h61。此外，从图27b所示的图像中提取被摄体h62和h63。

可以使用深度阈值th来提取这些被摄体，例如，如第一实施例中所述。此外，如上面参考图11和12所述，通过使用阈值th和基于图像分析的被摄体识别提取被摄体，可以更精确地剪切被摄体。

图27c和27d示出了剪切被摄体h61和h62变形为被摄体h61'和h62'的示例。图27d示出了通过平坦化被摄体h63而获得的被摄体h63'。

通过使用预定深度关系合成被摄体h61'、h62'和h63'来获得图27f所示的合成图像。生成拼贴式合成图像。

图28中示出了处理示例的示例。

图像处理装置1在步骤s201中将参数q设置为q＝1，并且在步骤s202中指定要由用户的操作处理的图像。

在步骤s203中，图像处理装置1根据用户的操作将用于提取被摄体的阈值th设置为基准深度信息。

在步骤s204中，图像处理装置1使用阈值th从要处理的图像中提取像素。也就是说，提取深度位于比阈值th更近侧的像素。

在步骤s205中，图像处理装置1通过对提取的像素执行诸如变形或平坦化的处理来生成第(q)图像。

在步骤s206中，确定用户是否要选择其他合成素材的意图。当用户执行选择其他图像素材的操作时，在步骤s207中增加参数q，然后处理流程返回到步骤s202。然后，通过步骤s202至s205的处理，生成作为其他合成素材的第(q)图像。

当判定生成第一至第(q)图像作为合成素材时，用户执行赋予合成处理的指令的操作。图像处理装置1使处理流程从步骤s206转换到步骤s208，并且在预定深度处合成第一到第(q)图像。在这种情况下，可以使用裁剪时的阈值th的深度来设置图像之间的前后关系。

因此，如图27f所示，生成拼贴多个被摄体图像的编辑图像。也就是说，各种图像表示都是可能的。

顺便提及，在步骤s208中的合成时也可以使用像素的深度信息dp。例如，可以使用原始图像中的像素的深度信息dp来设置前后。

或者，可以忽略像素的深度信息dp，并且可以基于用户的操作等来设置前后关系。

此外，尺寸变化也可以被认为是使剪切图像素材变形的处理。

<7.结论和修改示例>

在上述实施例中可以获得以下有益效果。

第一至第五实施例中的图像处理装置1包括基准深度设置单元4，其设置基准深度信息(诸如阈值th和thi以及深度基准值dpref)，该基准深度信息用作与设置为处理对象的图像中的像素的深度信息dp的比较基准。此外，图像处理装置1包括图像编辑处理单元5，其使用基准深度信息和要处理的图像中的像素的深度信息dp来执行图像编辑处理。

也就是说，图像处理装置1将像素的深度信息dp与基准深度信息进行比较，并基于比较结果执行图像处理。因此，可以执行基于被摄体的深度的各种图像编辑处理，例如，诸如被摄体的重叠、裁剪、图形、字符等的合成的处理，以及光学效果的应用。特别地，在编辑图像时，图像自然地与具有深度的被摄体图像的空间相匹配的图像表示是可能的。

此外，用户可以在没有任何犹豫意识的情况下容易地执行各种和高级图像处理。特别地，可以生成更自然的编辑图像，而无需用户使用高级技能。

因此，用户可以实现图像表示的扩展。

通常，图像表示受用户的技能以及工具的功能和性能的极大影响，但是利用根据这些实施例的技术，期望表示范围极大地扩展。用户可以更容易地实现接近用户意图的表示，并且可以期望基于与一般效果不同的组合使用的效果，因此表示变化极大地扩展。

此外，这些实施例可以有助于社交媒体的发展。

由于其表示的多样性和容易性，可以期望根据实施例的技术被广泛的用户层接受。因此，社交媒体中的表示形式多样化并且可以提供有趣的通信环境。

此外，实施例还可以有助于图像分析技术。已知通过对比度、面部、解析等的图像分析自动执行被摄体或边界线的识别以及深度的判定的工具，但是其任何一个在图像中的判定精度方面具有限制。根据实施例，使用深度信息能够进行更精确的被摄体图像判定。因此，还能够获得具有更高的精度的编辑图像。

在第一至第五实施例中，基准深度设置单元4基于用户的操作输入设置基准深度信息(诸如阈值th和thi以及深度基准值dpref)。

也就是说，用户可以任意设置用于图像处理的基准深度信息。

因此，可以基于用户期望的深度(深度方向上的距离)来执行基于对二维图像中具有深度的特定空间的假设的图像处理。然后，可以向用户提供其中可以容易地执行考虑到各种深度的图像表示的环境。

例如，通过如图2b所示使得能够通过滑动块的操作来输入深度，能够实现简单的操作。

顺便提及，用户的操作输入不限于使用诸如滑动块的操作件的操作。例如，还可以考虑使用安装在智能手机、相机等中的角速度传感器、倾斜传感器、振动传感器等的操作形式。例如，通过使用户倾斜移动装置，可以选择用于裁剪的阈值th的深度或虚拟面的倾斜角。

在第一实施例中，将深度的阈值th设置为基准深度信息，并且生成基于要处理的图像的每个像素的深度信息dp与深度的阈值th之间的比较结果提取的被摄体的裁剪图像(参见图5至12)。

因此，可以通过将图像设置为具有深度的特定空间并且提取在比特定深度更近侧(或更深侧)的被摄体来生成裁剪图像。

在第一实施例中，设置用于与被设置为处理对象的图像的所有像素进行比较的公共阈值th(参见图5a、6a、6b和7)。

也就是说，设置一个阈值th，将阈值th与要处理的图像的所有像素的深度信息dp进行比较，并且基于比较结果提取要显示的像素。

因此，可以在具有由深度阈值th判定的特定深度的位置处设置虚拟垂直面vp1，并且可以生成通过裁剪在比虚拟垂直面vp1更近侧(或更深侧)的被摄体而获取的图像。因此，可以生成根据在捕获图像时被摄体的深度剪切的图像。

在第一实施例中，设置多个深度阈值th0-0到th(n-m)，并且针对每个像素，将像素的深度信息dp与该像素的深度阈值th进行比较(参见图5c、5d、6c、6d、8、9和10)。

例如，为图像的每个区域设置深度阈值th，或者为每个像素设置深度阈值th。然后，将每个像素的深度信息dp与对应的深度阈值th进行比较，并提取要显示的像素。

因此，可以生成用虚拟水平面vp2、虚拟倾斜面vp3等作为假设用于要处理的图像的虚拟三维空间中的基准来剪切的裁剪图像。例如，可以生成具有各种表示(诸如被摄体的一部分被淹没的状态、对象的一部分从墙壁突出的状态、以及被摄体的一部分上升到水表面的状态)的图像。

在第一实施例中，已经描述了获取要裁剪的被摄体的信息，以及执行使用要处理的图像的每个像素与深度阈值th的比较结果和像素是否是要被裁剪的被摄体中的像素的判定结果生成裁剪图像的图像编辑处理的示例(参见图11和12)。

在这种情况下，还使用基于图像分析的被摄体识别以及深度的比较结果判定每个像素是否是被摄体中的像素，并且基于其结果提取要显示的像素。

因此，考虑到被摄体的类型以及基于深度的提取是可能的。例如，即使当旨在裁剪在特定深度处的被摄体人物以及出现在相同深度处的另一对象等时，也可以生成仅裁剪被摄体人物的图像。因此，考虑到深度的各种裁剪编辑是可能的。

此外，这对于仅旨在精确地裁剪特定被摄体的情况是有用的。

也就是说，可以结合形状识别、对象识别、颜色识别等精确地裁剪特定被摄体，以防止位于要裁剪的位置处的另一被摄体的颜色混合。

顺便提及，深度的比较结果和被摄体判定的结果被认为用于or(或)逻辑或被摄体判定的结果具有优先级的条件以及如图12所示的示例中的and(和)逻辑。

在and逻辑中，选择比特定深度更近侧或更深侧并且作为被指定为要裁剪的被摄体中的像素的像素作为显示对象。因此，这适合于旨在生成仅精确剪切特定深度处的被摄体的图像的情况。或者，当被摄体的深度跨越深度阈值th时，可以生成仅显示被摄体的一部分(比特定深度更近侧或更深侧的像素)的图像。

在or逻辑中，一起选择比特定深度更近侧或更深侧的像素和被指定要被裁剪的被摄体中的像素作为显示对象。因此，可以生成其中比特定深度更近侧或更深侧的所有被摄体与指定被摄体混合的裁剪图像，因此可以进行各种裁剪编辑。

在被摄体判定的结果具有优先级的条件下，例如，即使当指定要裁剪的被摄体的一部分处于未使用深度信息dp提取的深度时，也显示该部分。也就是说，可以生成其中所有指定被摄体和作为深度与阈值th的比较结果提取的被摄体一起显示的图像，其还可以提供各种图像编辑。

此外，在第一实施例中，深度阈值th被设置为基准深度信息，并且执行基于要处理的图像的每个像素的深度信息dp与深度阈值th之间的比较结果来将被判定为比深度阈值更近侧和更深侧中的一个的像素设置为要显示的像素并将被判定为更近侧和更深侧中的另一个的像素的值替换为另一值的处理(参见图7和8中的s106以及图12中的s121)。

也就是说，取决于像素是否在比阈值th更近侧或更深侧，像素被分类为将在没有任何改变的情况下显示的像素或像素值被替换的像素。

因此，可以生成当图像被认为是具有深度的特定空间时，提取比特定深度更近侧(或更深侧)的被摄体并且更深侧(或更近侧)的状态与原始图像的状态不同的图像，例如，裁剪图像、合成图像等。

例如，在第一实施例中，已经描述了其中执行将被判定为相对于比阈值th的深度更近侧和更深侧中一个的另一个的所有像素的像素值替换为用于不显示被摄体的值或者用于赋予显示效果的值的图像编辑处理的示例(参见图7和8中的s106以及图12中的s121)。

例如，通过将判定为相对于深度阈值th的另一个的被摄体的像素的像素值替换不显示被摄体的值(掩蔽数据)，从而使得像素值是不与原始被摄体相关联的像素值，可以生成其中另一侧的被摄体被遮蔽(未被显示)并且仅显示一侧的被摄体的裁剪图像(参见图5和图6)。

在这种情况下，当用相同的值替换另一侧的所有像素值(亮度值)时，可以生成背景具有单色色调的裁剪图像。或者，通过考虑像素块用指示相同颜色的像素值替换另一侧的像素值，可以生成背景具有特定颜色的裁剪图像。

顺便提及，掩蔽的颜色可以由用户选择，或者掩蔽的亮度/颜色可以设置为固定状态。

此外，例如，通过根据区域改变掩蔽的颜色或亮度，可以实现其中裁剪图像的背景包括图案或渐变的各种编辑图像。

此外，例如，当被判定为相对于深度阈值th的另一侧的被摄体的像素被替换为用于将图像效果应用于被摄体的值时，可以生成其中一侧的被摄体被如在原始图像中那样显示，并且对另一侧的被摄体应用图像效果的图像。例如，可以生成如下图像：除了被提取的被摄体以外如在原始图像中那样的部分经历诸如单色化、亮度降低、模糊或马赛克处理的处理(参见图10c和10d以及图12中的s121)。

在第一实施例中，已经描述了其中执行了将被判定为在除了要被裁剪的一侧之外的另一侧的像素的像素值替换为另一图像的像素值的图像编辑处理(参见图10c和12)。

例如，当被判定为相对于深度阈值th的另一侧的被摄体的像素的像素值被替换为另一图像的像素的像素值时，可以生成其中一侧的被摄体如在原始图像中那样显示，并且另一侧合成另一图像的被摄体的图像。因此，能够提供各种图像编辑环境。例如，可以实现合成图像或多次曝光的图像。

在第二实施例中，已经描述了将插入深度(阈值thi)设置为基准深度信息，并且执行基于第一图像的每个像素的深度信息dp与插入深度(阈值thi)之间的比较结果判定第二图像的像素与第一图像的像素之间的前后关系，并基于判定结果生成合成图像的图像编辑处理，作为将第二图像合成到第一图像中的处理的示例(参见图13、14和15)。

在这种情况下，当合成第二图像并将其布置在第一图像中的特定深度位置时，判定第一图像的被摄体与插入深度(阈值thi)之间的前后关系。因此，可以生成其中作为二维生成的字符或图形的被摄体似乎实际存在于第一图像的被摄体的三维空间中的合成图像。也就是说，可以以自然感将字符/图形合成到作为具有深度的照片图像的第一图像。

此外，在第二实施例中，已经描述了对第二图像执行基于插入深度的图像效果处理的示例(参见图16和17)。

合成第二图像以在设置的插入深度的深度位置处插入第一图像。将与插入深度对应的图像效果应用于第二图像。

此外，当以不同的插入深度合成多个第二图像时，对应于插入深度的图像效果被应用于第二图像。

因此，可以生成其中作为第二图像的字符或图形看起来实际存在于已经捕获第一图像的被摄体空间中的合成图像。

在第三实施例中，已经描述了将深度基准值dpref设置为基准深度信息，基于要处理的图像的每个像素的深度信息dp与深度基准值dpref之间的比较结果来设置图像效果等级ep，并且对要处理的图像执行图像效果处理的图像编辑处理(参见图18和19)。

因此，可以生成应用了具有自然感的图像效果的图像。例如，赋予雾、云或耀斑的表示的图像效果可以体现在非常接近实际的雾或云的图像效果状态中。

此外，赋予光学效果使得执行来自虚拟光源的照明等的表示是可能的。

在第四实施例中，已经描述了将插入深度(阈值thi)设置为基准深度信息，以及执行改变第一图像的被摄体和第二图像的被摄体中的一个或两个的尺寸，基于第一图像的每个像素的深度信息与插入深度(阈值thi)之间的比较结果判定第二图像的像素与第一图像的像素之间的前后关系，并基于判定结果生成合成图像的图像编辑处理，作为将第二图像与第一图像合成的处理的示例(参见图21、22和23)。

在这种情况下，获得其中设置不同图像之间的尺寸关系或者将其改变为不可能的尺寸关系的合成图像。合成图像反映了被摄体之间的前后关系，并且例如可以生成赋予自然感觉但实际上不可能的图像。因此，可以扩展图像表示范围。

此外，通过考虑尺寸信息执行重叠，可以将其应用于用于产生诸如时间流逝、目录或组照片的添加值的用途。

时间流逝的表示是其中统一被摄体的绝对大小并且同时例如使用到被摄体的距离、图像中的被摄体尺寸等以及深度信息表示具有不同尺寸(诸如植物或动物的生长)的被摄体的尺寸状态的表示。利用根据第四实施例的技术，可以例如通过执行合，使得具有变化尺寸的被摄体(诸如植物或动物)被布置在背景上来成生成指示尺寸在时间序列中变化的状态的图像。

在第四实施例中，已经描述了将从第二图像裁剪的被摄体图像合成到第一图像中的示例。

例如，执行裁剪第二图像的一部分的被摄体，改变第一图像的被摄体和第二图像的被摄体中的一个或两个的尺寸，并将裁剪的第二图像的被摄体插入到第一图像中的合成处理(参见图21、22和23)。

因此，可以获得合成图像，其中通过改变第二图像的被摄体的尺寸而获取的被摄体似乎实际存在于已经捕获第一图像的对象空间中。

此外，能够使用裁剪图像实现处理效率的提高。

在第四实施例中，已经描述了对从第二图像裁剪的被摄体图像执行基于插入深度的图像效果处理的示例(参见图23中的s179)。

例如，合成与第一图像的尺寸关系已改变的第二图像，以在设置的插入深度的深度位置处插入第一图像。对应于插入深度的图像效果被应用于第二图像。

此外，当以不同的插入深度合成多个第二图像时，对应于插入深度的图像效果被应用于第二图像。

因此，可以获得其中尺寸已经改变的第二图像的被摄体似乎实际上存在于已经捕获第一图像的被摄体空间中的合成图像。例如，通过添加背景模糊、阴影、假设来自光源的光的阴影、耀斑、雾、云等的图像效果，能够获得赋予更自然的感觉的图像，即，其中第二图像的被摄体似乎作为实际被摄体存在于第一图像中的图像。

在第五实施例中，已经描述了其中执行将多个深度阈值th1至th(p)设置为基准深度信息并将通过平坦化使用深度阈值th1至th(p)提取的像素而获取的图像合成到要处理的图像的图像编辑处理的示例(参见图24、25和26)。

因此，可以获得基于深度而简化的图像(诸如阴影框等的图像)或表示轮廓线的图像。结果，能够扩展图像表示范围。

此外，在第五实施例中，已经描述了在最小值到最大值的范围中将多个深度阈值设置为要处理的图像的每个像素的深度信息的示例(参见图26c)。

因此，设置多个深度阈值th1至th(p)，使得可以根据图像的细节适当地剪切被摄体，并且可以更有效地生成阴影框等的图像。

在第五实施例中，已经描述了其中将一个或多个深度阈值th设置为基准深度信息，使用所设置的一个或多个深度阈值th从一个或多个图像中提取被摄体图像，并合成提取的被摄体图像的图像编辑处理的示例(参见图27和28)。

例如，通过使用深度信息剪切被摄体图像并合成多个剪切的被摄体图像，可以获得各种被摄体的拼贴式图像，这也使得能够扩展图像表示范围。

顺便提及，在上述实施例中，静止图像被用作要处理的图像，但是本技术可以应用于运动图像。通过将根据实施例的处理应用于每个帧，还可以生成裁剪运动图像、插入了字符/图形的运动图像、已经执行了基于深度的图像效果处理的运动图像、像阴影框的被摄体的运动图像等。还可以将另一图像的被摄体插入到运动图像的每个帧中。

根据本发明实施例的程序是使信息处理装置执行如下步骤的程序：基准深度设置步骤，用于设置基准深度信息，所述基准深度信息用作被设置为处理对象的图像中的像素的深度信息的比较基准；以及图像编辑处理步骤，用于使用基准深度信息和被设置为处理对象的图像的像素的深度信息来执行图像编辑处理。

也就是说，根据该实施例的程序是使信息处理装置执行图7、8、12、15、17、19、23、25和28中所示的处理流程的程序。

使用这样的程序可以容易地实现根据实施例的图像处理装置1。

此外，程序可以预先存储在并入诸如计算机装置的装置中的记录介质、包括cpu的微计算机中的rom等中。或者，程序可以临时或永久地存储在诸如半导体存储器、存储卡、光盘、磁光盘或磁盘的可移除记录介质中。此外，这种可移除记录介质可以作为所谓的软件包提供。

此外，这样的程序可以从可移除记录介质安装在个人计算机等中，或者可以经由诸如lan或因特网的网络从下载站点下载。

顺便提及，本说明书中描述的有益效果仅是示例性的，而不是限制性的，并且可以实现其他有益效果。

顺便提及，本技术还可以提供以下配置。

(1)一种图像处理装置，包括：

基准深度设置单元，被配置为设置基准深度信息，所述基准深度信息用作被设置为处理对象的图像中的像素的深度信息的比较基准；以及

图像编辑处理单元，被配置为使用基准深度信息和被设置为处理对象的图像的像素的深度信息来执行图像编辑处理。

(2)根据(1)所述的图像处理装置，其中，

所述基准深度设置单元响应于操作输入来设置所述基准深度信息。

(3)根据(1)或(2)所述的图像处理装置，其中，

所述基准深度设置单元将深度阈值设置为所述基准深度信息，以及

所述图像编辑处理单元执行基于被设置为处理对象的图像的每个像素的深度信息与深度阈值之间的比较结果来生成提取的被摄体的裁剪图像的图像编辑处理。

(4)根据(3)所述的图像处理装置，其中，

所述基准深度设置单元设置公共深度阈值，所述公共深度阈值与被设置为处理对象的图像的所有像素进行比较。

(5)根据(3)所述的图像处理装置，其中，

所述基准深度设置单元设置多个深度阈值，以及

针对每个像素，所述图像编辑处理单元将每个像素的深度信息与对应于该像素的深度阈值进行比较。

(6)根据(3)至(5)中任一项所述的图像处理装置，其中，

所述图像编辑处理单元获取要裁剪的被摄体的信息，以及

所述图像编辑处理单元执行使用针对要处理的图像的每个像素的与深度阈值的比较结果以及像素是否是要裁剪的被摄体的像素的判定结果来生成裁剪图像的图像编辑处理。

(7)根据(1)或(2)所述的图像处理装置，其中，

所述基准深度设置单元将深度阈值设置为所述基准深度信息，以及

所述图像编辑处理单元执行基于被设置为处理对象的图像的每个像素的深度信息与深度阈值之间的比较结果来将被判定为深度阈值的近侧和深侧中的一个的像素设置为要显示的像素并且将被判定为近侧和深侧中的另一个的像素的值替换为另一值的处理。

(8)根据(7)所述的图像处理装置，其中，

所述图像编辑处理单元对被判定为近侧和深侧中的另一个的所有像素执行将像素值替换为用于不显示被摄体的值或者用于赋予显示效果的值的图像编辑处理。

(9)根据(7)所述的图像处理装置，其中，

所述图像编辑处理单元执行将被判定为近侧和深侧中的另一个的像素的像素值替换为另一图像的像素值的图像编辑处理。

(10)根据(1)或(2)所述的图像处理装置，其中，

所述基准深度设置单元将插入深度设置为所述基准深度信息，以及

所述图像编辑处理单元执行基于第一图像的每个像素的深度信息与插入深度的比较结果判定第二图像的像素与针对第一图像的像素之间的前后关系，并基于判定结果生成合成图像的图像编辑处理，作为将第一图像与第二图像合成的处理。

(11)根据(10)所述的图像处理装置，其中，

所述图像编辑处理单元对于第二图像执行基于插入深度的图像效果处理。

(12)根据(1)或(2)所述的图像处理装置，其中，

所述基准深度设置单元将深度基准值设置为所述基准深度信息，以及

所述图像编辑处理单元执行基于针对设置为处理对象的图像的每个像素的深度基准值和深度信息之间的比较结果设置图像效果等级，并对被设置为处理对象的图像执行图像效果处理的图像编辑处理。

(13)根据(1)或(2)所述的图像处理装置，其中，

所述基准深度设置单元将插入深度设置为所述基准深度信息，以及

所述图像编辑处理单元执行改变第一图像的被摄体和第二图像的被摄体中的一个或两个的尺寸，基于第一图像的每个像素的深度信息与插入深度之间的比较结果判定第二图像的像素与针对第一图像的像素之间的前后关系，以及基于该判定结果生成合成图像的图像编辑处理，作为将第二图像与第一图像合成的处理。

(14)根据(13)所述的图像处理装置，其中，

所述图像编辑处理单元执行将从第二图像裁剪的被摄体图像与第一图像合成的处理。

(15)根据(13)或(14)所述的图像处理装置，其中，

所述图像编辑处理单元对于从第二图像裁剪的被摄体图像执行基于插入深度的图像效果处理。

(16)根据(1)或(2)所述的图像处理装置，其中，

所述基准深度设置单元将多个深度阈值设置为所述基准深度信息，以及

所述图像编辑处理单元执行合成通过对使用各深度阈值从被设置为处理对象的图像提取的像素进行平坦化而获得的图像的图像编辑处理。

(17)根据(16)所述的图像处理装置，其中，

所述图像编辑处理单元在最小值到最大值的范围中将多个深度阈值设置为要处理的图像的每个像素的深度信息。

(18)根据(16)所述的图像处理装置，其中，

所述基准深度设置单元将一个或多个深度阈值设置为所述基准深度信息，以及

所述图像编辑处理单元执行使用所设置的一个或多个深度阈值从一个或多个图像中提取被摄体图像并合成所提取的被摄体图像的图像编辑处理。

(19)一种由信息处理装置执行的图像处理方法，所述图像处理方法包括：

基准深度设置过程，用于设置基准深度信息，所述基准深度信息用作被设置为处理对象的图像中的像素的深度信息的比较基准；以及

图像编辑处理过程，用于使用基准深度信息和被设置为处理对象的图像的像素的深度信息来执行图像编辑处理。

(20)一种使信息处理装置执行如下步骤的程序：

基准深度设置步骤，用于设置基准深度信息，所述基准深度信息用作被设置为处理对象的图像中的像素的深度信息的比较基准；以及

图像编辑处理步骤，用于使用基准深度信息和被设置为处理对象的图像的像素的深度信息来执行图像编辑处理。

附图标记列表

1图像处理装置

2图像获取单元

3深度获取单元

4基准深度设置单元

5图像编辑处理单元

6图像输出单元

10操作单元

11显示单元

12通信单元

13存储单元

14图像源

100信息处理装置

101移动终端

102屏幕

110滑动块

111操作按钮