档或者实体物)而用作文档照相机。在该实施例中，用户对通过显示设备117在操作面上投影的图像执行触摸、空间手势等的操作。然而，替代显示设备117，平板201可以用作能够执行显示和作为显示输出的液晶显示设备。
[0038]在该实施例中，在定义图2A所示的操作面上的三维空间中的x、y、z轴时获取位置信息。这里，例如，设置点203为原点，与桌子顶面平行的二维面被定义为xy平面，与桌子顶面正交并向上延伸的方向对应于z轴的正向。由于该实施例中z轴方向对应于世界坐标系的高度方向，因此关于操作面的三维位置(三维形状)的信息可以被称作关于高度的信息或合适的高度信息。用户的手204是用户执行触摸操作或手势操作的指示物体的示例。
[0039]图2B是例示输入到图像处理装置100的距离图像的图。区域205代表对应于用户的手204的运动区域，侵入位置206对应于区域205与图像的四边中的一边(视角的端部)交叉的位置。在该实施例的系统中，用户的面部或身体不直接包括在距离图像中，因此，运动区域与图像的四边中的一边交叉的位置被检测为用作关于用户位置的信息的侵入位置。之后，在该实施例中，区域205中包括的距离侵入位置206最远的点被确定为对应于用户指尖的操作位置207。用于确定操作位置207的方法不限于此，例如，手的五个手指可以被检测到并且五个手指的尖端之一可以被确定为操作位置，或者手掌的重心可以被确定为操作位置。在该实施例的系统的情况下，以对应于图2B所示的距离图像中的操作位置207的像素的值来反映图2A所示的从距离图像传感器116到用户指尖的距离D。因此，在该实施例中，利用距离图像中的操作位置(X，y)和代表距离D的像素值，通过用于转换为三维坐标(x，y，z)的转换矩阵来获取三维位置。通过在固定距离图像传感器116时预先校准来获取转换矩阵。通过该转换，图像处理装置100获取包括用户的手204的图像的手区域和对应于指尖的操作位置207的三维位置，并检测操作(例如，用指尖触摸操作面的操作)。
[0040]应注意，在该实施例中，关于显示设备117和平板201之间的位置关系，以使平板201的中心和显示设备117投影的显示画面的中心彼此一致的方式来固定显示设备117和平板201，并且可以对平板201的上表面的90%或更多的范围执行图像投影。应注意，可以不在平板201的上方布置显示设备117的壳体，只要能够在平板201上投影即可。类似地，可以不在平板201的上方布置距离图像传感器116的壳体，只要能够获取高度方向(z轴方向)的距离信息即可。
[0041]在该实施例中，可以通过将物体安装到用作初始状态的操作面的平板201的上表面来接受对物体的触摸操作。在这种情况下，用于确定用户的手指等是否与操作面接触的高度阈值可以与在安装物体具有较小的厚度(诸如片材)时检测到与初始状态的操作面接触的情况下所采用的高度阈值相同。然而，在安装物体具有较大的厚度的情况下，诸如实体物202的情况下，需要更新操作面的定义(高度定义)。
[0042]图3是例示操作面上安装的实体物和用户的手的状态的图。在图3中，与平板201的周边部分中的zx平面平行的截面图以及通过距离图像传感器116拍摄在平板201上安装实体物202的状态而获取的距离图像(对应于xy平面)在垂直方向上彼此相关联，而X轴在相同方向延伸。在该实施例中，由于实体物202被安装到平板201上，因此更新用作触摸操作对象的操作面的三维形状的定义(高度的定义)。在该实施例中，基于距离检测用户的手301的指尖部分与操作面之间的邻近状态，当指尖部分与操作面之间的距离小于预定距离阈值时，识别出通过触摸操作而触摸操作面。具体地，首先，图像处理装置100检测用户的手301的指尖的位置作为操作位置302。当从输入图像获取的操作位置302的高度(z坐标)小于初始状态下操作面的高度阈值303时，识别出用户的手301触摸到了平板201。然而，当安装实体物202时，在对应于实体物202的部分中操作面的高度增加了实体物202的高度，因此，设置基于实体物202的表面的高度的高度阈值304，从而识别实体物202上的触摸。
[0043]图3下部中的距离图像代表随着颜色浓度增加(随着点浓度高)，到距离图像传感器116的距离越小，也就是，高度大(z坐标大)。下文中，图中所示的距离图像同样如此。当安装实体物202时，利用高度阈值303、通过基于阈值的处理在平板201上的不包括实体物202的区域305中检测到触摸，并且利用高度阈值304、通过基于阈值的处理在包括实体物202的区域306中检测到触摸。应注意，即使在未识别出实体物上的触摸的系统中，当从背景区分出指示物体(例如，用户的手)的同时从距离图像提取出该指示物体时，将安装到操作面上的实体物确定为背景的一部分的处理是有效的。
[0044]图4是例示根据该实施例的图像处理装置100执行的获取关于操作面的高度的信息的处理的流程图。在该实施例中，当距离图像传感器116向图像处理装置100提供一帧的距离图像的输入信号时，CPU 111开始图4的流程图的处理。假定该实施例的距离图像传感器116以预定的周期重复拍摄距离图像，并且每次输入一帧的距离图像时重复执行图4的流程图的处理。应注意，根据系统的处理能力适当地设置帧速率。
[0045]在步骤S401，图像获取单元101获取距离图像传感器116拍摄的距离图像作为输入图像。在步骤S402，运动区域提取单元102提取输入图像中包括的运动区域。在该实施例中，通过背景差分检测运动区域。
[0046]下文将参照图5A和图5B简要描述通过背景差分法提取运动区域的处理。在图5A和图5B中例示了要经受通过背景差分法提取运动区域的处理的距离图像。图5A和图5B的左部代表输入图像，中部代表背景图像，右部代表输入图像和背景图像之间的差分图像。背景图像是通过拍摄操作面而获取的距离图像，在距离图像上反映关于操作面的高度的信息。在初始状态下拍摄图5A中的图像，背景图像a对应于通过拍摄平板201获取的距离图像。图5B中的图像代表在平板201上安装实体物202的状态，并且通过合成实体物202的高度与初始状态的背景图像a而获取背景图像b。应注意，在固定距离图像传感器116时或者在紧接图像处理装置100启动后，获取初始状态的背景图像a并将其存储作为校准标度。
[0047]在背景差分法中，通过从输入图像中减去背景图像而提取包括相对于背景的前景部分中包括的物体的图像的区域。在图2例示的系统的情况下，包括位于操作面之上的空间的物体的图像的区域是提取对象。在图5A例示的状态的情况下，运动区域提取单元102通过从输入图像a减去背景图像a而获取差分图像a。通过从输入图像a中提取操作面上对应于用户的手的部分来获取差分图像a。因为利用关于静止背景的信息来提取前景中的可运动物体的图像信息，因此被提取为差分图像的区域被称作“运动区域”。要被提取为运动区域的区域中包括的物体可以是实际移动的，也可以不是实际移动的。在该实施例中，当安装实体物202时，在下文描述的处理中更新背景图像。在更新背景图像后获取的图5B的状态下，运动区域提取单元102通过从输入图像b减去背景图像b而获取差分图像b，也就是，运动区域提取单元102提取运动区域。通过更新背景图像，即使在背景中包括实体物时，也只有用户的手可以被提取为运动区域。在步骤S402中，运动区域提取单元102在RAM113中存储关于提取的运动区域的信息。
[0048]随后，在步骤S403中，运动区域提取单元102根据RAM 113中存储的信息确定是否提取了一个或更多个运动区域。当确定提取了一个或更多个运动区域时(在步骤S403为“是”)，处理推进到步骤S404。当确定未提取一个或多个运动区域时(在步骤S403为“否”)，处理推进到步骤S413。
[0049]在步骤S404中，区域指定单元107通过确定提取的一个或更多个运动区域的每一个是否在操作区域中被隔离来检测隔离区域。这里，将参照图6A和图6B具体描述检测隔离区域的图像处理。图6A是例示用户用手602保持实体物603、将实体物603插入到操作区域并且将实体物603置于平板601上的阶段的图。图6A的左部代表该阶段的输入图像，图6A的右部代表提取的运动区域604的轮廓。虚线605代表对应于操作面的轮廓的隔离确定边界。在该实施例中，尽管虚线605对应于操作面的边缘，但是虚线605中的区域可以与操作面具有这样的大小关系，即虚线605包括操作面。例如，用作隔离确定边界的边界线形成输入图像中包括的预定封闭区域，输入图像的四边或操作面内定义的预定边界线可以用作用于确定隔离区域的边界。应注意，设置足够大尺寸的边界，从而当用户将实体物置于平板601上时，要被操作的一般实体物不与边界接触。
[0050]区域指定单元107通过确定各运动区域是否与隔离确定边界605接触，来从检测的运动区域中检测隔离区域。例如，在图6A的情况下，运动区域604与隔离确定边界605接触，因此，运动区域604不被检测为隔离区域。另一方面，图6B是例示用户在执行将实体物603置于平板601上的操作后从实体物603放开手602的阶段的图。图6B的左部代表该阶段中的输入图像，图6B的右部代表提取的运动区域606和607的轮廓。在图6B的情况下，提取运动区域606和607，并且运动区域607不与隔离确定边界605接触。因此，区域指定单元107将运动区域607检测为隔离区域，并在RAM 113中存储关于运动区域607的信息。应注意，当在步骤S402中提取多个运动区域时，在逐一增加分配给运动区域的ID号的同时重复执行处理，从而确定各运动区域是否被隔离。应注意，在图4中，省略重复的处理，只对一个运动区域执行处理。
[0051]当确定运动区域被隔离时(在步骤S404为“是”)，处理推进至步骤S405。另一方面，当确定运动区域未被隔离时(在步骤S404为“否”)，处理推进至步骤S409。
[0052]在步骤S405中，区域指定单元107确定是否在过去的预定N帧的输入图像中连续检测到相同的隔离区域。具体地，在步骤S405中，确定是否在对应于连续N帧的预定时间段内检测到相同的隔离区域。参照RAM113中存储的信息来检测针对过去N帧的信息。当确定在N帧的输入图像中连续检测到相同的隔离区域时(在步骤S405为“是”)，处理推进至步骤S406。当确定未在N帧中连续检测到相同的隔离区域时(在步骤S405为“否”)，处理推进至步骤S413。
[0053]在步骤S406中，区域指定单元107确定检测到的隔离区域对应于实体物。之后，被指定为实体物的隔离区域被称作“实体物区域”。执行步骤S405和S406中的确定处理，以在诸如片材的扁平物体浮置在操作区域的情况下，在临时增加高度时省略更新操作面的高度信息的处理。在步骤S407中，位置获取单元105从实体物区域的像素值获取高度方向的位置信息。在步骤S408中，更新单元109根据实体物区域的高度方向的位置信息，来对关于实体物的三维形状的信息与关于操作面的三维形状的信息进行合成。具体地，在稍后要执行的检测运动区域的处理中，将合成的操作面