识别拍摄图像中的特定物体的信息处理装置及其控制方法
【技术领域】
[0001]本发明涉及一种参照从图像中提取的运动区域来检测用户操作的技术。
【背景技术】
[0002]以下技术已被广泛应用，该技术为:从通过可见光照相机、红外照相机或者距离图像传感器获取的图像中提取包括特定物体(例如，用户的手)的图像的区域，并通过与物体的移动和位置相对应的手势来识别UI (用户界面)操作。对于在桌面上显示图像和UI并通过触摸来操作图像和UI的桌面界面，使用了通过物体的三维位置的测量取代对触摸屏板的触摸的检测来识别操作的技术。
[0003]日本特开第2013-257686号公报公开了一种系统，该系统根据照相机拍摄的视频图像的帧之间的区别来检测用户的手，并且识别对投影的UI部件执行的手势操作。
[0004]为了根据三维位置的测量来检测物体对触摸对象面的触摸，可以测量触摸对象面和物体之间的距离，并可以将距离小于预定阈值的状态确定为触摸对象面被触摸的状态。
【发明内容】
[0005]本明提供了一种信息处理装置，该信息处理装置包括:图像获取单元，其被构造为获取输入图像，在所述输入图像上反映了包括作为背景的一部分的操作面的空间的位置信息；提取单元，其被构造为根据所述图像获取单元获取的所述输入图像反映的位置信息和所述空间中的所述操作面的位置信息，从所述输入图像中提取与所述操作面的前景中包括的一个或更多个物体对应的一个或更多个区域；区域指定单元，其被构造为从所述提取单元提取的所述一个或更多个区域当中指定与限定所述输入图像中预定封闭区域的边界线不接触的隔离区域；以及识别单元，其被构造为在与所述区域指定单元指定的隔离区域对应的部分中，根据所述输入图像中的隔离区域上反映的位置信息，来识别预定指示物体相对于所述操作面的邻近状态。
[0006]根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【附图说明】
[0007]图1A和图1B是分别例示根据第一实施例的图像处理装置的功能配置和硬件配置的框图。
[0008]图2A和图2B是例示桌面界面的外观和定义的位置信息的图，所述桌面界面包括在布置于其上的根据第一实施例的图像处理装置。
[0009]图3是例示在操作面上布置的实体物(solid object)和用户的手的状态的图。
[0010]图4是例示根据第一实施例的图像处理装置执行的、获取关于操作面的高度的信息的处理的流程图。
[0011]图5A和图5B是例示在通过背景差分法提取运动区域的处理中使用的图像的图。
[0012]图6A和图6B是例示根据第一实施例的检测隔离区域的图像处理的图。
[0013]图7A至图7E是详细例示根据第一实施例的合成实体物作为操作面的一部分的图像处理的图。
[0014]图8是例示根据第一实施例的图像处理装置执行的确定隔离区域的改变的处理的流程图。
[0015]图9是例示根据第一实施例当隔离区域改变时获取的距离图像的图。
[0016]图10A至图10C是例示根据第一实施例当安装的多个实体物中的一个被移除时执行的图像处理的图。
[0017]图11A至图11D是例示根据第一实施例当缓慢移动安装的实体物时执行的图像处理的图。
[0018]图12A至图12D是例示根据第一实施例当以交叠的方式将实体物安装到已经布置的另一实体物上时执行的图像处理的图。
[0019]图13A至图13D是例示根据第一实施例当两个交叠的实体物中的被布置在上侧的一个实体物被移除时执行的图像处理的图。
[0020]图14A至图14D是例示根据第一实施例当已经被安装的实体物的区域被放大时执行的图像处理的图。
[0021]图15A至图15D是例示根据第一实施例当已经被安装的实体物的区域被缩小时执行的图像处理的图。
[0022]图16A和图16B是例示根据第二实施例当未检测到实体物的一部分的距离信息时执行的图像处理的图。
[0023]图17是例示根据第二实施例的图像处理装置执行的插值距离信息的处理的流程图。
【具体实施方式】
[0024]作为通过三维测量来识别操作的系统的一个优点，可设置为触摸操作的对象的面不限于触摸屏板的面。具体地，对任意壁面或者安装在桌子上的实体物的面的触摸可以作为操作而被检测和识别。然而，当在桌子中安装或者移动实体物时，触摸对象面的三维形状发生变形，因此，需要更新三维位置信息。对于用户来说，每次发生变形时对系统明确地指示更新三维位置信息是麻烦的。
[0025]为了解决上述问题，根据本发明，在操作对象面可能变形的系统中，根据用户操作更新关于操作对象面的三维位置信息。
[0026]之后，将参照附图详细描述根据本发明的实施例的信息处理。应注意，在实施例中描述的配置仅为示例，本发明不限于这些配置。
[0027]图1A是例示根据第一实施例的图像处理装置100的功能配置的图。
[0028]图像获取单元101获取距离图像传感器116拍摄的距离图像作为输入图像。运动区域提取单元102从通过图像获取单元101获取的输入图像提取包括运动物体的图像的区域作为运动区域。估计运动物体至少包括用于输入手势操作的物体，比如用户的手。当用户保持诸如书本或片材等的物体时，包括用户的手和物体(例如书本或片材)的图像的范围被提取作为运动区域。
[0029]物体识别单元103确定运动区域提取单元102所提取的运动区域是否为预定识别对象。在该实施例中，用于手势操作的用户的手被识别为预定识别对象。然而，该实施例也适用于手以外的身体其他部分、手写笔等取代用户的手而用作指示物体的情况。操作位置指定单元104指定通过指示物体指示的操作位置。在该实施例中，操作位置指定单元104指定用户的指尖的位置。位置获取单元105将从输入图像中的像素所获取的信息转换为三维坐标空间中的位置信息。识别单元106根据位置获取单元105所获取的三维位置识别用户利用指示物体的输入而发出的指示。该实施例的识别单元106至少检测用户的手在操作面上执行的触摸操作并识别与触摸位置中显示的物体相关联的指示。指示的示例包括用于使触摸位置中显示的物体进入被选择状态的指示以及用于执行与物体相关联的命令的指示。另外，识别单元106可以根据用户的手的形状或移动来识别没有触摸的手势操作。
[0030]区域指定单元107在运动区域提取单元102所提取的运动区域中检测隔离区域。在该实施例中，隔离的运动区域是指在输入图像中不与操作面的轮廓接触的运动区域。这里，操作面是触摸操作的对象，例如，在桌面界面的情况下是桌子顶面。当距离图像传感器116的视角小于桌子顶面时，视角内的范围被用作操作面。之后，存在于操作面之上的空间被称作“操作区域”。在该实施例中，由于用户通过从操作区域的外部插入手而执行操作，因此诸如用户的手的指示物体跨过操作面的轮廓。具体地，对应于指示物体的运动区域与图像中的操作面的轮廓接触。另一方面，可以确定不与操作面的轮廓接触的隔离区域不是指示物体。
[0031]改变确定单元108确定区域指定单元107检测到的隔离区域是否被改变。更新单元109利用区域指定单元107检测到的隔离区域中的三维位置信息来更新关于操作面的信息。在该实施例中，将关于隔离区域的高度的信息与关于操作面的高度的信息进行合成，从而当实体物被安装到处于初始状态的操作面上时检测对实体物的触摸。
[0032]当CPU (中央处理单元)111将ROM (只读存储器)112中存储的程序展开到RAM (随机存取存储器)113中并根据下文描述的流程图执行该程序时，实现这些功能单元。当将这些功能单元配置为硬件来取代上述利用CPU 111的软件处理时，配置与这里描述的功能单元的处理相对应的计算单元和电路。
[0033]图1B是例示包括根据该实施例的图像处理装置100的桌面界面的硬件配置的图。CPU 111通过执行图像处理装置100的控制程序来执行针对各种处理的计算和逻辑确定，从而控制连接到系统总线118的部件。R0M112是存储程序的程序存储器，所述程序包括用于CPU 111执行的控制的下文描述的各种处理程序。将RAM 113用作CPU 111的工作区域、错误处理时数据的保存区域以及用于加载控制程序的区域。存储设备114是存储根据该实施例的数据和程序的硬盘或连接的外部存储设备，并且存储要被图像处理装置100使用的各种数据。
[0034]照相机115是获取可见光图像的可见光照相机。距离图像传感器116拍摄距离图像，所述距离图像反映了关于到视角中包括的像素的距离的信息。可以通过立体照相机等利用辐射模式光的形状测量距离、通过测量在光投影后获取的光(诸如红外光)的反射时间来获取距离信息。在该实施例，采用受环境光和桌面的显示的影响较小的红外模式投影方法。另外，距离图像传感器116可以用作照相机115。显示设备117是显示U1、信息等的图像的显示器、投影仪等。在该实施例中，将液晶投影仪用作显示设备117。
[0035]注意，在该实施例中，照相机115、距离图像传感器116以及显示设备117是通过各输入/输出接口连接到图像处理装置100的外部设备，并且与图像处理装置100构成信息处理系统。然而，可以在图像处理装置100中一体化地布置这些设备。
[0036]图2A是例示桌面界面的外观和位置信息的定义的图，所述桌面界面包括在其上布置的根据第一实施例的图像处理装置100。平板201是桌面界面的桌子部分，用户可以通过触摸平板201来执行触摸操作。在该实施例中，平板201的上表面是初始状态的操作面。在该实施例的桌面界面系统中，当实体物202被安装到平板201上时，实体物202被合成作为操作面的一部分，可以接受对实体物202执行的触摸操作。距离图像传感器116通过拍摄平板201上的空间的图像获取具有像素值的距离图像，并将该距离图像输入到图像处理装置100，所述距离图像反映了从距离图像传感器116到该空间中的物体的表面的距离。当要通过追踪图2A中所示的输入图像的系统中的用户的手来识别手势操作等时，可以采用用于检测与照相机115拍摄的可见光图像中的手对应的肤色部分的方法。然而，在该实施例中，由于图像被液晶投影仪投影，因此，在可见光图像中，平板201上用户的手的颜色会改变，从而，通过肤色检测可能无法可靠地检测到用户的手的肤色部分。因此，在该实施例中，根据距离图像传感器116获取的从距离图像传感器116到平板201的距离来检测用户的手，从而减少投影仪的投影光的影响，所述距离图像传感器116通过红外光的反射模式(或反射时间)来获取距离信息。
[0037]显示设备117是在平板201上投影包括各种信息(例如，要经受触摸操作的UI部件)的显示图像的液晶投影仪。可见光照相机115通过查看包括平板201的范围来拍摄可见光图像。图像处理装置100通过获取照相机115拍摄的作为读取图像的图像中包括的预定物体的图像(诸如纸媒介或书本等的文