高度方向，z轴可以具有相对于垂直方向的角度。应注意，z轴是在从距离图像传感器116到操作区域中的点的距离的主导方向上的坐标轴。在这种情况下，当在步骤S802中检测到隔离区域的改变时，改变确定单元108在远离(或靠近)距离图像传感器116的方向上检测部分区域的位置的改变，而不是该部分区域的高度的下降。
[0083]根据第一实施例，图像处理装置100根据距离图像传感器116拍摄的距离图像获取操作面的三维形状。另一方面，作为第二实施例，将描述这样的情况:即使在实体物的部分中存在距离图像传感器116不能获取距离信息的范围时，区域上的操作也有效。根据第二实施例的信息处理装置的外观、硬件配置以及功能配置与参照图1A、图1B、图2A和图2B描述的第一实施例的相同，因此给予与第一实施例相同的标号，并省略其具体描述。
[0084]由于距离传感器116的固有特性(红外光、立体声照相机等)，在用作输入图像的距离图像的部分中，可能生成不能可靠地获取位置信息的区域。图16A和图16B是详细例示当未检测到实体物的部分的距离信息时所执行的图像处理的图。图16A是例示在该情况下的输入图像的图。在图16A中，区域1601代表输入图像中检测到的隔离区域，区域1602代表用作初始状态的操作面的平板201的范围。另外，运动区域中包括区域1603，但距离图像传感器116不能获取区域1603的距离信息。由于未获取区域1603的距离信息，所以当更新单元109执行更新从而将操作面更新为区域1603时，在区域1603中不执行任何操作。
[0085]图17是例示用于插值不包括距离信息的区域1603的距离信息的插值处理的流程图。在第二实施例，在运动区域提取单元102检测到运动区域之后开始图17的流程图的处理。首先，在步骤S1701中，运动区域提取单元102选择对应于检测到的运动区域的输入图像中的一个像素。在步骤S1702中，运动区域提取单元102确定扫描的像素A是否具有距离信息。当确定像素A具有距离信息时(在步骤S1702为“是”)，处理推进至步骤S1705。当确定像素A不具有距离信息时(在步骤S1702为“否”)，处理推进至步骤S1703。在步骤S1703中，运动区域提取单元102在包括像素A的运动区域中搜索具有距离信息并且与像素A最相似的像素B。在步骤S1704中，将像素B的距离的值设置为像素A的距离的值。在步骤S1705中，确定是否扫描了运动区域中包括的所有像素，当检测到未处理的像素时，处理返回到步骤S1701，并扫描未处理的像素。当未检测到未处理的像素时，处理终止，并且处理推进至主流程中的步骤S404。
[0086]通过执行上述的插值处理获取的图像如图16B所示。运动区域1604存储针对不包括距离信息的区域1603的距离信息。区域指定单元107根据运动区域1604检测隔离区域，更新单元109以使得可以操作在实体物中未获取距离信息的区域的方式合成操作面图像。
[0087]根据本发明，可以在操作对象面可能变形的系统中根据用户操作更新操作对象面的三维位置信息。
[0088]其他实施例
[0089]本发明的实施例还可以通过读出并执行记录在存储介质(例如，非暂时性计算机可读存储介质)上的用于执行本发明的上述实施例的一个或多个的功能的计算机可执行指令的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质读出并执行用以执行上述实施例的一个或多个功能的计算机可执行指令来执行的方法来实现。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)、或其他电路的一个或多个，并且可以包括单独的计算机或单独的计算机处理器的网络。例如可以从网络或者存储介质向计算机提供计算机可执行指令。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(R0M)、分布式计算系统的存储器、光盘(诸如压缩盘(CD)、数字通用光盘(DVD)、或蓝光盘(BD)TM)、闪存设备、存储卡等中的一个或多个。
[0090]本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
[0091]虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。
【主权项】
1.一种信息处理装置，该信息处理装置包括: 图像获取单元，其被构造为获取输入图像，在所述输入图像上反映了包括作为背景的一部分的操作面的空间中的位置信息； 提取单元，其被构造为根据所述图像获取单元获取的所述输入图像上反映的位置信息和所述空间中的所述操作面的位置信息，从所述输入图像中提取与所述操作面的前景中包括的一个或更多个物体对应的一个或更多个区域； 区域指定单元，其被构造为从所述提取单元提取的所述一个或更多个区域当中，指定与限定所述输入图像中的预定封闭区域的边界线不接触的隔离区域；以及 识别单元，其被构造为在与所述区域指定单元指定的隔离区域对应的部分中，根据在所述输入图像中的隔离区域上反映的位置信息来识别预定指示物体相对于所述操作面的邻近状态。2.根据权利要求1所述的信息处理装置，其中， 所述图像获取单元从距离图像传感器获取距离图像作为所述输入图像，所述距离图像具有代表在所述空间中距物体的距离的像素值。3.根据权利要求2所述的信息处理装置，其中， 所述提取单元通过从所述图像获取单元获取的所述输入图像上反映的位置信息中减去代表所述背景的位置信息，来提取包括在所述操作面的前景中存在的物体的图像的区域。4.根据权利要求1所述的信息处理装置，该信息处理装置还包括: 更新单元，其被构造为利用所述区域指定单元指定的所述隔离区域上反映的位置信息，来更新代表所述背景的位置信息， 其中，所述识别单元根据所述提取单元提取的区域当中的、包括所述预定指示物体的图像的区域上反映的位置信息以及所述更新单元更新的代表所述背景的位置信息，来确定是否将所述预定指示物体相对于所述操作面的邻近状态视为触摸状态。5.根据权利要求4所述的信息处理装置，其中， 所述更新单元通过将所述提取单元提取的区域当中的隔离区域上反映的位置信息与所述操作面的位置信息合成，来更新关于所述背景的信息。6.根据权利要求4所述的信息处理装置，其中， 所述操作面对应于桌面界面系统中的桌面，并且所述更新单元将隔离区域确定为与桌子上安装的实体物对应的区域，并以使得所述桌面和所述实体物被包括在所述操作面中的方式来更新代表所述操作面的高度的位置信息。7.根据权利要求4所述的信息处理装置，其中， 在所述输入图像中，所述区域指定单元指定的隔离区域上反映的位置信息被改变的情况下，所述更新单元对代表所述背景的信息中的代表与隔离区域对应的部分的信息进行初始化。8.根据权利要求7所述的信息处理装置，其中， 隔离区域上反映的位置信息被改变的情况对应于以下情况:图像获取单元所获取的所述输入图像中的隔离区域上反映的位置信息，不同于在最近的预定时间段中最后检测到的隔离区域上反映的位置信息。9.根据权利要求7所述的信息处理装置，其中， 在所述输入图像中隔离区域上反映的位置信息被改变并且改变的隔离区域与改变之前最后提取的隔离区域交叠的情况下，所述更新单元对代表所述背景的信息中的代表与隔离区域对应的部分的信息进行初始化。10.根据权利要求1所述的信息处理装置，其中， 限定所述预定封闭区域的边界线对应于所述输入图像中包括的操作面的轮廓。11.根据权利要求1所述的信息处理装置，该信息处理装置还包括: 插值单元，其被构造为在从所述图像获取单元获取的所述输入图像中没有获取到隔离区域的一部分的位置信息的情况下，利用从隔离区域获取的位置信息执行插值。12.根据权利要求1所述的信息处理装置，该信息处理装置还包括: 位置指定单元，其被构造为根据在所述提取单元提取的区域当中不是隔离区域的区域的形状，来指定通过预定指示物体指示的操作位置， 其中，所述识别单元根据所述位置指定单元指定的操作位置的位置信息来识别指示。13.根据权利要求12所述的信息处理装置，其中， 在所述位置指定单元指定的操作位置的位置信息和所述操作面的位置信息代表从所述预定指示物体到所述操作面的距离小于预定距离的情况下，所述识别单元检测到所述预定指示物体对所述操作面的触摸。14.根据权利要求1所述的信息处理装置，其中， 所述识别单元根据所述提取单元从所述输入图像中提取的区域当中不是隔离区域的区域上反映的位置信息和所述背景的信息所代表的所述预定指示物体和所述操作面之间的邻近状态，检测所述预定指示物体对所述操作面的触摸。15.根据权利要求4所述的信息处理装置，该信息处理装置还包括: 指定单元，其被构造为根据所述提取单元提取的区域当中不是隔离区域的区域的形状，指定通过预定指示物体指示的操作位置， 其中，在将所述提取单元提取的区域当中与限定所述输入图像中的所述预定封闭区域的边界线不接触的隔离区域上反映的位置信息设置为所述操作面的三维形状的一部分的同时，所述更新单元更新关于所述背景的信息，并且 在所述指定单元指定的操作位置的三维位置信息和所述操作面的三维形状代表从预定指示物体到所述操作面的距离小于预定距离的情况下，所述识别单元检测到所述预定指示物体对所述操作面的触摸。16.一种信息处理装置的控制方法，该控制方法包括: 获取输入图像，在所述输入图像上反映了包括作为背景的一部分的操作面的空间的位置信息； 根据获取的所述输入图像上反映的位置信息和所述空间中的所述操作面的位置信息，从所述输入图像中提取与所述操作面的前景中包括的一个或更多个物体对应的一个或更多个区域； 从提取的所述一个或更多个区域当中指定与限定所述输入图像中的预定封闭区域的边界线不接触的隔离区域；以及 在与指定的所述隔离区域对应的部分中，根据所述输入图像中的隔离区域上反映的位置信息，来识别预定指示物体相对于所述操作面的邻近状态。
【专利摘要】本发明公开了一种识别拍摄图像中的特定物体的信息处理装置及其控制方法。所述信息处理装置包括：图像获取单元，获取输入图像；提取单元，根据反映的位置信息和空间中的操作面的位置信息，从输入图像中提取与操作面的前景中包括的一个或更多个物体对应的一个或更多个区域；区域指定单元，从提取单元提取的一个或更多个区域当中指定与限定输入图像中的预定封闭区域的边界线不接触的隔离区域；识别单元，在与区域指定单元指定的隔离区域对应的部分中，根据反映的位置信息来识别预定指示物体相对于操作面的邻近状态。
【IPC分类】G06F3/042, G06T7/20
【公开号】CN105320366
【申请号】CN201510368976
【发明人】久保山英生
【申请人】佳能株式会社
【公开日】2016年2月10日
【申请日】2015年6月29日
【公告号】DE102015110495A1, US20160012599