专利名称：图像处理装置、图像处理方法以及程序的制作方法
技术领域：
本发明涉及一种图像处理装置、图像处理方法以及程序。
背景技术：
近来，被称为增强现实(AR)的技术已经引起注意，由此通过对实际空间进行成像而获得的且通过特定处理修改的图像被呈现给用户。在AR技术中，例如，可将关于输入图像中所示的实际空间中的物体的有用信息插入该图像中，以作为输出图像输出。即，在AR 技术中，通常，呈现给用户的图像的大部分示出实际空间，并且可根据应用目的处理图像的一些部分。这种特性与使用计算机图形(CG)构成输出图像的整体(或大部分)的虚拟现实形成对比。通过使用AR技术，例如，可提供诸如基于输出图像用户容易了解实际空间的状况或工作支持的优点。另外，在AR技术中，除了涉及将关于实际空间中的物体的有用信息插入通过对实际空间进行成像而获得的图像中的技术之外，还存在于观看实际空间的用户的视场上以叠加的方式将关于实际空间中的物体的有用信息呈现给用户的技术。在这种技术中，通过使用半透明反射镜(half mirror)等来与观看实际空间的用户的视场光学合成，向用户呈现关于实际空间中的物体的有用信息。同样，在使用这种AR技术的情况下，例如，可以提供诸如使用户容易了解实际空间的状况或工作支持的优点。在AR技术中，为了向用户真实地呈现有用信息，计算机准确地了解实际空间的状况是很重要的。因此，开发了旨在了解实际空间的状况的技术，其用作AR技术的基础。例如，日本专利申请早期公开No. 2008-30似68公开了以下方法通过应用能够同时估计相机的位置和姿势以及在相机的图像中示出的特征点的位置的、被称为同时定位与地图构建 (SLAM)的技术，动态地生成表示存在于实际空间中的物体的三维位置的环境地图。注意，在 “Real-Time Simultaneous Localization and Mapping with a Single Camera，， (Andrew J. Davison, Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp. 1403-1410)中公开了使用单目相机的SLAM技术的基本原理。
发明内容
同时，作为安装在头部上的小型显示装置，头戴式显示器(HMD)已被广泛使用。作为使用装配有相机的HMD的技术，可以举例说明以下技术其用于使用图像处理装置、通过 AR技术修改由相机成像的图像并且显示由HMD修改后的图像，以便用户观看修改后的图像。这种HMD具有的功能可例如通过视频透射型HMD实现。另外，例如，还存在以下技术: 其用于将由相机成像的图像用作源，由图像处理装置通过AR技术来生成附加信息图像，并且在视场内使用半透明反射镜等光学合成所生成的附加信息图像，以便用户观看图像。例如，HMD的这种功能可通过光学透射型HMD来实现。通过使用这些技术，用户可以容易地了解实际空间的状况，并且可提供基于输出图像的工作支持。作为用于输入使图像处理装置执行处理的操作的装置，例如可假定诸如键盘或鼠标的输入装置。
然而，虽然举例说明了使用HMD的优点，S卩，可以省去用户输入操作的麻烦，但是存在以下问题当将输入装置(诸如，键盘或鼠标)用作用于输入操作的装置时，导致给用户带来输入操作的麻烦。从而，减少了使用HMD的优点。据此，希望提供一种图像处理装置、图像处理方法以及程序，其是新颖的且改进的，并且其在由HMD通过AR技术在用户的视场上以叠加方式显示信息的配置中便于用户输入操作。根据本发明的实施例，提供了一种图像处理装置，包括特征数据存储单元，其存储表示物体的外观的特征的特征数据；叠加显示数据存储单元，其存储叠加显示数据和项目位置，其中，叠加显示数据是叠加在用户的视场上的图像的源，以及项目位置是构成叠加显示数据的项目的位置；环境地图生成单元，其基于通过使用成像装置对实际空间进行成像而获得的输入图像和存储在特征数据存储单元中的特征数据，生成表示存在于实际空间中的一个或多个物体的位置的环境地图；叠加显示位置确定单元，其基于环境地图，从在输入图像中成像的物体中确定具有预定平面或曲面的物体的位置；叠加显示图像生成单元， 其通过在由叠加显示位置确定单元确定的物体的位置处设置叠加显示数据，生成叠加显示图像；图像叠加单元，其将叠加显示图像叠加在用户的视场上；操作体识别单元，其识别在输入图像中成像的操作体；以及处理执行单元，其执行与基于由操作体识别单元识别出的操作体的位置而选择的项目对应的处理。操作体识别单元可将在输入图像中成像的足部识别为操作体。操作体识别单元可执行作为已预先登记的鞋的图像的鞋登记图像与输入图像之间的匹配，并且当操作体识别单元确定出与鞋登记图像匹配的鞋在输入图像中成像时，操作体识别单元将该鞋识别为操作体。当用户将成像装置戴在他/她的头部上时，操作体识别单元可确定在输入图像中成像的足部是否从在构成输入图像的各边之中与用户最接近的边进入，并且当操作体识别单元确定出足部从与用户最接近的边进入时，操作体识别单元将足部识别为操作体。操作体识别单元可确定预先经过了预定标记的、具有标记的鞋是否在输入图像中成像，并且当操作体识别单元确定出具有标记的鞋在输入图像中成像时，操作体识别单元将该鞋识别为操作体。处理执行单元可确定附着至足部的接触式传感器是否检测到接触，并且当接触式传感器检测到接触时，处理执行单元可以执行与基于足部的位置而选择的项目对应的处理。处理执行单元可确定由操作体识别单元识别出的操作体是否在基本相同的位置处停留了预定时段，并且当处理执行单元确定出操作体在基本相同的位置处停留了所述预定时段时，处理执行单元可以执行与基于操作体的位置而选择的项目对应的处理。叠加显示数据存储单元可存储在叠加显示数据之后显示的其他叠加显示数据。当通过处理执行单元选择项目时，叠加显示图像生成单元可通过进一步设置其他叠加显示数据来生成新的叠加显示图像。当通过处理执行单元选择了项目时，图像叠加单元可将其他叠加显示数据进一步叠加在新的叠加显示图像上。操作体识别单元可将在输入图像中成像的手部识别为操作体。图像叠加单元可将叠加显示图像叠加在用户的视场上，并且可使显示单元显示叠加显示图像。当图像叠加单元通过使用检测成像装置的倾斜度的传感器，检测到将成像装置戴在他/她的头部上的用户使头部以超过预定值的倾斜度在向下方向上倾斜时，图像叠加单元可使显示单元显示叠加显示图像，并且当图像叠加单元通过使用检测成像装置的倾斜度的传感器，未检测出将成像装置戴在他/她的头部上的用户使头部以超过预定值的倾斜度在向下方向上倾斜时，图像叠加单元可限制显示叠加显示图像，其中，该显示由显示单元执行。叠加显示位置确定单元可将具有在基本水平的方向上延伸的平面的物体的位置确定为具有预定平面或曲面的物体的位置。图像处理装置可还包括位置估计单元，其基于由环境地图表示的物体的表面上的点的位置，估计实际空间中的地面或墙面的位置。叠加显示位置确定单元可以进一步基于由位置估计单元估计的实际空间中的地面或墙面的位置，将地面的位置确定为物体的位置。特征数据可以包括针对每个物体的表面上的一个或多个点、表示每个点是否很可能与实际空间中的地面或墙面接触的数据。位置估计单元可进一步基于特征数据估计实际空间中的地面或墙面的位置。另外，根据本发明的另一实施例，提供了一种由图像处理装置执行的图像处理方法，其中，该图像处理装置包括存储表示物体的外观的特征的特征数据的特征数据的存储单元、存储叠加显示数据和项目位置的叠加显示数据存储单元、环境地图生成单元、叠加显示位置确定单元、图像叠加单元、操作体识别单元、以及处理执行单元，其中，该叠加显示数据是叠加在用户的视场上的图像的源，以及该项目位置是构成所述叠加显示数据的项目的位置，该图像处理方法包括以下步骤由环境地图生成单元基于通过使用成像装置对实际空间进行成像而获得的输入图像和存储在特征数据存储单元中的特征数据，生成表示存在于实际空间中的一个或多个物体的位置的环境地图；由叠加显示位置确定单元基于环境地图，从在输入图像中成像的物体中确定具有预定平面或曲面的物体的位置；由叠加显示图像生成单元通过在由叠加显示位置确定单元确定的物体的位置处设置叠加显示数据，生成叠加显示图像；由图像叠加单元将叠加显示图像叠加在用户的视场上；由操作体识别单元识别在输入图像中成像的操作体；以及由处理执行单元执行与基于由操作体识别单元识别出的操作体的位置而选择的项目对应的处理。另外，根据本发明的另一实施例，提供一种用于使计算机起到图像处理装置的作用的程序，该图像处理装置包括特征数据存储单元，其存储表示物体的外观的特征的特征数据；叠加显示数据存储单元，其存储叠加显示数据和项目位置，其中，该叠加显示数据是叠加在用户的视场上的图像的源，以及该项目位置是构成叠加显示数据的项目的位置；环境地图生成单元，其基于通过使用成像装置对实际空间进行成像而获得的输入图像和存储在特征数据存储单元中的特征数据，生成表示存在于实际空间中的一个或多个物体的位置的环境地图；叠加显示位置确定单元，其基于环境地图，从在输入图像中成像的物体中确定具有预定平面或曲面的物体的位置；叠加显示图像生成单元，其通过在由叠加显示位置确定单元确定的物体的位置处设置叠加显示数据，生成叠加显示图像；图像叠加单元，其将叠加显示图像叠加在用户的视场上；操作体识别单元，其识别在输入图像中成像的操作体；以及处理执行单元，其执行与基于由操作体识别单元识别出的操作体的位置而选择的项目对应的处理。根据上述本实施例的图像处理装置、图像处理方法以及程序，在由HMD通过AR技术在用户的视场上以叠加方式显示信息的配置中能够便于用户输入操作。同时，作为安装在头部上的小型显示装置，头戴式显示器(HMD)已被广泛使用。作为使用装配有相机的HMD的技术，可以举例说明以下技术其用于使用图像处理装置、通过 AR技术修改由相机成像的图像并且显示由HMD修改的图像，以便用户观看修改后的图像。 这种HMD具有的功能可例如通过视频透射型HMD实现。另外，例如，还存在以下技术其用于将由相机成像的图像用作源，由图像处理装置通过AR技术来生成附加信息图像，并且在视场内使用半透明反射镜等光学合成所生成的附加信息图像，以便用户观看图像。例如，HMD 的这种功能可通过光学透射型HMD来实现。通过使用这些技术，用户可以容易地了解实际空间的状况，并且可以提供基于输入图像的工作支持。作为用于拍摄图像的处理技术，可以举例说明将关于建筑物的信息叠加在拍摄图像中成像的建筑物上的技术。这里，通常存在在拍摄图像的正面附近成像的物体(诸如，建筑物)，并且根据该原因，通常在HMD上所显示的输出图像的正面附近以叠加方式显示关于物体的信息，诸如， 关于建筑物的信息。因此，当在拍摄图像的正面附近以叠加方式显示不直接取决于在拍摄图像中成像的物体(诸如，菜单、广告、日程、以及备忘录)的数据(下文中被称为“叠加显示数据”)时，可能发生叠加显示数据和与在所拍摄的图像中成像的物体相关的信息相互重叠或接近的情况。当这种情况发生时，存在用户变得很难观看通过将叠加显示数据叠加在拍摄图像上而获得的叠加图像的问题。据此，希望提供一种图像处理装置、图像处理方法以及程序，其是新颖的且改进的，并且其可以使得能够容易观看通过将叠加显示数据叠加在用户的视场上而获得的叠加图像。根据本发明的实施例，提供了一种图像处理装置，包括特征数据存储单元，其存储表示物体的外观的特征的特征数据；叠加显示数据存储单元，其存储作为叠加在用户的视场上的图像的源的叠加显示数据；环境地图生成单元，其基于通过使用成像装置对实际空间进行成像而获得的输入图像和存储在特征数据存储单元中的特征数据，生成表示存在于实际空间中的一个或多个物体的位置的环境地图；叠加显示位置确定单元，其基于环境地图，从在输入图像中成像的物体中确定具有预定平面或曲面的物体的位置；叠加显示图像生成单元，其通过在由叠加显示位置确定单元确定的物体的位置处设置叠加显示数据， 生成叠加显示图像；以及图像叠加单元，其将叠加显示图像叠加在用户的视场上并且使显示单元显示叠加显示图像。当图像叠加单元通过使用检测成像装置的倾斜度的传感器检测出将成像装置戴在他/她头部上的用户使头部以超过预定值的倾斜度在向下方向上倾斜时，图像叠加单元可使显示单元显示叠加显示图像，并且当图像叠加单元通过使用检测成像装置的倾斜度的传感器未检测出将成像装置戴在他/她头部上的用户使头部以超过预定值的倾斜度在向下方向上倾斜时，图像叠加单元可限制显示叠加显示图像，其中，该显示由显示单元执行。图像处理装置可还包括自身位置检测单元，其基于输入图像和特征数据，动态地检测图像处理装置的位置。当从由自身位置检测单元检测到的图像处理装置的位置到由叠加显示位置确定单元确定的物体的位置的距离超过预定值时，图像叠加单元可限制显示叠加显示图像，其中，该显示由显示单元执行。叠加显示位置确定单元可将具有在基本水平的方向上延伸的平面的物体的位置确定为具有预定平面或曲面的物体的位置。叠加显示位置确定单元可将地面、桌面和楼梯中的至少一个的位置确定为具有在基本水平的方向上延伸的平面的物体的位置。当叠加显示图像生成单元通过使用检测成像装置的旋转的传感器，检测出将成像装置戴在他/她的头部上的用户使头部在基本水平的方向上旋转时，叠加显示图像生成单元可通过根据旋转的程度改变叠加显示数据的设置位置，移动在叠加显示图像中设置的叠加显示数据。图像处理装置可还包括位置估计单元，其基于由环境地图表示的物体的表面上的点的位置，估计实际空间中的地面或墙面的位置。叠加显示位置确定单元可进一步基于由位置估计单元估计的实际空间中的地面或墙面的位置，将地面的位置确定为物体的位置。特征数据可包括针对每个物体的表面上的一个或多个点表示每个点是否很可能与实际空间中的地面或墙面接触的数据。位置估计单元可进一步基于特征数据估计实际空间中的地面或墙面的位置。另外，根据本发明的另一实施例，提供了一种由图像处理装置执行的图像处理方法，图像处理装置包括存储表示物体的外观的特征的特征数据的特征数据存储单元、存储作为叠加在用户的视场上的图像的源的叠加显示数据的叠加显示数据存储单元、环境地图生成单元、叠加显示位置确定单元、叠加显示图像生成单元以及图像叠加单元，该图像处理方法包括以下步骤由环境地图生成单元基于通过使用成像装置对实际空间进行成像而获得的输入图像和存储在特征数据存储单元中的特征数据，生成表示存在于实际空间中的一个或多个物体的位置的环境地图；由叠加显示位置确定单元基于环境地图，从在输入图像中成像的物体中确定具有预定平面或曲面的物体的位置；由叠加显示图像生成单元通过在由叠加显示位置确定单元确定的物体的位置处设置叠加显示数据，生成叠加显示图像；以及由图像叠加单元将叠加显示图像叠加在用户的视场上，并且由图像叠加单元使显示单元显示叠加显示图像。另外，根据本发明的另一实施例，提供一种用于使计算机起到图像处理装置的作用的程序，该图像处理装置包括特征数据存储单元，其存储表示物体的外观的特征的特征数据；叠加显示数据存储单元，其存储作为叠加在用户的视场上的图像的源的叠加显示数据；环境地图生成单元，其基于通过使用成像装置对实际空间进行成像而获得的输入图像和存储在特征数据存储单元中的特征数据，生成表示存在于实际空间中的一个或多个物体的位置的环境地图；叠加显示位置确定单元，其基于环境地图，从在输入图像中成像的物体中确定具有预定平面或曲面的物体的位置；叠加显示图像生成单元，其通过在由叠加显示位置确定单元确定的物体的位置处设置叠加显示数据，生成叠加显示图像；图像叠加单元， 其将叠加显示图像叠加在用户的视场上，并且使显示单元显示叠加显示图像。根据上述本实施例的图像处理装置、图像处理方法以及程序，可以使得能够容易观看通过将叠加显示数据叠加在用户的视场上而获得的叠加图像。
图1是示出根据实施例的图像处理装置的示意图；图2是示出根据实施例的用于图像处理的输入图像的示例的说明图；图3是示出根据第一实施例的图像处理装置的配置示例的框图；图4是示出根据第一实施例的自身位置检测处理的流程的示例的流程图；图5是说明在物体上设置的特征点的说明图；图6是说明添加特征点的说明图；图7是说明预测模型的示例的说明图；图8是说明特征数据的配置示例的说明图；图9是示出根据第一实施例的物体识别处理的流程示例的流程图；图IOA是示出当戴着成像装置的用户面向正面时由图像处理装置生成的输出图像的示例的示图；图IOB是示出当用户向下看时所生成的输出图像的示例的示图；图IOC是示出通过第一阶层的项目选择生成的输出图像的示例的示图；图IOD是紧接在选择第二阶层的项目之前的输出图像的示例的示图；图IOE是示出通过第二阶层的项目选择生成的输出图像的示例的示图；图11是示出在根据第一实施例的叠加显示数据存储单元中所存储的数据的示例的示图；图12是示出根据第一实施例的输出图像生成处理的流程的示例的流程图；图13是示出根据第一实施例的项目选择处理的流程的示例的流程图；图14是示出根据第二实施例的图像处理装置的配置的示例的框图；图15是说明特征数据的配置的另一示例的说明图；图16是说明与图15中所示的特征数据相关的多边形的示例的说明图；以及图17是示出通用计算机的硬件配置的示例的框图。
具体实施例方式下文中，将参考附图详细地描述本发明的优选实施例。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同附图标记表示，并且省略对这些结构元件的重复说明。此外，按以下顺序描述“具体实施方式
”。1.根据实施例的图像处理装置的概述2.第一实施例2-1.成像单元2-2.环境地图生成单元2-3.输出图像生成单元2-4.第一实施例的总结3.第二实施例3-1.环境地图生成单元3-2.输出图像生成单元
3-3.第二实施例的总结4.硬件配置<1.根据实施例的图像处理装置的概述〉图1是说明根据本发明的实施例的图像处理装置的示意图。图1示出根据本发明的实施例的环境1，其中，存在将图像处理装置100戴在他/她的头部上的用户。参考图1，在环境1内存在三个物体0bj01、0bj02、和0bj03、墙面WOl和W02以及地面F0。物体ObjOl位于墙面WOl与W02之间的角落。另外，沿着墙面W01，物体0bj02紧邻于物体ObjOl放置，并且物体0bj03紧邻于物体0bj02放置。在环境1是房屋中的一室的情况下，例如，物体0bj01、0bj02、和0bj03对应于多件家具，诸如抽屉。图像处理装置100在环境1 (其是实际空间)内成像，并且根据稍后描述的本实施例执行图像处理。虽然作为图1中的图像处理装置100的示例示出了以下装置，但是图像处理装置100不限于这样的示例该装置装配有安装在用户的头部上的相机，并且修改由相机成像的图像并将图像输出至诸如头戴式显示器(HMD)的显示装置D。例如，图像处理装置100可以是信息处理装置，诸如，能够从诸如摄像机的成像装置获得图像的个人计算机 (PC)、移动终端、或者数字家用电器。此外，图像处理装置100中不必并入用户的头部上安装的相机。即，相机必须由用户持有，但是除包括在图像处理装置100中的相机之外的配置不必由用户持有，如图1所示。另外，环境1不限于图1中所示的示例，并且可以是室内环境或室外环境。图2示出作为在图1中的环境1中通过图像处理装置100成像的示例的输入图像 ImO 1。在输入图像ImOl中出现图1中所示的三个物体0bj01、0bj02和0bj03、墙面WOl和 W02、以及地面F0。图像处理装置100获得例如这种输入图像，并且生成通过在输入图像上叠加不直接取决于在输入图像中成像的物体的数据(下文中称为“叠加显示数据”)获得的输出图像。作为叠加显示数据的示例，可以假设诸如菜单、广告、日程、备忘录的数据。通常存在在输入图像的正面附近成像的物体(诸如，建筑物)，并且根据该原因， 通常在显示装置D上所显示的输出图像的正面附近以叠加方式显示关于物体的信息，诸如，关于建筑物的信息。因此，当在拍摄图像的正面附近以叠加方式显示叠加显示数据时， 可能发生叠加显示数据和与在所拍摄到的图像中成像的物体相关的信息相互叠加或接近的情况。当这种情况发生时，用户很难观看通过将叠加显示数据叠加在输入图像上而获得的输出图像。在该说明书中，将详细描述例如以下技术为了使观看通过将叠加显示数据叠加在输入图像上而获得的输出图像更容易，从输入图像中识别地面的位置，并且将叠加显示数据叠加在输入图像中的地面的位置上。由于地面到处存在，并且与物体相关的信息不太可能叠加在地面上，所以可以改善难以观看输出图像的情况。另外，举例说明使用HMD可以省去用户输入操作的麻烦的优点，但是当将诸如键盘或鼠标的输入装置用作用于输入操作的装置时，对于用户而言导致输入操作的麻烦。因而，减少了使用HMD的优点。在本说明书中，为了使得用户能够容易地选择用户想要图像处理装置100执行的处理，将详细描述例如以下技术当用户观看叠加显示数据的同时将他/ 她的足部定位在期望项目的位置上时，图像处理装置100基于输入图像执行与足部定位的项目对应的处理。根据这种技术，可以省去用户输入操作的麻烦。另外，这种技术可以应用于图像处理装置100，其通过在用户的视场内光学合成叠加显示数据来在实际空间上以叠加方式显示叠加显示数据。不言而喻，在这种情况下，实现了用户观看合成图像变得更容易的效果以及可以省去用户输入操作的麻烦的效果。下文中，通过将如下图像处理装置作为示例来作出描述其显示通过将叠加显示数据叠加在输入图像上而获得的输出图像。<2.第一实施例〉图3是示出根据第一实施例的图像处理装置100的配置示例的框图。参照图3，图像处理装置100包括成像单元102、环境地图生成单元110、以及输出图像生成单元180。[2-1.成像单元]例如，可以将成像单元102实现为具有成像元件(诸如，电荷耦合器件(CXD)或互补金属氧化物半导体(CMOQ)的成像装置。虽然在本实施例中成像单元102构成图像处理装置100的一部分，但是成像单元102可设置在图像处理装置100外部。成像单元102将通过对成实际空间(诸如，图1中所示的环境1)进行成像而生成的图像作为输入图像输出至环境地图生成单元110和输出图像生成单元180。[2-2.环境地图生成单元]环境地图生成单元110生成环境地图，该环境地图基于从成像单元102输入的输入图像和存储在特征数据存储单元130中的随后描述的物体的特征数据，表示在实际空间中存在的一个或多个物体的位置等。如图3所示，在该实施例中，环境地图生成单元110 包括自身位置检测单元120、特征数据存储单元130、图像识别单元140、环境地图构建单元 150、以及环境地图存储单元152。(1)自身位置检测单元自身位置检测单元120基于从成像单元102输入的输入图像和存储在特征数据存储单元130中的特征数据，动态地检测拍摄了输入图像的成像装置的位置。例如， 还在成像装置具有单目相机的情况下，自身位置检测单元120可通过应用在“Real-Time Simultaneous Localization and Mapping with a Single Camera，，(Andrew J. Davison, Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2，2003，pp. 1403-1410)中描述的SLAM技术，针对每帧动态地确定相机的位置和姿势以及特征点在相机的成像平面上的位置。首先，将参照图4描述通过应用SLAM技术的自身位置检测单元120的自身位置检测处理的整体流程。接下来，参照图5至图7详细地描述自身位置检测处理。图4是示出通过应用SLAM技术的自身位置检测单元120进行的自身位置检测处理的流程的示例的流程图。在图4中，当自身位置检测处理开始时，自身位置检测单元120 首先初始化状态变量(步骤S102)。在该实施例中，状态变量是包括以下作为元素的向量 相机的位置和姿势(旋转角)、相机的移动速度和角速度、以及一个或多个特征点的位置。 然后，自身位置检测单元120从成像单元102顺序地获得输入图像(步骤S112)。可以对于每个输入图像(即，每帧)重复从步骤S112至步骤S118的处理。在步骤S114，自身位置检测单元120跟踪在输入图像中出现的特征点。例如，自身位置检测单元120从输入图像检测预先存储在特征数据存储单元130中的每个特征点的片 (patch)(例如，特征点周围的3X3 = 9个像素的小图像)。当更新状态变量时，随后使用在此所检测到的片的位置，即，特征点的位置。
在步骤S116，自身位置检测单元120例如基于预定的预测模型生成下一帧的状态变量的预测值。而且，在步骤S118，自身位置检测单元120使用在步骤S116所生成的状态变量的预测值和根据在步骤S114所检测到的特征点的位置的观测值，更新状态变量。自身位置检测单元120基于扩展卡尔曼滤波器的原理执行在步骤S116和S118的处理。作为这种处理的结果，输出针对每帧而更新的状态变量的值。下文中更具体地描述跟踪特征点(步骤S114)、预测状态变量(步骤S116)以及更新状态变量(步骤S118)的各个处理的内容。(1-1)跟踪特征点在本实施例中，特征数据存储单元130预先存储特征数据，该特征数据表示与可能存在于实际空间中的物理物体对应的物体的特征。例如，特征数据包括小图像，即，与一个或多个特征点相关的片，每个特征点均表示每个物体的外观的特征。例如，片可以是由特征点周围的3X3 = 9个像素构成的小图像。图5示出物体的两个示例、以及设置在每个物体上的特征点(FP)和片的示例。图 5中的左侧物体是表示抽屉的物体(参照图6a)。在该物体上设置包括特征点FPl的多个特征点。而且，关于特征点FPl定义片Pthl。另一方面，图5的右侧物体是表示日历的物体 (参照图6b)。在该物体上设置包括特征点FP2的多个特征点。而且，关于特征点FP2定义片 Pth2。当从成像单元102获得输入图像时，自身位置检测单元120将包括在输入图像中的部分图像与用于预先存储在特征数据存储单元130中的图6中所示的每个特征点的片进行匹配。然后，作为匹配结果，自身位置检测单元120指定包括在输入图像中的每个特征点的位置(例如，所检测到的片的中心像素的位置)。应该注意，为了跟踪特征点(图4中的步骤S114)，不必将关于要跟踪的所有特征点的数据预先存储在特征数据存储单元130中。例如，在图6中所示的示例中，在时间T = t-Ι处，在输入图像中检测到六个特征点(参照图7a)。接下来，当在时间T = t处相机的位置或姿势改变时，在输入图像中仅出现在时间T = t-Ι处出现在输入图像中的六个特征点中的两个特征点。在这种情况下，自身位置检测单元120可在输入图像的典型像素图样 (pattern)存在的位置重新设置特征点，并且在用于随后帧的自身检测处理中使用新特征点。例如，在图6中所示的示例中，在时间T = t，在物体上设置四个新特征点(参照图7b)。 这是SLAM技术的特征，并且根据该技术，可以降低预先设置所有特征点的成本，并且可以使用增加数量的特征点提高处理的准确度。(1-2)状态变量的预测在本实施例中，自身位置检测单元120将在以下等式中表达的状态变量X用作应用于扩展卡尔曼滤波器的状态变量。[等式1]
权利要求
1.一种图像处理装置，包括特征数据存储单元，其存储表示物体的外观的特征的特征数据；叠加显示数据存储单元，其存储叠加显示数据和项目位置，其中，所述叠加显示数据是叠加在用户的视场上的图像的源，以及所述项目位置是构成所述叠加显示数据的项目的位置；环境地图生成单元，其基于通过使用成像装置对实际空间进行成像而获得的输入图像和存储在所述特征数据存储单元中的所述特征数据，生成表示存在于所述实际空间中的一个或多个物体的位置的环境地图；叠加显示位置确定单元，其基于所述环境地图，从在所述输入图像中成像的物体中确定具有预定平面或曲面的物体的位置；叠加显示图像生成单元，其通过在由所述叠加显示位置确定单元确定的物体的位置处设置所述叠加显示数据，生成叠加显示图像；图像叠加单元，其将所述叠加显示图像叠加在所述用户的视场上；操作体识别单元，其识别在所述输入图像中成像的操作体；以及处理执行单元，其执行与基于由所述操作体识别单元识别出的所述操作体的位置而选择的所述项目对应的处理。
2.根据权利要求1所述的图像处理装置，其中，所述操作体识别单元将在所述输入图像中成像的足部识别为所述操作体。
3.根据权利要求2所述的图像处理装置，其中，所述操作体识别单元执行作为已预先登记的鞋的图像的鞋登记图像与所述输入图像之间的匹配，并且当所述操作体识别单元确定出与所述鞋登记图像匹配的鞋在所述输入图像中成像时，所述操作体识别单元将该鞋识别为所述操作体。
4.根据权利要求2所述的图像处理装置，其中，当用户将所述成像装置戴在他/她的头部上时，所述操作体识别单元确定在所述输入图像中成像的足部是否从构成所述输入图像的各边之中与所述用户最接近的边进入，并且当所述操作体识别单元确定出所述足部从与所述用户最接近的边进入时，所述操作体识别单元将所述足部识别为所述操作体。
5.根据权利要求2所述的图像处理装置，其中，所述操作体识别单元确定预先经过了预定标记的、具有标记的鞋是否在所述输入图像中成像，并且当所述操作体识别单元确定出所述具有标记的鞋在所述输入图像中成像时，所述操作体识别单元将该鞋识别为所述操作体。
6.根据权利要求2所述的图像处理装置，其中，所述处理执行单元确定附着至所述足部的接触式传感器是否检测到接触，并且当所述接触式传感器检测到所述接触时，所述处理执行单元执行与基于所述足部的位置而选择的所述项目对应的处理。
7.根据权利要求2所述的图像处理装置，其中，所述处理执行单元确定由所述操作体识别单元识别出的所述操作体是否在基本相同的位置处停留了预定时段，并且当所述处理执行单元确定出所述操作体在基本相同的位置处停留了预定时段时，所述处理执行单元执行与基于所述操作体的位置而选择的所述项目对应的处理。
8.根据权利要求1所述的图像处理装置，其中，所述叠加显示数据存储单元存储在所述叠加显示数据之后显示的其他叠加显示数据，其中，当通过所述处理执行单元选择了所述项目时，所述叠加显示图像生成单元通过进一步设置所述其他叠加显示数据来生成新的叠加显示图像，以及其中，当通过所述处理执行单元选择了所述项目时，所述图像叠加单元将所述其他叠加显示数据进一步叠加在所述新的叠加显示图像上。
9.根据权利要求1所述的图像处理装置，其中，所述操作体识别单元将在所述输入图像中成像的手部识别为所述操作体。
10.根据权利要求1所述的图像处理装置，其中，所述图像叠加单元将所述叠加显示图像叠加在所述用户的视场上，并且使显示单元显示所述叠加显示图像。
11.根据权利要求10所述的图像处理装置，其中，当所述图像叠加单元通过使用检测所述成像装置的倾斜度的传感器，检测出将所述成像装置戴在他/她的头部上的用户使所述头部以超过预定值的倾斜度在向下方向上倾斜时，所述图像叠加单元使所述显示单元显示所述叠加显示图像，并且当所述图像叠加单元通过使用检测所述成像装置的倾斜度的所述传感器，未检测出将所述成像装置戴在他/她的头部上的用户使所述头部以超过所述预定值的倾斜度在向下方向上倾斜时，所述图像叠加单元限制显示所述叠加显示图像，其中，所述显示由所述显示单元执行。
12.根据权利要求1所述的图像处理装置，其中，所述叠加显示位置确定单元将具有在基本水平的方向上延伸的平面的物体的位置确定为具有所述预定平面或曲面的物体的位置。
13.根据权利要求1所述的图像处理装置，还包括位置估计单元，其基于由所述环境地图表示的物体的表面上的点的位置，估计所述实际空间中的地面或墙面的位置，其中，所述叠加显示位置确定单元进一步基于由所述位置估计单元估计的所述实际空间中的地面或墙面的位置，将地面的位置确定为所述物体的位置。
14.根据权利要求13所述的图像处理装置，其中，所述特征数据包括针对每个物体的表面上的一个或多个点表示每个点是否很可能与所述实际空间中的地面或墙面接触的数据，并且其中，所述位置估计单元进一步基于所述特征数据估计所述实际空间中的地面或墙面的位置。
15.一种图像处理方法，其由图像处理装置执行，所述图像处理装置包括存储表示物体的外观的特征的特征数据的特征数据存储单元、存储叠加显示数据和项目位置的叠加显示数据存储单元、环境地图生成单元、叠加显示位置确定单元、图像叠加单元、操作体识别单元、以及处理执行单元，其中，所述叠加显示数据是叠加在用户的视场上的图像的源，以及所述项目位置是构成所述叠加显示数据的项目的位置，所述图像处理方法包括以下步骤由所述环境地图生成单元基于通过使用成像装置对实际空间进行成像而获得的输入图像和存储在所述特征数据存储单元中的所述特征数据，生成表示存在于所述实际空间中的一个或多个物体的位置的环境地图；由所述叠加显示位置确定单元基于所述环境地图，从在所述输入图像中成像的物体中确定具有预定平面或曲面的物体的位置；由所述叠加显示图像生成单元通过在由所述叠加显示位置确定单元确定的物体的位置处设置所述叠加显示数据，生成叠加显示图像；由所述图像叠加单元将所述叠加显示图像叠加在所述用户的视场上； 由所述操作体识别单元识别在所述输入图像中成像的操作体；以及由所述处理执行单元执行与基于由所述操作体识别单元识别出的所述操作体的位置而选择的所述项目对应的处理。
16.一种用于使计算机起到图像处理装置的作用的程序，所述图像处理装置包括 特征数据存储单元，其存储表示物体的外观的特征的特征数据，叠加显示数据存储单元，其存储叠加显示数据和项目位置，其中，所述叠加显示数据是叠加在用户的视场上的图像的源，以及所述项目位置是构成所述叠加显示数据的项目的位置，环境地图生成单元，其基于通过使用成像装对实际空间进行成像而获得的输入图像和存储在所述特征数据存储单元中的所述特征数据，生成表示存在于所述实际空间中的一个或多个物体的位置的环境地图，叠加显示位置确定单元，其基于所述环境地图，从在所述输入图像中成像的物体中确定具有预定平面或曲面的物体的位置，叠加显示图像生成单元，其通过在由所述叠加显示位置确定单元确定的物体的位置处设置所述叠加显示数据，生成叠加显示图像，图像叠加单元，其将所述叠加显示图像叠加在所述用户的视场上， 操作体识别单元，其识别在所述输入图像中成像的操作体，以及处理执行单元，其执行与基于由所述操作体识别单元识别出的所述操作体的位置而选择的所述项目对应的处理。
17.一种图像处理装置，包括特征数据存储单元，其存储表示物体的外观的特征的特征数据；叠加显示数据存储单元，其存储作为叠加在用户的视场上的图像的源的叠加显示数据；环境地图生成单元，其基于通过使用成像装置对实际空间进行成像而获得的输入图像和存储在所述特征数据存储单元中的所述特征数据，生成表示存在于所述实际空间中的一个或多个物体的位置的环境地图；叠加显示位置确定单元，其基于所述环境地图，从在所述输入图像中成像的物体中确定具有预定平面或曲面的物体的位置；叠加显示图像生成单元，其通过在由所述叠加显示位置确定单元确定的物体的位置处设置所述叠加显示数据，生成叠加显示图像；以及图像叠加单元，其将所述叠加显示图像叠加在所述用户的视场上，并且使显示单元显示所述叠加显示图像。
18.根据权利要求17所述的图像处理装置，其中，当所述图像叠加单元通过使用检测所述图像装置的倾斜度的传感器，检测出将所述成像装置戴在他/她的头部上的用户使所述头部以超过预定值的倾斜度在向下方向上倾斜时，所述图像叠加单元使所述显示单元显示所述叠加显示图像，并且当所述图像叠加单元通过使用检测所述图像装置的倾斜度的所述传感器，未检测出将所述成像装置戴在他/她的头部上的用户使所述头部以超过所述预定值的倾斜度在向下方向上倾斜时，所述图像叠加单元限制显示所述叠加显示图像，其中，所述显示由所述显示单元执行。
19.根据权利要求18所述的图像处理装置，还包括自身位置检测单元，其基于所述输入图像和所述特征数据，动态地检测所述图像处理装置的位置，其中，当从由所述自身位置检测单元检测到的所述图像处理装置的位置到由所述叠加显示位置确定单元确定的物体的位置之间的距离超过预定值时，所述图像叠加单元限制显示所述叠加显示图像，其中，所述显示由所述显示单元执行。
20.根据权利要求17所述的图像处理装置，其中，所述叠加显示位置确定单元将具有在基本水平的方向上延伸的平面的物体的位置确定为具有所述预定平面或曲面的物体的位置。
21.根据权利要求20所述的图像处理装置，其中，所述叠加显示位置确定单元将地面、桌面和楼梯中的至少一个的位置确定为具有在基本水平的方向上延伸的平面的物体的位置。
22.根据权利要求17所述的图像处理装置，其中，当所述叠加显示图像生成单元通过使用检测所述成像装置的旋转的传感器，检测出将所述成像装置戴在他/她的头部上的用户使所述头部在基本水平的方向上旋转时， 所述叠加显示图像生成单元通过根据所述旋转的程度改变所述叠加显示数据的设置位置， 移动在所述叠加显示图像中设置的所述叠加显示数据。
23.根据权利要求17所述的图像处理装置，还包括位置估计单元，其基于由所述环境地图表示的物体的表面上的点的位置，估计所述实际空间中的地面或墙面的位置，其中，所述叠加显示位置确定单元进一步基于由所述位置估计单元估计的所述实际空间中的地面或墙面的位置，将地面的位置确定为所述物体的位置。
24.根据权利要求23所述的图像处理装置，其中，所述特征数据包括针对每个物体的表面上的一个或多个点表示每个点是否很可能与所述实际空间中的地面或墙面接触的数据，并且其中，所述位置估计单元进一步基于所述特征数据估计所述实际空间中的地面或墙面的位置。
25.一种图像处理方法，其由图像处理装置执行，所述图像处理装置包括存储表示物体的外观的特征的特征数据的特征数据存储单元、存储作为叠加在用户的视场上的图像的源的叠加显示数据的叠加显示数据存储单元、环境地图生成单元、叠加显示位置确定单元、叠加显示图像生成单元以及图像叠加单元，所述图像处理方法包括以下步骤由所述环境地图生成单元基于通过使用成像装置对实际空间进行成像而获得的输入图像和存储在所述特征数据存储单元中的所述特征数据，生成表示存在于所述实际空间中的一个或多个物体的位置的环境地图；由所述叠加显示位置确定单元基于所述环境地图，从在所述输入图像中成像的物体中确定具有预定平面或曲面的物体的位置；由所述叠加显示图像生成单元通过在由所述叠加显示位置确定单元确定的物体的位置处设置所述叠加显示数据，生成叠加显示图像；以及由所述图像叠加单元将所述叠加显示图像叠加在所述用户的视场上，并且由所述图像叠加单元使显示单元显示所述叠加显示图像。
26. 一种用于使计算机起到图像处理装置的作用的程序，所述图像处理装置包括特征数据存储单元，其存储表示物体的外观的特征的特征数据；叠加显示数据存储单元，其存储作为叠加在用户的视场上的图像的源的叠加显示数据，环境地图生成单元，其基于通过使用成像装置对实际空间进行成像而获得的输入图像和存储在所述特征数据存储单元中的所述特征数据，生成表示存在于所述实际空间中的一个或多个物体的位置的环境地图，叠加显示位置确定单元，其基于所述环境地图，从在所述输入图像中成像的物体中确定具有预定平面或曲面的物体的位置，叠加显示图像生成单元，其通过在由所述叠加显示位置确定单元确定的物体的位置处设置所述叠加显示数据，生成叠加显示图像，以及图像叠加单元，其将所述叠加显示图像叠加在所述用户的视场上，并且使显示单元显示所述叠加显示图像。
全文摘要
本发明提供一种图像处理装置、图像处理方法以及程序，其中该图像处理装置包括叠加显示位置确定单元，其基于环境地图从在输入图像中成像的物体中确定具有预定平面或曲面的物体的位置；叠加显示图像生成单元，其通过在由叠加显示位置确定单元确定的物体的位置处设置叠加显示数据，生成叠加显示图像；图像叠加单元，其将叠加显示图像叠加在用户的视场上；操作体识别单元，其识别在输入图像中成像的操作体；以及处理执行单元，其执行与基于由操作体识别单元识别出的操作体的位置而选择的项目对应的处理。
文档编号G06T1/00GK102200881SQ201110069689
公开日2011年9月28日 申请日期2011年3月17日 优先权日2010年3月24日
发明者柏谷辰起 申请人:索尼公司