专利名称：机器人装置及其控制方法、计算机程序以及机器人系统的制作方法
技术领域：
本说明书中公开的技术涉及一种进行工作以自动地为用户布置舒适的环境的机器人装置及其控制方法、一种计算机程序以及一种机器人系统，更具体地，涉及一种自动地布置频繁使用的物体的放置位置和姿态使得用户能够无困难地使用这些物体的机器人装置及其控制方法、一种计算机程序以及一种机器人系统。
背景技术：
近来，已实现 了用于执行各种任务的机器人装置。然而，许多机器人装置难于根据其操作内容或周围环境以最优姿态操作用作操作目标的物体。频繁使用的物体通常放置在亲自确定的位置，使得残疾人、残障人或者丧失能力的老年人能够无困难地使用这些物体。由于这些物体的放置位置和姿态对于这些用户而言极为重要，因此需要能够自动地为用户布置舒适的环境的机器人装置。此外，在将机器人握持的物体转交给用户时，需要能够以其中用户能够容易地握持或使用物体的姿态将物体转交给用户的机器人。例如，已提出一种用于保管日用品并且根据来自用户的指令或者自动地将日用品放到空的空间中的整理机器人(例如，参见日本专利申请公开第2007-152443号)。然而，该整理机器人在将物体放到空的空间中时没有考虑物体的最优位置或姿态。此外，已提出一种用于基于相机拍摄的图像生成环境地图的信息处理设备(例如，参见日本专利申请公开第2008-304268号)。该信息处理设备使用本体图来限制待识别的目标物体的搜索区域(例如，用户的脸很可能在沙发上方或者在电视机(TV)前方)。该信息处理设备可以应用于诸如配备有相机的机器人的代理(可移动体)。然而，未考虑目标物体的姿态。此外，已提出一种物品管理系统，其具有目标物体的形状数据库，基于数据库的信息确定在抓握/搬送目标物体之后的安装等时的姿态，并且使得机器人能够移动或搬送目标物体(例如，日本专利第373854号)。然而，物品管理系统仅抓握、搬送和安装物体。未考虑自动地为用户布置舒适的环境以及与用户交换物体的处理。此外，未考虑在复杂环境中的物体的正确姿态。
发明内容
期望提供一种出色的机器人装置及其控制方法，一种计算机程序以及一种机器人系统，它们能够自动地布置频繁使用的物体的放置位置和姿态，使得用户能够无困难地使用这些物体。再者，期望提供一种出色的机器人装置及其控制方法，一种计算机程序以及一种机器人系统，它们以其中用户能够容易地使用物体的姿态使机器人握持的物体能够由用户容易地握持或者转交给用户。根据本技术的第一实施例，提供了一种机器人装置，包括
环境地图，包括周围环境信息；图像输入单元，用于输入周围的图像；目标物体检测单元，用于从图像输入单元的输入图像中检测物体；物体位置检测单元，用于检测由目标物体检测单元检测到的物体的位置；环境信息获取单元，用于从环境地图获取由物体位置检测单元检测到的物体的位置的周围环境信息；最优姿态获取单元，用于获取关于由目标物体检测单元检测到的物体的、与环境信息获取单元获取的周围环境信息对应的最优姿态； 物体姿态数据库，用于保存关于每个环境的每个物体的最优姿态；物体姿态检测单元，用于从图像输入单元的输入图像中检测物体的当前姿态；物体姿态比较单元，用于将由物体姿态检测单元检测到的物体的当前姿态与物体姿态数据库中保存的物体的最优姿态进行比较；以及物体姿态校正单元，用于当物体姿态比较单元确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。根据基于第一实施例的机器人装置的本技术的第二实施例，机器人装置进一步包括任务执行单元，用于基于用户的指令执行任务。当任务执行单元未在执行任务时，物体姿态检测单元对物体的当前姿态的检测、物体姿态比较单元进行的与最优姿态的比较、以及物体姿态校正单元进行的物体的姿态校正，被配置成被自动执行。根据基于第一实施例的机器人装置的本技术的第三实施例，机器人装置进一步包括移动单元，用于移动机器人装置的位置。物体姿态检测单元被配置成在移动单元移动机器人装置的当前位置时检测物体的当前姿态。根据基于第一实施例的机器人装置的本技术的第四实施例，最优姿态获取单元被配置成通过学习获取每个物体的最优姿态并且将所获取的最优姿态保存在物体姿态数据库中。根据基于第四实施例的机器人装置的本技术的第五实施例，物体姿态数据库被配置成进一步保存从用户教导的每个物体的最优姿态。根据基于第一实施例的机器人装置的本技术的第六实施例，机器人装置进一步包括环境地图更新单元，用于基于图像输入单元的输入图像来更新环境地图。根据基于第一实施例的机器人装置的本技术的第七实施例，最优姿态获取单元被配置成，获取当为用户布置舒适环境时的用于放置物体的最优姿态，并且获取当向用户转交物体时的物体的最优姿态。根据基于第一实施例的机器人装置的本技术的第八实施例，环境信息获取单元被配置成从包括周围环境信息的环境地图中获取由物体位置检测单元检测到的物体的位置的周围环境信息。根据基于第一实施例的机器人装置的本技术的第九实施例，物体姿态比较单元被配置成将物体姿态检测单元检测到的物体的当前姿态与用于保存关于每个环境的每个物体的最优姿态的物体姿态数据库中所保存的物体的最优姿态进行比较。根据本技术的第十实施例，提供了一种控制机器人装置的方法，包括输入周围的图像；
从在输入步骤中输入的图像中检测物体；检测在检测物体的步骤中检测到的物体的位置；从包括周围环境信息的环境地图获取在检测步骤中检测到的物体的位置的周围环境信息；获取关于在检测物体的步骤中检测到的物体的、与在获取周围环境信息的步骤中获取的周围环境信息对应的最优姿态；在物体姿态数据库中保存关于每个环境的每个物体的最优姿态；从输入步骤中输入的图像中检测物体的当前姿态；将在检测当前姿态的步骤中检测到的物体的当前姿态与物体姿态数据库中保存 的物体的最优姿态进行比较；以及当在比较步骤中确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。根据本技术的第十一实施例，提供了一种计算机程序，其以计算机可读格式编写，用于控制机器人装置并且使计算机用作环境地图，包括周围环境信息；图像输入单元，用于输入周围的图像；目标物体检测单元，用于从图像输入单元的输入图像中检测物体；物体位置检测单元，用于检测由目标物体检测单元检测到的物体的位置；环境信息获取单元，用于从环境地图获取由物体位置检测单元检测到的物体的位置的周围环境信息；最优姿态获取单元，用于获取关于由目标物体检测单元检测到的物体的、与环境信息获取单元获取的周围环境信息对应的最优姿态；物体姿态数据库，用于保存关于每个环境的每个物体的最优姿态；物体姿态检测单元，用于从图像输入单元的输入图像中检测物体的当前姿态；物体姿态比较单元，用于将由物体姿态检测单元检测到的物体的当前姿态与物体姿态数据库中保存的物体的最优姿态进行比较；以及物体姿态校正单元，用于当物体姿态比较单元确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。根据本技术的第十一实施例的计算机程序被限定为用于在计算机上实现预定处理的、以计算机可读格式编写的计算机程序。换言之，通过将根据本技术的第十一实施例的计算机程序安装在计算机中，可以在计算机上呈现协作功能并且获得与根据本技术的第一实施例的机器人装置相同的功能效果。根据本技术的第十二实施例，提供了一种机器人系统，包括环境地图，在外部装置上构造并且包括周围环境信息；物体姿态数据库，在外部装置上构造，用于保存关于每个环境的每个物体的最优姿态；以及机器人装置，包括图像输入单元，用于输入周围的图像；目标物体检测单元，用于从图像输入单元的输入图像中检测物体；物体位置检测单元，用于检测由目标物体检测单元检测到的物体的位置；环境信息获取单元，用于从环境地图获取由物体位置检测单元检测到的物体的位置的周围环境信息；最优姿态获取单元，用于获取关于由目标物体检测单元检测到的物体的、与环境信息获取单元获取的周围环境信息对应的最优姿态；物体姿态检测单元，用于从图像输入单元的输入图像中检测物体的当前姿态；物体姿态比较单元，用于将由物体姿态检测单元检测到的物体的当前姿态与物体姿态数据库中保存的物体的最优姿态进行比较；以及物体姿态校正单元，用于当物体姿态比较单元确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。这里使用的“系统”指的是通过在逻辑上组装多个装置(或者实现特定功能的功能模块)而获得的组件，与装置或功能模块是否在单个壳体中无关。根据以上描述的本公开的各实施例，可以提供一种出色的机器人装置及其控制方法，一种计算机程序以及一种机器人系统，它们能够自动地布置频繁使用的物 体的放置位置和姿态，使得用户能够无困难地使用这些物体。此外，根据本说明书中公开的本技术的各实施例，可以提供一种出色的机器人装置及其控制方法，一种计算机程序以及一种机器人系统，它们以其中用户能够容易地使用物体的姿态使机器人握持的物体能够由用户容易地握持或者转交给用户。本说明书中公开的本技术的其他目的、特征和优点将根据下面结合附图进行的本技术的各实施例的更详细的描述而变得更加明显。
图I是图示可应用本说明书中公开的本技术的机器人装置100的外观的示图；图2是示意性图示可应用本说明书中公开的本技术的机器人装置100的关节自由度配置的示图；图3是示意性图示用于控制图I中图示的机器人装置100的功能配置的示图；图4是示意性图示用于使机器人装置100能够实现与环境对应的操作的功能配置的示图；图5是图示作为与机器人装置100的环境对应的操作的、其中为用户布置舒适环境的状态的示图；图6是图示作为与机器人装置100的环境对应的操作的、其中为用户布置舒适环境的状态的示图；图7是图示作为与机器人装置100的环境对应的操作的、其中以正确的姿态(其中用户容易地握持目标物体)转交目标物体的状态的示图；图8A是图示其中针对圆柱形物体(或者近似圆柱形物体)设定统一坐标系的状态的示图；图SB是图示其中物体坐标X’、y’和z’相对于世界坐标x、y和z三维旋转的状态的示图；图9是图示物体姿态数据库409的配置示例的示图；图10是图示在线生成并更新物体姿态数据库409的处理过程的流程图；图11是图示生成并更新物体姿态数据库409的处理过程的流程图；图12是图示每个物体/环境的姿态数据的数据库903的修改示例的示图；图13是图示由机器人装置100执行的操作的状态转移图；以及
图14是图示在“物体姿态校正”模式下由机器人装置100执行的处理过程的流程图。
具体实施例方式在下文中，将参照附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件由相同的附图标记表示，并且省略了这些结构元件的重复说明。根据本发明的一个实施例，提供了一种机器人装置，其包括图像输入单元，用于输入周围的图像；目标物体检测单元，用于从图像输入单元的输入图像中检测物体；物体位置检测单元，用于检测由目标物体检测单元检测到的物体的位置；环境信息获取单元，用 于获取由物体位置检测单元检测到的物体的位置的周围环境信息；最优姿态获取单元，用于获取关于由目标物体检测单元检测到的物体的、与环境信息获取单元获取的周围环境信息对应的最优姿态；物体姿态检测单元，用于从图像输入单元的输入图像中检测物体的当前姿态；物体姿态比较单元，用于将由物体姿态检测单元检测到的物体的当前姿态与物体的最优姿态进行比较；以及物体姿态校正单元，用于当物体姿态比较单元确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。根据本发明的另一实施例，提供了一种控制机器人装置的方法，其包括输入周围的图像；从在输入步骤中输入的图像中检测物体；检测在检测物体的步骤中检测到的物体的位置；从包括周围环境信息的环境地图获取在检测步骤中检测到的物体的位置的周围环境信息；获取关于在检测物体的步骤中检测到的物体的、与在获取周围环境信息的步骤中获取的周围环境信息对应的最优姿态；在物体姿态数据库中保存关于每个环境的每个物体的最优姿态；从输入步骤中输入的图像中检测物体的当前姿态；将在检测当前姿态的步骤中检测到的物体的当前姿态与物体姿态数据库中保存的物体的最优姿态进行比较；以及当在比较步骤中确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。根据本发明的又一实施例，提供了一种机器人系统，其包括环境地图，在外部装置上构造并且包括周围环境信息；物体姿态数据库，在外部装置上构造，用于保存关于每个环境的每个物体的最优姿态；以及机器人装置，包括图像输入单元，用于输入周围的图像；目标物体检测单元，用于从图像输入单元的输入图像中检测物体；物体位置检测单元，用于检测由目标物体检测单元检测到的物体的位置；环境信息获取单元，用于从环境地图获取由物体位置检测单元检测到的物体的位置的周围环境信息；最优姿态获取单元，用于获取关于由目标物体检测单元检测到的物体的、与环境信息获取单元获取的周围环境信息对应的最优姿态；物体姿态检测单元，用于从图像输入单元的输入图像中检测物体的当前姿态；物体姿态比较单元，用于将由物体姿态检测单元检测到的物体的当前姿态与物体姿态数据库中保存的物体的最优姿态进行比较；以及物体姿态校正单元，用于当物体姿态比较单元确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。在图I中，图示了适用本说明书中公开的本技术的机器人装置100的外观。机器人装置100是其中多个链接通过关节连接的链接构造体，每个关节由致动器操作。在图2中，示意性地图示了机器人装置100的关节自由度配置。尽管主要安装在家庭环境中的图示的机器人装置100执行家务杂事或看护，但是机器人装置100可用于诸如工业使用的各种用途。图示机器人装置100配备有作为移动部件面向基单元的两个驱动轮IOlR和101L。驱动轮IOlR和IOlL由驱动轮致动器102R和102L驱动，每个驱动轮致动器102R和102L绕俯仰轴旋转。在图2中，附图标记151、152和153表示实际不存在的非驱动关节。151、152和153分别对应于针对机器人装置100的地板表面的X方向(前后方向)的平动自由度、Y方向(左右方向)的平动自由度和绕偏航轴的旋转自由度。关节151、152和153是使机器人装置100在虚拟世界中来回移动的表示。移动部件经由髋关节连接到上体。髋关节由绕俯仰轴旋转的髋关节俯仰轴致动器103驱动。上体由两肢构成，两肢包括左臂部分和右臂部分以及经由颈关节连接的头部。左臂部分和右臂部分均具有总共七个自由度，包括肩关节的三个自由度、肘关节的两个自由度和腕关节的两个自由度。肩关节的三个自由度由肩关节俯仰轴致动器104R/L、肩关节翻 滚轴致动器105R/L和肩关节偏航轴致动器106R/L驱动。肘关节的两个自由度由肘关节俯仰轴致动器107R/L和肘关节偏航轴致动器108R/L驱动。腕关节的两个自由度由腕关节翻滚轴致动器109R/L和腕关节俯仰轴致动器110R/L驱动。此外，颈关节的两个自由度由颈关节俯仰轴致动器111和颈关节偏航轴致动器112驱动。此外，手关节的一个自由度由手关节翻滚轴致动器113R/L驱动。尽管图示的机器人装置100具有两个面对的轮的移动部件，但是本说明书中公开的本技术不限于两个面对的轮的移动部件。例如，本说明书中公开的本技术还可以应用于具有腿型移动部件的机器人装置100。每个轴致动器附接到用于获得充分的生成力的减速器以及用于测量关节角度的编码器、用于生成扭矩的电机和用于驱动电机的电流控制电机驱动器。此外，控制致动器的驱动的微计算机附接到致动器(尽管图2中未示出)。在主机计算机上执行机器人装置100的动态算术运算，并且生成每个关节致动器的扭矩或关节角度的控制目标值。控制目标值被传送到附接到致动器的控制微计算机，并且用于在控制微计算机上执行致动器的控制。此外，每个关节致动器由力控制方案或位置控制方案控制。图3示意性图示了用于控制图I中图示的机器人装置100的功能配置。机器人装置100包括执行整体操作的完整控制或者处理数据的控制单元310、输入/输出(I/O)单元320和驱动单元330。在下文中，将描述这些单元。I/O单元320包括作为输入单元的、与机器人装置100的眼睛对应的相机321、检测到人或障碍物的距离的距离传感器322、与机器人100的耳朵对应的麦克风323等。此外，I/O单元320包括作为输出单元的、与机器人装置100的嘴对应的扬声器324等。这里，距离传感器322由例如空间传感器，诸如激光机测距仪等构成。机器人装置100可以通过例如来自麦克风323的用户的音频输入来接收任务指令。然而，机器人装置100可以具有经由有线链路、无线链路、记录介质等的另一任务指令输入部件(未示出)。驱动器单元330是用于实现机器人装置100的每个关节中的自由度的功能模块，并且由针对每个关节中的每个翻滚轴、俯仰轴或偏航轴设置的多个驱动单元构成。每个驱动单元由执行绕预定轴的旋转操作的电机331、检测电机331的旋转位置的编码器332以及基于编码器332的输出自适应地控制电机331的旋转位置或旋转速度的驱动器333的组合构成。控制单元310包括识别单元311、驱动控制单元312和环境地图313。识别单元311基于从诸如I/O单元320内的相机312或距离传感器322的输入单元获得的信息来识别周围环境。例如，识别单元311基于输入信息预先构造或更新环境地图 313。驱动控制单元312控制I/O单元320的输出单元或者驱动单元330的驱动。例如，驱动控制单元312控制驱动单元330以使得机器人装置100能够实现任务。这里，待由机器人装置100实现的任务包括与指令对应的家务杂事或看护、与环境对应的操作等。此夕卜，与环境对应的操作可以是如下操作使得能够自动地布置频繁使用的物体的放置位置和姿态，由此用户能够无困难地使用这些物体；或者使得以其中用户能够容易地使用物体的姿态，使机器人握持的物体能够由用户容易地握持或转交给用户。在图4中，示意性图示用于使机器人装置100能够实现与环境对应的操作的功能配置。环境地图313是数据库，其包括机器人装置100在其中操作的工作区域(诸如其中用户所在的房间)中的物体(诸如桌子、沙发、书架和电视机(TV))的形状、位置和姿态数据。作为由环境地图313中的数据库管理的物体和机器人装置100自动地布置其位置和姿态的物体之间的差别，前者可以是不能由机器人装置100的臂等操作或移动的大的物 体，而后者可以是能够由机器人装置100抓握并移动的小的物体。在环境地图中管理诸如桌子、沙发、书架和电视机的物体，而聚酯瓶、遥控器等是由机器人装置100自动地布置其位置和姿态的目标物体或者被转交给用户的目标物体。自身位置检测单元401基于相机321或距离传感器322的测量结果检测或估计机器人装置100的自身位置。此外，环境地图更新单元403构造并更新环境地图313。目标物体检测单元402从相机321拍摄的图像中检测目标物体。目标物体检测单元402可以例如通过诸如轮廓、边缘、角、亮度改变或颜色的特征量、物体的三维(3D )形状、或者诸如附着到物体的条形码的人工几何图案的图像处理，来检测目标物体。替选地，可以通过从附着到目标物体的无线标签读取诸如标识符(ID)的信息来检测目标物体。机器人装置100自动地学习检测到的目标物体的最优姿态。在学习期间，物体位置检测单元404根据由自身位置检测单元401估计的自身位置和目标物体检测单元402从相机321拍摄的图像中检测到的目标物体的位置，计算目标物体的3D位置。此外，环境信息获取单元406从环境地图更新单元403更新的环境地图获取检测到的物体的位置的周围环境信息。可以从目标物体的3D位置和环境地图获取目标物体的周围环境信息。例如，该信息可以指示如下状态“聚酯瓶应在桌子上”和“遥控器当前应在沙发上并且电视机应与遥控器相对”。当获取与周围环境信息对应的、用于在为用户布置舒适环境时放置目标物体的正确(或最优)姿态，或者与周围环境信息对应的、将目标物体转交给用户时的目标物体的正确(或最优)姿态作为词典数据时，最优姿态获取单元407将获取的姿态登记在物体姿态数据库409中。例如，可以多次获取目标物体的姿态并且基于姿态的投票结果来确定正确姿态(如后面将描述的)。表I示出了用于在为用户布置舒适环境时放置目标物体的正确姿态的词典数据的示例。此外，表2示出了其中将目标物体转交给用户的正确姿态的词典数据的示例。[表 I]
目标物体环境信息正确姿态 —
聚酯瓶在桌子上或地板上其中瓶盖被放在上
面的状态·
杯子在桌子上或地板上直立状态
遥控器在桌子上、沙发上或按钮面向上
地板上
在电视机旁发射器朝向电视机 拖鞋在地板上拖鞋的顶部面向上 _ 在床边脚踝侧更接近床[表2]
目标物体环境信息正确姿态一 聚酯瓶瓶盖放在上面 杯子把手部分朝向用户 剪刀把手部分朝向用户 拐杖把手部分朝向用户 笔与笔尖相对侧朝向 ___用户然而，在表I中，可以组合周围环境的指定。例如，拖鞋在地板上并且在床边。机器人装置100学习每个目标物体的最优姿态并且将最优姿态作为词典数据登记在物体姿态数据库409中。替选地，用户可以使机器人装置100的词典数据被记住或者经由用户接口(UI)教导机器人装置100。当正常来回走动时，机器人装置100观察并且学习放置物体的通常姿态。例如，通过观察聚酯瓶来学习瓶盖通常放在上面的事实。如上述表I中所示，可以针对其中放置目标物体的每个环境来学习通常姿态。例如，“桌子上的聚酯瓶通常直立”以及“地板上的聚酯瓶通常躺倒(因为喝光)”。此外，机器人装置100基于学习结果为用户布置舒适环境。例如，即使当用户使物体处于不正常的姿态时，机器人装置100适当地校正其姿态。物体姿态检测单元405从相机321拍摄的图像中检测目标物体检测单元402检测到的目标物体的当前3D姿态。最优姿态获取单元407通过基于目标物体检测单元402从相机321拍摄的图像中检测到的目标物体以及由环境信息获取单元406获取的最新的环境地图来检索物体姿态数据库409，来估计目标物体的正确姿态。此外，最优姿态获取单元407使用当从环境检测目标物体时使用的信息(特征量、无线标签等)来检查物体姿态数据库409，并且获得目标物体的最优姿态。物体姿态比较单元408将物体姿态检测单元405检测到的3D姿态与基于物体姿态数据库409中登记的词典数据估计的最优姿态进行比较。如果存在两个姿态之间的差另Ij，则物体姿态确定单元410确定用于操作或校正目标物体的位置/姿态使得目标物体处于正确姿态的控制量。 如上文所述，机器人装置100基于在物体姿态数据库409中登记的词典数据来将目标物体操作或校正到正确姿态。在操作或校正目标物体的位置姿态之前，可以向用户发送查询。此外，当机器人装置100所操作或校正的目标物体的位置姿态错误时，用户可以执行教导。用户可以通过示出正确姿态来向机器人教导物体的正确姿态。例如，用户在以直立姿态示出聚酯瓶时通过音频指示“这样放”。替选地，用户可以通过音频教导物体的正确姿态。例如，进行指示“聚酯瓶直立”的指示。在根据该实施例的机器人装置100中，最优姿态获取单元407可以在线生成物体姿态数据库409。在物体姿态数据库409的构造中，获取目标物体检测单元402检测到的目标物体的位置和姿态的处理是必不可少的。可以作为诸如计算机辅助设计(CAD)数据的现有知识来获取物体的形状或者在由立体相机执行3D测量之后通过多边形化来获取物体的形状。当获取物体的形状作为词典数据时，针对多边形化的形状设定物体特定坐标系。例如，对于如图8A中所示的圆柱形物体(或者近似圆柱形物体)，中心是原点，主轴被设定为轴z’，并且轴X’和y’被适当地设定为关于轴z’旋转对称。此外，对于物体的姿态，当如图8A中所示的圆柱形物体(或者近似圆柱形物体)被置于真实世界中时，可以根据物体坐标x’，y’和z’相对于真实世界坐标x，y和z的3D旋转来实现物体的姿态(参见图SB)。通过诸如欧拉角或翻滚-俯仰-偏航角(当绕三个轴中的特定轴连续执行旋转时的每个旋转角)的三个参数，可以实现任意的3D旋转。在下面的描述中，物体姿态的三个参数被称为α、β和γ。除了当根据来自用户的指令执行任务的时刻，根据该实施例的机器人装置100通过基于相机321拍摄的图像自动地观察周围环境来获取每个目标物体的姿态。连续地获取目标物体的姿态。对于每个目标物体，通过诸如投票的技术来计算通常的姿态。具体地，作为投票空间提供表示参数空间U，β，Y)的3D阵列，并且还对参数进行适当的离散化和处置。由于这些参数是角度，即连续量，因此参数由其步长宽度中的其步长宽度的中值来表示，例如，按每5度表示成O至5度、5至10度、10至15度、…。由于360 + 5=72，因此如果360度除以5度，则上述参数空间(α，β，γ)变成72X72X72的3D阵列。每当观察物体的姿态(α，β，Υ)时，使阵列的相应元素的值递增I。如果物体的总观察次数(总投票数)达到任意设定的规定次数，则最优姿态获取单元407找到其中获取的投票数变为最大值的参数α、β和Y，并且将找到的参数α、β和Y设定成物体的最优姿态。尽管上文描述了其中对于一次观察通过使与3D阵列对应的元素递增I来针对观察次数直接进行投票的配置示例，但是可以实现通过加权进行投票的配置。例如，可以包括其中在通过估计/考虑其中物体处于该姿态的时间段来对一次观察加权之后进行投票的配置示例。此外，即使对于同一物体，当周围环境不同时，对于每个环境执行如上文所述的学习。例如，当同一聚酯瓶如上述表I中所示在桌子上或地板上时，对于每个放置位置获得最 优姿态。基于物体位置检测单元404估计的物体的当前位置和(更新的)环境地图来获得物体的周围环境信息(指示物体被放置在桌子等上)。如上文所述，最优姿态获取单元407将其中当自动地为用户布置舒适环境时放置目标物体的正确姿态或者当向用户转交目标物体时的目标物体的正确姿态登记在物体姿态数据库409中。图9中图示了物体姿态数据库409的配置示例。在图示示例中，物体姿态数据库409由三种类型的数据库构成，包括存储物体数据的数据库901、存储关于每个物体的姿态数据的数据库902和存储关于每个物体/环境的姿态数据的数据库903。存储物体数据的数据库901具有用于识别各种物体的ID和关于物体相关姿态数据库的指针。存储关于每个物体的姿态数据的数据库902具有关于其中放置物体的周围环境的信息以及该物体和环境中的关于姿态数据库的指针。存储关于每个物体的姿态数据的数据库902可以被配置成具有用于在线生成数据库的、诸如形状、质量和材料的物体特定信息以及姿态，尽管这因为不与本说明书中公开的技术直接相关而未示出。存储关于每个物体/环境的姿态数据的数据库903具有姿态学习标志，其指示是否能够通过充分观察环境中的物体来计算最优姿态，并且在完成学习的情况下，具有姿态U，β，Υ)。此外，学习处理中的中间结果，即存储每个投票数的参数空间(α，β，Y)的3D阵列和物体的总观察次数，也包括在数据库903中，并且配置成使得可以在学习期间参照数据。然而，可以配置成通过将中间结果布置在数据库903外部而不参照这些中间结果。当然，上述三个数据库901至903可以被手动创建。例如，对于其姿态预先已知的物体，关于每个物体/环境的数据库903的“姿态学习标志”可以被设定成“已学习”并且其姿态数据可以被设定成“最优姿态”。接下来，将描述在线生成物体姿态数据库409的处理。在图10中，以流程图的形式图示了在线生成并更新物体姿态数据库409的处理过程。假设最优姿态获取单元407定期地重复该处理。目标物体检测单元402基于相机321拍摄的图像识别各种周围物体(步骤S1001)。此外，同时地，通过立体相机进行的3D测量来计算物体姿态检测单元405识别的物体的形状和姿态(步骤S1002)，并且计算物体位置检测单元404识别的物体的位置。随后，最优姿态获取单元407根据计算的物体的3D位置和环境信息获取单元406获取的环境地图来(例如，在表格等上)获取物体的周围环境信息(步骤S1004)。最优姿态获取单元407基于如上文所述获得的物体身份ID、物体的姿态和环境信息来生成物体姿态数据库409并且进一步对其进行更新(步骤S1005)。
在图11中，以流程图的形式图示了在上述步骤S1005中执行的、生成并更新物体姿态数据库409的处理过程。最优姿态获取单元407首先检查所识别的物体的ID是否已登记在保存物体数据的数据库901中(步骤SllODo这里，当所识别的物体的ID未登记在数据库901中时(步骤SllOl中的“否”)，最优姿态获取单元407将物体的ID登记在数据库901中，并且还创建与数据库902中的物体ID对应的姿态数据(步骤S1104)。当所识别的物体的ID已登记在数据库901中时并且在数据库902中创建了与物体ID对应的姿态数据之后，最优姿态获取单元407检查物体的周围环境信息是否已登记在
保存每个物体的姿态数据的数据库902中(步骤S1102)。这里，当物体的周围环境信息未登记在数据库902中时(步骤S1102中的“否”)，则最优姿态获取单元407将物体的周围环境信息登记在关于每个物体的姿态数据库902中并且将与其环境对应的姿态数据登记在数据库903中(步骤S1105)。当物体的周围环境信息已登记在数据库902中时并且在与环境对应的姿态数据被登记在数据库903中之后，最优姿态获取单元407检查是否学习了物体的最优姿态(步骤S1103)。这里，当未学习物体的最优姿态时，最优姿态获取单元407对物体姿态检测单元405计算的物体的姿态(α，β，Y)进行投票(步骤S1106)。当物体姿态的总观察次数未达到规定次数时(步骤S1107中的“否”)，则该处理例程结束。此外，当物体姿态的总观察次数达到规定次数时(步骤S1107中的“是”)，则最优姿态获取单元407将与数据库903中的投票结果的最大值对应的姿态(α，β，Y)确定为物体的最优姿态，并且设定学习标志(步骤S1108)，使得该处理例程结束。当学习了物体的最优姿态时(步骤S1103中的“是”)，物体姿态比较单元408将物体的当前姿态与物体的学习的最优姿态比较并且检查是否存在两个姿态之间的差别(步骤S1109)。如果在物体的当前姿态和物体的学习的最优姿态之间不存在差别(步骤S1109中的“否”)，则处理例程结束。另一方面，当在物体的当前姿态和物体的学习的最优姿态之间存在差别时(步骤S1109中的“是”)，物体姿态确定单元410启动校正物体的姿态的处理。后面将描述校正物体的姿态的处理的细节。尽管描述了其中在图11中所示的处理过程中在总观察次数(即总投票数)大于或等于规定次数时的时间点确定最优姿态的示例，但是也可以包括其他实现方法。例如，作为如上文所述的投票结果，可以获得投票空间(α，β，Υ)中的姿态频率分布。根据频率分布，在当前姿态“罕见”时(就是说，频率较之其他姿态为低)，在物体姿态校正模式(如将描述的)中使姿态变为如下姿态该姿态的频率比该姿态的邻近区域中的其他姿态的频率高。可以使用通过投票获得的姿态频率分布来处置多个“最优姿态”。例如，当在搜索模式(如后面将描述的)下获得物体的当前姿态时，优选的是，在物体姿态校正模式中使姿态变为如下姿态该姿态的频率比该姿态的邻近区域中的其他姿态的频率高。此外，即使当投票数小时仍可以使用姿态频率分布。然而，当投票数小时，罕见的是改变实际姿态，因为特定姿态不太可能被确定为较之其他姿态是罕见的。然而，没有必要确定“规定投票数”(不同地，有必要限定其中姿态被确定为“罕见”的频率)。该方法具有另一优点，其在于没有必要适当地限定“规定投票数”，这是用于确定是否进行姿态改变的参数。即使在其中仅获得小投票数的初始状态中，仍可以确定较之特定姿态像素的邻居，姿态如何相对“罕见”。此外，可以实现根据投票分布来动态地改变投票空间的箱尺寸的处理。可以使用在直方图密度估计中确定直方图宽度的各种方法来确定箱尺寸。此外，不同于直方图密度估计，可以使用样本点直接执行核密度估计。如果可以使用样本数据适当地估计目标物体的概率密度函数P (姿态I物体，位置)，则可以通过使物体的姿态变为姿态x_opt来适当地校正物体的姿态，在姿态x_opt中当某个姿态数据X周围的概率密度小于或等于阈值时，概率密度函数P(姿态I物体，位置)在外围处变得最大。这里，将描述图11中图示的生成并更新物体姿态数据库409的处理，作为其中检测作为物体的聚酯瓶的示例。然而，在下文中，通过〈> 来区分数据库名称，通过来区分数据库内的键，并且通过“ ”来区分与数据库内的键对应的值。 首先，最优姿态获取单元407检查聚酯瓶是否登记在保存物体数据的数据库901中(步骤S1101)。如果聚酯瓶未登记在数据库901中(步骤SllOl中的“否”)，则将其ID“PETBottle 001”登记在数据库901中，在数据库902中创建与该ID对应的每个物体的姿态数据〈PetBottleOOl〉，并且同时将其指针登记在数据库901中(步骤S1105)。此时，数据库902的每个物体的姿态数据〈PetBottleOOl〉的环境和姿态数据处于空状态。随后，最优姿态获取单元407检查指示作为其中聚酯瓶放在桌子上的情况的“在桌子上”的环境信息是否登记在数据库902的姿态数据〈PetBottleOOl〉中(步骤S1102)。此外，如果环境信息未登记(步骤S1102中的“否”)，则最优姿态获取单元407将“在桌子上”作为‘环境信息’登记在数据库902中，在数据库903中创建与其对应的每个物体/环境的姿态数据<PetBottle001_0nTable>，并且同时将其指针登记在数据库902中(步骤S1105)。此时,登记在数据库903中的每个物体/环境的姿态数据<PetBottle001_0nTable>的‘姿态学习标志’是“学习中”。随后，最优姿态获取单元407通过参照数据库903的<PetBottle001_0nTable>的‘姿态学习标志’来检查是否已完成关于聚酯瓶在桌子上的姿态的学习(步骤S1103)。如果学习未完成(步骤S1103中的“否”)，则最优姿态获取单元407在参数空间(α，β, y)的3D阵列中对物体姿态检测单元405计算的物体的姿态进行投票(步骤S1106)。如果总观察次数(总投票数)已达到关于物体的规定次数(步骤S1107中的“是”)，则最优姿态获取单元407找到其中所获取的投票数变为最大的参数α、β和Y，将找到的参数α、β和Y设定成物体的‘最优姿态’，并且将‘姿态学习标志’设定为“已学习”(步骤S1108)。此外，如果总观察次数未达到规定次数(步骤S1107中的“否”)，则使‘姿态观察次数’递增I并且继续上述处理直至总观察次数达到规定次数。尽管在上述示例中一旦学习结束，则在获得物体的最优姿态之后停止学习，但是最优姿态获取单元407可以被配置成在继续观察时更新‘最优姿态’。此外，尽管在上述示例中机器人装置100重复地观察物体并且在数据库903中没有〈PetBottleOOlOnTable〉的情况下生成每个物体/环境的姿态数据，但是可以手动创建与〈PetBottleOOlOnTable〉相关的任何数据作为现有信息并且可以通过观察/学习来更新姿态数据。在图12中，图示了图9中图示的每个物体/环境的姿态数据的数据库903的修改示例。作为与图9的差别，被称为“用户教导标志”的键被添加到每个物体/环境的姿态数据<PetBottle001_0nTable>。‘用户教导标志’是指示用户是否已教导在将聚酯瓶放在桌子上时的姿态的信息。例如，当用户通过将聚酯瓶放在桌子上来使机器人装置100看到桌子上的聚酯瓶并且生成指示期望以上文所述的姿态放置聚酯瓶的指令时，机器人装置100使‘用户教导标志’从“未教导”变为“教导”并且使‘最优姿态’变为此时观察到的物体的姿态。这可以通过将如下处理添加到图11的步骤S1103的处理而容易地实现其中如果‘用户教导标志’是“教导”，则当存在来自用户的教导并且未学习姿态时优选地使用教导的姿态。当期望以固定姿态放置对用户而言特别重要的物体时或者当用户因机器人的错误学习而校正姿态时，这是有效的技术。在图13中，以状态转移图的形式图示了将由机器人装 置100执行的操作。在图示示例中，机器人装置100具有三个操作模式“任务执行”、“搜索”和“物体姿态校正”。在“任务执行”模式下，机器人装置100执行来自用户的指令的任务。除了通过音频输入等的显性指令之外，来自用户的任务指令包括将由预先调度的定时器定期执行的任务(当达到某个规定时间时的清洁任务)以及将根据预定事件的生成而执行的任务(根据突然中断的高优先级任务，诸如看到并且拾起从桌子滚下的球的操作)。当没有来自用户的执行任务的指令时，机器人装置100移至“搜索”模式。此外，如果在“搜索”模式下存在来自用户的执行任务的指令，则机器人装置100通过停止搜索返回到“任务执行”模式。在“搜索”模式下，机器人装置100执行在房间中来回移动时自动地观察房间并且根据图10和11中所示的处理过程生成/更新物体姿态数据库409的处理。此外，如果在“搜索”模式中发现当前观察的物体姿态不是物体的学习的最优姿态，则处理移至“物体姿态校正”模式。在“搜索”模式下，机器人装置100更新物体姿态数据库409并且同时将物体的当前姿态与登记在物体姿态数据库409中的最优姿态比较(图11的步骤S1109)。具体地，物体姿态检测单元405获得物体的当前姿态(α ’，β ’，Y ’)。当在已学习的物体姿态数据库409中存在物体的当前姿态(α，β，Υ)时，如果满足下式(I )，则物体姿态比较单元408可以确定物体的当前姿态基本上与最优姿态一致。在下式(I)中，Λ ath、Δ 和Λ yth是预设的阈值。丨《 一 K1I <— p1 < ai&l If — f*| <‘ (f)另一方面，如果不满足式(1)，则处理前往步骤S1109的分支“是”，使得机器人装置100移至“物体姿态校正”模式。在图14中，以流程图的形式图示了在“物体姿态校正”模式下将由机器人装置100执行的处理过程。首先，物体姿态确定单元410根据物体的当前姿态(a ’，β ’，Y ’)计算用于抓握物体的臂/手的轨迹(步骤S1401)。随后，物体姿态确定单元410通过利用驱动控制单元312沿计算的轨迹控制臂/手来抓握物体(步骤1402)。
随后，物体姿态确定单元410计算用于操作物体使得抓握的物体变为从物体姿态数据库409获取的最优姿态(α，β，Y)的臂/手的轨迹(步骤S1403)。物体姿态确定单元410通过利用驱动控制单元312沿计算的轨迹控制臂/手来放置姿态变为最优姿态(α，β，Y)的物体(步骤S1404)。上文描述了其中当没有来自用户的执行任务的指令时机器人装置100通过移至“搜索”模式来生成/更新物体姿态数据库409的处理。然而，作为修改示例，在其中执行中的任务即使任务正在执行时也不受影响的范围中，执行用于观察环境的相机321的视线控制，并且可以进行配置以生成/更新物体姿态数据库409。图5和6图示了作为与机器人装置100的环境对应的操作的、其中自动地为用户布置舒适环境的状态。
机器人装置100通常在自动地来回移动时观察周围的目标物体。在图5和6中所示的示例中，构造其中电视机、桌子和沙发以该顺序布置的起居室的环境地图，并且机器人装置100通常基于环境地图自动地来回移动。图5是起居室的透视图，并且图6是起居室的顶视图。机器人装置100检测放在桌子上的遥控器(用于电视机)作为目标物体，并且每当机器人装置100自动地来回移动时观察遥控器。将检测到的目标物体的正确姿态与登记在物体姿态数据库409中的词典数据对照。这里，当实际观察到的目标物体的姿态与物体姿态数据库409的对照结果不同时，机器人装置100操作目标物体或者校正姿态。参照上述表1，作为物体姿态数据库409的对照结果，可以获取当遥控器接近电视机时的、其中当遥控器在桌子上、沙发上或地板上时按钮面向上并且发射器指向电视机的状态，作为遥控器的正确姿态。参照图6，作为目标物体检测到的遥控器被按钮面向上地放在桌子上。此外，遥控器被接近电视机地放在桌子上，但是发射器被放置成相对电视机的方向偏斜。如果观察到的遥控器的姿态被检测成与指示“当遥控器接近电视机时发射器指向电视机”的对照结果不一致，则机器人装置100如图6的箭头所指示的校正遥控器的姿态。当机器人装置100的目标物体的姿态的校正结果错误时，用户可以校正姿态或者教导机器人装置100。此外，如果从用户接收到操作目标物体的指令，则机器人装置100以正确(稳定)姿态放置目标物体。在该情况下，将当放置目标物体时的正确姿态与物体姿态数据库409内的词典数据对照。以该姿态操作并放置目标物体。例如，如图5和6中所示的示例中的那样，如果从用户接收到将遥控器接近电视机地放在桌子上的指令，则机器人装置100通过操作遥控器来将遥控器放在桌子上，使得按钮面向上并且发射器指向电视机。替选地，当从用户接收到将杯子放在桌子上的指令时，机器人装置100通过在其中杯子直立的稳定状态下操作杯子来将杯子放在桌子上。当根据来自用户的指令的机器人装置100的目标物体的操作结果错误时，用户可以校正姿态或教导机器人装置100。在图7中，图示了作为与机器人装置100的环境对应的操作的、其中以正确的姿态(其中用户容易地握持目标物体)转交目标物体的状态。如果从用户接收到拿来目标物体的指令，则机器人装置100将转交目标物体时的正确姿态与物体姿态数据库409内的词典数据对照。在针对词典数据中描述的正确姿态操作目标物体之后，机器人装置100将目标物体转交给用户。在图7中，图示了拿来拐杖的指令的示例。参照上述表2，由于可以获取作为拐杖的正确姿态的、其中把手部分朝向用户的状态，作为物体姿态数据库409的对照结果，机器人装置100通过操作拐杖使得把手部分朝向用户来将拐杖转交给用户。当根据来自用户的指令的机器人装置100的目标物体的操作结果错误时，用户可以校正姿态或教导机器人装置100。如图5和6 中可见，根据该实施例的机器人装置100估计与环境对应的目标物体的正确姿态并且操作并校正目标物体使得目标物体处于正确姿态，从而自动地为用户布置舒适环境。此外，如图7中可见，当从根据该实施例的机器人装置100将目标物体转交给用户时，可以通过估计用于转交的目标物体的最优姿态并且操作目标物体使得目标物体处于该最优姿态，来实现与用户的自然的交互。如上文所述，机器人装置100学习其中频繁放置某个物体的姿态作为关于该物体的最优姿态。由于机器人装置100针对通常被放置以备用户使用的周围物体，自动地学习最优姿态，因此机器人装置100可以通过适当地校正物体的姿态来自动地为用户布置舒适环境，即使用户以不正常的姿态放置物体。这些物体姿态校正功能对于通常将频繁使用的物体放置在亲自确定的位置的诸如残疾人、残障人或者丧失能力的老年人的用户是特别有效的，使得能够无困难地使用这些物体以及用户能够准确地布置物品。此外，本说明书中公开的技术也可以被如下配置。(I) 一种机器人装置，包括环境地图，包括周围环境信息；图像输入单元，用于输入周围的图像；目标物体检测单元，用于从所述图像输入单元的输入图像中检测物体；物体位置检测单元，用于检测由所述目标物体检测单元检测到的物体的位置；环境信息获取单元，用于从所述环境地图获取由所述物体位置检测单元检测到的物体的位置的周围环境信息；最优姿态获取单元，用于获取关于由所述目标物体检测单元检测到的物体的、与所述环境信息获取单元获取的周围环境信息对应的最优姿态；物体姿态数据库，用于保存关于每个环境的每个物体的最优姿态；物体姿态检测单元，用于从所述图像输入单元的输入图像中检测物体的当前姿态；物体姿态比较单元，用于将由所述物体姿态检测单元检测到的物体的当前姿态与所述物体姿态数据库中保存的物体的最优姿态进行比较；以及物体姿态校正单元，用于当所述物体姿态比较单元确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。(2)根据权利要求I所述的机器人装置，进一步包括任务执行单元，用于基于用户的指令执行任务，其中，当所述任务执行单元未执行任务时，自动地执行所述物体姿态检测单元对物体的当前姿态的检测、所述物体姿态比较单元进行的与最优姿态的比较、以及所述物体姿态校正单元进行的物体的姿态校正。(3 )根据(I)或(2 )所述的机器人装置，进一步包括移动单元，用于移动所述机器人装置的位置，其中所述物体姿态检测单元在所述移动单元移动所述机器人装置的当前位置时检测物体的当前姿态。(4)根据(I)至(3)中任一项所述的机器人装置，其中所述最优姿态获取单元通过学习获取每个物体的最优姿态并且将所获取的最优姿态保存在物体姿态数据库中。(5)根据(4)所述的机器人装置，其中所述物体姿态数据库进一步保存从用户教导的每个物体的最优姿态。
(6 )根据(I)至(5 )中任一项所述的机器人装置，进一步包括环境地图更新单元，用于基于所述图像输入单元的输入图像来更新环境地图。(7)根据(I)至(6)中任一项所述的机器人装置，其中所述最优姿态获取单元获取在为用户布置舒适环境时的用于放置物体的最优姿态，并且获取在向用户转交物体时的物体的最优姿态。(8)根据(I)至(7)中任一项所述的机器人装置，其中所述环境信息获取单元从包括周围环境信息的环境地图中获取由所述物体位置检测单元检测到的物体的位置的周围环境信息。(9)根据(I)至(8)中任一项所述的机器人装置，其中所述物体姿态比较单元将所述物体姿态检测单元检测到的物体的当前姿态与用于保存关于每个环境的每个物体的最优姿态的物体姿态数据库中所保存的物体的最优姿态进行比较。(10) 一种控制机器人装置的方法，包括输入周围的图像；从在所述的输入步骤中输入的图像中检测物体；检测在所述的检测物体的步骤中检测到的物体的位置；从包括周围环境信息的环境地图获取在所述的检测步骤中检测到的物体的位置的周围环境彳目息；获取关于在所述的检测物体的步骤中检测到的物体的、与在所述的获取周围环境信息的步骤中获取的周围环境信息对应的最优姿态；在物体姿态数据库中保存关于每个环境的每个物体的最优姿态；从所述的输入步骤中输入的图像中检测物体的当前姿态；将在所述的检测当前姿态的步骤中检测到的物体的当前姿态与所述物体姿态数据库中保存的物体的最优姿态进行比较；以及当在所述的比较步骤中确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。(11) 一种计算机程序，其以计算机可读格式编写，用于控制机器人装置并且使计算机用作环境地图，包括周围环境信息；图像输入单元，用于输入周围的图像；目标物体检测单元，用于从所述图像输入单元的输入图像中检测物体；
物体位置检测单元，用于检测由所述目标物体检测单元检测到的物体的位置；环境信息获取单元，用于从所述环境地图获取由所述物体位置检测单元检测到的物体的位置的周围环境信息；最优姿态获取单元，用于获取关于由所述目标物体检测单元检测到的物体的、与所述环境信息获取单元获取的周围环境信息对应的最优姿态；物体姿态数据库，用于保存关于每个环境的每个物体的最优姿态；物体姿态检测单元，用于从所述图像输入单元的输入图像中检测物体的当前姿态；物体姿态比较单元，用于将由所述物体姿态检测单元检测到的物体的当前姿态与所述物体姿态数据库中保存的物体的最优姿态进行比较；以及 物体姿态校正单元，用于当所述物体姿态比较单元确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。(12) 一种机器人系统，包括环境地图，在外部装置上构造并且包括周围环境信息；物体姿态数据库，在外部装置上构造，用于保存关于每个环境的每个物体的最优姿态；以及机器人装置，包括图像输入单元，用于输入周围的图像；目标物体检测单元，用于从所述图像输入单元的输入图像中检测物体；物体位置检测单元，用于检测由所述目标物体检测单元检测到的物体的位置；环境信息获取单元，用于从所述环境地图获取由所述物体位置检测单元检测到的物体的位置的周围环境信息；最优姿态获取单元，用于获取关于由所述目标物体检测单元检测到的物体的、与所述环境信息获取单元获取的周围环境信息对应的最优姿态；物体姿态检测单元，用于从所述图像输入单元的输入图像中检测物体的当前姿态；物体姿态比较单元，用于将由所述物体姿态检测单元检测到的物体的当前姿态与所述物体姿态数据库中保存的物体的最优姿态进行比较；以及物体姿态校正单元，用于当所述物体姿态比较单元确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。本领域技术人员应理解，在所附权利要求或其等同物的范围内，可以根据设计需要和其他因素进行各种修改、组合、子组合和变更。尽管在本说明书中主要描述了被应用于具有双腿的人型机器人装置的实施例，但是本说明书中公开的技术的主题内容不限于此。本技术还可以同样应用于具有其他移动部件或者不具有移动部件的机器人装置。此外，主要描述了与家用机器人相关的实施例。当然，本技术还可以同样应用于包括工业机器人的用于各种用途的机器人装置。就是说，本公开仅是示例，并且绝不应被解释为限于本说明书中公开的内容。应考虑权利要求来判断本公开的主题内容。本公开包含与在2011年7月25日提交日本专利局的日本在先专利申请JP2011-161550中公开的主题内容相关的主题内容，该专利申请的整体内容通过引用合并于此。图9和12中使用的参考标记的含义的列表
Pet Bottle :聚酯瓶Remote controller :遥控器Cell Phone :蜂窝电话On Table :在桌子上 On Floor :在地板上On Shelf :在架子上。
权利要求
1.一种机器人装置，包括 图像输入单元，用于输入周围的图像； 目标物体检测单元，用于从所述图像输入单元的输入图像中检测物体； 物体位置检测单元，用于检测由所述目标物体检测单元检测到的物体的位置； 环境信息获取单元，用于获取由所述物体位置检测单元检测到的物体的位置的周围环境信息; 最优姿态获取单元，用于获取关于由所述目标物体检测单元检测到的物体的、与所述环境信息获取单元获取的周围环境信息对应的最优姿态； 物体姿态检测单元，用于从所述图像输入单元的输入图像中检测物体的当前姿态；物体姿态比较单元，用于将由所述物体姿态检测单元检测到的物体的当前姿态与物体的最优姿态进行比较；以及 物体姿态校正单元，用于当所述物体姿态比较单元确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。
2.根据权利要求I所述的机器人装置，进一步包括 任务执行单元，用于基于用户的指令执行任务， 其中，当所述任务执行单元未执行任务时，自动地执行所述物体姿态检测单元对物体的当前姿态的检测、所述物体姿态比较单元进行的与最优姿态的比较、以及所述物体姿态校正单元进行的物体的姿态校正。
3.根据权利要求I所述的机器人装置，进一步包括 移动单元，用于移动所述机器人装置的位置， 其中所述物体姿态检测单元在所述移动单元移动所述机器人装置的当前位置时检测物体的当前姿态。
4.根据权利要求I所述的机器人装置，其中所述最优姿态获取单元通过学习获取每个物体的最优姿态并且将所获取的最优姿态保存在物体姿态数据库中。
5.根据权利要求4所述的机器人装置，其中所述物体姿态数据库进一步保存从用户教导的每个物体的最优姿态。
6.根据权利要求I所述的机器人装置，进一步包括 环境地图更新单元，用于基于所述图像输入单元的输入图像来更新环境地图。
7.根据权利要求I所述的机器人装置，其中所述最优姿态获取单元获取在为用户布置舒适环境时的用于放置物体的最优姿态，并且获取在向用户转交物体时的物体的最优姿态。
8.根据权利要求I所述的机器人装置，其中所述环境信息获取单元从包括周围环境信息的环境地图中获取由所述物体位置检测单元检测到的物体的位置的周围环境信息。
9.根据权利要求I所述的机器人装置，其中所述物体姿态比较单元将所述物体姿态检测单元检测到的物体的当前姿态与用于保存关于每个环境的每个物体的最优姿态的物体姿态数据库中所保存的物体的最优姿态进行比较。
10.一种控制机器人装置的方法，包括 输入周围的图像； 从在所述的输入步骤中输入的图像中检测物体；检测在所述的检测物体的步骤中检测到的物体的位置； 从包括周围环境信息的环境地图获取在所述的检测步骤中检测到的物体的位置的周围环境信息； 获取关于在所述的检测物体的步骤中检测到的物体的、与在所述的获取周围环境信息的步骤中获取的周围环境信息对应的最优姿态； 在物体姿态数据库中保存关于每个环境的每个物体的最优姿态； 从所述的输入步骤中输入的图像中检测物体的当前姿态； 将在所述的检测当前姿态的步骤中检测到的物体的当前姿态与所述物体姿态数据库中保存的物体的最优姿态进行比较；以及 当在所述的比较步骤中确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。
11.一种计算机程序，其以计算机可读格式编写，用于控制机器人装置并且使计算机用作 环境地图，包括周围环境信息； 图像输入单元，用于输入周围的图像； 目标物体检测单元，用于从所述图像输入单元的输入图像中检测物体； 物体位置检测单元，用于检测由所述目标物体检测单元检测到的物体的位置； 环境信息获取单元，用于从所述环境地图获取由所述物体位置检测单元检测到的物体的位置的周围环境信息； 最优姿态获取单元，用于获取关于由所述目标物体检测单元检测到的物体的、与所述环境信息获取单元获取的周围环境信息对应的最优姿态； 物体姿态数据库，用于保存关于每个环境的每个物体的最优姿态； 物体姿态检测单元，用于从所述图像输入单元的输入图像中检测物体的当前姿态；物体姿态比较单元，用于将由所述物体姿态检测单元检测到的物体的当前姿态与所述物体姿态数据库中保存的物体的最优姿态进行比较；以及 物体姿态校正单元，用于当所述物体姿态比较单元确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。
12.—种机器人系统,包括 环境地图，在外部装置上构造并且包括周围环境信息； 物体姿态数据库，在外部装置上构造，用于保存关于每个环境的每个物体的最优姿态；以及 机器人装置，包括图像输入单元，用于输入周围的图像；目标物体检测单元，用于从所述图像输入单元的输入图像中检测物体；物体位置检测单元，用于检测由所述目标物体检测单元检测到的物体的位置；环境信息获取单元，用于从所述环境地图获取由所述物体位置检测单元检测到的物体的位置的周围环境信息；最优姿态获取单元，用于获取关于由所述目标物体检测单元检测到的物体的、与所述环境信息获取单元获取的周围环境信息对应的最优姿态；物体姿态检测单元，用于从所述图像输入单元的输入图像中检测物体的当前姿态；物体姿态比较单元，用于将由所述物体姿态检测单元检测到的物体的当前姿态与所述物体姿态数据库中保存的物体的最优姿态进行比较；以及物体姿态校正单元，用于当所述物 体姿态比较单元确定在物体的当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。
全文摘要
本申请涉及一种机器人装置及其控制方法以及一种机器人系统。根据本申请的机器人装置包括图像输入单元，用于输入周围的图像；目标物体检测单元，用于从输入图像中检测物体；物体位置检测单元，用于检测物体的位置；环境信息获取单元，用于获取物体的位置的周围环境信息；最优姿态获取单元，用于获取关于物体的与周围环境信息对应的最优姿态；物体姿态检测单元，用于从输入图像中检测物体的当前姿态；物体姿态比较单元，用于将物体的当前姿态与物体的最优姿态进行比较；以及物体姿态校正单元，用于当物体姿态比较单元确定在当前姿态和最优姿态之间存在预定的差别或更多差别时，校正物体的姿态。
文档编号B25J13/00GK102896630SQ20121024983
公开日2013年1月30日 申请日期2012年7月18日 优先权日2011年7月25日
发明者清水悟, 河本献太, 岩井嘉昭 申请人:索尼公司