本公开涉及用于控制机器人设备的设备和方法。
背景技术：
1、机器人技能可以通过示范学习（learning-from-demonstration）（lfd）方法被编程，其中机器人从示范中学习技能的名义计划（nominal plan）。lfd的主要思想是通过机器人要处置的目标对象和监测机器人工作空间的相机的姿态（pose）来将高斯（gaussians）参数化。示范学习提供了快速、直观且高效的构架（framework）来对机器人技能进行编程，例如用于工业应用。然而，复杂的操纵任务通常包含共享一些共同技能的技能序列的多个分支，而不是单个动作。因此，需要计划过程，该计划过程在不同的场景下生成正确的技能序列以及其参数。例如，箱拾取（bin-picking）任务涉及从箱中拾取对象（取决于它在箱中位于何处），从拐角清除它（如果需要的话），将它重新定向以揭示它的条形码，并且向扫描仪示出该条形码。选择正确的技能序列对于跨各种应用的灵活机器人系统来说是至关重要的。手动地指定技能和相关联的条件之间的这种转变（transition）通常是困难且乏味的。
2、因此，用于在各种场景下选择技能基元（skill primitives）的正确序列和每个技能基元的正确参数的可靠方法是合期望的。
技术实现思路
1、根据各种实施例，提供了一种用于控制机器人设备的方法，包括：针对多个功能中的每个功能来提供用于控制机器人设备执行所述功能的控制模型；提供用于在所述多个功能当中进行选择的选择模型；由机器人设备来执行多个任务实例，包括：在每次执行中，当所述多个功能中的功能需要被选择以执行任务实例时，检查所述选择模型是否提供了功能的选择，以及如果所述选择模型提供了功能的选择，则使用针对所选功能的控制模型来控制机器人设备执行由所述选择模型选择的功能，以及如果所述选择模型没有提供功能的选择，则接收指示功能的选择的用户输入，根据由用户输入指示的选择来选择功能，使用针对所选功能的控制模型来控制机器人设备执行根据由用户输入指示的选择而选择的功能，以及根据由用户输入指示的选择来训练所述选择模型。
2、因此，上面描述的方法允许在通过用户（即，人类）输入控制机器人设备期间在运行中（on the fly）训练选择模型。所提供的选择模型可以是未经训练的或是仅预训练的，使得至少对于机器人设备（或受控系统，其例如包括诸如对象之类的环境的配置）的一些配置，所述选择模型没有提供功能的选择。在任务实例的执行期间，所述选择模型变得越来越可靠，使得最终，机器人设备能够执行包括多个技能和/或技能分支的序列的复杂操纵任务。
3、在下文中，给出了各种示例。
4、示例1是如上所描述的用于控制机器人的方法。
5、示例2是示例1的方法，其中所述选择模型针对所述多个功能中的功能的选择输出置信度的指示，并且其中根据由用户输入指示的选择来训练所述选择模型包括：调整所述选择模型以增加由所述选择模型输出的对于选择根据由用户输入指示的选择而选择的功能的置信度。
6、因此，机器人设备对于它已经针对其接收到用户输入的选择变得越来越确信，直到它可以自主地作出行为。
7、示例3是示例1或2的方法，其中所述选择模型针对所述多个功能中的功能的选择输出置信度的指示，并且检查所述选择模型是否提供了功能的选择包括：检查所述选择模型是否针对所述功能的选择输出了高于预定置信度下限的置信度的指示。
8、因此，所述选择模型被训练，使得它关于功能的选择变得越来越确定，直到它针对某些选择（例如，针对在某些状态下的技能分支选择）已经达到足够的置信度。然后，用户输入不再是必要的（并且例如，用户输入不再被请求）。因此，用户的努力随着时间而减少，并且机器人设备可以最终自主地执行该任务。
9、另一方面，在尚未遇见过的情形中（并且因此，置信度是低的），用户输入被用作该选择的基础。因此，可以避免可能例如导致对机器人设备或被处置对象的损坏的错误决策。
10、示例4是示例1至3中任一个的方法，其中所述功能包括技能和技能分支，并且所述选择功能被训练成针对替代的技能的集合提供技能的选择，并且针对替代的技能分支的集合提供分支的选择。
11、因此，使用层级式方法，在其中，执行技能的选择，并且针对所选技能，执行分支的选择。所述选择模型因此可以包括边选择器（用于在技能当中进行选择，例如在任务网络中）和分支选择器（用于在技能分支当中进行选择）。这使得该选择对于人类用户是更容易理解的并且因此是更直观的，从而减少了该选择中的错误和用户努力。
12、示例5是示例1至4中任一个的方法，其中针对每个功能来提供所述控制模型包括执行所述功能的示范以及使用所述示范来训练所述控制模型。
13、换句话说，所述功能（例如，基元技能）是通过示范从学习中训练的。这提供了一种学习基元技能的高效方法。
14、示例6是示例1至5中任一个的方法，其中所述选择模型是逻辑回归模型。
15、这允许从少量数据来进行可靠快速的训练（和重新训练）。
16、示例7是示例1至6中任一个的方法，包括：如果所述选择模型没有提供功能的选择，则暂停机器人设备的操作，直到指示功能的选择的用户输入已经被接收到为止。
17、因此，机器人设备进行操作，直到它的控制器不再能够决定继续进行哪个功能，并且然后暂停，直到用户引导它。因此，可以避免可能导致损坏的错误操作。此外，机器人设备暂停向用户指示需要用户输入。
18、示例8是一种机器人控制器，其被配置成执行示例1至7中任一个的方法。
19、示例9是一种包括指令的计算机程序，所述指令在由计算机执行时使得所述计算机实行根据示例1至7中任一个的方法。
20、示例10是一种包括指令的计算机可读介质，所述指令在由计算机执行时使得所述计算机实行根据示例1至7中任一个的方法。
1.一种用于控制机器人设备的方法，包括：
2.根据权利要求1所述的方法，其中所述选择模型针对所述多个功能中的功能的选择输出置信度的指示，并且其中根据由用户输入指示的选择来训练所述选择模型包括：调整所述选择模型以增加由所述选择模型输出的对于选择根据由用户输入指示的选择而选择的功能的置信度。
3.根据权利要求1或2所述的方法，其中所述选择模型针对所述多个功能中的功能的选择输出置信度的指示，并且检查所述选择模型是否提供了功能的选择包括：检查所述选择模型是否针对所述功能的选择输出了高于预定置信度下限的置信度的指示。
4.根据权利要求1至3中任一项所述的方法，其中所述功能包括技能和技能分支，并且所述选择功能被训练成针对替代的技能的集合提供技能的选择，并且针对替代的技能分支的集合提供分支的选择。
5.根据权利要求1至4中任一项所述的方法，其中针对每个功能来提供所述控制模型包括执行所述功能的示范以及使用所述示范来训练所述控制模型。
6.根据权利要求1至5中任一项所述的方法，其中所述选择模型是逻辑回归模型。
7.根据权利要求1至6中任一项所述的方法，包括：如果所述选择模型没有提供功能的选择，则暂停机器人设备的操作，直到指示功能的选择的用户输入已经被接收到为止。
8.一种机器人控制器，其被配置成执行权利要求1至7中任一项所述的方法。
9.一种包括指令的计算机程序，所述指令在由计算机执行时使得所述计算机实行根据权利要求1至7中任一项的方法。
10.一种包括指令的计算机可读介质，所述指令在由计算机执行时使得所述计算机实行根据权利要求1至7中任一项的方法。