服务机器人系统、机器人及用于操作服务机器人的方法与流程

服务机器人系统、机器人及用于操作服务机器人的方法
1.本发明大体来说涉及服务机器人系统及此种服务机器人的操作。
2.为其所有者提供服务的服务机器人变得越来越受欢迎。然而，在大多数情形中，此种服务机器人的优势非常有限。一个原因是服务机器人的操作缺乏灵活性。举例来说，很容易指导服务机器人如何在明确界定的外部边界线内修剪草坪。此种自动剪草机随机地在待修剪的草坪上行驶，直到自动剪草机到达指示其工作区域边界的铁丝网或者碰到障碍物。然而，环境情况的改变常常会使此种自动剪草机的能力负担过重。当剪草机遇到无法通过改变机器人的行进方向来解决的情况时，机器人将停止其操作，以便维持在安全状态下。只要系统的操作员(常常是花园的所有者)通过重新建立自动剪草机被设定的环境情况来清除此种情况，此种停止就会持续。尽管只要自动式剪草机不出现意外情况，此种系统就非常有用，但由于其固有的缺乏灵活性，因此此种系统在辅助其所有者时的效率相当有限。
3.另一方面，其中用户对机器人进行远程操作的系统是已知的。机器人的此种远程操作是基于由安装在机器人上的照相机捕获的图像，且所述图像被发射到远程控制站，在远程控制站处，使用显示器使所捕获的图像再现。因此，经再现的图像向其用户/操作员呈现出关于机器人当前遇到的环境的信息。基于此，操作员可远程地控制机器人。ep 2 363 774 a1阐述了这样一种系统：所述系统特别关注当远程地控制机器人时由滞后时间引起的问题。尽管ep 2363 774a1中提议的解决方案可改善服务机器人的远程操作的结果，但仍然要求用户或操作员能够一直对服务机器人进行操作。当为了避免人类进入有害或危险的情况而只替换人类时，此可能是一种解决方案。然而，此并未减轻人类自己执行动作的负担，此意味着人类可能不会同时完成其他事情。
4.因此，需要提供一种改善的服务机器人系统，所述服务机器人系统提供在其常规操作期间对新情况进行处理并且甚至为未来学习的能力。
5.此任务是通过独立权利要求中所界定的服务机器人系统、服务机器人及用于操作服务机器人的方法来实现。从属权利要求中对优点方面及进一步的特征进行定义。
6.根据本发明的服务机器人系统包括服务机器人及处理单元，所述处理单元包括用于确定将由机器人执行的任务的任务确定单元。因此，在用于确定将执行的任务的位置处，机器人的操作是高度灵活的。机器人准备执行在任务确定单元中定义的不同任务。在最简单的实施例中，任务确定单元与界面进行通信，以接收来自机器人的用户的指令(例如口头指令)，从所述指令提取出将执行的任务的信息。作为另一种选择，任务确定单元基于由机器人感测的或者从其他信息源(如(例如)用于时间信息或者关于事件的信息(日历条目)的时钟或者日历)接收的信息来确定任务。
7.机器人能够使用其驱动系统进行移动。驱动系统可将机器人移动到目标位置，在所述目标位置处，至少一个执行器可执行至少一个拾取及放置操作。末端执行器可为使得机器人能够对环境进行操纵(例如拾取物项且固持物项)的任何类型的执行器。包括驱动系统及末端执行器的机器人由处理单元控制，处理单元可包括在机器人中，但也可位于远程位置处且与机器人连接，以发射信号，基于所述信号可产生用于驱动系统及末端执行器的相应致动器的控制信号。
8.处理单元可由单个处理器组成或者包括可分布在系统之上的多个处理器。具体来说，处理单元的部分可布置在机器人内部，而其他部分则布置在远端位置处且与机器人中的所述部分进行通信。根据将执行的任务，处理单元被配置成从数据库自动地检索动作定义候选项。动作定义候选项是对可由机器人执行的动作的定义且被估计成可应用于服务机器人的当前情况下。基于在机器人环境中识别的物体而在数据库中搜索动作定义候选项。为了对机器人环境中的物体进行识别，系统包括用于对机器人环境进行实体感测的至少一个传感器。然后对传感器信号进行处理以对物体进行识别。作为实例，实行对作为传感器的照相机捕获的图像的图像处理。
9.然后对所检索的动作定义候选项进行评估且对成功分数进行计算。成功分数是根据动作定义候选项的动作有助于成功地履行任务的可能性的度量。成功分数的确定不依赖于正确地对其中机器人应行动的当前情况进行识别的置信度。可考虑到与过去在可比情况下实行的相应动作候选项对应的动作来计算动作候选项的各别成功分数。一旦选择了具有最高分数的动作定义候选项，系统便对其中可假设与所选择动作定义候选项对应的动作将成功地有助于履行任务的情况和其中无法假设与所选择动作定义候选项对应的动作将成功地有助于履行任务的情况进行区分。
10.将每一所选择动作定义候选项的成功分数与阈值进行比较。具有高于阈值的成功分数的所选择动作被认为有助于成功地执行任务。具有低于或等于阈值的成功分数的动作被认为无助于成功地执行任务。在评估揭示出成功分数低于等于阈值的情形中，控制器将经由通信界面发送对辅助的请求。在成功分数被估计为高于预设阈值的情形中，处理单元被配置成自动地产生信号，以使服务机器人执行与所选择动作定义候选项对应的动作。
11.响应于对辅助的请求，系统将读入从负责远程地控制机器人和/或输入用于对机器人进行教导的信息的操作员接收的输入。稍后，将更详细地阐释对于此种输入的实例。机器人然后将基于远程操作员所提供的输入执行动作。根据优选实施例，就基于远程控制操作执行的动作对未来任务有利的潜力而对基于远程控制操作执行的动作进行评估。在判定出有可能将特定动作成功地应用于未来任务的情形中，将对应的动作定义存储在数据库中。然后，如果在将来，处理单元搜索针对未来任务的动作定义候选项，则添加的动作定义也是可用的。如果由于动作定义具有最高的成功分数而选择了此动作定义，则可由机器人执行新学习的动作。因此，响应于由处理单元发送的请求而根据操作员输入产生的任何动作定义(由于没有操作员的辅助可能无法对当前情况进行处理)将增大服务机器人系统的“知识库”，且系统因此在其日常操作期间进行学习。
12.根据有利的实施方式，每一动作定义候选项的成功分数是基于关于在过去实行与相应的动作定义候选项对应的动作的成功的信息来确定。因此，每次实行根据动作定义候选项的动作时，系统对其中所述动作被实行且与实行此动作是否成功的情况相关联的情况进行存储。基于关于其中与动作定义候选项对应的特定动作被实行的情况下此特定动作的成功的知识，处理单元然后可对当前情况下动作定义候选项的成功分数进行计算。此成功分数仅是基于动作定义候选项的历史知识。成功分数并不能反映实际情况是否被正确地确定。相反，所述确定开始于假设当前情况被正确地确定，使得当前经历的情况可与过去经历的相似情况进行比较。相似性比较然后使得能够对当前情况的成功分数进行计算。计算可优选地考虑当前经历的情况与所存储的情况之间的相似性的度量。
13.有利的方面是控制器被配置成将所确定的任务分割成一系列动作及其相应的动作定义。当整个任务相当复杂时，将整个任务分割成一系列动作是有利的。因此，与区段对应的动作是相当原始的，且因此，更容易预测单个动作的执行是否将成功。作为实例，任务“把书放回搁架中”可被分割成：1、将机器人移动到工作台；2、将臂移动到抓握位置；3、闭合抓握器以拾取书；4、将书放置在托盘上；5、将机器人移动到搁架；6、从托盘拾取书；7、将臂移动到释放位置；以及8、打开抓握器，以将书放置在搁架中。应注意，与以上给出的实例中的分割所产生的动作数目相比，对将执行的任务进行分割也可能产生更多数目个动作，但也可能产生更少数目个动作。
14.应注意，一种优选的“对机器人环境的操纵”是拾取及放置操作，此将在下文中用于进一步阐释。然而，此并不限制本发明。对于此种拾取及放置操作，机器人具有抓握器，且可能具有一个或多个辅助工具。抽吸装置或扩张器可用作工具。在优选实施例中，可对这些工具和/或末端执行器进行互换，使得可实行对任务的适应。
15.此外，优选的是，系统被配置成仅当对于动作定义来说，动作可能无中断地完成的概率高于预定义阈值时，才开始执行动作。应注意，在环境中将存在动态物体，所述动态物体可能改变位置(即，移动的狗)或者可能改变状态(即，一个人将杯子装满水)，此在环境上强加了新的约束。根据优选实施例，处理单元被配置成在仍然维持最终安全目标状态的同时动态地预测环境的潜在改变且对动作进行调整或者选择动作。具体来说，在为了完成任务而需要一系列动作的情况下，此种方法会确保一旦单个动作已完成，机器人便总是处于安全状态。动作的定义总是在其结束时对此种安全状态进行定义。因此，机器人将始终处于其中能够接收及执行远程控制指令的状态下。在处理单元远离机器人的情形中从处理单元发射到机器人的信号总是包括使机器人完成与所发射信息对应的动作所需的任何信息。即使在机器人与处理单元之间的连接中断的情形中，机器人也有足够的信息进入安全状态。应注意，在任何情形中，机器人本身具有处理能力，此使得机器人能够使用从处理单元发射的信号来产生用于对驱动系统和/或执行器进行驱动的控制信号。
16.进一步优选的是，机器人配备有用于对机器人环境进行实体感测的至少一个传感器且还包括用于将传感器输出发射到处理单元和/或操作员界面的界面。将传感器信号发射到处理单元使得控制器能够对机器人所处的当前情况进行分析。进一步将传感器输出发射到操作员界面使得操作员能够对机器人的情况进行分析。在两种情形中，传感器信号是决定机器人的下一步操作的基础。特别优选的是，传感器包括照相机，或者甚至更优选的是包括多个照相机。
17.尽管用于被提供来自其中机器人需要被控制的当前情况的信息的操作员界面可为显示由安装在机器人上的传感器捕获的图像(或者甚至是由静止的传感器(例如，房屋中的监视照相机)捕获的图像)的显示器，但根据有利的实施方式，操作员界面包括扩展现实(extended reality，xr)套组，所述xr套组例如用于虚拟地控制机器人执行操作，甚至在远程控制信号被发射到机器人以在现实世界中执行相同的操作之前。在此种实施例中，在相应的信息被发射到机器人且由机器人产生控制信号之前，整个动作可由操作员虚拟地执行。这具有很大的优点，即机器人的远程控制操作不会遭受滞后时间，此种滞后时间通常会导致机器人执行的运动的超调(overshoot)。在其他情况下，可使用增强现实来代替虚拟现实。示例性的情况可为辅助医生/护士，医生/护士与机器人处于同一个房间中且在此种情
形中作为操作员对机器人进行教导。
18.应注意，“动作定义”是由机器人或机器人的一部分执行的任何种类的运动的一般定义。因此，动作定义可对执行器、机器人的任何种类的附加工具和/或其驱动系统的运动进行定义。动作定义使得机器人能够对动作的执行(例如，在基于动作定义控制驱动系统的情形中将行进的距离)进行调节，从而对最终轨迹进行定义。所述调节是依情况而定的且是在知晓机器人的环境情况的条件下实行。为了在从数据库检索并选择动作定义候选项以用于执行之后在最终产生控制信号之前详述动作，处理单元基于从所感测的环境提取的信息来计算如何执行动作，以对机器人和/或其执行器的最终轨迹进行计算。作为实例，执行器(远端处贴合有具有抓握器/手的臂)的运动取决于将拾取的物体的高度。基于从服务机器人周围捕获的图像，处理单元能够对物体的正确位置进行计算且相应地对动作定义中的运动参数进行调节。应注意，在本上下文中，用语“图像”不仅指由产生二维(two-dimensional，2d)图像的照相机捕获的图像，还应涵盖从允许产生对环境的表示的任何类型的传感器导出的信息。此种传感器的实例是产生三维(three-dimensional，3d)点云的无线电探测及测距(radio detection and ranging，radar)及光探测及测距(light detection and ranging，lidar)。
19.根据服务机器人的优选实施例，除了所述至少一个执行器之外，机器人还包括至少一个支撑结构，所述至少一个执行器及支撑结构被安装到至少一个升降机。尽管在简单的实施例中，支撑结构与执行器可被安装到同一升降机，但优选的是，可各别地对支撑结构及末端执行器的高度进行调节。在此种情形中，在机器人的移动平台(机器人基座)上安装有两个升降机。提供此种支撑结构会减少需要由执行器覆盖的距离。使用支撑结构，可收集多个物项，将所述多个物项放置在支撑结构上，支撑结构可为篮子、箱子、平板或托盘或类似装置，或者甚至是承载容纳箱子或平台的叉车。此可通过降低支撑结构来完成，(例如，在从地板收集多个物项的情形中)，且当这些物项必须被放入较高位置处的搁架中时，在将物项放回搁架中之前，支撑结构以及执行器通常可被提升。因此，支撑结构使得能够显著减少服务机器人所需的运动。显然，在起始位置与目的地或目标位置处于同一高度，但如果每一物项均将被各别地运输，服务机器人将需要来回移动的情形中也是如此。
20.为了使操作员或处理单元能够详细及准确地了解其中机器人当前被操作的情况，使得能够对机器人环境进行成像的照相机或其他传感器被贴合到用于履行任务的执行器。因此，通过移动末端执行器或者在更复杂的实施例中，相对于照相机(传感器)所贴合的执行器而移动照相机(传感器)，可对所捕获图像的视角进行优化。服务机器人携带至少一个附加照相机(传感器)，所述至少一个附加照相机(传感器)安装在机器人的不同位置处和/或具有不同的变焦因子，以提供除场景的细节之外的概观。
21.作为另一种选择，可对贴合到执行器的照相机进行移动，由此从提供详细视图及概观的不同位置捕获多个图像。显然，此会减慢整个操作，因此为了获得关于使得机器人能够进行安全操作的情况的足够信息，执行器的移动将是必要的。
22.除了请求远程控制操作而不确定操作员如何作出响应之外，还优选的是，请求包括从数据库检索的至少一个动作定义候选项。此在存在一个或多个动作定义候选项的情形中尤其有用，所述一个或多个动作定义候选项被估计为潜在地有助于整个任务的执行，但所述一个或多个动作定义候选项不具有清楚地指示对应的动作可被成功地执行的成功分
数。在此种情形中，导致成功分数低于预设阈值的动作定义候选项可包括在请求中并作为建议提供给操作员。然后，操作员选择所建议的动作定义候选项中的一者且机器人将按照操作员的指示继续执行动作。在此种情形中，操作员没有必要控制整个动作，因为一旦定义了动作，机器人便可自动地执行。作为另一种选择，在所述多个动作定义候选项接收到高于阈值的成功分数，但成功分数没有显著不同使得可识别出一个偏好的情况下，这些候选项可被包括在请求中，使得最终决定由操作员做出。
23.如上所述，对动作定义候选项的评估包括将针对相应的动作定义候选项计算的成功分数与预设阈值进行比较。作为实例，应将桌子上的书放回书架。在开始时，系统需要对桌子上的书进行辨识及识别。因此，系统将首先对桌子被正确地识别的概率以及将抓握的物体是书的概率进行计算。根据对所涉及物体的正确识别的确定性，然后可计算出涉及物体的动作可被成功地执行的成功分数。
24.然后，将此成功分数与预设阈值进行比较，预设阈值可根据与将执行的动作中涉及的物体相关联地存储的一个或多个标签来计算。在上述实例中，物体是书。“标签”是与根据传感器信号确定的物体相关联的信息片段。在传感器包括照相机的情形中，施行图像处理来对物体(例如桌子上的杯子)进行识别。此杯子可能由不同的材料(如，金属或瓷器)制成，且因此对杯子进行处理可能需要不同程度的小心。因此，如果从所捕获的图像辨识出的杯子被识别为由瓷器制成，则阈值可被设定成高于由金属制成的杯子。显然，不同类别中的所述多个标签可与系统可识别的物体相关联。在操作员被请求调用的情形中以及当操作员作为响应而对物体或其特性进行识别时，这些标签可由操作员添加。输入与被识别的物体相关的附加信息且对所述信息进行存储将产生改善的数据库。
25.应注意，由控制器发送的请求可使得能够对服务机器人执行动作的方式进行远程控制，也可使得能够添加关于在机器人环境中辨识的物体的信息。后者可自动地使得机器人能够执行动作，因为通过关于物体的附加信息实现了增强的情况理解。由于处理单元永久地重新评估所述情况以及为了任务的成功可能执行的潜在动作，因此被添加到任务执行中所涉及的物体的信息将立即被考虑用于进行评估，且甚至用于选择下一个动作。因此，考虑到机器人环境的改变(例如当机器人移动到不同的位置时)而动态地实行对动作定义候选项的选择。
26.此外，优选的是，系统通过产生与过去用于执行任务的指令相关联的上下文阐述符的组合来对遇到的情况进行存储。对任务的历史及由多个上下文阐述符的组合定义的遇到的情况进行存储使得能够根据未来辨识的情况自动地推断哪个任务最有可能被执行。此种关于历史的信息不仅可包括遇到的情况及在此情况下给出的指令，还可包括在没有给出指令的条件下遇到相似情况的频率。
27.为了更好地进行理解，现在将参照附图阐述所述系统，在附图中
28.图1示出服务机器人的简化图。
29.图2是示出服务机器人系统的主要单元的方块图。
30.图3是示出任务执行期间的主要方法步骤的流程图。
31.图1是在根据本发明的服务机器人系统中使用的服务机器人1的简化图。如图1中所示的机器人1仅为实例，且不言而喻，也可使用机器人1的其他结构。
32.机器人1将用于辅助人们履行可灵活定义的任务。因此，一个基本要求是可在不同
位置处提供辅助。此是通过将机器人1移动到需要辅助的位置来实现。机器人1包括被设计成容纳驱动系统的机器人基座2。在图式中，仅示出驱动系统的轮3。马达及如电池等能源未示出且布置在机器人基座2内部。驱动系统的具体结构与本发明无关，且针对机器人1的工作区域进行优化的各种不同结构在本领域中是已知的。驱动系统使得整个机器人1能够从初始位置移动到目标位置。驱动系统包括用于响应于所接收的控制信号进行驱动及改变方向的所有必要组件。
33.为了执行任务，机器人1包括贴合到用于对末端执行器4进行定位的臂5的末端执行器4。臂5由至少第一元件5.1及第二元件5.2组成，第一元件5.1与第二元件5.2通过接头连接到彼此，使得可对第一元件5.1与第二元件5.2之间的相对角度进行调节，以将末端执行器4移动到期望的位置且具有期望的取向。在所示实施例中，末端执行器4被设计成模仿人类的手的抓握工具。对于被辅助者的日常生活中的应用，此种末端执行器4似乎是用于进行高效辅助的最佳工具。许多任务包括拾取物项、调动物项以及将物项存放在指定的位置处。另一方面，此种抓握工具也能够辅助医院中的护理人员或医生。举例来说，抓握工具可用于在护理人员不进入房间的条件下将食物送入病房。因此，可减少对护理人员或医生的衣服、手等进行消毒的需要。
34.应注意，除了图式中由箭头指示的第一元件5.1及第二元件5.2的运动之外，还可实现第一元件5.1、第二元件5.2以及末端执行器4的更多自由度。具体来说，第一元件5.1围绕其纵向轴线的旋转运动以及第二元件5.2围绕其纵向轴线的旋转运动是可能的。特别优选的是，末端执行器4还可围绕彼此垂直的至少两个轴实行旋转运动。
35.臂5与贴合到臂5的远端的末端执行器4一起安装到第一升降机6。第一升降机6固定在机器人基座2上，且在所示实施例中，包括可为液压缸或气压缸的固定元件6.1及可移动元件6.2。在所示实施例中，可移动元件6.2对撑杆8进行支撑，撑杆8对臂5的第一元件5.1的近端进行支撑。第一升降机6可调节其总长度，从而将状态8提升到机器人基座2之上，且因此也使臂5的近端提升。
36.第一升降机6使得末端执行器4能够到达相对于机器人1站立的地面更高的位置。第一升降机6可被设计得相当刚性，且使用其使臂5的近端、第一元件5.1及第二元件5.2以及末端执行器4提升的能力，可被设计得重量轻且相对小，而不会损失任何操作范围。
37.服务机器人1的一个优选应用是收集物项且将所述物项带回到它们专用的位置，例如，将玩具放回到儿童房中的搁架上或者将盘子从桌子上放回厨房中。在其中必须收集物项的位置与物项的相应的专用位置彼此远离的情况下，此将要求机器人1相当多地来回移动。在将会被带回其专用位置的物项位于地上的情况下，四处移动甚至更加困难。对于根据本发明的机器人1，此是通过提供也包括固定元件7.1及可移动元件7.2的第二升降机7来避免。支撑结构9贴合到可移动元件7.2。在简单的实施例中，支撑结构9整体包括平台10。平台10用作临时存储库(repository)，使得可将使用末端执行器4收集的多个物项放在平台10上。一旦收集了所有物项，便将机器人1移动到目标位置，物项从所述目标位置一个接一个地被放在它们的专用位置处。
38.经常，专用位置不靠近地面，且因此，使用第一升降机6将臂5提升到升高位置，使得末端执行器4可到达相应物项的目标位置。同样，在平台10将被布置在地面上方的固定高度处的情形中，有必要对每一物项重复第一升降机6的操作。根据本发明的机器人1，也可使
平台10提升。优选地，第一升降机6及第二升降机7被设计成使得即使对于第一升降机6的最高高度，也确保在第一升降机没有进一步操作的条件下，具有末端执行器4的臂5可到达平台10。
39.优选地，如图1中所示的机器人1包括第一升降机6及第二升降机7。然而，也可将支撑结构9贴合到第一升降机6，使得在任何情形中，平台10与撑杆8彼此处于固定的相对位置中，为此确保末端执行器4可到达平台10。
40.使用液压缸或气压缸作为升降机6、7应理解为仅为实例。也可使用线性致动器或主轴。此外，所述图示出单级升降机，但在需要实现离地面更大高度的情形中，可使用两级或更多级。
41.使用服务机器人1来辅助人们的好处随着其独立性而增大，这意味着其中机器人1可进行自动操作的情况的数目增大。只有当服务机器人系统知晓其中服务机器人1进行操作的环境时，才可实现此种独立性。使用一个或多个传感器获得关于环境的当前位置及当前状态的知识。作为可使用的传感器的实例，图1中所示的实施例带有第一照相机11及第二照相机12。第一照相机11贴合到臂5的第二元件5.2且与第二元件5.2一起移动。因此，由第一照相机11捕获的图像将仅显示机器人1的接近末端执行器4的环境的细节。由于机器人1(更确切地说是其处理单元，如稍后将阐述)也需要具有机器人1的环境的概观，因此第二照相机12被配置成捕获机器人1的更大区域的图像。
42.尽管图1中示出第一照相机11及第二照相机12，但也可使用能够对环境进行实体感测且因此，获得关于环境的信息以使得能够产生对环境的表示的其他传感器。实例可为radar传感器、lidar传感器、超声波传感器及类似传感器。此外，整个服务机器人系统还可利用固定地安装在其中机器人1进行操作的环境中的传感器。作为实例，可使用监视照相机。最后，传感器的数目并不限于所示的两个。具体来说，在存在贴合到臂5的一个传感器或使得能够将传感器移动到不同位置的任何其他可移动支撑件的情形中，仅一个传感器便足够。然后收集关于服务机器人1的环境的信息，从而获得来自单个传感器的不同位置和/或取向的信息。当然，即使使用多个传感器来产生对服务机器人1的环境的表示，也可使用每一传感器多于一次的捕获。可响应于由处理单元实行的对环境的分析来调节从环境获得多少信息，如将在稍后进行阐述。举例来说，在从对环境进行感测而获得的信息的可靠性(正确地识别物体的确定性)似乎不够高的情形中，机器人1或至少携带可移动传感器的元件(如第一照相机11)可被移动以通过从不同视角对机器人1的相同环境进行感测来获得附加信息。此外，可使用如传感器融合、3d重建、克服遮挡等方法。
43.图2是示出服务机器人系统的总体布局的经简化方块图。参照图1详细阐释的服务机器人1是整个系统的一个主要组件。机器人1包括传感器，如上所述，所述传感器可为照相机11、12。此外，机器人1包括连接到传感器的界面13，以将包括关于所感测环境的信息的信号发射到处理单元14。不言而喻，在传感器中的一些或所有传感器布置在机器人外部的情形中，需要用于将传感器信号发射到处理单元14的各别界面。
44.所示实施例中的处理单元14布置在机器人1外部。然而，也可能在机器人1中包括处理单元14。使处理单元14位于机器人1外部使得能够不仅针对单个服务机器人1而且对多个机器人利用处理单元14的处理能力。由虚线箭头指示与其他机器人的通信。此外，处理单元14不需要由单个处理器来实现，而是也可为对所接收的信号进行协作处理的多个过程。
还可能的是，共同建立处理单元14的此种多个处理器被分布，其中所述处理器中的一些处理器布置在机器人1中且所述处理器中的一些处理器则布置在远程位置处且经由相应的界面彼此进行通信。
45.甚至可能的是，多个机器人1中的每一者利用至少一个共用处理器，但也包括用于内部信号处理的各别处理器。此种内部处理器可特别用于产生控制信号，如由驱动器15所指示，驱动器15基于从处理单元14接收的关于将执行的动作的信息来产生用于致动器16的控制信号。致动器16将指示用于对轮3、升降机6、7进行驱动及对包括末端执行器4的臂5进行定位所需的所有各别致动器。
46.处理单元14连接到其中存储动作定义的数据库中17。动作定义对用于在无需精确地对轨迹进行定义的条件下由机器人1执行特定动作的通用算法进行定义。动作是例如：抓握物项、移动到不同的位置、将物项放在桌子上且释放物项、...。此外，动作定义可被组织在分层结构中，使得从基本动作定义开始，此种基本动作定义可被组合以建立更高级别动作定义。动作定义可被组织在分层结构的仅仅1个层、2个层或更多个层中。从以上作为实例给出的动作定义开始，更高级别动作定义可为例如包括上述动作的“将掉落的物项放回桌子上”。当然，以上作为实例给出的动作甚至可具有更高的粒度。
47.本发明的服务机器人系统的操作的关键方面是机器人1(包括其处理单元14形式的“智能”)与操作中心的通信，在机器人1(包括其“智能”)无法独自处理情况的情形中，操作员在操作中心中支持机器人1的操作。此是通过经由操作中心界面21将处理单元14至少与显示器18(优选多个显示器)及输入装置19进行连接来实现。显示器18用于向人类操作员输出信息，所述信息使得操作员能够估计机器人1的当前情况。对机器人1的操作进行辅助可以不同的方式实行：
[0048]-直接控制机器人的运动，
[0049]-从数据库选择适当的动作定义，或者
[0050]-在数据库17中添加对物体进行识别和/或对物体进行表征的信息。
[0051]
显示器18显示对机器人1的环境的表示，包括从传感器输出识别的机器人位置及附近的障碍物。在传感器包括一个或多个照相机11、12的情形中，所捕获的图像也可被显示为实况照相机馈送。当使用多个照相机11、12时，操作员可在不同的照相机之间进行切换，以便于机器人1的控制。作为另一种选择或附加地，显示器可用于提供关于所识别物体或未识别物体的信息以及对由机器人1实行的情况的评估的当前状态。如稍后将阐释，此可能使得为机器人可能执行的动作提供建议，但它也可能导致在从操作员接收的响应引起进一步模糊的情形中提出问题。
[0052]
为了开始进行机器人1的操作，需要确定将执行的任务。对将执行的任务的确定也在处理单元14中使用相应的软件模块来实行。因此，确定单元是由处理单元14执行的软件模块。同样，专用处理器可用于执行确定单元的软件模块。为了确定将执行的任务，对来自传感器的信号进行处理。一个传感器可例如为麦克风22，使得可对来自机器人1的用户的口头指令进行分析，以从中得出任务。确定将执行的任务的另一种方式可使用过去已执行的任务的历史、以及关于此任务已被执行的情况的信息。在此种情形中，确定单元使用所谓的上下文阐述符对机器人1的当前遇到的情况与关于过去执行特定任务的情况的信息进行比较。关联也存储在数据库17中。基于来自传感器的信号，处理单元14对机器人1的当前情况
与数据库17的所存储的情况进行比较，其中所述情况由上下文阐述符的组合来定义。在识别出高于阈值的相似性的情形中，与所述情况相关联的任务被确定为是预期的。
[0053]
一旦任务被确定单元确定，处理单元14便试图找到自动地执行任务的解决方案。处理单元14从数据库检索一个或多个动作定义候选项，所述一个或多个动作定义候选项基于从传感器信号导出的关于环境的信息而被假设为有助于成功地执行任务。在根据对从传感器接收的信号的分析已识别出机器人1的环境中的物体之后，通过搜索通过对物体的特性进行定义来阐述物体的标签而在数据库17中搜索动作定义候选项。只有在自动操作机器人1不可能或至少不合理的情形中才会要求操作员支持任务的执行。将在稍后给出导致决定是否请求操作员进行辅助的分析的细节。
[0054]
当处理单元14得出自动执行任务是不可能的或不合理的结论时，处理单元14将经由通信界面21向远程操作中心发送对辅助的请求。响应于从处理单元14接收的请求，人类操作员将控制机器人1或将信息添加到系统的数据库17。如上所述，对机器人1进行控制可为对机器人1的直接控制运动(例如使用与用于计算机游戏的控件类似的控件作为输入装置，或者从数据库17选择合适的动作定义)，可基于处理单元14作出的提议。根据更优选的实施例，系统还包括虚拟现实套组20，虚拟现实套组20例如使得操作员能够看到虚拟物体且虚拟地将机器人1导航靠近虚拟物体。虚拟现实套组20不仅包括虚拟现实头戴式受话器，还包括虚拟现实控制器，虚拟现实控制器使得远程操作员能够在向机器人1发送对应的动作定义之前确定例如虚拟现实中的抓握姿势。因此，使用虚拟现实套组，可避免在机器人1被直接控制的情形中由于滞后时间而可能发生的机器人1的任何碰撞。
[0055]
为了使用虚拟现实套组20对机器人1进行控制，有利的是使用3d照相机作为第一照相机11，以产生对旨在由末端执行器4抓握的物体及其环境的3d表示。当实体抓握器的模型被分配给虚拟环境(或增强现实)中的虚拟现实控制器表示时，可确定末端执行器4的正确抓握姿势。然后，远程操作员可将对真实抓握器的3d表示放置在虚拟物体旁边。第二控制器用于对驱动系统的操作进行远程控制。
[0056]
在下文中，将使用如图3中所示的经简化流程图来详细阐释其中已执行对系统的初始设定的情况中的典型过程。
[0057]
首先，在步骤s1中，使用至少一个传感器对服务机器人1的环境进行感测，所述至少一个传感器可安装在服务机器人1上或合适的位置处，使得可对服务机器人1的环境进行分析。在步骤s2中，基于传感器输出，对机器人1的环境中的物体进行识别。传感器可为相同类型的或不同类型的。服务机器人系统现在需要确定任务。在步骤s3中确定将由服务机器人系统执行的任务可以多种不同的方式实行。最优选的一者是自动地使机器人1行动，此包括自动地确定将执行的任务。然而，在许多情形中，机器人1将不会自己辨识将什么，且因此需要辅助。指示机器人1接下来做什么的典型方式是用户与机器人系统之间的直接通信。此种与机器人1的通信可使用已参照图2阐释的麦克风以及扬声器23来实行，使得机器人1能够向用户输出信息。代替麦克风22及扬声器23，可提供另外的界面以用于将机器人1连接到用户设备，例如智能手机。在此种情形中，可使用智能手机或相似装置来实行对使得机器人系统能够确定将执行的任务的指令进行输入。大体来说，可以多种不同的方式(包括短信服务(short messaging service，sms)、app、口头指令或人类的手势)向机器人系统供应信息。这些“信息通道”中的一些可能需要附加界面来对机器人系统与另一it系统(例如，提供
可由服务机器人系统处理的信号的照相机)进行连接，以确定手势且对手势进行分析，从而确定任务。
[0058]
使用麦克风22，机器人1能够接收来自用户的口头指令。处理单元14然后可基于所接收的口头指令来确定用户打算由机器人1执行的任务。相似地，用户可使用sms或做出手势(例如指向物体)来给出指令。指向物体可被系统理解为将任务的确定集中在此特定物体上。在被指的物体是垃圾桶的情形中，将所确定的任务识别为可在特定物体上执行的潜在动作。在垃圾桶的情形中，此可能是“清空垃圾桶”。
[0059]
更优选地，机器人1将自己确定(使用关于其环境的知识以及从经由界面连接的源收集的潜在附加信息)最有可能被执行的任务。在特定任务将被执行的可能性超过给定阈值(其可为可调节的)的情形中，机器人1可自动地开始确定将被执行以用于执行所确定的任务的必要动作。可将潜在任务存储在数据库17中且可对潜在任务进行搜索以得到可能适合当前情况的任务。在判断出将执行的正确任务的可能性不够高的情形中，机器人1可例如通过扬声器23向用户提问，或者通过其他界面21向操作员提问。用户或操作员可然后通过确认机器人1所建议的任务来指示机器人1，或者在机器人1未提出建议的情形中通过直接对将执行的任务进行指示及定义来指示机器人1。
[0060]
现在将阐释机器人1可如何通过麦克风22确定来自用户的任务，麦克风22直接安装在机器人1上或者安装在机器人1的工作区域中的任何地方，且连接到服务机器人系统，使得处理单元14(且因此确定模块)可获得口头指令且基于所接收的此种口头指令导出关于将执行的预期任务的信息。举例来说，机器人1的用户可通过说“打扫儿童的房间”来指示机器人1。在此种情形中，机器人1接收此种明确定义的任务且机器人1不需要为了在步骤s3中确定任务而对机器人1的环境进行评估。
[0061]
应注意，机器人1不仅使用麦克风22来听任何口头指令，而且机器人1将总是“听”用户是否给出口头指令。这尤其重要，因为对机器人1进行直接寻址的指令总是否决机器人1当前执行的任何任务及动作。此会确保机器人1不继续执行机器人1的用户认为不合适的任务。此种中断将使得机器人直接进入下一个安全状态。实例可为清理儿童的房间，但儿童的房间是当前需要的，因为儿童仍然在那里玩。为了避免利益冲突，先前确定的任务(无论是由用户指示的还是由机器人1自动确定的，如下文所述)均被操作员或用户给出的最后指令否决。
[0062]
机器人1对当前遇到的情况进行分析且将当前遇到的情况与存储在数据库17中的原型情况进行比较。原型情况是过去遇到的导致执行相同任务的情况。当服务机器人系统被设计及编程时，原型情况也可被预先定义。为了对情况进行分析，处理单元14收集对当前情况进行阐述的数据。每条信息均以阐述符的形式进行存储。多个阐述符组合成原型情况。在任务被指示将由机器人1执行的情形中，将关于此情况下的阐述符的组合的信息与所指示的任务相关联地存储。当未来出现与此种原型情况相似的情况时，所存储的关于所述情况的信息(阐述符的组合)与从在当前遇到的情况中对机器人1的环境进行感测的传感器信号导出的信息之间的比较可揭示在遇到的情况与原型情况之间存在高度的相似性。然后，可得出打算再次执行所存储的与原型情况相关联的任务的结论。因此，处理单元14基于在现在经历的情况中收集的且由传感器感知的(和/或从其他源检索的)信息来计算所存储的原型情况与当前经历的情况之间的相似性的度量。在此度量高于可调节的阈值的情形中，
处理单元14对与被识别为和机器人1的当前经历的情况足够相似的原型情况相关联地存储的任务进行检索。
[0063]
即使在这些情况下未接收到指令，系统也可感知重复发生的情况的发生。可将观察结果传送到操作员，操作员然后可将其标记为新的原型情况，且优选地，将任务与此新的原型情况相关联。
[0064]
使用如上所述的阐述符来对“情况”进行定义。包括多个独立阐述符的阐述符组合将构成此种原型情况。这些阐述符不仅可包括关于位置、一天中的时间、工作日或者环境的当前状态与目标状态之间的差异的信息。阐述符还可包括经由界面从其他信息源获得的信息。举例来说，信息源可为用户的日历。日历中的条目可经常触发将由机器人1执行的特定任务。一个实例(仍然指打扫儿童的房间的情况)是日历中有个类似“玩耍日期”的条目。当试图确定接下来将执行的任务时，机器人1(更确切地说是其处理单元14)对与处理单元14进行通信的信息源进行搜索。当机器人1基于一天中的当前时间与日历中的条目的比较而辨识出玩耍日期应已结束时，很可能需要清理儿童的房间。甚至社会环境也可能被包括在将执行哪个任务的决定中。举例来说，在儿童们的朋友到来之前及祖母来访之前，打扫房间可能会以不同的方式施行。
[0065]
由于任务的执行是与其中机器人1被指示执行任务的情形的阐述符相关联地被存储，因此服务机器人系统将随着时间的推移获得经验。然而，对当前遇到的情况的分析经常会导致模糊的结果，且因此机器人1无法自动地确定将执行的任务。尽管此种模糊情况的发生频率会随着时间的推移而降低，但需要辅助确定单元来识别将执行的任务。为了避免机器人1将执行在当前情况下不合理的任务，总是选择和显示与所存储的原型情况具有最高相似性的原型情况对应的任务是不够的。在此种情形中，可能变得有必要询问机器人1的用户或操作员，以清楚地对将执行的任务进行定义。可引入低于第一阈值的第二阈值。第一阈值应设定得足够高，以确保只有一个任务适合机器人1当前所处的情况。在第二阈值设定得较低的情况下，存在一定的可能性，即多个所存储的原型情况可能显示出与当前遇到的情况的相似性低于第一阈值但高于第二阈值。在此种情形中，服务机器人系统可输出针对用户或操作员的问题(对辅助的请求)。问题可建议与原型情况相关联的任务，对于原型情况，已确定出高于第二阈值但低于第一阈值的相似性。这个问题可能是要求确认这些任务中的一者，也可能是一个开放性的问题，例如：“我该做什么？”(在无法基于所获得的关于情况的信息来识别原型情况且无法确定相关联的任务的情形中)。
[0066]
在对在步骤s3中辅助确定单元确定出任务的请求被发送给操作员，以获得关于将执行的任务的信息的情形中，由处理单元14从所有可用的传感器以及其他信息源收集的所有信息也被转发给操作员，且例如经由显示器18或者图2中未示出的扬声器被输出。因此，操作员获得关于机器人1的情况的知识，此会引起被询问的问题。操作员然后甚至可对所述情况的阐述符的特定组合进行标记，以在未来更容易对从机器人1接收的请求作出响应。
[0067]
一旦已确定出将执行的任务，过程便前进到步骤s4，在步骤s4中，开始对将执行的任务进行分析。数据库17包括多个动作定义。这些动作定义中的每一者可由多个动作构建，所述多个动作本身可包括多个进一步的动作。这意味着存储在数据库17中的动作定义中的每一者可与一个或多个其他动作定义进行组合，从而使得由此组合产生的新动作。尽管可针对可执行的动作定义的任何可能组合存储新的、更高级别的动作定义，但此种方法是不
合理的。更优选的是，将要执行的任务分割成更小的块，所述块中的每一者可对应于单个动作，对于所述单个动作，动作定义被存储在数据库17中。由于存储在数据库17中的动作定义可具有多级结构，因此此种单个动作定义显然可由其他动作定义的组合组成。一旦任务被分割成将执行的多个动作(如果必要的话)，处理单元14便在步骤s5中开始检索潜在的动作定义作为候选项，且在步骤s6及步骤s7中从数据库17对这些动作定义候选项进行评估。
[0068]
处理单元14具有评估功能，所述评估功能使得能够判定特定动作在当前情况下是否可能被成功应用。处理单元14对将在当前情况下适用的每一动作(动作定义候选项)的成功分数进行计算。基于此成功分数，可选择用于执行任务的动作。成功分数是如下度量：所述度量使得能够对不同动作在被应用于当前情况时的成功可能性进行比较。举例来说，分数可为可能性或概率。一旦已针对动作定义候选项确定出成功分数，便将所述分数与阈值进行比较。在分数超过阈值的情形中，得出结论：如果动作被执行，则动作的成功对于当前情况来说是足够的。稍后将针对实例阐释出此种评估通过对阈值进行调节来考虑动作中所涉及的物体。实行对一个或多个动作定义候选项的所述评估，且步骤s6。
[0069]
任务的执行是通过一个接一个地执行动作来实行。因此，在步骤s4中对将执行的任务进行分割之后，以及在步骤s6中对动作定义候选项进行评估之后，任务的进一步执行可以两种不同的方式实行。在接下来将执行的动作的动作定义的成功分数高于给定阈值的情形中(比较步骤s7)，且此动作定义是所有评估的动作定义候选项中具有最高成功分数的候选项，所述动作将基于此动作定义而在下一步骤s8中自动地执行。在此动作的执行已完成之后，判断最初确定的任务是否完成。因此，在步骤s9中，对由动作实现的结果之间的比较与由所确定的任务定义的目标状态进行比较。在任务被完成的情形中，程序在步骤s10中结束。在任务尚未完成的情形中，程序返回到步骤s7，步骤s7对将执行的下一个动作进行评估。应注意，执行动作可能使得机器人1的环境情况发生改变。因此，与从步骤s9到步骤s7引出的箭头相反，改变的环境情况可使得对新的动作定义候选项进行搜索，从数据库17检索新的动作定义候选项，且在步骤s7中可实行在成功分数与阈值的比较之前对新的动作定义候选项进行评估。
[0070]
为了从系统的操作历史进行学习，系统对其中系统已被操作的情况进行存储。对于每一情况，系统对与和在相应情况下实行此动作是否已成功的信息相关联的动作定义候选项对应的动作进行存储。此使得能够总结出：与在一致的情况下再次实行的此种动作定义候选项对应的动作将再次成功。在成功分数是介于0与1之间的值的情形中，此简单实例中的所得的成功分数可为1。如果识别出当前情况与数据库17中的任何所存储情况之间无相似性，则所得的成功分数将为0。由于对于每个实际情况及过去已发生的一致情况来说此是非常不可能的，但即使对于此种新情况，成功分数也应被确定，成功分数的确定使用对当前经历的情况与已存储在数据库17中的情况之间的相似性的计算。对于成功分数在0与1之间的以上阐述的实例，所存储的情况与实际情况之间的相似性越高，所得的成功分数将越接近1。反之，成功分数越接近0，两种情况之间的相似性就越小。当然，不仅可考虑与当前经历的情况具有最高相似性的所存储的情况，还可考虑多个所存储的情况。相似性计算可考虑视觉参数，例如经分类的物体，还可考虑环境(例如人的存在)的影响。相似性计算在确定当前经历的情况时不考虑任何模糊性，而是假设情况感知的输出是正确的。
[0071]
在需要多个动作来以协作方式实行任务的情形中，如上所述对每一对应的动作定
义候选项进行评估。此外，还可对实行整个任务所需的动作定义候选项的序列进行评估。此可通过对参与实行整个任务的每一动作定义候选项的成功分数进行组合来实现。
[0072]
应注意，在稍后的时间点为了实行整体任务而需要的确定动作定义候选项的成功分数，预测出通过实行前面的动作而实现的未来情况。然后，将此种情况用于相似性计算，以确定后续动作定义候选项的成功分数。连续地重复所述评估，使得如果所预测的未来情况无法通过所实行的动作来实现(例如由于定位的不准确以及环境情况的改变)，则可考虑进行评估。
[0073]
目标状态由任务进行定义。可由操作员例如通过添加目标状态的细节来改变关于任务的目标状态的信息。目标状态也可由所述情况中所涉及的物体的标签(指示它们的常规位置或状态)间接定义。
[0074]
如果为了执行所确定的任务，以高于阈值的成功分数来确定动作的序列，则服务机器人系统将能够自动地执行整个所确定的任务。然而，可能出现的情况是，在动作序列的执行期间，被计算出高于给定阈值的分数的下一个要执行的动作未到达。这清楚地指示，系统无法在不冒系统失败风险的条件下独自执行动作。在此种情形中，在步骤s7中对相应动作定义候选项的成功分数的比较揭示出分数未超过给定阈值之后，服务机器人系统在步骤s11中向操作中心发送请求。操作员将接收请求，且使用显示器18、输入装置19和/或增强/虚拟现实套组20将对情况进行分析且通过输入用于对机器人1进行直接控制或指示使用存储在数据库17中的动作定义的信息和/或控制信号而向服务机器人系统给出相应的建议。
[0075]
从机器人发送到操作员的请求可包括紧急指示符和/或基于紧急指示符选择的信息，且所述信息与请求一起被发射，以辅助操作员同时处理多个机器人1。紧急指示符向操作员指示对他的辅助的实际需要。可根据机器人1的实际情况中的最大可实现成功分数考虑其他参数(例如所涉及的物体的标签)来计算紧急指示符。所确定的动作定义候选项的所计算的成功分数与最大可达到成功分数之间的差越大，紧急指示符的值就越高(假设紧急指示符值越高意味着在此情况下的辅助越紧急)。然而，即使对于针对当前情况计算的同一成功分数，情况的特定方面或将执行的任务也可能影响紧急程度。一个实例可从表格中选取物体。首先，此任务可能会导致相同的成功分数，但要拿的物体是易碎的还是不易碎的就存在很大的区别。因此，对于被添加“易碎的”标签的物体，可使用更高的紧急指示符。
[0076]
在系统中的整个机器人1由多个操作员进行监督的情况下，紧急指示符也可用于有助于将请求分配给不同的操作员。
[0077]
紧急指示符也可用于对呈现给操作员的信息进行定义。紧急程度越高，呈现给操作员的信息就越多。举例来说，在需要操作员立即进行辅助的情况下，向操作员提供对情况进行快速识别所需的所有信息，以决定所需的辅助。除了由机器人1的照相机拍摄的图像之外，还可呈现距离或其他传感器值。相反，具有低紧急性的情况可能仅要求发射照相机图像，使得操作员可对当前情况进行监控且可在意外发展的情形中进行中断。大体来说，关于机器人1的情况的信息的类型及数量适应于如以上阐述所确定的紧急性。
[0078]
为了直接控制机器人1实行特定动作，操作员使用控件来调动机器人1执行期望的动作，以继续执行所确定的任务(步骤s12)。在步骤s13中，判断是否可将操作员的输入直接转换成机器人1的行动或运动。如果是，则根据从操作员接收的远程控制输入来执行操作员所指示的动作。因此，在由操作员定义的动作已被完成之后，过程跳到步骤s8且将自动地进
行，如之前针对可自动地执行的动作所阐述。
[0079]
在步骤s12中操作员的输入不是用于服务机器人1的运动及调动的直接指令且因此没有对将直接实行的动作的定义的情形中，处理进行到步骤s14。如上所述，操作员可直接指示机器人1如何继续执行动作，但作为另一种选择，操作员也可向数据库17添加信息。此种被添加的信息然后可使得系统能够进行对动作定义候选项进行改善的评估，而且“重新考虑”对任务的分割和/或对动作定义候选项的选择。此在流程图中以虚线指示。
[0080]
应注意，可以2种不同的方式实行针对机器人1直接输入可应用的指令：首先，通过机器人1立即直接执行由操作员输入的任何指令。第二，可使用虚拟现实套组20来通过仅对将执行的动作进行定义来预先设定动作，且在完成此种动作定义之后，将其发送给机器人1，机器人1然后将自动地执行新定义的动作。在使用增强现实的情形中，可预先产生指令，但也可直接应用指令。
[0081]
对动作定义候选项的评估结果很大程度上取决于机器人系统关于其环境的知识。因此，使用在步骤s14中由操作员输入的附加信息来增强机器人的知识库。取决于操作员给出的输入，例如添加到将执行的动作中所涉及的物体的信息可能足以使得此后处理单元14能够处理所述情况，而无需操作员的又一输入。因此，此种输入(可为物体的附加特性或作用于物体的条件)可导致被评估的动作的成功分数增大。如果是，则过程将进行到步骤s8，如上所述。如果操作员添加的信息仍然不足以使机器人1的自动操作的成功分数增大，则步骤s7将产生被发送到操作中心的新请求。操作员然后可再次决定对机器人1的直接控制是否合适，或者他是否更喜欢通过添加又一信息来改善数据库17。
[0082]
步骤s5中的动作定义候选项的检索是基于识别确定性且还基于对动作的执行中所涉及的每一所识别物体可用的信息。举例来说，在杯子位于桌子上且应放到不同位置的情形中，将执行的第一个动作将是抓握杯子。包括在物体“杯子”的标签中的信息可对针对所识别的物体执行的动作进行定义。对于杯子，标签中的信息甚至可包括又一些特性，如(例如)对机械应力的敏感性。瓷制的杯子比金属制的杯子更需要小心处理。
[0083]
如以上给出的阐释所揭示，操作员将在步骤s14中输入附加信息，由此改善机器人“对真实世界的理解”。操作员将尝试输入机器人1当前感知的场景中所涉及的所有物体的附加信息。此会产生两种不同的方式来改善整个机器人系统随时间的操作：一方面，存储在数据库17中的动作定义得到改善且更多种类的不同动作定义将可用于对机器人1的新情况的未来评估。另一方面，机器人1的知识库通过添加机器人1的所感测环境中的所确定物体的信息而得到改善。通过添加此信息，处理单元14在对预期动作的成功进行预测时使用的信息得到改善。因此，随着任何新信息被添加到数据库17，机器人1自动地执行任务的能力将得到改善。
[0084]
应注意，本发明是参照“物体”进行阐释。但物体只是用来增强理解。事实上，物体只是作为“实体”的实例给出，实体可由多个物体组成，或者甚至由多个较低级别的实体组成，此继而可为物体的组合。从分层的角度来看，房屋包括厨房、屋顶、..，厨房包括炉灶、洗碗机等。应注意，在本实例中，这些更高级别的实体可从其他物体的存在中推断出来且可推断出它的厨房。此种方法被称为自举。确定出位置“厨房”然后甚至可使得能够确定厨房中被局部遮挡的物体。
[0085]
除了动作定义之外，数据库17还存储所有随时间收集的信息。处理单元14在对当
前遇到的情况进行评估时考虑此信息且决定是否需要联系操作员或者机器人1是否能够成功地执行下一个动作。此信息也可被称为“世界知识”。每次将信息添加到数据库17中存储模型的物体中的任意者或由物体组成的实体时，世界知识均得到提高。模型使得能够对机器人1的环境中存在的物体进行识别。识别使用与存储在数据库中的模型相比较的传感器输出。当可辨识出所存储的模型与从传感器导出的信息之间的足够的相似性时，可认为所述物体将被识别。存储在数据库17中的每一物体可包括多个相关联的信息片段(被称为标签)。每一标签是特定的信息片段且可链接到使得能够在物体或实体上执行的动作。每当机器人系统无法自动地处理当前情况时，便将附加信息添加到数据库17，且操作员响应于从机器人1接收的对辅助的请求而输入附加信息。将所有当前可用的信息呈现给操作员，处理单元14也使用所有当前可用的信息对动作定义候选项进行搜索及评估。操作员然后判定以附加标签的形式针对物体或实体添加信息是否将以改善整体性能的方式改善机器人系统的世界知识，或者是否需要直接控制机器人1的动作。
[0086]
由操作员添加的附加信息并不限于添加新的标签或对已被识别的现有物体的标签进行校正。在系统根本无法对物体进行辨识的情形中，系统还将联系操作中心且请求进行辅助。被提供考虑中的所述物体的图像(表示)的操作员然后可在数据库中添加新的模型(新的条目)以及操作员当前具有的且他认为有用的所有信息。因此，当物体第一次被机器人系统识别为物体时，系统将自动地联系操作员以改善系统的世界知识。在由操作员进行输入之后，附加知识立即可用于处理单元14。因此，即使在执行任务时第一次辨识出未知物体，也可在执行任务的下一个步骤中使用附加信息。为了辅助操作员向物体添加信息，系统还可对已可用的标签进行提议，所述已可用的标签已被添加到相似的及先前已知的物体。操作员然后可从所提议的列表选择他认为最合适的列表。然而，也可进行操作员定义的条目。
[0087]
针对物体添加的信息并不限于物体的特性，还包括可执行的动作或执行动作的条件。举例来说，在其中系统第一次感知到具有门的搁架的情形中，显示器18显示出相应的表示(很可能是图像)。操作员然后可将物体表示为搁架，添加搁架包括门的信息，以及在物体将被放入搁架的情形中需要实行的一系列动作的信息。序列将包括首先打开门。因此，如果此物体在未来被系统识别，则系统知晓该物体可被放入搁架中，但首先需要抓握把手来开门。
[0088]
尽管以上给出的阐释全部要求系统中至少存在基本的世界知识，显然，第一次设定的系统除了已存在于数据库17中的现实世界物体的所存储模型之外不具有任何此种世界知识。在机器人系统被安装到其实际工作环境中之前，在系统的设计阶段期间对最常见的物体进行存储。当在其实际工作环境中对系统进行设定时，如果不仅操作员可向系统输入信息，而且机器人1的用户也可向系统输入信息，此可能是有帮助的。因此，可考虑为机器人1提供到用户设备(例如智能手机、平板电脑或类似装置)的界面。在设定阶段中，机器人1然后将收集关于可在物体的环境中感测到的物体的数据。此种物体的表示被呈现给用户，然后用户将传入信息。
[0089]
为了添加使得机器人1能够确定如何执行任务的信息，还需要例如对例如每一单个物体的目标状态进行定义。此种目标状态对于对任务进行解释是必要的。举例来说，任务“清理房间”可能意味着每一物体均被放回其专用位置。当对于每一物体，专用位置被存储
在与物体相关联的标签中时，机器人系统可因此知晓物体中的每一者的专用位置，且在辨识出物体的当前位置不同于专用位置之后将物体移动到此位置。
[0090]
从使得机器人1能够对例如不同的房间以及家庭中的家具、布局及典型物体进行识别的基础知识开始，机器人1然后将进行学习并产生改善的世界知识。世界知识存储在分层结构中。这意味着，例如房屋(实体)由多个房间(较低级别实体)组成。每一房间包括房间中的多个物体。。物体可为静止的，也可为移动的。固定物体的实例可为专用于房间类型“厨房”的烤箱或冰箱。其他物体可能是可移动的，且因此可在多个房间中遇到。可移动的物体既可自己移动(例如宠物鸟)，也可被移动(例如乐高积木)。对于这些可移动的物体，优选的房间可由用户或操作员定义，或者可随着时间的推移而学习。
[0091]
从机器人1的工作环境的此种基本知识开始，然后可将第一任务交给机器人1。无论操作员何时参与均可逐步实现对世界知识的改善。随着每一机器人1的世界知识随着时间的推移而增加，有可能最终操作员能够对相当多数目的机器人进行监督。然而，在新设定的机器人1的操作的早期阶段中，操作员可能仅关注单个机器人1。特别有利的是，所述多个机器人可使用相同的“智能”(处理单元14及数据库17或其部分)，因为向数据库17添加信息可改善多个机器人1的知识库。反过来，每当机器人1中的一者请求进行辅助时，参考同一数据库17，被添加的信息对于所有机器人1立即可用。
[0092]
在下文中，将给出使得能够理解被添加到特定物体的标签如何使得能够控制机器人1实行或可实行哪个动作的实例。为了进行阐释，将由机器人1实行的动作是拾取杯子。清理厨房或桌子所需的此动作例如可能需要在多种不同的情况下实行：
[0093]
首先，考虑系统已知晓的情况，或者是由于它在过去已成功地执行过，或者是由于在情况中涉及的任何物体的识别可没有任何模糊地实行，且上下文也是已知的。在此种情形中，机器人1可完全自动地实行对动作“拾取杯子”的执行。不需要联系操作员。
[0094]
然后，存在其中杯子应被拾取的至少部分未知的情况。在此情形中，系统可自动地确定正确动作的置信度低于第一种情形。然而，如果在此种情形中，可在物体“杯子”的说明中找到标签“不易碎的”，机器人1仍然可尝试施行最可能的动作。此是试错场景，其中机器人1可执行动作，且在动作已被执行之后，对结果进行分析。基于包括在物体的标签中的附加信息，由处理单元14实行风险评估。标签还可包括在最终决定是否可实行动作之前获取附加信息的指令。举例来说，在将拾取的物体是杯子的情形中，标签可包括判断杯子中是否仍存在液体的指令。当判断出杯子中存在液体时，此可能导致禁止试错法，即使在空杯子的情形中允许进行试错法。
[0095]
第三种情形是当拾取杯子时只允许中等风险的场景。当杯子被识别为由瓷器制成时可能会出现此种情形，且因此如果动作实行不成功，杯子可能会破碎。在此种情形中，可向操作员提议所识别的动作，操作员然后响应于此请求而确认动作可被施行或者接管控制。当通过基于机器人系统建议的动作定义的动作解决拾取问题时，系统提示操作员相应地对物体加标签。实例是：系统无法清楚地识别板，但系统建议拾取操作且操作员确认拾取操作，并且所述操作最终被成功地执行。在此种情形中，系统提示操作员添加特定的拾取动作是将在板上执行的一个潜在动作。
[0096]
最后，可能会出现完全未知的情况，即系统不可能自动地选择动作。每当系统无法对需要由操作处理的物体进行识别时，便会发生此种情况。在此种情形中，处理单元14无法
对数据库17中可用的步骤s5中的任何潜在动作定义进行识别及检索，且因此，直接请求操作员进行辅助。
[0097]
针对拾取操作所阐释的内容对于任何可能的动作均可能发生：从完全自动地施行动作到其中系统甚至无法提议任何动作的情况，总是存在一定范围。当考虑安置物体时，这便变得明显：对于许多物体，多个方向可能是正确的。举例来说，在书被放回搁架中的情形中，书可像通常情况那样直立，但它也可被放在其宽侧表面上。哪种可能的取向是正确的决定必须根据具体的上下文而定。在对物体进行表征的标签中，可对允许在安置物体时正确确定取向的条件进行定义。在书的情形中，条件可能是：目标位置是桌子(或者更大体来说：大的表面)，则书将被放置在其宽侧表面上。相反，当目标位置是搁架且书将被放置在其他书之间的间隙中时，取向必须是竖直的。
[0098]
与以上给出的针对拾取操作的阐释相似，风险评估也可用于对物体进行安置。在根据所有可用信息确定出低风险的情形中，可选择试错法，且当所估计的风险高于特定阈值时，操作员通过发送相应的请求来参与。
[0099]
有时，可能出现其中机器人1可从操作员做出的决定中学习的情况。举例来说，机器人被赋予对上面可找到许多物体的桌子进行清空的任务。因此，对可能的动作的评估揭示出：没有明确的序列可以足够的可能性来确定。尽管可预测将成功地执行拾取动作，但拾取不同的物体也是如此。在此情形中，由系统识别出两个不同的动作，所述两个动作具有可比较的成功分数。在此种情形中，系统还将请求操作员辅助选择将首先实行的动作。由于这两个动作均满足由系统自动地实行的要求，因此这可能会触发对辅助的请求，从而迫使操作员输入规则，以用于在下一次发生相似情况时决定动作(物体)的优先级。
[0100]
在回答请求(例如，问题“为什么？”)时，操作员可输入附加信息。在所述实例中，可能的原因可为：最省力、最容易接近、优选杯子、...。在其中操作员无法对明确原因进行定义的情况下，此也可由操作员指示。在未来的情况下，机器人系统可随机选择首先将实行的动作。