在存在人类操作员的情况下控制机器人的方法与流程

1.本公开涉及基于由机器人和人类操作员执行的任务而控制具有人类操作员的制造环境中的机器人。


背景技术：

2.本部分中的陈述仅提供了与本公开相关的背景信息，并且可能不构成现有技术。
3.工业机器人精于可重复且体力密集的任务(通常超出人类的能力)。能够以每秒几米的速度移动；机器人移动得越快，生产的益处就越大。通常，以这种高速操作的工业机器人被限制在有遮挡的区域中从而为人类提供保护。在一些实例中，人和机器人作为人-机器人协作操作的一部分一起工作，其中机器人执行自动化任务，而人对工件执行人类操作。为了抑制机器人与人之间的碰撞，通常会限制机器人的力量和速度。
4.人-机器人协作操作中的技术发展已经促成了交互式生产设施，所述交互式生产设施包括用于实现可重新配置的和更有效的布局的未遮挡的机器人。但是人-机器人协作操作就其本质而言需要不仅对机器人而且还对人进行精确监测以提供不间断的工作流程。
5.本公开解决了在生产环境中与人类操作员一起使用工业机器人的这些问题，以及工业机器人的其他问题。


技术实现要素：

6.本部分提供对本公开的总体概述而不是其全部范围或其所有特征的全面公开。
7.本公开提供了一种用于人-机器人协作操作的系统。所述系统包括：多个传感器，所述多个传感器安置在整个工作空间中，其中所述多个传感器包括至少一个传感器，所述至少一个传感器获取与人类将在工件上执行的人类操作相关的数据；机器人，所述机器人可操作以在所述工作空间内执行至少一个自动化任务；以及工作空间控制系统。所述工作空间控制系统包括：存储器，所述存储器存储对象分类库，所述对象分类库将多个预定义对象与一个或多个分类相关联；以及工作空间控制器。所述工作空间控制器被配置成作为动态工作空间模块操作，所述动态工作空间模块被配置成基于所述工作空间的静态标称模型和来自所述多个传感器的数据而生成所述工作空间的动态模型，其中所述动态工作空间模块被配置成基于所述动态模型和所述对象分类库而对提供在所述工作空间内的一个或多个对象进行分类。所述工作空间控制器还被配置成作为任务管理模块操作，所述任务管理模块被配置成基于与所述人类操作相关联的任务完成参数而验证所述人类操作的完成，其中所述任务管理模块被配置成基于以下项中的至少一者而确定是否满足所述任务完成参数：动态模型、来自所述多个传感器的数据以及由所述机器人执行的所述至少一个自动化任务。
8.在一种形式中，任务完成参数基于以下项中的至少一者：工件连接性特性，其中人类操作包括连接至少两个部件，并且所述任务管理模块被配置成基于所述至少两个部件之间的电气连接、机械连接或它们的组合而验证人类操作完成；工作空间视听特性，其中所述
任务管理模块被配置成基于所述工作空间的视觉检验、声学评估或它们的组合而验证所述人类操作完成；被人类用来执行所述人类操作的动力工具的工具操作验证，其中所述人类操作包括将用所述动力工具实行的机器操作，并且所述任务管理模块被配置成确定所述动力工具的机器操作是否满足有关人类操作的预定义工具标准；以及机器人触觉验证，其中作为所述至少一个自动化任务中的一个，所述机器人被配置成使用触觉传感器执行所述工件的触觉评估，并且所述任务管理模块被配置成将来自所述触觉传感器的数据与工件后的触觉阈值进行比较，以验证所述人类操作是否完成。
9.根据这种形式，多个传感器包括：相机，所述相机可操作以捕获工作空间的一个或多个图像；声学传感器，所述声学传感器可操作以检测工作空间内的声波；或它们的组合。并且，对于所述工作空间视听特性，任务管理模块被配置成将具有所述工件的所述工作空间的当前状态与工作状态进行比较，以验证所述人类操作是否完成，其中所述预定义的后期操作状态提供执行了人类操作之后的工作空间的状态，和/或利用指示所述人类操作期间生成的音频信号的标称音频信号分布曲线来分析指示检测到的声波的工作空间音频信号。
10.工作空间的预定义的后期操作状态可包括在执行了人类操作之后工件的物理外观，从指定区域移除组装部件和/或转移提供在工作空间内的组装部件。
11.在另一种形式中，至少一个图像传感器是红外相机，所述红外相机可操作以获取所述工作空间的热图像，并且对于工具操作验证，预定义的工具标准基于工作空间的在人类操作期间动力工具正在被操作的选定部分的标称热分布曲线。
12.在另一种形式中，任务管理模块可通信地联接到所述动力工具以获取指示由所述动力工具执行的所述机器操作的数据，其中指示所述机器操作的所述数据包括以下项中的至少一者：动力工具的转矩、提供给动力工具的电力、动力工具的卡盘的接触状态以及所述动力工具的手柄的接触状态。
13.在另一种形式中，工作空间控制器还被配置成作为自适应机器人控制模块操作，所述自适应机器人控制模块被配置成基于所述工作空间的动态模型与静态标称模型的比较而操作所述机器人，其中所述自适应机器人控制模块被配置成基于预测模型而确定提供在所述动态模型中的动态对象的可能轨迹，其中所述预测模型确定所述工作空间内的动态对象的可能轨迹，并基于所述动态对象的所述可能轨迹以及所述机器人的未来位置而调整至少一个机器人参数。
14.在这种形式中，自适应机器人控制模块被配置成在任务管理模块验证人类操作的完成之后控制机器人的后续移动。
15.在另一种形式中，对象分类库将多个预定义对象与以下分类中的一个相关联：机器人、人类、可移动对象或固定对象。
16.在另一种形式中，机器人是未遮挡的。
17.在另一种形式中，所述系统还包括多个机器人，其中第一机器人可操作以作为第一自动化任务移动工件，并且第二机器人可操作以作为第二自动化任务检验工件，并且任务管理模块被配置成基于所述第二自动化任务而确定所述人类操作是否完成。
18.本公开还提供了一种方法，所述方法包括：使机器人在工作空间内执行至少一个自动化任务；基于工作空间的静态标称模型和来自安置在整个工作空间中的多个传感器的
数据而生成工作空间的动态模型，其中所述多个传感器包括至少一个传感器，所述至少一个传感器获取与人类将在工件上执行的人类操作相关的数据；基于所述动态模型和所述人类操作而控制所述机器人的操作；以及基于与所述人类操作相关联的任务完成参数并且基于所述动态模型、来自所述多个传感器的所述数据、由所述机器人执行的所述至少一个自动化任务或它们的组合而验证人类操作的完成。
19.在一种形式中，所述任务完成参数基于以下项中的至少一者：工件连接性特性、工作空间视听特性、由人类用来执行所述人类操作的动力工具的工具操作验证以及机器人触觉验证。在这种形式中，所述方法还包括：对于工件的工件连接性特性，确定将在人类操作期间连接的至少两个部件是否在所述至少两个部件之间形成电气连接、机械连接或它们的组合；对于工作空间的视觉特性，将具有工件的工作空间的当前状态与预定义的后期操作状态进行比较，以验证人类操作是否完成，其中预定义的后期操作状态提供执行了人类操作之后工作空间的状态；对于工作空间视听特性，基于所述工作空间的视觉检验、声学评估或它们的组合而验证所述人类操作完成；对于被人类用来执行所述人类操作的动力工具的工具操作验证，确定动力工具的被包括作为人类操作的一部分的机器操作是否满足预定义工具标准；和/或对于机器人触觉验证，其中机器人的至少一个自动化任务中的一个包括：使用触觉传感器对工件进行触觉评估，将来自所述触觉传感器的数据与后期工件触觉阈值进行比较，以验证所述人类操作是否完成。
20.此外，对于所述工作空间视听特性，所述方法还包括：(1)将具有所述工件的工作空间的当前状态与工作状态进行比较，以验证所述人类操作是否完成，其中所述预定义的后期操作状态提供执行了人类操作之后工作空间的状态；和/或(2)测量人类操作期间工作空间内的可听信号，并且将指示测得的可听信号的工作空间音频信号分布曲线与指示在标称工况下人类操作期间生成的音频信号的标称音频信号分布曲线进行比较。
21.工作空间的预定义的后期操作状态可包括执行了人类操作之后工件的物理外观。
22.在另一种形式中，至少一个图像传感器是红外相机，所述红外相机可操作以获取所述工作空间的热图像，并且对于工具操作验证，预定义的工具标准基于工作空间的在人类操作期间动力工具正在被操作的选定部分的热分布曲线。
23.在另一种形式中，所述方法还包括获取指示由所述动力工具执行的所述机器操作的数据，其中指示所述机器操作的所述数据包括以下项中的至少一者：动力工具的转矩、提供给动力工具的电力、动力工具的卡盘的接触状态以及所述动力工具的手柄的接触状态。
24.在另一种形式中，所述方法还包括：基于预测模型而确定提供在所述动态模型中的动态对象的可能轨迹，其中所述预测模型确定所述工作空间内的动态对象的可能轨迹；基于所述动态对象的所述可能轨迹以及所述机器人的未来位置而调整至少一个机器人参数；以及操作机器人来在人类操作被验证为完成之后执行后续任务。
25.本公开还提供了一种方法，所述方法包括：使机器人在工作空间内执行至少一个自动化任务；基于工作空间的静态标称模型和来自安置在整个工作空间中的多个传感器的数据而生成工作空间的动态模型，其中所述多个传感器包括至少一个传感器，所述至少一个传感器获取与人类将在工件上执行的人类操作相关的数据；基于预测模型而确定人类的提供在动态模型中的可能轨迹，其中所述预测模型确定工作空间内的动态对象的可能轨迹；基于人类的可能的轨迹和机器人的未来位置而控制机器人的操作；以及基于与所述人
类操作相关联的任务完成参数并且基于所述动态模型、来自所述多个传感器的所述数据以及由所述机器人执行的所述至少一个自动化任务中的至少一者而验证人类操作的完成。
26.根据这种形式中，所述任务完成参数基于以下项中的至少一者：工件的连接性特性、工作空间的视觉特性、被人类用来执行人类操作的动力工具的工具操作验证以及机器人触觉验证，其中所述方法还包括：对于工件的工件连接性特性，确定将在人类操作期间连接的至少两个部件是否在所述至少两个部件之间形成电气连接、机械连接或它们的组合；对于工作空间的视觉特性，将具有工件的工作空间的当前状态与预定义的后期操作状态进行比较，以验证人类操作是否完成，其中预定义的后期操作状态提供执行了人类操作之后工作空间的状态；对于被人类用来执行所述人类操作的动力工具的工具操作验证，确定动力工具的被包括作为人类操作的一部分的机器操作是否满足预定义工具标准；和/或对于机器人触觉验证，其中机器人的至少一个自动化任务中的一个包括：使用触觉传感器对工件进行触觉评估、将来自所述触觉传感器的数据与后期工件触觉阈值进行比较，以验证所述人类操作是否完成。
27.根据本文中提供的描述，更多适用领域将变得显而易见。应理解，描述和具体示例仅意图用于说明目的，而并不意图限制本公开的范围。
附图说明
28.为了可很好地理解本公开，现在将参考附图通过举例的方式描述本公开的各种形式，在附图中：
29.图1示出了具有机器人和人类操作员的工作空间；
30.图2是根据本公开的具有工作空间控制系统的系统的框图；
31.图3是根据本公开的具有工作空间控制器的工作空间控制系统的框图；
32.图4是根据本公开的工作空间控制器的动态工作空间模块的框图；
33.图5是根据本公开的工作空间控制器的自适应机器人控制模块的框图；
34.图6是根据本公开的工作空间控制器的任务管理模块的框图；
35.图7示出了根据本公开的用于验证人类操作的完成的一种形式的工作空间视觉检验；
36.图8示出了根据本公开的用于验证人类操作的完成的另一种形式的工作空间视觉检验；
37.图9是根据本公开的动态工作空间建模程序的流程图；
38.图10是根据本公开的机器人操作程序的流程图；
39.图11是根据本公开的自适应机器人控制程序的流程图；并且
40.图12是根据本公开的任务完成程序的流程图。
41.本文中描述的附图仅用于说明目的，而非意图以任何方式限制本公开的范围。
具体实施方式
42.以下描述本质上仅是示例性的，而并不意图限制本公开、应用或用途。应理解，贯穿附图，对应的附图标记指示相同或对应的部分和特征。
43.参考图1，提供在制造设施中的工作空间100是协作环境，其中机器人102和人类操
作员104彼此工作并交互以处理工件106。这里，工作空间100是不具有围栏或用于限制机器人102的移动的其他类似围护结构的未遮挡区域。机器人102被配置成与正在执行一个或多个人类操作的人类操作员104执行一个或多个自动化任务。
44.作为示例，机器人102将工件106往返分段运输区域108运输，所述分段运输区域108具有用于未处理的工件112的第一托盘110和用于已处理的工件的第二托盘114。自动化任务可包括：机器人102移动到分阶运输区域108；从第一托盘110拾取未处理的工件112；将未处理的工件112移动到工作台116；将未处理的工件112放置在工作台116上；以及一旦人类操作员104已经完成了他/她的任务，或者换句话说完成了人类操作，就将已处理的工件移动到第二托盘114。分段运输区域108可在工作空间100内，如图1中所示，但也可在制造设施内的工作空间100外部。一旦放置在工作台116上，未处理的工件112就可被称为工件106。人类操作员104对工件106执行至少一个人类操作，诸如但不限于检验工件106的可能缺陷，以及操作动力工具118以安装一个或多个紧固件120。动力工具118和紧固件120提供在台面121上。在一个变型中，机器人102可改变工件106的位置以允许人类操作员104对工件106的不同区域执行额外操作。
45.对于诸如关于图1描述的人-机器人协作操作，本公开提供了一种工作空间控制系统122，所述工作空间控制系统122以连续方式操作机器人系统103的机器人102，以使得在人类操作员104完成人类操作之后，机器人102执行其下一个任务。更特别地，工作空间控制系统122确定人类操作员104是否完成人类操作，并且然后控制机器人102执行下一个自动化任务。工作空间控制系统122还被配置成基于在机器人102附近行进的人类的预计轨迹而自适应地控制机器人102，以使得机器人102能够安全地且协作地与人类并肩工作。
46.虽然在图1中描述和示出了具体的人-机器人协作操作，但是本公开的教示适用于其他人-机器人协作操作，并且不应限于本文提供的示例。例如，人-机器人协作操作可为灵巧性任务，其中人类操作员将螺栓放置到工件上并且机器人将螺栓驱动到适当位置。在该示例中，本公开的工作空间控制系统在使机器人执行其任务之前验证螺栓在适当位置。在人-机器人协作操作的另一示例中，机器人检验由人类执行的操作以捕获错误。
47.在给定工作空间中执行的自动化任务和/或人类操作可由一个以上机器人和/或一个以上人类操作员实施。作为示例，一个机器人可用于操纵工件，而另一个机器人可用于检验工件，并且两个人类操作员可对相同或不同的工件执行相同或不同的人类操作。
48.为了监测机器人102和/或人类操作员104并与人类操作员104交换信息，工作空间100包括：多个传感器124-1、124-2、124-3(统称为“传感器124”)；一个或多个人类接口装置，诸如用于显示信息并从人类操作员104获取输入的触摸屏显示器126-1；以及具有扬声器和传声器的音频系统126-2。触摸屏显示器126-1和音频系统126-2通常可被称为用于与人类交换信息的人机界面(hmi)126。
49.工作空间的各种部件形成用于管理人-机器人协作操作的系统。更特别地，图2示出了系统200的框图，所述系统包括工作空间控制系统122、机器人系统103、传感器124、hmi 126和动力工具118。工作空间控制系统122借助于无线和/或有线通信链路可通信地联接到系统200的其他部件。在一种形式中，工作空间控制系统122借助于区域网络、专用通信链路或它们的组合可通信地联接。因此，系统200和系统200内的部件包括诸如收发器、路由器、输入/输出端口等硬件，以及可由微处理器实行以根据诸如蓝牙、zigbee、wi-fi和蜂窝协议
等标准协议确立通信链路的软件。
50.传感器124可包括但不限于：二维相机、三维相机、红外相机、lidar(光探测和测距)、激光扫描仪、雷达、加速度计、电磁波传感器(诸如传声器和单目相机)。如本文所述，工作空间控制系统122使用来自传感器124的数据来形成工作空间100的动态模型。动态模型还被利用来识别工作空间100内的移动对象(即，动态对象)，跟踪移动对象的位置，以及验证人类操作的完成。在一种形式中，传感器124还可包括提供在诸如动力工具118和机器人(包括机器人102和/或其他机器人)的其他部件处的传感器。
51.hmi 126向人类操作员提供信息，并且可由人类操作员操作以向工作空间控制系统122提供信息。例如，触摸屏显示器126-1显示信息，诸如但不限于动态模型，要执行的人类操作，与工作空间100相关的识别信息以及正在加工的工件106。触摸屏显示器126-1还可显示将由人类操作员通过触摸显示器或口头地回答的查询，这由音频系统126-2的传声器检测到。虽然描绘了具体的hmi 126，但是也可使用其他hmi，诸如按钮、专用计算装置(例如，笔记本计算机、平板计算机)、条形码扫描仪等。
52.动力工具118可由人类操作员104操作以例如驱动紧固件或钻孔以及其他操作。动力工具118通常包括补充动力源，诸如电动马达和压缩空气，以提供除由人类操作员施加的手动力之外的补充动力来执行操作。在一种形式中，动力工具118包括安置在其中的用于测量动力工具118的性能的传感器，所述传感器被称为工具传感器204。例如，工具传感器204可包括但不限于：转矩传感器；动力传感器，所述动力传感器用于测量由补充动力源施加的电流和/或电压；加速度计，所述加速度计在操作期间测量振动分布曲线；触摸传感器，所述触摸传感器在手柄处用于检测接触；和/或接触传感器，所述接触传感器在所述动力工具的卡盘处以检测所述卡盘内的钻头/紧固件的存在。虽然动力工具118被提供为钻孔马达，但是也可使用其他动力工具，诸如冲击扳手、钉枪和/或磨床等，以执行其他操作，诸如切割、成形、砂磨、研磨、路由传递、抛光、漆涂和/或加热。另外，动力工具118是任选部件，并且可能不是工作空间100的一部分，并且因此不是系统200的一部分。在另一变型中，工作空间100可包括一个以上的动力工具。
53.机器人系统103包括机器人102和机器人控制器202，所述机器人控制器202被配置成基于来自工作空间控制系统122的指令而操作机器人102。机器人控制器202被配置成存储由控制器202内的一个或多个微处理器实行以操作机器人102的计算机可读软件程序。例如，机器人102包括一个或多个电动马达(未示出)，所述一个或多个电动马达由机器人控制器202驱动以控制机器人102的移动。虽然工作空间100被示出为具有一个机器人系统103，但是工作空间100可包括用于执行相同和/或不同的自动化操作的一个以上机器人系统。例如，一个机器人系统可能可操作来操纵工件106，并且另一机器人系统可用于验证人类操作完成。在另一变型中，可使用相同的机器人系统来操纵工件并验证人类操作。
54.工作空间控制系统122被配置成命令或控制机器人102的操作并验证人类操作的完成。参考图3，在一种形式中，工作空间控制系统122包括通信接口302、用于存储对象分类库306的存储器304，以及工作空间控制器308。工作空间控制系统122可使用具有通过生产设施分布在相同或不同位置处的存储器电路的一个或多个控制器来实现。例如，工作空间控制器308可使用两个或更多个物理上分离的控制器来实现，所述控制器可通信地联接并且可为位于生产设施内而不一定位于工作空间100内的边缘计算装置，和/或可为安置在工
作空间100处的本地计算装置。一个或多个控制器可包括微处理器、用于存储由微处理器实行的代码的存储器以及其他合适的硬件部件来提供工作空间控制系统122的描述的功能性。
55.通信接口302被配置成将工作空间控制器308与一个或多个外部装置可通信地联接，所述一个或多个外部装置诸如但不限于机器人系统103、动力工具118、传感器124和/或hmi 126。通信接口302被配置成支持到本地网络和/或到个别外部装置的有线通信链路和无线通信链路。因此，通信接口302可包括输入/输出端口、收发器、路由器和微处理器，所述微处理器被配置成实行指示经由一个或多个通信协议确立通信链路的软件程序。
56.工作空间控制器308被配置成包括动态工作空间模块310、自适应机器人控制模块312和任务管理模块314。动态工作空间模块310被配置成生成工作空间100的动态模型，并且基于工作空间100的静态标称模型和来自传感器124的数据而对提供在动态模型中的对象进行分类。自适应机器人控制模块312被配置成自适应地控制/操作机器人102，以使机器人102与人类操作员协作地执行自动化任务。任务管理模块314被配置成基于来自传感器124、机器人102的数据和/或独立于人类操作员提供的验证的其他方法而验证人类操作员是否已完成人类操作。也就是说，任务管理模块314被配置成执行验证，所述验证是基于数据而不是仅基于传输给人类操作员的询问。
57.参考图4，在一种形式中，动态生成模块310包括静态模型模块402、动态空间模块404和对象跟踪模块406。静态模型模块402被配置成提供处于其原先设计状态的工作空间100的虚拟表示，被称为静态标称模型。例如，静态标称模型可限定工作空间100的边界并且包括固定对象，诸如工作台116。在一种形式中，静态标称模型可为预定的并且由静态模型模块402存储。如果将新特征添加到工作空间100，则可更新并存储静态标称模型。在另一种形式中，静态模型模块402被配置成在工作空间被设置为初始状态时的设置或训练时间期间记录来自传感器124的数据。在另一种形式中，静态模型可通过计算机辅助设计(cad)对其内的空间和对象进行绘图/建模和/或可使建模部件移动的模型来创建，诸如具有指示所述机器人根据由所述内置编码器测量的关节角度进行配置的建模部件。
58.动态空间模块404被配置成基于来自传感器124的数据和静态标称模型而生成动态模型。例如，在传感器124中的至少一者是一个或多个2d/3d相机的情况下，动态空间模块404对来自3d相机的数据执行空间变换。使用静态标称模型，动态空间模块404执行映射函数，所述映射函数定义来自相机的图像中的所有点与静态标称模型之间的空间对应关系。可实现用于数字图像处理的已知空间变换技术。例如，可使用棋盘状qr码风格伪影来校准外在特性，所述外来特性是传感器124的位置和旋转。利用外在特性，已知的算法用于在真实世界中定位记录的数据(即，从相机坐标系转换到世界坐标系)。
59.对象跟踪模块406被配置成基于对象分类库306而对提供在动态模型中的对象进行识别和分类，并跟踪正在移动的分类对象的移动。对象分类库306将多个预定义对象与一个或多个分类相关联。对象分类库306可被提供为从工作空间控制器308远程提供的数据库。所述分类可包括但不限于：机器人、人、可移动对象(例如，工件、动力工具、紧固件)或静态对象(例如，工作台、台面、hmi等)。
60.在一种形式中，对象跟踪模块406被配置成实行已知的图像分割和对象识别过程，所述过程识别动态模型中的对象(移动的和/或静态的)并基于对象分类库306而对对象进
行分类。在另一示例中，动态空间模块404被配置成实行已知的点云聚类过程，诸如迭代最近点匹配以及其变体，以识别动态模型的3d点云内的对象，并使用对象分类库306对对象进行分类。例如，对象跟踪模块406基于位置和速度而对点进行聚类，以使得紧邻且具有类似轨迹的点被分组为单个集群并被识别为对象。然后使用对象分类库中的数据对集群进行分类。在另一示例中，可使用2d相机并使用来自外在校准的变换来对对象进行分类，可确定匹配点集群。
61.在一种形式中，对象跟踪模块406还被配置成从动态模型中移除选定的对象。例如，在图1中，选定的对象可包括工作台116、hmi 126、托盘110、114和/或台面121。这降低了模型的复杂性，因为选定的对象通常是对人类操作和/或自动化操作无关紧要的静态对象。
62.自适应机器人控制模块312被配置成通过向机器人系统103(且具体地，机器人控制器202)传输命令来操作机器人102。参考图5，在一种形式中，自适应机器人控制模块312包括机器人任务储存库502、轨迹预测模块504和机器人控制模块506。机器人任务储存库502存储要由机器人系统103执行的预定义自动化任务。预定义的自动化任务与要提供给机器人控制器202以使机器人102实行自动化任务的一个或多个命令相关联。所述命令可包括有关机器人102的操作参数，诸如操作状态(例如，等待、停止、关闭、移动等)、速度、轨迹、加速度、转矩、旋转方向等。虽然机器人任务储存库502被提供为工作空间控制器305的一部分，但是机器人任务储存库502可与对象分类库306一起存储或存储在另一位置处。
63.轨迹预测模块504被配置成使用预测模型508来确定分类的移动对象(诸如人)的预计轨迹。预测模型508可使用已知模型以各种合适的方式进行配置。作为示例，在一种形式中，预测模型选择考虑传感器等待时间和路径规划延迟的时间范围，以使得机器人的计划操纵在实现之前不会变得不安全。然后，使用详细模型离线地预先计算前向可达集(frs)，从而针对该时间段内给定输入参数给出人类轨迹的影响。然后将障碍物投射到frs中以识别被认为是安全的参数值；这些参数值避免或抑制碰撞。接下来，用户定义的成本函数选择最佳输入参数以用于当前时间范围。虽然提供了具体示例，但是应容易理解，可使用其他预测模型。
64.使用分类的移动对象的预计轨迹，机器人控制模块506被配置成确定是否应调整有关将由机器人系统103实行的命令的操作参数。更具体地，机器人控制模块506基于要执行的自动化任务而知道机器人102的当前和未来位置以及机器人102的操作状态。使用动态模型和分类的移动对象的预计轨迹，机器人控制模块506计算机器人102与分类的移动对象之间的当前距离和预想距离。如果距离小于第一距离设定点并且机器人202此时正在移动，则机器人控制模块506使机器人控制器202降低例如机器人102的速度，以抑制与分类的移动对象的碰撞。如果距离小于第二距离设定点，所述第二距离设定点小于第一距离设定点(即，机器人和分类的移动对象更近)，则机器人控制模块506使机器人控制器202将机器人102置于等待状态，其中机器人102停止任务(即，移动)，直到分类的移动对象处于安全距离为止。因此，抑制与分类的移动对象的碰撞。
65.在一个变型中，机器人控制模块506被配置成计算机器人102与分类的移动对象之间的接触时间(t2c)，并且将计算的时间与一个或多个预定设定点(例如，10秒、5秒等)进行比较。例如，如果t2c大于第一设定点(sp1)，则机器人控制模块506执行正常操作。如果t2c小于sp1但大于第二设定点(sp2)，则如果机器人正在执行任务，则机器人控制模块506调整
机器人102的操作参数。如果t2c小于tsp2，则机器人控制模块506将机器人置于等待状态，直到分类的移动对象与机器人102处于安全距离或t2c为止。因此，机器人控制模块506基于提供在动态模型中的分类移动对象的移动而自适应地控制机器人102。在未分类的移动对象正在朝向机器人102移动并且远离机器人102一定距离的情况下，机器人控制模块506被配置成将机器人置于等待状态。
66.机器人控制模块506还被配置成在任务管理模块314验证人类操作的完成之后控制机器人102的后续移动。具体地，基于自动化任务和要协作地执行的人类操作，机器人控制模块506操作机器人102以在人类操作完成并且人类操作员远离机器人达设定距离之后执行自动化任务。
67.任务管理模块314被配置成基于与人类操作相关联的任务完成参数而验证人类操作的完成。参考图6，在一种形式中，任务管理模块314包括人-机器人协作模块602、人类操作储存库604和任务完成模块606。人-机器人协作模块602被配置成监测要在工作空间100中执行的人-机器人协作操作。具体地，在一种形式中，人-机器人协作模块602包括工作空间计划表608，该工作空间计划表608概述了要在工作空间中执行的自动化任务和人类操作以及要执行的任务/操作的次序。
68.人类操作储存库604被配置成定义要执行的一个或多个人类操作以及由任务完成模块606使用以验证给定的人类操作完成的一个或多个任务完成参数。例如，对于每一人类操作，人类操作储存库602定义人类操作的标准，诸如但不限于：待安装的紧固件数量；在所述人类操作期间正在制造的工件；被接合的工件的连接特性(电气连接性、机械连接性或两者)；动力工具118的位置移动；动力工具的机器操作(例如，动力工具118的转矩、提供给动力工具118的电力、动力工具118的卡盘的接触状态和/或动力工具118的手柄的接触状态)；具有或不具有工件的工作空间100的预定义的后期操作状态；将由机器人感测的后期工件触觉阈值；和/或标称音频信号分布曲线，其指示在人类操作期间生成的音频信号。虽然人类操作储存库604被提供为工作空间控制器305的一部分，但是人类操作储存库604可与对象分类库306一起存储或存储在另一位置处。
69.任务完成模块606被配置成基于动态模型、由来自自适应机器人控制模块312的机器人102执行的自动化任务的状态、来自多个传感器124的数据或它们的组合而确定来自工作空间计划表608的给定人类操作是否完成。在一种形式中，任务完成参数基于：工件连接性特性610、工作空间视听特性612、工具操作验证614、机器人触觉验证616或它们的组合。
70.工件连接性特性610基于在人类操作期间连接的两个或更多个部件之间的电气连接、机械连接或它们的组合而确定人类操作是否完成。例如，人类操作储存库604可包括识别以下内容的信息：将由人类操作员组装的两个或更多个部件、接合部件的连接的类型以及连接的位置。如果人类操作包括电气连接，则任务完成模块606通过例如测试电气联接的部件的操作和/或使用电压和/或电流传感器来确定由人类操作员形成的连接是否导电，以测量通过由所述电气连接形成的电路的电压和/或电流。基于机械连接的类型，任务完成模块606可通过以下方式来验证机械连接：确定是否安装了适当数量的紧固件以及是否有足够的转矩施加到紧固件；当第一部件附接到第二部件时检测可听的咔嗒声；对由所述部件形成的接头进行视觉检验，以评估是否存在间隙，并且如果存在，则所述间隙是否在设定公差内；和/或执行摇动测试，其中机器人摇动由部件形成的接头。虽然提供了用于验证电气
连接和机械连接的具体示例，但是应容易理解，可使用其他测试，并且本公开不应限于本文提供的示例。
71.工作空间视听特性612基于工作空间的视觉检验、声学评估或它们的组合而确定人类操作是否完成。具体地，传感器124包括：相机，所述相机可操作以捕获工作空间100的一个或多个图像；以及声学传感器(例如，传声器)，所述声学传感器可操作以检测工作空间100内的声波。
72.对于视觉检验，任务完成模块606被配置成将工作空间100的基于来自相机的图像的当前状态与预定义的后期操作状态进行比较，以确定两者是否基本上相同。预定义的后期操作状态提供执行了人类操作之后工件的状态。工作空间100的预定义的后期操作状态包括但不限于：在执行了人类操作之后工件的物理外观，从指定区域移除组装部件，和/或转移提供在工作空间内的组装部件。在一种形式中，对于视觉检验，任务完成模块606将工件的图像与工件的预定义的后期操作状态(诸如，3d计算机模型)进行比较。
73.对于声学评估，任务完成模块利用标称音频信号分布曲线分析指示检测到的声波的工作空间音频信号。标称音频信号分布曲线指示在标称状况(即，人类操作的预期环境状况)下在人类操作期间生成的音频信号。如果工作空间音频信号在标称音频信号分布曲线的预定义范围内，则任务完成模块606确定人类操作完成。
74.工具操作验证614确定由人类操作员104利用动力工具118执行的机器操作是否满足预定义工具标准。也就是说，人类操作可包括操作动力工具118以执行机器操作。任务完成模块606经由动力工具118接收指示机器操作的数据。所述数据可包括但不限于动力工具118的转矩，提供给动力工具118的电力，动力工具118的卡盘的接触状态，和/或动力工具118的手柄的接触状态。
75.在一种形式中，任务完成模块606可使用来自传感器124的数据来确定动力工具118是否根据机器操作进行操作。例如，传感器124可包括红外相机，所述红外相机可操作以获取工作空间100的热图像。对于工具操作验证，预定义的工具标准中的一个基于工作空间100的在人类操作期间诸如喷灯等动力工具118正在被操作的选定部分的标称热分布曲线。热分布曲线可用于确定是否操作喷灯，所生成的火焰的温度，以及甚至火焰活动的持续时间。可将该信息与相应的设定点进行比较，以确定人类操作是否完成。
76.机器人触觉验证616由机器人执行作为自动化任务。更特别地，机器人被配置成使用诸如安置在末端执行器处的压力传感器等触觉传感器来执行已处理工件的触觉评估。任务完成模块606被配置成将来自触觉传感器的数据与后期工件触觉阈值进行比较，以验证人类操作是否完成。
77.任务完成模块可使用一个或多个任务完成参数来验证人类操作的完成。例如，参考图7和图8，人类操作包括使用动力工具和多个紧固件将门附接到车辆。对于该操作，人类操作储存库604提供任务完成参数作为工作空间视听特性610和工具操作验证614，并且包括支持数据/标准，诸如后期操作状态和预定义工具标准。
78.对于工作空间视听特性612，对车辆和工作空间执行视觉检验，以检测从指定区域移除组装部件。图7示出了车辆(即，工件)的由传感器124拍摄的图像700和车辆的预定义的后期操作状态702。任务完成模块606比较两个图像以确定车门是否附接到车辆。任务完成模块606还可在要执行人类操作之前接收车辆的预定义操作状态706。图8示出了对台面802
的视觉检验，所述台面802具有动力工具804以及固持紧固件以将车门附接到车辆的区域806。任务完成模块606检验台面802，以确定紧固件是否仍然在那里。对于工具操作验证614，任务完成模块606从动力工具804获取数据以确定动力工具804的机器操作，并将它们与预定义的工具标准进行比较。利用视觉检验和工具操作验证，任务完成模块606验证人类操作是否完成，并且自适应机器人控制模块312操作机器人以执行后续任务。
79.参考图9，示例动态工作空间建模程序900由工作空间控制器提供并执行。在902处，控制器从包括一个或多个相机的传感器以及工作空间的静态标称模型获取数据。在904处，工作空间控制器基于静态标称模型而执行空间变换以限定动态模型。在906处，工作空间控制器如上所述对提供在动态模型中的对象进行识别和分类，并且在908处，过滤来自动态模型的选定对象。
80.参考图10，示例机器人操作程序1000由工作空间控制器提供并执行。对于该程序，操作机器人以执行两个具体的自动化任务并与人类操作员协作。自动化任务仅用于解释目的，并且应容易理解，也可执行其他任务。在1001处，控制器操作机器人以执行第一自动化任务：从分段运输区域获得未处理的工件，并将工件放置在工作台上。在1002处，控制器确定自动化任务是否完成。如果是，则在1004处，控制器将机器人置于机器人不移动的等待状态，在1006处，控制器确定人类操作是否完成。例如，控制器执行图12的任务完成程序，确定人类操作是否完成。
81.如果人类操作完成，则在1008处，控制器操作机器人以执行将已处理工件返回到分段运输区域的第二自动化任务。在1010处，控制器确定第二自动化任务是否完成，并且如果是，则程序结束。
82.如果第一自动化任务和/或第二自动化任务未完成，则在1012处和1014处，控制器分别确定任务等待时间是否已经期满。类似地，如果人类操作未完成，则在1016处，控制器确定人类操作是否已超时。也就是说，机器人和人类操作员被给予预定时间段，所述预定时间段可基于任务/操作而不同，以在超时之前执行任务/操作。如果预定时间段已经过去，则在1018处，控制器使用hmi发出通知以警告操作员并在等待状态下操作机器人。
83.参考图11，示例自适应机器人控制程序1100由工作空间控制器提供并实行。使自适应机器人控制程序110与机器人操作程序1000同时执行，以执行机器人的自适应控制。在1102处，控制器基于动态模型而确定是否检测到人。如果是，则在1104处，控制器测量人与机器人之间的距离，并且在1106处，使用动态模型和预测性模型来确定人的预计轨迹。在1108处，控制器计算接触时间(t2c)，并且在1110处确定t2c是否大于第一设定点(sp1)。如果是，则在1112处，控制器以正常参数操作机器人。如果否，则在1114处，控制器确定t2c是否大于第二设定点(sp2)。如果是，则在1116处，控制器确定机器人是否正在执行任务。如果机器人正在执行任务，则在1118处，控制器调整有关正在执行的任务的机器人操作参数，以抑制对人类的干扰。所需的调整量可基于特定于机器人正在执行的任务的预定义算法。如果t2c小于sp2或者机器人未执行任务，则在1120处，控制器将机器人置于等待状态。
84.参考图12，示例任务完成程序1200由控制器提供并执行，以确定人类操作是否完成。在1202处，控制器获取与正在执行的人类操作相关联的任务完成参数，并且在1204处，使用获取的任务完成参数来执行验证。任务完成参数基于：工件连接性特性、工作空间视听特性、工具操作验证、机器人触觉验证或它们的组合。在1206处，控制器确定人类操作是否
完成。如果否，则在1208处，控制器确定人类操作是否已经超时。也就是说，人类操作员在超时之前被给予预定时间段来执行人类操作。如果预定时间段已经过去，则在1210处，控制器使用hmi发出通知以警告操作员并在等待状态下操作机器人。如果人类操作尚未超时，则在1204处，控制器再次执行验证。如果人类操作完成，则在1212处，控制器确定人类操作被验证为完成，以执行后续机器人任务。
85.应容易理解，程序900、1000、1100和1200仅是工作空间控制器的一个示例实现方式，并且可实现其他控制程序。
86.除非本文另有明确指示，否则指示机械/热性质、组成百分比、尺寸和/或公差或其他特性的所有数值在描述本公开的范围时应理解为由词语“约”或“大约”修饰。出于各种原因期望进行这种修改，所述原因包括：工业实践；材料、制造和组装公差；以及测试能力。
87.如本文所使用，短语a、b和c中的至少一者应被解释为使用非排他性逻辑“或”表示逻辑(a或b或c)，并且不应被解释为表示“a中的至少一者、b中的至少一者、以及c中的至少一者”。
88.本公开的描述本质上仅是示例性的，并且因此不脱离本公开的实质的变型意在在本公开的范围内。不应将此类变型视为脱离本公开的精神和范围。
89.在附图中，如箭头所指示的箭头的方向通常展示了图示所感兴趣的信息流(诸如数据或指令)。例如，当要素a和要素b交换多种信息，但是从要素a传输到要素b的信息与图示相关时，箭头可从要素a指向要素b。该单向箭头并不暗示没有其他信息从要素b传输到要素a。此外，对于从要素a发送到要素b的信息，要素b可向要素a发送对信息的请求或对信息的接收确认。
90.在本应用中，术语“模块”和/或“控制器”可指代以下项、是以下项的一部分或包括以下项：专用集成电路(asic)；数字、模拟或混合模拟/数字离散电路；数字、模拟或混合模拟/数字集成电路；可组合的逻辑电路；现场可编程门阵列(fpga)；实行代码的处理器电路(共享、专用或群组)；存储由处理器电路实行的代码的存储器电路(共享、专用或群组)；提供所描述的功能性的其他合适的硬件部件；或者上述的一些或全部的组合，诸如在片上系统中。
91.术语“存储器”是术语“计算机可读介质”的子集。如本文所用的术语计算机可读介质不涵盖通过介质传播(诸如在载波上)的暂时性电气信号或电磁信号；因此，术语“计算机可读介质”可被认为是有形的和非暂时性的。非暂时性的有形计算机可读介质的非限制性示例为非易失性存储器电路(诸如，快闪存储器电路、可擦除可编程只读存储器电路或掩模只读电路)、易失性存储器电路(诸如，静态随机存取存储器电路或动态随机存取存储器电路)、磁性存储介质(诸如，模拟磁带或数字磁带或硬盘驱动器)以及光学存储介质(诸如，cd、dvd或蓝光光盘)。
92.本申请中所描述的设备和方法可由专用计算机部分地或完全地实现，所述专用计算机通过将通用计算机配置为实行计算机程序中体现的一种或多种特定功能来创建。功能框、流程图组分和上述其他元件用作软件规范，所述软件规范可通过技术人员或程序员的常规工作来转译成计算机程序。
93.在本发明的一个方面，所述方法包括：至少一个图像传感器是红外相机，所述红外相机可操作以获取所述工作空间的热图像，并且对于工具操作验证，预定义的工具标准基
于工作空间的在人类操作期间动力工具正在被操作的选定部分的热分布曲线。
94.根据实施例，本发明的特征还在于获取指示由所述动力工具执行的所述机器操作的数据，其中指示所述机器操作的所述数据包括以下项中的至少一者：动力工具的转矩、提供给动力工具的电力、动力工具的卡盘的接触状态以及所述动力工具的手柄的接触状态。
95.根据实施例，本发明的特征还在于：基于预测模型而确定提供在所述动态模型中的动态对象的可能轨迹，其中所述预测模型确定所述工作空间内的动态对象的可能轨迹；基于所述动态对象的所述可能轨迹以及所述机器人的未来位置而调整至少一个机器人参数；以及操作机器人来在人类操作被验证为完成之后执行后续任务。
96.根据本发明，提供了一种方法，所述方法具有：使机器人在工作空间内执行至少一个自动化任务；基于工作空间的静态标称模型和来自安置在整个工作空间中的多个传感器的数据而生成工作空间的动态模型，其中所述多个传感器包括至少一个传感器，所述至少一个传感器获取与人类将在工件上执行的人类操作相关的数据；基于预测模型而确定人类的提供在动态模型中的可能轨迹，其中所述预测模型确定工作空间内的动态对象的可能轨迹；基于人类的可能的轨迹和机器人的未来位置而控制机器人的操作；以及基于与所述人类操作相关联的任务完成参数并且基于所述动态模型、来自所述多个传感器的所述数据以及由所述机器人执行的所述至少一个自动化任务中的至少一者而验证人类操作的完成。
97.根据实施例，所述任务完成参数基于以下项中的至少一者：工件的连接性特性、工作空间的视觉特性、被人类用来执行人类操作的动力工具的工具操作验证以及机器人触觉验证，其中所述方法还包括：对于工件的工件连接性特性，确定将在人类操作期间连接的至少两个部件是否在所述至少两个部件之间形成电气连接、机械连接或它们的组合；对于工作空间的视觉特性，将具有工件的工作空间的当前状态与预定义的后期操作状态进行比较，以验证人类操作是否完成，其中预定义的后期操作状态提供执行了人类操作之后工作空间的状态；对于被人类用来执行所述人类操作的动力工具的工具操作验证，确定动力工具的被包括作为人类操作的一部分的机器操作是否满足预定义工具标准；以及对于机器人触觉验证，其中机器人的至少一个自动化任务中的一个包括：使用触觉传感器对工件进行触觉评估，将来自所述触觉传感器的数据与后期工件触觉阈值进行比较，以验证所述人类操作是否完成。