一种云边端协同的柔性产线机器人学习系统及方法

1.本发明涉及机器人技术领域，具体涉及一种云边端协同的柔性产线机器人学习系统及方法。


背景技术：

2.柔性产线由加工中心或柔性生产单元组成，用于多品种多型号产品共线混排生产的生产线，能够快速有效地生产单一批量的多样化或个性化的定制产品，是智能制造的重要生产模式之一。机器人是“制造业皇冠顶端的明珠”，将机器人引入柔性生产线不仅提高生产效率和产品质量，降低生产成本，还缓解了企业用工难等问题。同时，随着制造业的柔性化快速发展，机器人应用的广度与深度不断加深，对其编程技术提出了新挑战。一方面，产品生产方式呈现多样化、小批量和定制化特征，需要更短的制造迭代周期，迫使机器人具备快速编程与不同场景高效适应能力。另一方面，机器人正逐渐从工业环境的独立操作转化为与人类共存，进行人机协作，这就要求机器人具备类人的灵巧操作能力。
3.现有依赖于人为干预与反复调试的机器人编程技术，只适用于特定任务，当遇到相近任务或不同环境时，需要重新进行编程，无法汲取过往的作业经验，存在效率低、适应性差、灵巧性不足等问题。


技术实现要素：

4.本发明的目的在于克服上述现有技术的不足，提供一种云边端协同的柔性产线机器人学习系统及方法，以实现机器人能够根据任务和环境的变化进行自我学习与自主决策，将大幅度提升柔性产线机器人的编程和部署效率。
5.为实现上述目的，本发明的技术方案是：第一方面，本发明提供一种柔性产线机器人学习方法，包括：对柔性产线机器人操作技能进行采集与标注，建立机器人作业技能库，以实现机器人操作任务的技能化解析与表征；基于所述技能化解析与表征，通过机器人操作技能建模与学习方法来获得机器人操作技能模型；在虚拟仿真环境中训练机器人操作技能模型，实现机器人操作技能的虚实迁移与衍生，生成机器人操作指令。
6.进一步地，所述机器人操作技能建模与学习方法包括：将高维演示轨迹参数化，建立高维输入与输出的对应关系：
其中，是对角矩阵、是服从正态分布的权重向量，定义为维的基函数，表示殴几里得空间, 是输入变量与输出变量的非线性函数，表示转置，分别表示为基函数维度、输出变量维度、基函数维度与输出变量维度的乘积；建立演示轨迹中输入与输出的概率模型：将机器人操作技能学习的目标设计为给定任一次演示轨迹的时刻输入与输出，找到信息量损失最少的轨迹点；那么，针对式所建立概率模型中两项未知参数与的学习问题，采用基于信息论中相对熵模型建立目标函数，最小化信息损失量，实现机器人操作技能模型的建模。
7.进一步地，所述目标函数定义为：其中，表示两个概率分布的相对熵；分别表示某一时刻及总时长；分别表示时刻的输入与输出变量；表示信息量损失最小的轨迹点；表示对数运算；通过分别对目标函数中的与进行求解，并增加额外的惩罚项；对未知参数的估计值如下：其中，；对式中基函数的运算定义成核函数运算的形式。
8.进一步地，采用核岭回归方法别对目标函数中的与进行求解，并增加额外的惩罚项。
9.进一步地，对虚拟仿真环境中的物理属性参数和动力学参数进行域随机化，使得机器人在训练过程中适应图像、力、运动、反馈特征的不确定性，以实现机器人操作技能模型的虚实迁移。
10.第二方面，本发明提供一种云边端协同的柔性产线机器人学习系统，包括：边端，其用于对柔性产线机器人操作技能进行采集与标注，建立机器人作业技能库，以实现机器人操作任务的技能化解析与表征；云端，其存储有机器人操作技能建模与学习方法，基于技能化解析与表征，通过所述机器人操作技能建模与学习方法来获得机器人操作技能模型；
所述边端设置有仿真训练平台，在仿真训练平台的虚拟仿真环境中训练机器人操作技能模型，实现机器人操作技能的虚实迁移与衍生，生成机器人操作指令。
11.本发明与现有技术相比，其有益效果在于：本柔性产线机器人学习方法通过对机器人复杂操作任务进行技能化表征、学习、迁移与衍生等操作，以学习的方式赋予机器人具备一定自主决策与学习的能力，无需对每个任务进行繁复调试与编程，大幅度提升编程效率及任务适应性。
12.本云边端协同的柔性产线机器人学习系统采用“云
‑ꢀ
边
‑ꢀ
端”协同计算的架构，在云平台上可提供高性能计算以及通用知识的存储，在边缘设备上可进行数据的有效处理和算力支持，在机器人终端上完成实时的操作与控制处理，实现机器人更经济、有效的部署。同时，利用5g 通信和互联网技术将多个机器人进行无缝连接，使生产制造更加扁平化、定制化、智能化，实现数据共享、敏捷互联、应用云化、智慧决策，实现柔性产线机器人快速编程。
附图说明
13.图1为本发明实施例1提供的柔性产线机器人学习方法的流程图；图2为本发明实施例2提供的云边端协同的柔性产线机器人学习系统的示意图。
具体实施方式
14.下面结合附图和实施例对本发明的技术方案做进一步的说明。
15.实施例1：参阅图1所示，本实施例提供的一种柔性产线机器人学习方法，主要包括如下步骤：101、对柔性产线机器人操作技能进行采集与标注，建立机器人作业技能库，以实现机器人操作任务的技能化解析与表征。
16.由于柔性产线机器人的复杂操作任务涉及多个工艺步骤、多个不同对象、多种感知-操作模式，可以解析成多个简单技能的组合，以机器人装配任务为例，装配任务可解析为靠近、对准、趋近、搜索、力控、对齐、配合等7种技能组成。为了实现机器人操作任务的自动解析，为此，在本步骤中首先构建机器人复杂操作任务的数据采集与标注系统，从人类演示或与环境交互中获取多模态异构数据，并建立数据可视化与标注界面，使用户专家可对原始数据进行人工标注。然后，为了从复杂操作任务数据中提取出相关技能并进行知识化表达，采用基于深度学习的任务分割与技能识别方法，实现对复杂任务的自动解析，获得多个可学习的技能。最后，通过提取技能之间的逻辑关系与时序关系，构建灵活、层次化、可扩展的技能树，实现柔性产线机器人复杂操作任务的技能化解析与表征。
17.102、基于所述技能化解析与表征，通过机器人操作技能建模与学习方法来获得机器人操作技能模型。
18.在机器人复杂操作任务的技能化解析与表征之后，对单个技能而言，假设通过人工演示获得的标注数据集为，其中是高维输入变量（如位
置、力等）、是高维输出变量（如姿态、刚度等）、是对齐后的时间长度、是样本的数量。区别于传统基于高斯基函数的高维示范轨迹联合建模方法，得到输入与输出的联合概率模型，无法实现高维输入及中间节点的增加。本步骤创新性提出了高维输入变量下基于高效核映射的机器人操作技能建模与学习方法，该方法首先将高维演示轨迹参数化，建立高维输入与输出的对应关系：其中，是对角矩阵、是服从正态分布的权重向量，定义为维的基函数，表示殴几里得空间, 是输入变量与输出变量的非线性函数，表示转置，分别表示为基函数维度、输出变量维度、基函数维度与输出变量维度的乘积；从而，为了揭示多次演示数据间所蕴含的运动特性，建立演示轨迹中输入与输出的概率模型：如果假定高维演示数据的联合概率模型服从高斯分布，那么利用高斯混合回归模型可以得到给定输入变量的前提下输出变量的概率分布，这样仅能实现简单的技能学习，无法对技能进行增加中间节点及终点的调整。对此，本步骤将机器人操作技能学习的目标设计为给定任一次演示轨迹的时刻输入与输出，找到信息量损失最少的轨迹点；那么，针对式所建立概率模型中两项未知参数与的学习问题，采用基于信息论中相对熵模型建立目标函数，最小化信息损失量，实现机器人操作技能的建模，目标函数定义为：其中，表示两个概率分布的相对熵，其数值越小，表明两项分布的差异性越小，分别表示某一时刻及总时长；分别表示时刻的输入与输出变量；表示信息量损失最小的轨迹点；表示对数运算；针对式中未知参数的估计，本步骤将参照核岭回归方法（kernel ridge regression，krr），为了避免技能模型对演示数据学习的
过拟合，将分别对目标函数中的与进行求解，并增加额外的惩罚项。通过利用krr中对偶变换的性质，对未知参数的估计值如下：其中，。同时，为了提高操作技能对人类演示轨迹潜在特性的建模能力以及满足高维输入变量的情况，对式中基函数的运算定义成核函数运算的形式，从而获得技能模型。本步骤所提方法利用高效核映射不仅能够对高维轨迹进行编码，而且可以实现增加中间约束点的自适应调整。
19.103、在虚拟仿真环境中训练机器人操作技能模型，实现机器人操作技能的虚实迁移与衍生，生成操作指令。
20.在实际柔性产线应用中让机器人从零开始学习操作技能需要耗费很大的时间和成本，并且过程的不确定性可能对机器人或人类带来危险。对此，本步骤通过在虚拟仿真环境中训练机器人操作技能模型，然后将技能迁移应用到现实环境, 是解决上述问题的有效途径。本步骤为了提高技能虚实迁移的泛化能力，对仿真训练环境中的物理属性参数和动力学参数进行域随机化，使得机器人在训练过程中适应图像、力、运动、反馈等特征的不确定性，实现机器人操作技能模型的虚实迁移。考虑到已学习技能无法成功完成新任务的情况，设计自适应进化策略，通过对已学习技能参数的微调，实现面向新任务的技能衍生以及操作技能的持续优化。
21.综上，本方法通过对机器人复杂操作任务进行技能化表征、学习、迁移与衍生等操作，以学习的方式赋予机器人具备一定自主决策与学习的能力，无需对每个任务进行繁复调试与编程，大幅度提升编程效率及任务适应性。
22.实施例2：参阅图2所示，本实施例提供的云边端协同的柔性产线机器人学习系统，主要包括云端、边端。
23.该边端（即边缘设备）用于对机器人操作技能进行采集与标注，建立机器人作业技能库，以实现机器人操作任务的技能化自动解析与表征，起到智能感知运动规划、技能重构、任务决策等作用。柔性产线机器人的复杂操作任务涉及多个工艺步骤、多个不同对象、多种感知-操作模式，可以解析成多个简单技能的组合，以机器人装配任务为例，装配任务可解析为靠近、对准、趋近、搜索、力控、对齐、配合等7种技能组成。为了实现机器人操作任务的自动解析，首先在边端上构建机器人复杂操作任务的数据采集与标注系统，从人类演示或与环境交互中获取多模态异构数据，并建立数据可视化与标注界面，使用户专家可对原始数据进行人工标注；然后，为了从复杂操作任务数据中提取出相关技能并进行知识化表达，采用基于深度学习的任务分割与技能识别方法，实现对复杂任务的自动解析，获得多个可学习的技能。最后，通过提取技能之间的逻辑关系与时序关系，构建灵活、层次化、可扩展的技能树，实现柔性产线机器人复杂操作任务的技能化解析与表征。
24.该云端（即云平台）具有高性能计算、数据库、技能学习算法、技能模型存储，基于
技能化解析与表征，通过机器人操作技能建模与学习方法来获得机器人操作技能模型，获得机器人操作技能模型。在机器人复杂操作任务的技能化解析与表征之后，对单个技能而言，假设通过人工演示获得的标注数据集为，其中是高维输入变量（如位置、力等）、是高维输出变量（如姿态、刚度等）、是对齐后的时间长度、是样本的数量。区别于传统基于高斯基函数的高维示范轨迹联合建模方法，得到输入与输出的联合概率模型，无法实现高维输入及中间节点的增加。云端所存储的学习算法上为高维输入变量下基于高效核映射的机器人操作技能建模与学习方法，该方法首先将高维演示轨迹参数化，建立高维输入与输出的对应关系：其中，是对角矩阵、是服从正态分布的权重向量，定义为维的基函数。从而，为了揭示多次演示数据间所蕴含的运动特性，建立演示轨迹中输入与输出的概率模型：如果假定高维演示数据的联合概率模型服从高斯分布，那么利用高斯混合回归模型可以得到给定输入变量的前提下输出变量的概率分布，这样仅能实现简单的技能学习，无法对技能进行增加中间节点及终点的调整。对此，将机器人操作技能学习的目标设计为给定任一次演示轨迹的时刻输入与输出，找到信息量损失最少的轨迹点；那么，针对式所建立概率模型中两项未知参数与的学习问题，采用基于信息论中相对熵模型建立目标函数，最小化信息损失量，实现机器人操作技能的建模，目标函数定义为其中，表示两个概率分布的相对熵，其数值越小，表明两项分布的差异性越小。针对式中未知参数的估计，将参照核岭回归方法（kernel ridge regression，krr），为了避免技能模型对演示数据学习的过拟合，将分别对目标函数中的与进行求解，并增加额外的惩罚项。通过利用krr中对偶变换的性质，对未知参数的估计值如下
其中，。同时，为了提高操作技能对人类演示轨迹潜在特性的建模能力以及满足高维输入变量的情况，对式中基函数的运算定义成核函数运算的形式，从而获得技能模型。云端上的技能学习算法利用高效核映射不仅能够对高维轨迹进行编码，而且可以实现增加中间约束点的自适应调整。
25.在实际柔性产线应用中让机器人从零开始学习操作技能需要耗费很大的时间和成本，并且过程的不确定性可能对机器人或人类带来危险。对此，在该边端中设置有仿真训练平台，在仿真训练平台的虚拟仿真环境中训练机器人操作技能模型，以进行机器人操作技能的虚实迁移与衍生，生成操作指令，在机器人终端则接收该操作指令，完成实时的操作与控制处理，实现机器人更经济、有效的部署。此外，为了提高技能虚实迁移的泛化能力，对仿真训练环境中的物理属性参数和动力学参数进行域随机化，使得机器人在训练过程中适应图像、力、运动、反馈等特征的不确定性，实现机器人操作技能模型的虚实迁移。考虑到已学习技能无法成功完成新任务的情况，设计自适应进化策略，通过对已学习技能参数的微调，实现面向新任务的技能衍生以及操作技能的持续优化。
26.由此可见，本系统采用“云
‑ꢀ
边
‑ꢀ
端”协同计算的架构，在云平台上可提供高性能计算以及通用知识的存储，在边缘设备上可进行数据的有效处理和算力支持，在机器人终端上完成实时的操作与控制处理，实现机器人更经济、有效的部署。同时，利用5g 通信和互联网技术将多个机器人进行无缝连接，使生产制造更加扁平化、定制化、智能化，实现数据共享、敏捷互联、应用云化、智慧决策，实现柔性产线机器人快速编程。
27.上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所做出的等效的变化或修饰，都应涵盖在本发明的保护范围内。