一种机器人协同作业可视化仿真示教系统和方法与流程

1.本发明涉及虚拟示教技术领域，具体涉及一种机器人协同作业可视化仿真示教系统和方法。


背景技术：

2.实现智能制造的前提是实现数字-物理空间的精准信息映射，这离不开数字孪生技术的应用和虚拟调试技术的支持。虚拟模型能对物理实体的行为和特征进行仿真和测试，并将优化后的信息反馈给物理世界，实现数字-物理空间的信息交互。在实际应用时，系统会根据不同需求采用工业机器人手持工具或手持工件两种方式实现，有时因为空间限制或成本限制，一个工业机器人工位需要完成多个工序功能，这就要求工业机器人配合快速更换工具实现多种末端执行器自动切换。并且对于自动化装配生产线需要对生产线上的多个机器人进行协同作业，完成产品从上料、加工、装配等一系列操作。
3.工业机器人通常由用户通过示教器执行预定的动作，并实时显示工业机器人的仿真图像以辅助用户对工业机器人的操作。但是在多机器人协同作业的场景中，会出现产品报废和作业碰撞等问题，为了保证机器人实际作业中的安全性，需要对机器人进行仿真模拟，通过调试达到预设的运行条件再生成每个机器人的控制代码，最后完成真实场景下的协同作业。现有的机器人仿真示教系统对虚实信号的交互以及设备的控制需要通过便携脚本的方式实现，缺乏简单易操作的操作界面，交互性和通用性较差，仿真系统中缺乏完成的工业机器人模型库，不利于对系统进行二次开发和扩展。
4.因此，需要一种机器人协同作业示教系统和方法，能够通过在虚拟示教系统中调用多种机器人的模型构建与真实环境一致的虚拟环境，通过对机器人的动作轨迹进行规划，使多个机器人完成协同作业，满足自动化生产线运行场景，以解决以上现有技术中存在的问题。


技术实现要素：

5.鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种机器人协同作业可视化仿真示教系统和方法。
6.根据本发明的一个方面，提供一种机器人协同作业可视化仿真示教系统，包括图形化编程模块、机器人运动控制模块和三维模型展示模块，其中，图形化编程模块可以对机器人图形化程序控制指令进行选择、拖拽和连接并接收用户在交互界面输入的机器人运行参数；机器人运动控制模块可以根据用户输入的机器人运行参数对机器人末端的运动轨迹和机器人姿态进行控制；机器人三维模型展示模块可以以三维动画方式对机器人模型的运动轨迹和姿态进行显示，并显示多个机器人协同作业时的运动轨迹。
7.本发明提供的虚拟示教系统能够对机器人进行图形化编程，无需手动输入指令，通过对机器人运动轨迹和姿态进行仿真编程，便于实时显示和调整机器人轨迹和姿态，通过存储和执行手动移动机器人获得示教点，实现机器人示教任务和运动仿真。
8.可选地，在根据本发明的示教系统中，图形化编程模块可以包括模型库单元，图形库单元、编辑单元、参数设置单元，其中，模型库单元提供多个品牌和型号的工业机器人三维模型，图形库单元用于存储图形化程序，编辑单元可以在同一三维环境下导入多个不同的工业机器人，并通过对所述图形化程序进行选择和拖拽对每一个工业机器人进行轨迹和姿态编程；参数设置单元适于对机器人运行参数进行设置，所述运行参数包括位置、姿态、速度、加速度等。
9.通过导入多个品牌和型号的机器人模型，并采用通用化空间正逆解算算法真实仿真机器人运动过程，可以简化机器人编程过程，统一编程接口，提高应用效率。
10.可选地，在根据本发明的示教系统中，图形化编程模块还包括多个预设的工艺包，包括坐标变换工艺包、搬运码垛工艺包、打孔工艺包和数控加工工艺包等，其中，坐标变换工艺包适于通过多点智能匹配算法实现虚拟设计环境与真实应用环境的坐标变换；所述搬运码垛工艺包适于真实还原机器人抓取物料搬运并摆放的工艺过程；所述打孔工艺包适于利用点云数据生成打孔轨迹；所述数控加工工艺包适于通过g代码文件生成数控加工轨迹，完成复杂轮廓轨迹或立体模型雕刻。
11.通过预先设置多个工艺包，可以简化编程过程，满足不同的应用场景。
12.可选地，在根据本发明的示教系统中，交互界面至少包括登录界面、机器人运动场景界面、图形化编程界面、系统设置界面、日志记录界面、外设功能扩展界面，所述机器人运动场景界面至少包括机器人三维模型、机器人运动场景、位姿状态栏和手动控制功能，所述系统设置界面设置有开关机按键、工作模式选择按键、键盘输入按键、程序运行按键，所述日志记录界面适于对系统中的文件执行备份、打开、保存、列表、删除的操作，所述外设功能扩展界面适于添加插件增加用户自定义功能。
13.可选地，在根据本发明的示教系统中，机器人运动控制仿真模块包括轨迹关联单元，轨迹关联单元可以将多个机器人的运动轨迹进行关联，将机器人运动轨迹与工具和工件关联，以便对多个机器人进行联动控制仿真以及对同一机器人不同工具间的轨迹进行匹配。
14.通过轨迹关联能够在虚拟环境中对机器人的工作空间进行碰撞检查，避免发生碰撞危险，也可以直观地验证多个机器人配合的情况下轨迹的复现效果，提高程序调试效率，缩短设备停机时间。
15.可选地，在根据本发明的示教系统中，机器人运动控制仿真模块设置有轨迹优化单元、碰撞检测单元，碰撞检测单元可以检查图形化编程模块的编程结果在仿真运行过程中模型之间的碰撞，轨迹优化单元可以对机器人的可达性、姿态奇异点和轴超限进行检查，以提示用户对机器人的轨迹进行调整。
16.通过碰撞检查和轨迹优化，可以对轨迹进行调整，避免实际运行中的无故停机，提高调试效率。
17.可选地，在根据本发明的示教系统中，系统提供模型文件接口，以便用户通过模型文件接口导入在不同软件中建立的真实的工作环境或cad图纸。可以基于cad模型，通过实体模型、曲面或曲线直接生成运动轨迹，简化轨迹生成步骤，提高轨迹精度。
18.根据本发明的另一个方面，提供一种机器人协同作业可视化仿真示教方法，包括：根据实际自动化生产线进行建模和参数设置，构建与真实机器人对应的机器人三维模型以
及与真实生产线场景对应的虚拟生产线场景；导入机器人三维模型和虚拟生产线场景，根据不同机器人的作业任务，设计机器人三维模型的运动轨迹和姿态，使机器人三维模型运动到虚拟场景中的目标示教点，以实现机器人模型与虚拟生产线场景中对象的交互，所述对象包括末端工具和工件；对机器人三维模型、变位机和快换工具之间的运动轨迹进行联动仿真，并对运动轨迹进行碰撞检查和优化，最终生成用于控制真实机器人的运动代码文件；将所述运动代码文件发送到真实机器人的控制器，以便通过所述控制器驱动真实机器人执行预设的动作。
19.根据本发明的方案，通过构建与机器人生产线对应的虚拟生产线场景，对机器人三维模型的运动轨迹、姿态和联动控制进行仿真和优化调整，能够提高真实生产场景下工业机器人协同动作的准确性和安全性；通过虚拟示教系统中提供的图形化控制指令和可视化三维界面，能够提高机器人调试的效率。
20.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
21.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本发明一个实施例的机器人协同作业可视化仿真示教系统100的结构示意图；图2示出了根据本发明一个实施例的机器人协同作业可视化仿真示教方法200的流程示意图。
具体实施方式
22.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
23.为了使机器人完成预设的动作，需要事先指定机器人在作业过程中的位置和姿态，这个过程就是机器人的示教。机器人的示教有手持示教器示教盒离线编程示教两种方式，为了使学生掌握多种机器人的操作和编程方法，通常采用机器人仿真软件辅助机器人教学，这样不仅可以满足对多种机器人的学习需求，又可以避免误操作对设备造成的损坏。现有的机器人示教器编程过程复杂，一定程度上增加了机器人的使用成本降低了机器人的工作效率。本方案提供一种机器人协同作业仿真示教系统，集成计算机三维实体显示、智能轨迹优化、运动控制代码生成等技术，能够对复杂轨迹进行高精度生成和再现，缩短了工业机器人的停机调试时间，并且达到交互效果。该系统是工业机器人生产线系统的人机交互工具，操作人员可以在系统提供的人机交互界面查看或更改机器人的位姿、速度、加速度、运行模式等运行参数，人机交互界面包括按键功能模块和显示面板功能模块，按键功能模
块可以包括开关机按键、工作模式选择按键、键盘输入按键等，显示面板功能模块可以包括文件菜单、状态显示编辑提示功能、零点标定等。系统界面可以包括登录界面、机器人运动场景界面、示教编程界面、系统设置界面、日志记录界面、外设功能扩展界面等。机器人运动场景界面可以包括机器人三维模型、机器人运动场景、位姿状态栏、手动控制等。
24.图1示出了根据本发明一个实施例的机器人协同作业可视化仿真示教系统100的结构示意图。如图1所示，该系统100包括图形化编程模块110、机器人运动控制模块120和三维模型展示模块130，其中，图形化编程模块可以对机器人图形化程序控制指令进行选择、拖拽和连接并接收用户在交互界面输入的机器人运行参数，无需手动输入指令，可以单步执行程序，还可以对机器人的运动轨迹进行记录和播放；机器人运动控制模块120可以根据用户输入的运行参数对机器人末端的运动轨迹和机器人姿态进行规划和调整；三维模型展示模块可以以三维动画方式对机器人模型的运动轨迹和姿态进行显示，并显示多个机器人协同作业时的运动轨迹，能够对用户的操作进行反馈达到交互效果。该仿真示教系统能够在计算机上完成轨迹设计、规划、运动仿真、碰撞检查、姿态优化，最后直接生成工业机器人控制器所需的执行代码。
25.在本发明的一个实施例中，图形化编程模块110可以包括模型库单元，图形库单元、编辑单元、参数设置单元，其中，模型库单元可以提供多个品牌的工业机器人三维模型，例如ics-ops-art工业机器人、aubo机器人、kuka、abb、staubli、广州数控、新时达等品牌工业机器人模型等，可以将机器人三维模型导入模型库单元中进行存储，以便在仿真过程中直接调用。图形库单元可以存储图形化程序。编辑单元可以在同一三维环境下导入多个不同的工业机器人，并通过对图形化程序进行选择和拖拽对工业机器人进行轨迹编程。其中，工业机器人的轨迹设计可以基于cad模型数据，通过实体模型、曲面或曲线直接生成运动轨迹，简化轨迹生成步骤，提高轨迹精度。系统可以提供模型文件接口，以便用户通过模型文件接口导入在不同软件中建立的真实的工作环境或cad图纸。参数设置单元可以对机器人运行参数进行设置，运行参数包括位置、姿态、速度、加速度等。可以采用通用化空间正逆解算算法真实仿真机器人运动过程，可以简化程序编译过程，统一编程接口，提高应用效率。
26.为了满足工业机器人不同工艺应用需求，该示教系统的图形化编程模块110还提供了多个工艺包，工艺包包括坐标变换工艺包、搬运码垛工艺包、打孔工艺包和数控加工工艺包。可以利用坐标变换工艺包，根据需求自定义工具模型和坐标参数，通过多点智能匹配算法可实现虚拟设计环境与真实应用环境的坐标变换，在轨迹轮廓不变的情况下对所有标志点进行变换，提高适应性；可利用搬运码垛工艺包真实还原工业机器人抓取物料搬运并摆放的整个工艺过程，避免与环境中其他设备的碰撞；利用打孔工艺包中的点云数据直接生成打孔轨迹，简化轨迹编程过程；利用数控加工工艺包中的cam软件生成数控加工轨迹，完成复杂轮廓轨迹或立体模型雕刻。
27.该示教系统的交互界面可以包括登录界面、机器人运动场景界面、图形化编程界面、系统设置界面、日志记录界面、外设功能扩展界面等，其中，机器人运动场景界面可以包括机器人三维模型、机器人运动场景、位姿状态栏和手动控制功能等，系统设置界面设置有开关机按键、工作模式选择按键、键盘输入按键、程序运行按键，日志记录界面可以对系统中的文件执行备份、打开、保存、列表、删除的操作，外设功能扩展界面适于添加插件增加用户自定义功能，便于二次开发。
28.在实际生产应用中，同一工位处通常需要多个机器人互相配合完成预设的加工动作，有时甚至需要两到三个机器人联动完成复杂空间轨迹的动作，这使得机器人之间容易发生碰撞等危险，在本发明提供的示教系统中，机器人运动控制仿真模块包括轨迹关联单元，轨迹关联单元可以将多个机器人的运动轨迹进行关联，将机器人运动轨迹与工具和工件关联，以便对多个机器人进行联动控制仿真以及对同一机器人不同工具间的轨迹进行匹配。可以在同一三维环境下导入多个不同品牌、不同型号的工业机器人，并对每个工业机器人进行轨迹编程。可以实现多个机器人之间轨迹的联动控制，从而在虚拟环境下对工业机器人的工作空间进行碰撞检查，避免危险发生，同时可以直观地验证多个机器人配合情况下轨迹的复现效果，提高程序调试效率。
29.在自动化生产线中，由于空间成本等因素限制，经常会要求一种类型的工业机器人完成多种工艺过程，如搬运装配结合、电焊抓取结合、装配检测结合等，这使得机器人能够自动更换末端执行器。本方案通过轨迹关联技术实现同一工业机器人不同工具之间的轨迹匹配，能够完全模拟真实快换工具的应用方式。同时，针对快换动作特点，提供抓取、放回工具的快捷工具，能够提高编程和应用效率。并且为了使工业机器人配合快速更换工具实现多种末端执行器自动替换，将轨迹仅与工件和工具关联，可以实现手持工具和手持工件两种轨迹编程模式自由切换，并对多个工序一次实现，充分模拟真实应用效果。
30.机器人运动控制仿真模块设置有轨迹优化单元、碰撞检测单元，碰撞检测单元可以检查图形化编程模块的编程结果在仿真运行过程中模型之间的碰撞，轨迹优化单元可以对机器人的可达性、姿态奇异点和轴超限进行检查，以提示用户对机器人的轨迹进行调整。利用仿真实时碰撞检查工具可以检查编程结果在仿真运行过程中模型间的碰撞，防止真实应用场景下发生危险。利用轨迹分析工具可以对工业机器人的可达性、姿态奇异点和轴超限进行检查，以提示设计人员对轨迹进行调整，避免实际运行中的无故停机，提高调试效率。利用可视化界面实现复杂轨迹的优化调整，规避不可达点、姿态奇异点和轴超限点，简化轨迹优化操作过程。
31.为了提高工业机器人的工作范围，本方案将轨迹与机器人在几何关系上解耦，实现了机器人动态实时跟踪轨迹运动仿真，不论机器人运动到任何位置都能准确定位到目标轨迹点。在焊接应用过程中，由于焊接零件的尺寸及焊缝轨迹的要求，经常需要工业机器人配合变位机实现单工位下多个焊接工序的加工过程。当需要应对贯穿线等复杂轨迹加工时，需要工业机器人与变位机联动完成，及加工过程中工业机器人和变位机同时运动。本方案通过了单轴l型、单轴h型、单轴转盘型、双轴等不同形式的变位机，便于不同应用工况下的快速部署和应用。
32.图2示出根据本发明一个实施例的机器人协同作业可视化仿真示教方法200的流程示意图。如图2所示，该方法始于步骤s210，根据实际自动化生产线进行建模和参数设置，构建与真实机器人对应的机器人三维模型以及与真实生产线场景对应的虚拟生产线场景。例如，对于汽车自动化装配生产线可以构建车身出库、车身电焊打磨、发动机装配、机盖装配、轮胎拆垛装配、车门冲压、挡风玻璃涂胶、整车入库等一体化生产场景，并确定各个执行单元所需的机器人的类型和型号。
33.然后执行步骤s220，导入机器人三维模型和虚拟生产线场景，根据不同机器人的作业任务，设计机器人三维模型的运动轨迹和姿态，使机器人三维模型运动到虚拟场景中
的目标示教点，以实现机器人模型与虚拟生产线场景中末端工具和工件的交互。
34.随后执行步骤s230，对机器人三维模型、变位机和快换工具之间的运动轨迹进行联动仿真，并对运动轨迹进行碰撞检查和优化，最终生成用于控制真实机器人的运动代码文件。在编程过程中，可以利用实时碰撞检测工具检查编程结果在仿真运行过程中机器人模型间的碰撞；利用轨迹分析工具对机器人的可达性、姿态奇异点和轴超限进行检查，以便及时对机器人轨迹和姿态进行调整。
35.最后执行步骤s240，将运动代码文件发送到真实机器人的控制器，以便通过控制器驱动真实机器人执行预设的动作。
36.本发明提供的系统使工业机器人能够完成复杂轨迹的高精度生成和再现，通过在计算机上完成轨迹设计和规划、运动仿真、碰撞检查、姿态优化，生成机器人控制器所需的执行代码，缩短了机器人的停机调试时间。
37.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
38.类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
39.本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
40.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
41.此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
42.此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法
元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
43.如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
44.尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。
45.因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。