一种机器人系统下预处理的方法及系统与流程

本发明涉及机器人技术领域，具体涉及一种机器人系统下预处理的方法及系统。

背景技术：

随着机器人技术的不断发展，越来越多的机器人开始替代人类执行各种任务。机器人是自动控制机器(robot)的俗称，自动控制机器包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗，机器猫等)。狭义上对机器人的定义还有很多分类法及争议，有些电脑程序甚至也被称为机器人。在当代工业中，机器人指能自动执行任务的人造机器装置，用以取代或协助人类工作。理想中的高仿真机器人是高级整合控制论、机械电子、计算机与人工智能、材料学和仿生学的产物，目前科学界正在向此方向研究开发，但是机器人远程控制还不完善，大数据的应用还没有普及，机器人的数据采集还处于离线状态，机器人深度学习也来自于本机数据的储存。

工业机器人是面向工业领域的多关节机械手或多自由度的机器装置，它能自动执行工作，是靠自身动力和控制能力来实现各种功能的一种机器。它可以接受人类指挥，也可以按照预先编排的程序运行，现代的工业机器人还可以根据人工智能技术制定的原则纲领行动。

工业机器人与机器视觉结合已经应用于各种工业自动化生产过程中，但针对机器视觉如何实现基于预处理机制来检验工业机器人是否正常工作，是否涉及到对整个工业机器人系统的调整，需要针对现有的工业机器人系统提出一种合适于控制的方法和系统才可以实现。

技术实现要素：

本发明提供了一种机器人系统下预处理的方法及系统，通过预处理机制触发视觉控制器和工业机器人同时工作，采用相应的预处理机制判断出工业机器人属于正常作业状态，保障后续操作对象的操作对象无误。

本发明提供了一种机器人系统下预处理的方法，所述工业机器人系统包括：工业机器人、以及位于工业机器人上的视觉控制器、以及控制系统，所述控制系统包括以太网模块、触摸屏、处理器、其他模块和plc模块，所述控制系统基于以太网模块与所述视觉控制器连接，所述控制系统基于plc模块与工业机器人连接，所述方法包括：

控制系统基于plc模块向位于工业机器人上的视觉控制器和工业机器人发送预处理指令，所述预处理指令用于触发视觉控制器和工业机器人同时进行工作；

视觉控制器基于所述控制命令基于视觉控制器上的摄像头在预处理指令中的预设时间内拍摄工业机器人操作对象的操作图像，使用深度学习算法训练专用神经网络模型提取出操作对象在操作图像中的位置、姿态；

判断所述操作图像中的操作对象位置、姿态是否与模型库中的背景图像存在动作差异，并将所述存在动作差异的操作图像基于以太网模块发送至控制系统中的处理器；

控制系统中的处理器收到所述操作图像之后，基于触摸屏向用户显示所述操作图像；

基于触摸屏接收用户所触发的用户指令；

控制系统基于所述用户指令向所述工业机器人发送控制调整指令；

所述工业机器人基于所述控制调整指令在视觉控制器的作用下调整至与模型库中的背景图像相一致的操作过程。

所述方法还包括：

在判断所述操作图像中的操作对象位置、姿态与模型库中的背景图像未存在动作差异，则基于plc模块向触摸屏显示操作正常的显示信息。

所述方法还包括：

控制系统基于plc模块向所述工业机器人发送操作指令；

所述工业工业机器人基于所述操作指令完成相应的操作。

所述控制系统中的处理器收到所述操作图像之后，基于触摸屏向用户显示所述操作图像包括：

基于所述操作图像进行位置和姿态相似度分析，并基于位置和姿态匹配出相似度百分比图；

将所述操作图像和所述操作图像所对应的位置和姿态的相似度百分比图基于触摸屏向用户显示。

所述工业机器人基于所述控制调整指令在视觉控制器的作用下调整至与模型库中的背景图像相一致的操作过程包括：

基于触摸屏接收用户基于所述相似度百分比所触发的用户指令；

控制系统基于所述用户指令将所述存在动作差异的操作图像存在控制系统中的存储模块中。

所述方法还包括：

plc模块对触摸屏上所触发的控制指令进行数据分析处理，向工业机器人发送相应的指令信息，工业机器人根据触控状态变换所转换的指令信息执行相应步骤；

工业机器人在执行完毕后向plc模块发送完成信号，等待plc模块返回信号后再发出进一步的响应指令。

所述深度学习算法采用随机梯度下降法。

所述专用神经网络模型采用卷积神经网络模型alexnet网络模型。

相应的，本发明还提供了一种机器人控制系统，所述工业机器人系统包括：工业机器人、以及位于工业机器人上的视觉控制器、以及控制系统，所述控制系统包括以太网模块、触摸屏、处理器、其他模块和plc模块，所述控制系统基于以太网模块与所述视觉控制器连接，所述控制系统基于plc模块与工业机器人连接，所述工业机器人控制系统执行以上所述的方法。

在本发明中，控制系统基于plc模块与视觉控制器、以及各个模块间实现交互，扩展了plc模块在控制系统上各种功能性接口，本发明实施例中采用plc模块与触摸屏执行工业机器人操作系统，在触摸屏界面可以对工业机器人相关参数进行设置及监视其运行情况，操作更人性化，适应物件频繁变化的工作需求。采用模块化编程方法，易于调用，编程逻辑清晰，各功能模块相对独立，同样的i/o接口可以赋予不同的作用，减少接线，提高利用率，提高系统运行的稳定性。视觉控制器在收到控制系统的预处理指令之后，可以基于相应的神经网络模型快速提取出操作对象的关键帧图像，从而实现差异化动作检测过程，并可以基于plc模块快速向触摸屏反馈关键帧图像内容，从而可针对工业机器人上预处理过程中提供操作对象的动作差异化分析，从而实现操作对象前的调整过程，保障后续整个控制系统能适应性控制整个机器人系统的操作内容。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的机器人控制系统结构示意图；

图2是本发明实施例中的机器人系统下预处理的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实时例中的机器人系统下预处理的方法，所述工业机器人系统包括：工业机器人、以及位于工业机器人上的视觉控制器、以及控制系统，所述控制系统包括以太网模块、触摸屏、处理器、其他模块和plc模块，所述控制系统基于以太网模块与所述视觉控制器连接，所述控制系统基于plc模块与工业机器人连接，所述方法包括：控制系统基于plc模块向位于工业机器人上的视觉控制器和工业机器人发送预处理指令，所述预处理指令用于触发视觉控制器和工业机器人同时进行工作；视觉控制器基于所述控制命令基于视觉控制器上的摄像头在预处理指令中的预设时间内拍摄工业机器人操作对象的操作图像，使用深度学习算法训练专用神经网络模型提取出操作对象在操作图像中的位置、姿态；判断所述操作图像中的操作对象位置、姿态是否与模型库中的背景图像存在动作差异，并将所述存在动作差异的操作图像基于以太网模块发送至控制系统中的处理器；控制系统中的处理器收到所述操作图像之后，基于触摸屏向用户显示所述操作图像；基于触摸屏接收用户所触发的用户指令；控制系统基于所述用户指令向所述工业机器人发送控制调整指令；所述工业机器人基于所述控制调整指令在视觉控制器的作用下调整至与模型库中的背景图像相一致的操作过程。

图1示出了本发明实施例中的机器人系统下预处理的方法，所述工业机器人系统包括：工业机器人、以及位于工业机器人上的视觉控制器、以及控制系统，所述控制系统包括以太网模块、触摸屏、处理器、其他模块和plc模块，所述控制系统基于以太网模块与所述视觉控制器连接，所述控制系统基于plc模块与工业机器人连接。

这里的控制系统基于plc模块向位于工业机器人上的视觉控制器和工业机器人发送预处理指令，所述预处理指令用于触发视觉控制器和工业机器人同时进行工作。

这里的视觉控制器基于所述控制命令基于视觉控制器上的摄像头在预处理指令中的预设时间内拍摄工业机器人操作对象的操作图像，使用深度学习算法训练专用神经网络模型提取出操作对象在操作图像中的位置、姿态；判断所述操作图像中的操作对象位置、姿态是否与模型库中的背景图像存在动作差异，并将所述存在动作差异的操作图像基于以太网模块发送至控制系统中的处理器；

这里的控制系统中的处理器收到所述操作图像之后，基于触摸屏向用户显示所述操作图像；控制系统基于触摸屏接收用户所触发的用户指令；控制系统基于所述用户指令向所述工业机器人发送控制调整指令。

这里的工业机器人基于所述控制调整指令在视觉控制器的作用下调整至与模型库中的背景图像相一致的操作过程。

该视觉控制器在判断所述操作图像中的操作对象位置、姿态与模型库中的背景图像未存在动作差异，则基于plc模块向触摸屏显示操作正常的显示信息。

该控制系统基于plc模块向所述工业机器人发送操作指令；所述工业工业机器人基于所述操作指令完成相应的操作。

该控制系统基于所述操作图像进行位置和姿态相似度分析，并基于位置和姿态匹配出相似度百分比图；将所述操作图像和所述操作图像所对应的位置和姿态的相似度百分比图基于触摸屏向用户显示。

该控制系统基于触摸屏接收用户基于所述相似度百分比所触发的用户指令；控制系统基于所述用户指令将所述存在动作差异的操作图像存在控制系统中的存储模块中。

该控制系统中的plc模块对触摸屏上所触发的控制指令进行数据分析处理，向工业机器人发送相应的指令信息，工业机器人根据触控状态变换所转换的指令信息执行相应步骤；工业机器人在执行完毕后向plc模块发送完成信号，等待plc模块返回信号后再发出进一步的响应指令。

具体的，图2示出了本发明实施例中的机器人系统下预处理的方法流程图，工业机器人系统包括：工业机器人、以及位于工业机器人上的视觉控制器、以及控制系统，所述控制系统包括以太网模块、触摸屏、处理器、其他模块和plc模块，所述控制系统基于以太网模块与所述视觉控制器连接，所述控制系统基于plc模块与工业机器人连接，具体步骤如下：

s201、控制系统基于plc模块向位于工业机器人上的视觉控制器和工业机器人发送预处理指令，所述预处理指令用于触发视觉控制器和工业机器人同时进行工作；

s202、视觉控制器基于所述控制命令基于视觉控制器上的摄像头在预处理指令中的预设时间内拍摄工业机器人操作对象的操作图像，使用深度学习算法训练专用神经网络模型提取出操作对象在操作图像中的位置、姿态；

需要说明的是，该预设时间一般为秒为单位，其预设时间为0s到30s之间的取值，该预设时间可以由用户基于用户界面来设置完成。

需要说明的是，这里的深度学习算法采用随机梯度下降法；这里的专用神经网络模型采用卷积神经网络模型alexnet网络模型。

s203、判断所述操作图像中的操作对象位置、姿态是否与模型库中的背景图像存在动作差异，若存在动作差异则进入s204，否则进入s208；

s204、将所述存在动作差异的操作图像基于以太网模块发送至控制系统中的处理器；

具体实施过程中，基于所述操作图像进行位置和姿态相似度分析，并基于位置和姿态匹配出相似度百分比图；将所述操作图像和所述操作图像所对应的位置和姿态的相似度百分比图基于触摸屏向用户显示。

s205、控制系统中的处理器收到所述操作图像之后，基于触摸屏向用户显示所述操作图像；

s206、基于触摸屏接收用户所触发的用户指令；

s207、控制系统基于所述用户指令向所述工业机器人发送控制调整指令；

s208、所述工业机器人基于所述控制调整指令在视觉控制器的作用下调整至与模型库中的背景图像相一致的操作过程；

这里的工业机器人基于所述控制调整指令在视觉控制器的作用下调整至与模型库中的背景图像相一致的操作过程包括：基于触摸屏接收用户基于所述相似度百分比所触发的用户指令；控制系统基于所述用户指令将所述存在动作差异的操作图像存在控制系统中的存储模块中。

s209、在判断所述操作图像中的操作对象位置、姿态与模型库中的背景图像未存在动作差异，则基于plc模块向触摸屏显示操作正常的显示信息；

s210、控制系统基于plc模块向所述工业机器人发送操作指令；

s211、所述工业工业机器人基于所述操作指令完成相应的操作。

具体实施过程中，plc模块对触摸屏上所触发的控制指令进行数据分析处理，向工业机器人发送相应的指令信息，工业机器人根据触控状态变换所转换的指令信息执行相应步骤；工业机器人在执行完毕后向plc模块发送完成信号，等待plc模块返回信号后再发出进一步的响应指令。

该方法采用预处理机制判断工业机器人所处的作业模式是否正确，在视觉控制器匹配出相一致的情况下，才实现整个控制过程，而对未匹配出相一致的情况下，还需要在预处理阶段继续调整整个工业机器人的调整过程，使之达到相一致的状态下，才实现正常作业过程。整个视觉控制器采集、标准、训练和识别整合在一起，降低了系统复杂度，现场部署的难度，便利的为工业机器人加入视觉识别能力，降低了为工业机器人配套机器视觉产品在操作对象模式下的识别、位置检测的运用难度。使用电信的卷积神经网络模型作为视觉控制器的主要识别算法，具有更高的准确性和更好的鲁棒性。本发明所涉及的深度学习算法使用随机梯度下降法，随机梯度下降法每次迭代从训练集中随机选择一个样本来进行学习，具有运算量小、训练收敛快的优点，可以在较短时间内对神经网络模型的训练收敛。采用关键帧提取的方式实现视频帧数据流中的某些关键图像的提取，也减少后续控制系统的处理数据量，减少信息流的臃肿。

实施本发明实施例，控制系统基于plc模块与视觉控制器、以及各个模块间实现交互，扩展了plc模块在控制系统上各种功能性接口，本发明实施例中采用plc模块与触摸屏执行工业机器人操作系统，在触摸屏界面可以对工业机器人相关参数进行设置及监视其运行情况，操作更人性化，适应物件频繁变化的工作需求。采用模块化编程方法，易于调用，编程逻辑清晰，各功能模块相对独立，同样的i/o接口可以赋予不同的作用，减少接线，提高利用率，提高系统运行的稳定性。视觉控制器在收到控制系统的预处理指令之后，可以基于相应的神经网络模型快速提取出操作对象的关键帧图像，从而实现差异化动作检测过程，并可以基于plc模块快速向触摸屏反馈关键帧图像内容，从而可针对工业机器人上预处理过程中提供操作对象的动作差异化分析，从而实现操作对象前的调整过程，保障后续整个控制系统能适应性控制整个机器人系统的操作内容。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

以上对本发明实施例所提供的机器人系统下预处理的方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。