一种分拣模型生成方法与流程

本发明涉及的是一种工业机器人领域的技术，具体是一种机器人抓取有标签数据自动生成方法。

背景技术：

深度学习技术在机器人领域有着广泛的应用，但需要大量有标记的图像数据用于深度学习训练。原因在于，在强标签的深度学习技术框架下，有标签数据量越大，质量越好，算法模型就表现的越好。

然而在机器人领域，特别是在机器人抓取领域，缺少像计算机视觉领域的大规模有标签数据集。在这种情况下，极度依赖人工标记抓取区域或者抓取位姿，需要消耗大量人力来标签数据(标签图像)，这不仅降低了深度学习在机器人领域应用的效率，也降低了工业机器人抓取算法的更新速度。

在不依赖数据的传统抓取规划方法中，基于几何驱动的抓取规划大多在仿真环境中针对确定性物体采用力封闭、形封闭等方法计算抓取位置或可抓取姿态。

技术实现要素：

本发明针对现有技术存在的上述不足，提出一种机器人抓取有标签数据自动生成方法，能够生成大量的用于机器人深度学习的标签图像，从而不需要进行人工标记，进一步提高了深度学习在机器人中的应用效率以及减少了迭代时间。

本发明是通过以下技术方案实现的：

本发明涉及一种机器人抓取有标签数据自动生成方法，其中，预设一机器人分拣系统和一与所述机器人分拣系统相对应的仿真分拣系统，根据所述机器人分拣系统和所述仿真分拣系统生成多个标签图形，并根据所述标签图形训练一用于分拣物体的分拣模型；

所述标签图像生成方法包括以下步骤：

步骤s1，通过所述仿真分拣系统获得待抓物体的有抓取标签的仿真图像，所述抓取标签为所述待抓物体的可抓取区域；

步骤s2，通过所述机器人分拣系统获得所述待抓物体的真实图像；

所述步骤s1和所述步骤s2不分先后；

步骤s3，根据所述仿真图像和所述真实图像训练获得一对抗网络；

步骤s4，所述对抗网络根据具有所述抓取标签的所述仿真图像生成机器人的训练用的所述标签图像。

优选的，该机器人抓取有标签数据自动生成方法，其中，所述机器人分拣系统包括：

工业机器人，所述工业机器人的端部设有一可更换抓手；

摄像头，用于获得所述待抓物体的真实图像。

优选的，该机器人抓取有标签数据自动生成方法，其中，所述步骤s1具体包括以下步骤：

步骤s11，获得所述待抓物体的物体模型，并根据所述待抓物体的所述物体模型获得每一所述待抓物体的原始抓取标签；

步骤s12，所述仿真分拣系统将所述待抓物体的所述物体模型随机堆放；

步骤s13，所述仿真分拣系统根据所述原始抓取标签获得随机堆放的所述待抓物体的所述物体模型的所述抓取标签；

步骤s14，所述仿真分拣系统截取包括所述抓取标签的所述待抓物体的仿真图像。

优选的，该机器人抓取有标签数据自动生成方法，其中，所述仿真图像和所述真实图像均为彩色深度图像。

优选的，该机器人抓取有标签数据自动生成方法，其中，在所述步骤s3中，所述对抗网络包括一生成网络和一辨别网络，所述对抗网络的训练过程包括以下步骤：

步骤s31，所述生成网络根据所述仿真图像生成所述标签图像；

步骤s32，将所述标签图像和所述真实图像输入所述辨别网络，获得所述真实图像的识别率；

步骤s33，并判断所述识别率是否落入一预设范围：

若是，则退出；

若否，则修改所述生成网络和所述辨别网络的参数，随后回到步骤s31。

优选的，该机器人抓取有标签数据自动生成方法，其中，所述步骤s12中，所述待抓物体的所述物体模型按照种类和数量随机组合后堆放。

优选的，该机器人抓取有标签数据自动生成方法，其中，所述可更换抓手为吸盘类手抓或手指类手抓。

优选的，该机器人抓取有标签数据自动生成方法，其中，在所述步骤s31中，所述生成网络根据所述仿真图像和一随机噪声生成所述标签图像。

上述技术方案的有益效果是：

本发明能够生成大量的用于机器人深度学习的标签图像，从而不需要进行人工标记，进一步提高了深度学习在机器人中的应用效率以及减少了迭代时间。

附图说明

图1为本发明的较佳的实施例中，一种仿真分拣系统的示意图；

图2为本发明的较佳的实施例中，物体模型示意图；

图3为本发明的较佳的实施例中，一种机器人抓取有标签数据自动生成方法流程示意图；

图4本发明的较佳的实施例中，一种机器人抓取有标签数据自动生成方法的仿真图像生成过程示意图；

图5本发明的较佳的实施例中，一种机器人抓取有标签数据自动生成方法的对抗网络生成过程示意图；

图中：1摄像头、2可更换抓手、3工业机器人、4料框、5剔除区域、6待抓物体、7原始抓取标签。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本实施例涉及一种机器人抓取有标签数据自动生成方法，本方法基于一机器人分拣系统和一与机器人分拣系统相对应的仿真分拣系统。预设一机器人分拣系统和一与所述机器人分拣系统相对应的仿真分拣系统，根据所述机器人分拣系统和所述仿真分拣系统生成多个标签图形，并根据所述标签图形训练一用于分拣物体的分拣模型。

所述机器人分拣系统包括：

工业机器人3，所述工业机器人3的端部设有一可更换抓手2。

摄像头1，用于获得所述待抓物体6的真实图像。机器人分拣系统中的摄像头1为rgb-d摄像头1。

较佳的实施例中，可更换抓手2可以为吸盘类手抓或手指类手抓，吸盘类手抓为气动吸盘，手指类手抓为二指手抓。

如图1所示，与机器人分拣系统相对应的仿真分拣系统，仿真分拣系统包括了以机器人分拣系统的各个组成部分为参照建立的仿真模型。

如图2所示，仿真分拣系统根据待抓物体6生成待抓物体6的物体模型，待抓物体6的物体模型表面的黑色部分为原始待抓标签，即所述待抓物体6的可抓取区域。

如图3所示，本实施例涉及的机器人抓取有标签数据自动生成方法包括以下步骤：

步骤s1，通过所述仿真分拣系统获得待抓物体6的有抓取标签的仿真图像，所述抓取标签为所述待抓物体6的可抓取区域；

如图4所示，所述步骤s1具体包括以下步骤：

步骤s11，获得所述待抓物体6的物体模型，并根据所述物体模型获得每一所述待抓物体6的原始抓取标签7。

物体模型中的原始抓取标签7是通过力封闭以及形封闭准则进行计算获得。

较佳的实施例中，所述物体模型为根据物体的三维点云数据进行聚类获得。

步骤s12，所述仿真分拣系统将所述待抓物体6的所述物体模型随机堆放。

所述步骤s12中，所述待抓物体6的所述物体模型按照种类和数量随机组合后堆放。

随机种类和数量的物体模型输入一物理引擎后，得到了堆放的物体模型。待抓物体6堆放于料框4中，在仿真分拣系统中同样构建了料框4的模型。

在仿真分拣系统中的需要设置视觉参数以及与机器人分拣系统中的相似的背景。

步骤s13，所述仿真分拣系统根据所述原始抓取标签7获得随机堆放的所述待抓物体6的所述抓取标签。

仿真分拣系统中的待抓物体6的物体模型随机堆放，料框4中存在堆叠的待抓物体6。待抓物体6的原值抓取标签的重叠部分即作为剔除区域5，将提取部分去除后形成的为抓取标签。

步骤s14，所述仿真分拣系统截取包括所述抓取标签的所述待抓物体6的仿真图像。

在料框4中以机器人分拣系统中的摄像头1的拍摄视角来截取堆叠的物体模型的图像，作为仿真图像。

仿真图像为彩色深度图像。

步骤s2，通过所述机器人分拣系统的获得所述待抓物体6的真实图像。所述步骤s1和所述步骤s2不分先后。

机器人分拣系统，通过真实的摄像头1来拍摄位于料框4中的待抓物体6的真实图像，真实图像为彩色深度图像。

步骤s3，根据所述仿真图像和所述真实图像训练获得一对抗网络。

如图5所示，在所述步骤s3中，所述对抗网络包括一生成网络和一辨别网络，所述对抗网络的训练过程包括以下步骤：

步骤s31，所述生成网络根据所述仿真图像生成所述标签图像。

所述生成网络根据所述仿真图像和一随机噪声生成所述标签图像。

步骤s32，将所述标签图像和所述真实图像输入所述辨别网络，获得所述真实图像的识别率。

步骤s33，并判断所述识别率是否落入一预设范围：

若是，则退出；

若否，则修改所述生成网络和所述辨别网络的参数，随后回到步骤s31。

在步骤s31至步骤s33中，通过生成网络和辨别网络的不断对抗博弈直到收敛，即识别率落入预设范围。

步骤s33中，预设范围优选的为50％或者接近50％的范围，例如45％～55％或者50％～60％，或者其他接近50％的取值范围。

步骤s4，所述对抗网络根据有所述抓取标签的所述仿真图像生成机器人的训练用的所述标签图像。

通过对抗网络中的生成网络就可以生成大量的标签图像，通过标签图像作为训练集来训练工业机器人3。

本发明的机器人抓取有标签数据自动生成方法，与现有技术相比：

本发明能够生成大量的用于机器人深度学习的标签图像，从而不需要进行人工标记，进一步提高了深度学习在机器人中的应用效率以及减少了迭代时间。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。