强调任务关系的多类别抓取检测增量学习方法

本发明涉及的是一种图像识别和机器人控制领域的技术，具体是一种强调任务关系的多类别抓取检测增量学习方法。

背景技术：

1、现有机器人多类别抓取检测技术通过多任务神经网络同时判断抓取物体的类别和位置，但需要标签复杂的多任务数据集进行训练和验证，由于待抓取目标在工程上具有特殊性，无法直接使用公开多任务数据集，制作复杂的多任务数据集工作量庞大，且无法充分利用已有的单任务数据集资源。

技术实现思路

1、本发明针对现有多类别复杂场景的机器人抓取技术必须使用同时具备物体检测标签和抓取检测标签的多任务数据集对网络进行训练和验证的不足，以及实际工程中待抓取目标的类别具备特异性，无法直接使用公开多任务数据集，制作复杂的多任务数据集工作量庞大的问题，提出一种强调任务关系的多类别抓取检测增量学习方法，能够高效训练多类别抓取检测网络，以实现在工程中进行多类别抓取检测。

2、本发明是通过以下技术方案实现的：

3、本发明涉及一种强调任务关系的多类别抓取检测增量学习方法，在训练阶段依次构建并采用抓取检测数据集训练用于抓取检测的教师网络，构建并采用小型语义分割数据集训练用于语义分割和抓取检测的学生网络，同时教师网络基于任务关系函数对学生网络的抓取检测功能进行监督保护；在检测阶段将实时采集的rgb图像输入训练后的学生网络，得到rgb图像对应的带有种类信息的抓取检测框和语义分割掩模。

4、技术效果

5、本发明将多类别抓取检测分为两个子任务，即抓取检测和语义分割，并采用有序训练的方式利用抓取检测数据集和语义分割数据集分别对网络进行训练，在训练的过程中使用任务关系函数将两个子任务进行关联，强调其任务关系。通过这种方法，训练后的多任务网络能够同时判断抓取物体的类别和位置，训练时无需依赖同时具备抓取检测标签和语义分割标签的多任务数据集，且模型可以达到较高的检测准确率和效率。与现有技术相比，本发明无需依赖同时具备抓取检测标签和语义分割标签的多任务数据集进行训练。这种技术方案使得训练过程更加高效，并且可以达到较高的检测准确率和效率。通过共享特征提取网络，模型可以在一个网络中完成多个任务的学习，提高了模型的整体性能和效果的同时，在增量学习时通过引入任务关系，有效地利用语义分割数据集来矫正、筛选教师网络输出的抓取检测伪标签，使得增加语义分割分支的学生网络得以保留或提高其在抓取检测准确率上的表现，同时获得语义分割功能，进一步辅助模型在抓取检测特定类别物体时的性能。这种方法可以充分利用已有的大型抓取检测数据集，提升模型的泛化能力和适应性；同时制作小型的语义分割数据集，满足工程上抓取目标特殊性的需求，相比制作大型多任务数据集工作量更小，实用性更强。

技术特征：

1.一种强调任务关系的多类别抓取检测增量学习方法，其特征在于，在训练阶段依次构建并采用抓取检测数据集训练用于抓取检测的教师网络，构建并采用小型语义分割数据集训练用于语义分割和抓取检测的学生网络，同时教师网络基于任务关系函数对学生网络的抓取检测功能进行监督保护；在检测阶段将实时采集的rgb图像输入训练后的学生网络，得到rgb图像对应的带有种类信息的抓取检测框和语义分割掩模；

2.根据权利要求1所述的强调任务关系的多类别抓取检测增量学习方法，其特征是，所述的教师网络包括：依次连接的第一特征提取网络和第一抓取检测分支，其中：第一特征提取网络根据抓取检测数据集中的rgb图像进行计算识别，得到rgb图像对应的抓取检测相关的高维特征；第一抓取检测分支根据高维特征和抓取检测真实标签计算抓取检测损失。

3.根据权利要求1所述的强调任务关系的多类别抓取检测增量学习方法，其特征是，所述的采用抓取检测数据集训练，具体包括：

4.根据权利要求1所述的强调任务关系的多类别抓取检测增量学习方法，其特征是，所述的学生网络包括：第二特征提取网络以及分别与之相连的第二抓取检测分支和第二语义分割分支，其中：第二特征提取网络根据语义分割数据集中的rgb图像进行计算识别，得到rgb图像对应的抓取检测和语义分割相关的高维特征；第二抓取检测分支根据抓取检测结果和抓取检测伪标签计算知识蒸馏损失ld；第二语义分割分支根据第二特征提取网络得到的高维特征生成语义分割掩模(mask)，根据语义分结果和语义分割真实标签计算语义分割损失lseg。

5.根据权利要求4所述的强调任务关系的多类别抓取检测增量学习方法，其特征是，所述的第二特征提取网络和第二抓取检测分支的参数优选初始化为训练后的教师网络中对应网络的参数，第二语义分割分支的参数随机初始化；

6.根据权利要求5所述的强调任务关系的多类别抓取检测增量学习方法，其特征是，所述的任务关系函数，具体通过以下方式得到：

7.根据权利要求1或6所述的强调任务关系的多类别抓取检测增量学习方法，其特征是，所述的小型语义分割数据集，通过以下方式得到：根据实际工程建立具备零件、零售商品等目标特殊性的数据集，该数据包括：rgb图像、rgb图像中目标物体的mask轮廓及其类别；

8.一种实现权利要求1-7中任一所述方法的强调任务关系的多类别抓取检测增量学习系统，其特征在于，包括：教师网络构建训练模块、学生网络构建训练模块、任务关系模块以及识别检测匹配模块，其中：教师网络构建训练模块构建并训练由特征提取网络和抓取检测分支级联构成的，具备抓取检测功能的教师网络；学生网络构建训练模块在教师网络基础上增加与抓取检测分支并联的语义分割分支，构建学生网络分支，采用语义分割数据集对学生网络的语义分割分支进行训练，得到同时具备抓取检测功能和语义分割功能的学生网络；任务关系模块在教师网络监督保护学生网络时基于语义分割数据集的真实标签对教师网络的抓取检测伪标签进行筛选操作，根据教师网络对学生网络的抓取检测分支对学生网络进行监督保护，防止灾难性遗忘；识别检测匹配模块利用rgb图像传感器实时采集场景检测图像，将场景检测图像输入学生网络，识别信息匹配单元针对学生网络提供的抓取检测结果和语义分割结果进行匹配操作，输出带有种类信息的抓取检测框和语义分割掩膜。

技术总结
一种强调任务关系的多类别抓取检测增量学习方法，在训练阶段依次构建并采用抓取检测数据集训练用于抓取检测的教师网络，构建并采用小型语义分割数据集训练用于语义分割和抓取检测的学生网络，同时教师网络基于任务关系函数对学生网络的抓取检测功能进行监督保护；在检测阶段将实时采集的RGB图像输入训练后的学生网络，得到RGB图像对应的带有种类信息的抓取检测框和语义分割掩模。本发明能够高效训练多类别抓取检测网络，以实现在工程中进行多类别抓取检测。

技术研发人员：赵黄婷,郭逸,黄天艺,汪君令,何宗越
受保护的技术使用者：上海交通大学
技术研发日：
技术公布日：2024/2/1