训练实例分割模型的方法以及设备与流程

本发明涉及深度学习领域，更具体地，涉及一种训练实例分割模型的方法以及设备、计算机存储介质、计算机程序产品以及机器人工作台。

背景技术：

1、在工业中，神经网络或基于深度学习的方法（例如对象检测、实例分割）被广泛使用于例如机器人aoi（自动化光学检查）领域中。

2、举例来说，在机器人自动抓取零件（bin-picking）应用中，对象被随机放置/堆叠在箱体（bin）中。为了使机器人抓取对象，有必要使用3d相机检测物体的6d姿势。为了确定对象的6d姿势，通常的方法是处理2d图像和3d点云。首先针对3d相机收集的颜色图像（rgb图像）执行一种深度学习方法，例如实例分割，以获取对象的分割掩模。然后，通过图像和深度图之间的映射，可以获得对象的点云分割结果。

3、但是，基于深度学习的方法，例如实例分割模型，需要大量的标注图像来进行训练。深度学习取决于这些大型数据集被明确标注。在深度学习模型（例如实例分割模型）被训练完之后，例如在获取初始实例分割模型后，现有技术中并没有有效的方案来进一步提升该初始实例分割模型的可靠度和精度。

技术实现思路

1、根据本发明的一方面，提供了一种训练实例分割模型的方法，所述方法包括：获取初始实例分割模型，利用所述初始实例分割模型对图像集合进行第一实例分割，获得第一实例结果；以及基于所述第一实例结果，收集满足预设条件的图像子集合作为训练样本对所述初始实例分割模型进行训练，其中，所述图像集合包括所述图像子集合。

2、作为上述方案的补充或替换，所述方法还包括：对所述图像集合和/或场景集合进行对象检测操作，并基于对象检测结果获得第二实例结果；所述收集满足预设条件的图像子集合作为训练样本包括：在所述第一实例结果和所述第二实例结果不一致时，将与所述第一实例结果和所述第二实例结果对应的图像集合作为所述满足预设条件的图像子集合，以作为所述训练样本。

3、作为上述方案的补充或替换，在上述方法中，基于所述第一实例结果，收集满足预设条件的图像子集合作为训练样本对所述初始实例分割模型进行训练包括：根据所述第一实例结果和所述第二实例结果将所述图像子集合转换为第一标注图像集合；以及基于所述第一标注图像集合对所述初始实例分割模型进行训练。

4、作为上述方案的补充或替换，在上述方法中，对所述图像集合和/或场景集合进行对象检测操作，并基于对象检测结果获得第二实例结果包括：对所述图像集合进行二维对象检测操作，以便获取对象轮廓；以及将所述对象轮廓转换为所述图像集合中的二维对象实例分割，从而获得实例结果。

5、作为上述方案的补充或替换，在上述方法中，对所述图像集合和/或场景集合进行对象检测操作，并基于对象检测结果获得第二实例结果包括：对所述场景集合进行三维对象检测操作，以便获取对象三维表面；以及将所述对象三维表面的点云对应到二维图像中的像素点，从而获得实例结果。

6、作为上述方案的补充或替换，在上述方法中，获取初始实例分割模型包括：收集第二标注图像集合；利用所述第二标注图像集合进行预训练，以获取所述初始实例分割模型。

7、作为上述方案的补充或替换，在上述方法中，收集第二标注图像集合包括：通过使用halcon或opencv来对图像进行二维对象检测操作，从而收集所述第二标注图像集合；和/或通过使用halcon对场景进行三维对象检测操作，从而收集所述第二标注图像集合。

8、根据本发明的另一个方面，提供了一种训练实例分割模型的设备，所述设备包括：第一获取装置，用于获取初始实例分割模型，利用所述初始实例分割模型对图像集合进行第一实例分割，获得第一实例结果；以及收集装置，用于基于所述第一实例结果，收集满足预设条件的图像子集合作为训练样本对所述初始实例分割模型进行训练，其中，所述图像集合包括所述图像子集合。

9、作为上述方案的补充或替换，所述设备还包括：第二获取装置，用于对所述图像集合和/或场景集合进行对象检测操作，并基于对象检测结果获得第二实例结果；并且，所述收集装置配置成在所述第一实例结果和所述第二实例结果不一致时，将与所述第一实例结果和所述第二实例结果对应的图像集合作为所述满足预设条件的图像子集合，以作为所述训练样本。

10、作为上述方案的补充或替换，在上述设备中，所述收集装置包括：转换单元，用于根据所述第一实例结果和所述第二实例结果将所述图像子集合转换为第一标注图像集合；以及训练单元，用于基于所述第一标注图像集合对所述初始实例分割模型进行训练。

11、作为上述方案的补充或替换，在上述设备中，所述第二获取装置配置成：对所述图像集合进行二维对象检测操作，以便获取对象轮廓；以及将所述对象轮廓转换为所述图像集合中的二维对象实例分割，从而获得实例结果。

12、作为上述方案的补充或替换，在上述设备中，所述第二获取装置配置成：对所述场景集合进行三维对象检测操作，以便获取对象三维表面；以及将所述对象三维表面的点云对应到二维图像中的像素点，从而获得实例结果。

13、作为上述方案的补充或替换，在上述设备中，所述第一获取装置包括：收集单元，用于收集第二标注图像集合；预训练单元，用于利用所述第二标注图像集合进行预训练，以获取所述初始实例分割模型。

14、作为上述方案的补充或替换，在上述设备中，所述收集单元配置成：通过使用halcon或opencv来对图像进行二维对象检测操作，从而收集所述第二标注图像集合；和/或通过使用halcon对场景进行三维对象检测操作，从而收集所述第二标注图像集合。

15、根据本发明的又一个方面，提供了一种计算机存储介质，所述介质包括指令，所述指令在运行时执行如前所述的方法。

16、根据本发明的又一个方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如前所述的方法。

17、根据本发明的又一个方面，提供了一种机器人工作台，所述机器人工作台包括如前所述的设备。

18、本发明的实施例的训练实例分割模型的方案应用了数据闭环的概念，在获取初始实例分割模型之后利用该初始实例分割模型对图像集合进行第一实例分割，获得第一实例结果，并基于所述第一实例结果，收集满足预设条件的图像子集合作为训练样本对所述初始实例分割模型进行（再次）训练，这样可以帮助查找和收集极端案例（例如假报真、真报假、标注错误等）。并且，利用这些极端案例（corner case）的集合来对实例分割模型进行再训练有利于最终提高实例分割的准确性。

技术特征：

1.一种训练实例分割模型的方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其中，所述方法还包括：

3.如权利要求2所述的方法，其中，基于所述第一实例结果，收集满足预设条件的图像子集合作为训练样本对所述初始实例分割模型进行训练包括：

4.如权利要求2所述的方法，其中，对所述图像集合和/或场景集合进行对象检测操作，并基于对象检测结果获得第二实例结果包括：

5.如权利要求2或4所述的方法，其中，对所述图像集合和/或场景集合进行对象检测操作，并基于对象检测结果获得第二实例结果包括：

6.如权利要求1所述的方法，其中，获取初始实例分割模型包括：

7.如权利要求6所述的方法，其中，收集第二标注图像集合包括：

8.一种训练实例分割模型的设备，其特征在于，所述设备包括：

9.如权利要求8所述的设备，其中，所述设备还包括：

10.如权利要求9所述的设备，其中，所述收集装置包括：

11.如权利要求9所述的设备，其中，所述第二获取装置配置成：

12.如权利要求9或11所述的设备，其中，所述第二获取装置配置成：

13.如权利要求8所述的设备，其中，所述第一获取装置包括：

14.如权利要求13所述的设备，其中，所述收集单元配置成：

15.一种计算机存储介质，所述介质包括指令，其特征在于，所述指令在运行时执行如权利要求1至7中任一项所述的方法。

16.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

17.一种机器人工作台，其特征在于，所述机器人工作台包括如权利要求8至14中任一项所述的设备。

技术总结
本发明涉及一种训练实例分割模型的方法，所述方法包括：获取初始实例分割模型，利用所述初始实例分割模型对图像集合进行第一实例分割，获得第一实例结果；以及基于所述第一实例结果，收集满足预设条件的图像子集合作为训练样本对所述初始实例分割模型进行训练，其中，所述图像集合包括所述图像子集合。本发明还涉及一种训练实例分割模型的设备、计算机存储介质、计算机程序产品以及机器人工作台。

技术研发人员：丁凯
受保护的技术使用者：罗伯特·博世有限公司
技术研发日：
技术公布日：2024/2/19