图像分割模型的训练方法、手持物识别方法、设备及介质与流程

本申请涉及图像处理，特别是涉及一种图像分割模型的训练方法、手持物识别方法、设备及介质。

背景技术：

1、图像语义分割是计算机视觉中非常重要的任务，它的目标是为图像中的每个像素分类。它的应用领域包括但不限于：目标识别、自动驾驶、图像美化、三维重建等等。如果能够快速准确地做图像分割，很多问题将会迎刃而解。

2、目前，图像分割模型一般依赖大规模标注数据集，这些大规模标注数据集需要具备专业知识的技术人员长期密集地手工标注，这消耗了昂贵的人力成本和时间成本。

技术实现思路

1、为了解决上述问题，本申请至少提供一种图像分割模型的训练方法、手持物识别方法、设备及介质。

2、本申请第一方面提供了一种图像分割模型的训练方法，方法包括：针对样本图像集合中的每个样本图像，对样本图像中含有的待训练对象进行初始语义分割，得到待训练对象的掩码结果；基于掩码结果，确定待训练对象在样本图像中的对象图像区域；提取对象图像区域的图像特征，得到待训练对象的语义特征表示；对每个样本图像中的待训练对象的语义特征表示进行聚类，确定每个待训练对象对应的聚类类别；将每个待训练对象对应的聚类类别和掩码结果作为伪标签，利用每个样本图像和每个样本图像对应伪标签训练得到图像分割模型。

3、在一实施例中，针对样本图像集合中的每个样本图像，对样本图像中含有的待训练对象进行初始语义分割，得到待训练对象的掩码结果，包括：获取针对待训练对象的提示信息，提示信息用于指示样本图像中的待训练对象的信息；将样本图像和提示信息输入至初始语义分割模型，得到初始语义分割输出的待训练对象的掩码结果。

4、在一实施例中，基于掩码结果，确定待训练对象在样本图像中的对象图像区域，包括：基于掩码结果，确定样本图像中属于待训练对象的像素内容；基于待训练对象的像素内容进行区域划分，得到待训练对象在样本图像中的对象图像区域。

5、在一实施例中，基于待训练对象的像素内容进行区域划分，得到待训练对象在样本图像中的对象图像区域，包括：构建待训练对象的像素内容对应的外接矩形框；将外接矩形框内的图像区域作为待训练对象对应的对象图像区域。

6、在一实施例中，对每个样本图像中的待训练对象的语义特征表示进行聚类，确定每个待训练对象对应的聚类类别，包括：对每个样本图像中的待训练对象的语义特征表示进行密度聚类，以将每个样本图像中的待训练对象划分为多个对象集合，每个对象集合对应一个聚类类别。

7、在一实施例中，待训练对象为手持物；利用每个样本图像和每个样本图像对应伪标签训练得到图像分割模型，包括：将样本图像输入至待训练的图像分割模型中，得到待训练的图像分割模型输出的图像分割结果，图像识别结果含有手持物的区域分割结果和类别预测结果；计算样本图像对应的伪标签与图像分割结果之间的损失值；利用损失值更新待训练的图像分割模型，以得到训练完成的图像分割模型。

8、本申请第二方面提供了一种手持物识别方法，方法包括：将待检测图像输入至训练完成的图像分割模型中，得到待检测图像中含有的手持物的掩码结果，以及待检测图像中含有的手持物对应的手持物特征表示；计算手持物特征表示与每个手持物模板特征之间的相似度，将相似度满足预设条件的手持物模板特征作为匹配特征；其中，手持物模板特征基于手持物模板图像得到，每个手持物模板特征对应有手持物类别；将匹配特征对应的手持物类别作为待检测图像中含有的手持物的类别预测结果，将待检测图像中含有的手持物的掩码结果作为区域分割结果。

9、在一实施例中，获取手持物模板特征的步骤包括：获取多个手持物模板图像集合，每个手持物模板图像集合对应一个手持物类别；针对每个手持物模板图像集合，提取手持物模板图像集合中各个手持物模板图像的图像特征，得到各个手持物模板图像对应的模板图像特征；融合手持物模板图像集中各个手持物模板图像对应的模板图像特征，将融合结果作为手持物模板图像集合对应的手持物模板特征。

10、本申请第三方面提供了一种图像分割模型的训练装置，装置包括：初始分割模块，用于针对样本图像集合中的每个样本图像，对样本图像中含有的待训练对象进行初始语义分割，得到待训练对象的掩码结果；区域确定模块，用于基于掩码结果，确定待训练对象在样本图像中的对象图像区域；特征提取模块，用于提取对象图像区域的图像特征，得到待训练对象的语义特征表示；聚类模块，用于对每个样本图像中的待训练对象的语义特征表示进行聚类，确定每个待训练对象对应的聚类类别；模型训练模块，用于将每个待训练对象对应的聚类类别和掩码结果作为伪标签，利用每个样本图像和每个样本图像对应伪标签训练得到图像分割模型。

11、本申请第四方面提供了一种手持物识别装置，装置包括：分割及特征提取模块，用于将待检测图像输入至训练完成的图像分割模型中，得到所述待检测图像中含有的手持物的掩码结果，以及所述待检测图像中含有的手持物对应的手持物特征表示；相似度计算模块，用于计算所述手持物特征表示与每个手持物模板特征之间的相似度，将相似度满足预设条件的手持物模板特征作为匹配特征；其中，手持物模板特征基于手持物模板图像得到，每个手持物模板特征对应有手持物类别；结果获取模块，用于将所述匹配特征对应的手持物类别作为所述待检测图像中含有的手持物的类别预测结果，将所述待检测图像中含有的手持物的掩码结果作为区域分割结果。

12、本申请第五方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述图像分割模型的训练方法或手持物识别方法。

13、本申请第六方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述图像分割模型的训练方法或手持物识别方法。

14、上述方案，通过针对样本图像集合中的每个样本图像，对样本图像中含有的待训练对象进行初始语义分割，得到待训练对象的掩码结果；基于掩码结果，确定待训练对象在样本图像中的对象图像区域；提取对象图像区域的图像特征，得到待训练对象的语义特征表示；对每个样本图像中的待训练对象的语义特征表示进行聚类，确定每个待训练对象对应的聚类类别；将每个待训练对象对应的聚类类别和掩码结果作为伪标签，利用每个样本图像和每个样本图像对应伪标签训练得到图像分割模型，可以实现图像分割模型的无监督训练，无需人为进行大量样本图像标注，在保证图像分割模型的训练效果的前提下，节约图像分割模型训练所需要的人力成本和时间成本。

15、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

技术特征：

1.一种图像分割模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述针对样本图像集合中的每个样本图像，对所述样本图像中含有的待训练对象进行初始语义分割，得到所述待训练对象的掩码结果，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述掩码结果，确定所述待训练对象在所述样本图像中的对象图像区域，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述待训练对象的像素内容进行区域划分，得到所述待训练对象在所述样本图像中的对象图像区域，包括：

5.根据权利要求1所述的方法，其特征在于，所述对所述每个样本图像中的待训练对象的语义特征表示进行聚类，确定每个待训练对象对应的聚类类别，包括：

6.根据权利要求1至5任一项所述的方法，其特征在于，所述待训练对象为手持物；所述利用所述每个样本图像和所述每个样本图像对应伪标签训练得到图像分割模型，包括：

7.一种手持物识别方法，其特征在于，所述方法包括：

8.根据权利要求7所述的方法，其特征在于，获取所述手持物模板特征的步骤包括：

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现如权利要求1-8任一项所述方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序指令，所述程序指令能够被处理器执行以实现如权利要求1-8任一项所述方法中的步骤。

技术总结
本申请公开了一种图像分割模型的训练方法、手持物识别方法、设备及介质，图像分割模型的训练方法包括：对样本图像中含有的待训练对象进行初始语义分割，得到待训练对象的掩码结果；基于掩码结果，确定待训练对象在样本图像中的对象图像区域；提取对象图像区域的图像特征，得到待训练对象的语义特征表示；对每个样本图像中的待训练对象的语义特征表示进行聚类，确定每个待训练对象对应的聚类类别；将每个待训练对象对应的聚类类别和掩码结果作为伪标签，利用每个样本图像和每个样本图像对应伪标签训练得到图像分割模型。可以实现图像分割模型的无监督训练，无需人为进行大量样本图像标注，节约模型训练所需要的人力成本和时间成本。

技术研发人员：刘忠耿,潘华东,刘艳禹,袁雷,桂青
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：
技术公布日：2024/4/24