图像分类模型的训练方法、系统及移动终端与流程

本发明涉及工业视觉自动化检测，尤其涉及一种图像分类模型的训练方法、装置、计算机设备及计算机可读存储介质。

背景技术：

1、图像分类是根据图像信息中所反映的不同特征将不同类别的目标区分开来的一种图像处理方法。图像分类的关键问题是基于已标注类别的图片训练具有较高分类准确率的分类器模型。在工业视觉自动化检测中，可以通过采集产品的图像来对图像进行分类识别，例如缺陷识别等，能极大的提高成产效率。

2、在图像分类的相关方案中，需要获取大量的标注图片来对分类器进行训练，但是，由于图片标注的代价较高（需由领域专家进行人工标注），费时费力，导致分类器的训练效率较低。

技术实现思路

1、基于此，有必要针对上述问题，提出了一种图像分类模型的训练方法、系统及移动终端。

2、在本发明的第一部分，提供了一种图像分类模型的训练方法，所述方法包括：

3、获取训练数据集，所述训练数据集包括第一数据集和第二数据集，其中，第一数据集为有标签样本的训练数据集，第二数据集为无标签样本的训练数据集；

4、基于预设的特征提取网络，提取所述有标签样本和/或无标签样本的图像特征；

5、基于图像特征计算每一个无标签样本到决策边界的置信度，基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本，并将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签，其中；决策边界是根据有标签样本计算得到的；

6、基于查询样本及其标签对所述图像分类模型进行训练，以对所述图像分类模型进行优化训练。

7、可选的，所述基于预设的特征提取网络，提取所述有标签样本和/或无标签样本的图像特征的步骤，还包括：基于自监督网络，对所述有标签样本和/或无标签样本进行预训练处理，提取所述有标签样本和/或无标签样本的图像特征；其中，对于有标签样本获取其图像特征，并根据分类结果获取每个分类下的所有有标签样本的图像特征的平均值作为特征平均值；对于无标签样本获取其图像特征，并将获取到的图像特征与每个分类下的特征平均值进行混合插值，以得到无标签样本的混合图像特征；

8、所述基于图像特征计算每一个无标签样本到决策边界的置信度，基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本的步骤，还包括：基于图像分类模型对所述混合图像特征进行预测，获取与该无标签样本对应的伪标签；基于预设的损失函数计算混合图像特征与伪标签之间的损失值，基于损失值最大化在所述无标签样本中选择查询样本。

9、可选的，所述基于图像特征，计算每一个无标签样本到决策边界的置信度的步骤，还包括：基于有标签样本的图像特征，计算决策边界；对于每一个无标签样本，计算该无标签样本的图像特征到决策边界法向量上的投影的距离，根据计算得到的距离确定该无标签样本到决策边界的置信度，其中，距离与置信度之间呈负相关关系；

10、所述基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本的步骤，还包括：基于损失值最大化在所述无标签样本中选择至少一个候选样本；基于置信度在所述至少一个候选样本中选择查询样本，其中，查询样本的置信度小于未选择的候选样本。

11、可选的，所述将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签的步骤之后，还包括：将获得了标签的查询样本合并到所述第一数据集的有标签样本，基于合并之后的有标签样本对所述图像分类模型进行训练。

12、可选的，所述基于查询样本及其标签对所述图像分类模型进行训练，以对所述图像分类模型进行优化训练的步骤之后，还包括：获取对图像分类模型进行训练的准确度，判断该准确度是否达到预设的精度阈值，若是，则停止对所述图像分类模型的训练，完成对所述图像分类模型的优化训练。

13、可选的，所述方法还包括：获取待识别图像，将所述待识别图像输入所述图像分类模型，获取所述图像分类模型的输出结果作为所述待识别图像的图像分类结果。

14、在本发明的第二部分，提供了一种图像分类模型的训练装置，所述装置包括：

15、训练数据获取模块，用于获取训练数据集，所述训练数据集包括第一数据集和第二数据集，其中，第一数据集为有标签样本的训练数据集，第二数据集为无标签样本的训练数据集；

16、特征提取模块，用于基于预设的特征提取网络，提取所述有标签样本和/或无标签样本的图像特征；

17、样本筛选模块，用于基于图像特征计算每一个无标签样本到决策边界的置信度，基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本；其中；决策边界是根据有标签样本计算得到的；

18、样本标注模块，用于将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签，

19、模型优化训练模块，用于基于查询样本及其标签对所述图像分类模型进行训练，以对所述图像分类模型进行优化训练。

20、可选的，所述特征提取模块还用于：

21、基于自监督网络，对所述有标签样本和/或无标签样本进行预训练处理，提取所述有标签样本和/或无标签样本的图像特征；其中，对于有标签样本获取其图像特征，并根据分类结果获取每个分类下的所有有标签样本的图像特征的平均值作为特征平均值；对于无标签样本获取其图像特征，并将获取到的图像特征与每个分类下的特征平均值进行混合插值，以得到无标签样本的混合图像特征；

22、所述样本筛选模块还用于：基于图像分类模型对所述混合图像特征进行预测，获取与该无标签样本对应的伪标签；基于预设的损失函数计算混合图像特征与伪标签之间的损失值，基于损失值最大化在所述无标签样本中选择查询样本；其中，基于有标签样本的图像特征，计算决策边界；对于每一个无标签样本，计算该无标签样本的图像特征到决策边界法向量上的投影的距离，根据计算得到的距离确定该无标签样本到决策边界的置信度，其中，距离与置信度之间呈负相关关系；基于损失值最大化在所述无标签样本中选择至少一个候选样本；基于置信度在所述至少一个候选样本中选择查询样本，其中，查询样本的置信度小于未选择的候选样本。

23、在本发明的第三部分，提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行如前所述的图像分类模型的训练方法。

24、在本发明的第四部分，提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器有可执行代码，当所述可执行代码在所述处理器上运行以实现如前所述的图像分类模型的训练方法。

25、采用本发明实施例，具有如下有益效果：

26、采用了上述图像分类模型的训练方法、装置、计算机设备及计算机可读存储介质之后，在对图像分类模型进行训练的过程中，获取训练数据集，所述训练数据集包括第一数据集和第二数据集，其中，第一数据集为有标签样本的训练数据集，第二数据集为无标签样本的训练数据集；基于预设的特征提取网络，提取所述有标签样本和/或无标签样本的图像特征；基于图像特征计算每一个无标签样本到决策边界的置信度，基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本，并将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签，其中；决策边界是根据有标签样本计算得到的；基于查询样本及其标签对所述图像分类模型进行训练，以对所述图像分类模型进行优化训练。在使用神经网络模型对图像进行分类的模型训练过程中，可以仅使用少量的有标签样本对初始的图像分类模型进行初始训练，然后基于自监督网络的策略挑选样本来进一步的进行人工标注，然后基于标注的结果进一步的对图像分类模型进行优化训练；其中，样本的挑选还需要基于平衡选择策略，选择靠近决策边界的样本，以促进样本的均匀类分布，提高样本标注的有效性和效率。也就是说，在本实施例中，通过结合将自监督网络和平衡玄策策略结合到主动学习模型中，实现了更好的样本挑选效率，降低了人工标注的成本。