模型训练、图像处理方法、装置、设备及存储介质与流程

本公开涉及信息，尤其涉及一种模型训练、图像处理方法、装置、设备及存储介质。

背景技术：

1、目前，图像处理技术已经被广泛应用在各个领域。例如，通过对整车废钢进行图像采集，然后采用图像处理技术，判定整车废钢的等级。

2、但是，目前通过图像处理技术对整车废钢的等级判定不够精准，导致废钢资源得不到有效的利用。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种模型训练、图像处理方法、装置、设备及存储介质，以精准的判定废钢等级，节约废钢资源。

2、第一方面，本公开实施例提供一种模型训练方法，包括：

3、获取上一轮迭代训练后的模型、以及所述上一轮迭代训练采用的目标数据集，所述目标数据集至少包括第一数据集，所述第一数据集包括多个第一样本，所述第一样本包括第一图像和所述第一图像中目标对象的文本信息，所述第一数据集用于模型训练得到第一轮迭代训练后的模型，所述上一轮迭代训练后的模型是所述第一轮迭代训练后的模型，或者是以所述第一轮迭代训练后的模型为基准经过至少一轮迭代训练后的模型；

4、通过所述上一轮迭代训练后的模型，对所述目标数据集进行更新；

5、根据更新后的目标数据集，对所述上一轮迭代训练后的模型进行迭代训练，得到本轮迭代训练后的模型，通过多轮迭代训练后得到预训练模型。

6、第二方面，本公开实施例提供一种模型训练方法，所述方法包括：

7、获取样本数据集中的第一图像和第二图像；

8、根据待训练的机器学习模型，对所述第一图像和所述第二图像分别进行检测，得到所述第一图像的第一检测结果和所述第二图像的第二检测结果，所述待训练的机器学习模型的初始参数是预训练模型的参数，所述预训练模型是根据如第一方面所述的方法得到的；

9、对所述第一图像中的多个第一候选区域和所述第二图像中的多个第二候选区域进行融合处理，得到多个第三候选区域；

10、根据所述多个第三候选区域，得到第三检测结果，所述第一检测结果、所述第二检测结果和所述第三检测结果分别包括至少一个目标区域、以及每个目标区域中目标对象的类别；

11、根据所述第一检测结果、所述第二检测结果和所述第三检测结果，对所述待训练的机器学习模型进行训练，得到训练后的机器学习模型。

12、第三方面，本公开实施例提供一种图像处理方法，所述方法包括：

13、获取待处理的目标图像；

14、将所述目标图像输入到训练后的机器学习模型，使得所述训练后的机器学习模型输出所述目标图像中的至少一个目标区域、以及每个目标区域中目标对象的所属类别的置信度，所述训练后的机器学习模型是根据如第二方面所述的方法得到的；

15、根据每个目标区域中目标对象所属类别的置信度，确定所述目标图像中的目标对象的级别。

16、第四方面，本公开实施例提供一种废钢等级判定方法，所述方法包括：

17、获取整车废钢在卸货过程中多个层级的图像；

18、将每个层级的图像输入到训练后的机器学习模型，使得所述训练后的机器学习模型输出每个层级的图像中的至少一个目标区域、以及每个目标区域中目标对象的类别，所述训练后的机器学习模型是根据如第二方面所述的方法得到的；

19、根据每个层级的图像中的至少一个目标区域、以及每个目标区域中目标对象的类别，确定所述整车废钢的级别。

20、第五方面，本公开实施例提供一种模型训练装置，包括：

21、获取模块，用于获取上一轮迭代训练后的模型、以及所述上一轮迭代训练采用的目标数据集，所述目标数据集至少包括第一数据集，所述第一数据集包括多个第一样本，所述第一样本包括第一图像和所述第一图像中目标对象的文本信息，所述第一数据集用于模型训练得到第一轮迭代训练后的模型，所述上一轮迭代训练后的模型是所述第一轮迭代训练后的模型，或者是以所述第一轮迭代训练后的模型为基准经过至少一轮迭代训练后的模型；

22、更新模块，用于通过所述上一轮迭代训练后的模型，对所述目标数据集进行更新；

23、迭代训练模块，用于根据更新后的目标数据集，对所述上一轮迭代训练后的模型进行迭代训练，得到本轮迭代训练后的模型，通过多轮迭代训练后得到预训练模型。

24、第六方面，本公开实施例提供一种电子设备，包括：

25、存储器；

26、处理器；以及

27、计算机程序；

28、其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面、第二方面、第三方面、第四方面所述的方法。

29、第七方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面、第二方面、第三方面、第四方面所述的方法。

30、本公开实施例提供的模型训练、图像处理方法、装置、设备及存储介质，通过包含有多模态信息如图像信息和文本信息的第一数据集进行模型训练，得到第一轮迭代训练后的模型。进一步，以第一轮迭代训练后的模型为基准进行多轮迭代训练，得到预训练模型，并且在每一轮迭代训练之前，对上一轮迭代训练采用的目标数据集进行更新，使得更新后的目标数据集包含更多的样本。因此，根据更新后的目标数据集，对上一轮迭代训练后的模型进行迭代训练，得到本轮迭代训练后的模型时，可使得本轮迭代训练后的模型相比于上一轮迭代训练后的模型更加精准。也就是说，在多轮迭代训练过程中，随着轮数的增加，模型的精准度在不断提高，通过多轮迭代训练后得到的预训练模型的精准度将达到最高。因此，将该预训练模型作为下游任务例如废钢等级判定任务的起始模型，并根据下游任务中的样本数据对该预训练模型进行微调后，可使得微调后的预训练模型精准的判定废钢等级，从而有效节约了废钢资源。

技术特征：

1.一种模型训练方法，其中，所述方法包括：

2.根据权利要求1所述的方法，其中，通过所述上一轮迭代训练后的模型，对所述目标数据集进行更新，包括：

3.根据权利要求2所述的方法，其中，通过所述上一轮迭代训练后的模型，从未标注的第二数据集中选取目标子集，包括：

4.根据权利要求2所述的方法，其中，通过所述上一轮迭代训练后的模型，对所述目标子集中的每个第二图像进行标注，包括：

5.一种模型训练方法，其中，所述方法包括：

6.根据权利要求5所述的方法，其中，根据所述第一检测结果、所述第二检测结果和所述第三检测结果，对所述待训练的机器学习模型进行训练，得到训练后的机器学习模型，包括：

7.根据权利要求5所述的方法，其中，根据所述第一检测结果、所述第二检测结果和所述第三检测结果，对所述待训练的机器学习模型进行训练，得到训练后的机器学习模型，包括：

8.根据权利要求5所述的方法，其中，所述待训练的机器学习模型包括第一梯度解耦层、第二梯度解耦层、区域生成网络和特征提取器，所述第一梯度解耦层和所述区域生成网络连接，所述第二梯度解耦层和所述特征提取器连接，所述第一梯度解耦层和所述第二梯度解耦层并联，所述第一梯度解耦层和所述第二梯度解耦层用于解耦所述区域生成网络的参数迭代过程和所述特征提取器的参数迭代过程。

9.一种图像处理方法，其中，所述方法包括：

10.根据权利要求9所述的方法，其中，根据每个目标区域中目标对象所属类别的置信度，确定所述目标图像中的目标对象的级别，包括：

11.一种废钢等级判定方法，其中，所述方法包括：

12.根据权利要求11所述的方法，其中，所述方法还包括：

13.一种模型训练装置，其中，包括：

14.一种电子设备，其中，包括：

15.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-12中任一项所述的方法。

技术总结
本公开涉及一种模型训练、图像处理方法、装置、设备及存储介质。本公开通过包含有多模态信息如图像信息和文本信息的第一数据集进行模型训练，得到第一轮迭代训练后的模型。以第一轮迭代训练后的模型为基准进行多轮迭代训练，得到预训练模型，并且在每一轮迭代训练之前，对上一轮迭代训练采用的目标数据集进行更新。根据更新后的目标数据集，对上一轮迭代训练后的模型进行本轮迭代训练后，可使得本轮迭代训练后的模型相比于上一轮迭代训练后的模型更加精准。将该预训练模型作为下游任务例如废钢等级判定任务的起始模型，并根据下游任务中的样本数据对该预训练模型进行微调后，使得微调后的预训练模型精准的判定废钢等级，从而有效节约了废钢资源。

技术研发人员：杨昭,徐海华,魏溪含,陈伟璇
受保护的技术使用者：阿里巴巴达摩院（杭州）科技有限公司
技术研发日：
技术公布日：2024/1/14