一种基于掩模对比表示学习的数据训练方法及系统与流程

本发明涉及机器学习，具体涉及一种基于掩模对比表示学习的数据训练方法及系统。

背景技术：

1、深度学习在过去几年中表现优异，在各种任务和应用中显示出显著的效果。现代体系结构可以从数百万个数据条目中提取有意义的表示，这些数据条目通常被标记。随着可用数据资源的爆炸，可以建立更大、更深入的模型，以获得更好的通用性，并作为下游任务的基础模型。然而，由于数据中只有有限的注释，这鼓励模型以无监督的方式学习。对比学习和掩模是大规模数据预训练的实际和主导的自我监督学习范式，但存在一些问题，最终效果不是很好，亟需新的方法用于自我监督模型中数据集的预训练。

2、现多数研究技术人员由于技术的原因，用于自我监督模型中数据集的预训练方法还是对比学习或者掩模的方法，而这些训练的方法存在以下问题：(1)对比学习的方法依赖于强大的数据扩充。(2)掩模方法依赖预训练标记器或者预训练检查点知识的提取。

3、针对以上的不足，本发明提供了基于掩模对比表示学习的数据训练方法，该方法通过结合对比学习和掩模方法的优点，使数据集在训练过程产生更好的效果。

技术实现思路

1、本发明提供一种基于掩模对比表示学习的数据训练方法，旨在解决现有深度学习的数据对比学习和掩模效果差的问题。

2、第一方面，本发明实施例提供一种基于掩模对比表示学习的数据训练方法，所述数据训练方法包括以下步骤：

3、s1、输入图像；

4、s2、通过掩模对比对所述输入图像掩模分成一个主分支和一个副分支；对所述主分支采用最强的数据增强方法，将所述主分支分为第一子主分支和第二子主分支，对所述第一子主分支采用随机屏蔽策略进行图像掩模，并对所述第一子主分支通过主编码器对其进行编码；对所述第二子主分支通过主动量编码器进行动量编码；

5、s3、对所述副分支采用较弱的数据增强方法，将所述副分支分为第一子副分支和第二子副分支，对所述第一子副分支采用随机屏蔽策略进行图像掩模，并对所述第一子副分支通过副编码器对其进行编码；对所述第二子副分支通过副动量编码器进行动量编码；

6、s4、对所有经过所述主编码器和所述副编码器的数据进行投射变换，对经过所述主动量编码器和所述副动量编码器的数据进行动量投射变换；

7、s5、对数据进行编码之后要进行解码的操作，计算所述主分支和所述副分支的重建损失，所述主分支和所述副分支的动量投射和投射之间计算对比损失，将所述重建损失和所述对比损失按预设比例相加，用于网络的训练。

8、优选的，所述掩模对比采用的是不对称的siamse网路结构。

9、优选的，对所述第一子主分支和所述第一子副分支采用随机屏蔽策略进行图像掩模，掩模率均为80％。

10、优选的，所述主编码器和所述副编码器均是一个2层浅层网络，其包括线性层和注意力层。

11、优选的，在所述s5中，所述重建损失采用l1范数。

12、第二方面，本发明实施例提供一种基于掩模对比表示学习的数据训练系统，所述数据训练系统包括：

13、输入模块，用于输入图像；

14、第一编码模块，用于通过掩模对比对所述输入图像掩模分成一个主分支和一个副分支；对所述主分支采用最强的数据增强方法，将所述主分支分为第一子主分支和第二子主分支，对所述第一子主分支采用随机屏蔽策略进行图像掩模，并对所述第一子主分支通过主编码器对其进行编码；对所述第二子主分支通过主动量编码器进行动量编码；

15、第二编码模块，用于对所述副分支采用较弱的数据增强方法，将所述副分支分为第一子副分支和第二子副分支，对所述第一子副分支采用随机屏蔽策略进行图像掩模，并对所述第一子副分支通过副编码器对其进行编码；对所述第二子副分支通过副动量编码器进行动量编码；

16、变换模块，用于对所有经过所述主编码器和所述副编码器的数据进行投射变换，对经过所述主动量编码器和所述副动量编码器的数据进行动量投射变换；

17、训练模块，用于对数据进行编码之后要进行解码的操作，计算所述主分支和所述副分支的重建损失，所述主分支和所述副分支的动量投射和投射之间计算对比损失，将所述重建损失和所述对比损失按预设比例相加，用于网络的训练。

18、与现有技术相比，本发明的有益效果在于，相比单独使用掩模或者对比学习的方法，数据训练的效果会更好；首先输入图像经过两种不同的数据增强操作，在每个分支中有两个子分支，一个分支使用高比率随机掩模，另一个分支则不使用掩模。在这些子分支中使用相同的编码器和动量编码器，以及投影仪和动量投影仪。该方法中的动量分量均采用指数移动平均法更新，其他分量采用梯度反向传播法更新。同样的解码器被用来重建损坏的图像，总的来说，在提出的训练方法中，一个对比损失(来自投影表示)和一个重构损失(来自解码表示)得到了相应的优化。

技术特征：

1.一种基于掩模对比表示学习的数据训练方法，其特征在于，所述数据训练方法包括以下步骤：

2.如权利要求1所述的基于掩模对比表示学习的数据训练方法，其特征在于，所述掩模对比采用的是不对称的siamse网路结构。

3.如权利要求1所述的基于掩模对比表示学习的数据训练方法，其特征在于，对所述第一子主分支和所述第一子副分支采用随机屏蔽策略进行图像掩模，掩模率均为80％。

4.如权利要求1所述的基于掩模对比表示学习的数据训练方法，其特征在于，所述主编码器和所述副编码器均是一个2层浅层网络，其包括线性层和注意力层。

5.如权利要求1所述的基于掩模对比表示学习的数据训练方法，其特征在于，在所述s5中，所述重建损失采用l1范数。

6.一种基于掩模对比表示学习的数据训练系统，其特征在于，所述数据训练系统包括：

技术总结
本发明适用于机器学习技术领域，提供了一种基于掩模对比表示学习的数据训练方法及系统，数据训练方法包括以下步骤：S1、输入图像；S2、通过掩模对比对输入图像掩模分成一个主分支和一个副分支；S3、对副分支采用较弱的数据增强方法；S4、对所有经过主编码器和副编码器的数据进行投射变换，对经过主动量编码器和副动量编码器的数据进行动量投射变换；S5、对数据进行编码之后要进行解码的操作，计算主分支和副分支的重建损失，主分支和副分支的动量投射和投射之间计算对比损失，将重建损失和对比损失按预设比例相加，用于网络的训练。本发明能够使数据集在训练过程产生更好，训练更加优化。

技术研发人员：杨海东,王华龙,吴均城,李泽辉
受保护的技术使用者：佛山市南海区广工大数控装备协同创新研究院
技术研发日：
技术公布日：2024/2/8