一种基于跨模态迁移知识数据的小分类模型的训练方法及系统与流程

本发明涉及模型数据训练，尤其涉及一种基于跨模态迁移知识数据的小分类模型的训练方法及系统。

背景技术：

1、基于跨模态迁移知识数据的小分类模型的训练方法在背景技术发展历程中经历了多个阶段的演进。起初，基于传统机器学习的方法主要依赖于特征工程和简单的分类器，如支持向量机(svm)和朴素贝叶斯(naive bayes)。这些方法在面对小样本分类问题时往往受限于特征表达的局限性和数据稀疏性，导致性能有限。基于跨模态迁移知识数据的小分类模型的训练方法在背景技术发展历程中经历了多个阶段的演进。起初，基于传统机器学习的方法主要依赖于特征工程和简单的分类器，如支持向量机(svm)和朴素贝叶斯(naivebayes)。这些方法在面对小样本分类问题时往往受限于特征表达的局限性和数据稀疏性，导致性能有限。针对小样本数据的特殊性，自监督学习逐渐成为关键技术。自监督学习通过利用数据本身的信息进行训练，避免了依赖大量标注数据的问题。同时，对抗生成网络(gan)的出现为小样本分类带来了新的思路。然而，目前的小型模型往往更容易受到对抗样本攻击的影响，同时不同数据模态的迁移学习困难，影响了模型的性能，导致模型的性能较低。

技术实现思路

1、基于此，有必要提供一种基于跨模态迁移知识数据的小分类模型的训练方法及系统，以解决至少一个上述技术问题。

2、为实现上述目的，一种基于跨模态迁移知识数据的小分类模型的训练方法，所述方法包括以下步骤：

3、步骤s1：获取结构化数据和非结构化数据；对结构化数据和非结构化数据进行知识图谱构建，生成多维异构信息图谱数据；对多维异构信息图谱数据进行低维向量转换，生成实体关系嵌入向量数据；

4、步骤s2：对标准结构化数据和标准非结构化数据进行多模态融合网络结构设计，生成多模态自适应融合网络结构；利用多模态自适应融合网络结构对标准结构化数据和标准非结构化数据进行多模态特征数据融合，生成多模态融合特征调节数据；对多模态融合特征调节数据进行对抗样本训练，从而生成对抗增强扩充数据集；

5、步骤s3：对对抗增强扩充数据集进行最大化重构误差目标学习，生成自监督学习特征表示数据；对自监督学习特征表示数据进行对抗损失融合，生成小分类模型；通过小分类模型对自监督学习特征表示数据和实体关系嵌入向量数据进行跨模态迁移学习，生成跨模态迁移知识数据；

6、步骤s4：根据跨模态迁移知识数据进行低资源微调策略设计，生成低资源微调策略；利用低资源微调策略对小分类模型进行自适应学习率调整，生成自适应小分类学习模型。

7、本发明通过低维向量转换，实体关系嵌入向量数据可以更好地捕捉实体之间的语义关系，提升了知识图谱的语义表达丰富性。生成的实体关系嵌入向量数据可以用于高效的相似性搜索，使得在知识图谱中进行信息检索和分析更为迅速和准确。向量表示可以用于多种下游任务，例如推荐系统、分类等，为这些任务提供了更具语义的输入数据，有助于提升任务的性能。通过多模态融合，可以整合不同类型的数据，提高数据的表达能力和信息量，从而更好地反映数据的复杂性和多样性。多模态融合和对抗样本训练可以增加数据集的多样性，提高模型的泛化能力和鲁棒性，从而进一步提高模型的性能和准确度。生成的对抗增强扩充数据集可以增加原始数据集的规模，有助于缓解数据稀缺性问题，同时还可以提高模型的泛化能力和适应性。对抗样本训练可以使模型更具鲁棒性，对抗各种干扰和攻击，从而提高模型在实际应用中的可靠性和稳定性。通过最大化重构误差和对抗损失的学习，生成的自监督学习特征表示数据具有更好的表征能力和鲁棒性，有助于提高模型的性能。通过在自监督学习特征表示数据上训练小型分类模型，可以生成一个在特定任务上表现良好且具有良好泛化能力的模型。通过跨模态迁移学习，将在一个模态上学到的知识应用到另一个模态上，可以充分利用不同数据模态之间的相关性，提高模型在多模态数据上的性能和效果。通过设计专门的低资源微调策略，可以在有限的数据和计算资源下，使模型更好地适应目标任务，提高性能。自适应学习率调整可以使模型更具鲁棒性，因为它能够在训练过程中动态地调整学习率，以适应数据的变化和任务的不确定性。通过根据任务的需要调整学习率，可以更快地收敛到一个性能较好的模型，特别是在低资源环境下，这是非常有价值的。自适应学习率调整使得模型能够更好地适应不同任务的特性，提高了模型的泛化能力和适应性。因此，本发明通过数据融合、数据扩充、特征表示、跨模态迁移和低资源微调，提高了小分类模型构建的性能。

8、在本说明书中，提供了一种小分类模型的训练系统，用于执行上述的基于跨模态迁移知识数据的小分类模型的训练方法，该小分类模型的训练系统包括：

9、向量转换模块，用于获取结构化数据和非结构化数据；对结构化数据和非结构化数据进行知识图谱构建，生成多维异构信息图谱数据；对多维异构信息图谱数据进行低维向量转换，生成实体关系嵌入向量数据；

10、特征融合模块，用于对标准结构化数据和标准非结构化数据进行多模态融合网络结构设计，生成多模态自适应融合网络结构；利用多模态自适应融合网络结构对标准结构化数据和标准非结构化数据进行多模态特征数据融合，生成多模态融合特征调节数据；对多模态融合特征调节数据进行对抗样本训练，从而生成对抗增强扩充数据集；

11、小分类模型构建模块，用于对对抗增强扩充数据集进行最大化重构误差目标学习，生成自监督学习特征表示数据；对自监督学习特征表示数据进行对抗损失融合，生成小分类模型；通过小分类模型对自监督学习特征表示数据和实体关系嵌入向量数据进行跨模态迁移学习，生成跨模态迁移知识数据；

12、模型学习调整模块，用于根据跨模态迁移知识数据进行低资源微调策略设计，生成低资源微调策略；利用低资源微调策略对小分类模型进行自适应学习率调整，生成自适应小分类学习模型。

13、本发明的有益效果在于通过步骤s2中的多模态融合网络结构设计，结合标准结构化和非结构化数据，生成多模态融合特征调节数据。这有助于综合利用不同数据模态的信息，提高模型对数据的理解和表征能力。步骤s2中的对抗样本训练有助于生成对抗增强扩充数据集。这种数据集具有更丰富的样本多样性和代表性，可以提升模型的泛化能力和鲁棒性，有助于缓解数据稀缺性带来的问题。步骤s3中的自监督学习特征表示数据和跨模态迁移知识数据的生成，利用了小分类模型对多模态数据的学习能力。这有助于提取更具有代表性的特征表示，并促进模型在不同数据模态之间进行迁移学习，提高了模型的泛化能力和适应性。步骤s4中的低资源微调策略设计和自适应学习率调整，使得模型能够在有限的资源下进行有效训练。通过根据跨模态迁移知识数据设计低资源微调策略，并结合自适应学习率调整，提高了模型在低资源环境下的性能和效率。因此，本发明通过数据融合、数据扩充、特征表示、跨模态迁移和低资源微调，提高了小分类模型构建的性能。

技术特征：

1.一种基于跨模态迁移知识数据的小分类模型的训练方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于跨模态迁移知识数据的小分类模型的训练方法，其特征在于，步骤s1包括以下步骤：

3.根据权利要求1所述的基于跨模态迁移知识数据的小分类模型的训练方法，其特征在于，步骤s2包括以下步骤：

4.根据权利要求3所述的基于跨模态迁移知识数据的小分类模型的训练方法，其特征在于，步骤s24包括以下步骤：

5.根据权利要求4所述的基于跨模态迁移知识数据的小分类模型的训练方法，其特征在于，步骤s243中的对抗样本评估公式如下所示：

6.根据权利要求1所述的基于跨模态迁移知识数据的小分类模型的训练方法，其特征在于，步骤s3包括以下步骤：

7.根据权利要求6所述的基于跨模态迁移知识数据的小分类模型的训练方法，其特征在于，步骤s34包括以下步骤：

8.根据权利要求7所述的基于跨模态迁移知识数据的小分类模型的训练方法，其特征在于，步骤s343中的知识迁移任务优先级排序公式如下所示：

9.根据权利要求1所述的基于跨模态迁移知识数据的小分类模型的训练方法，其特征在于，步骤s4包括以下步骤：

10.一种小分类模型的训练系统，其特征在于，用于执行如权利要求1所述的基于跨模态迁移知识数据的小分类模型的训练方法，该小分类模型的训练系统包括：

技术总结
本发明涉及模型数据训练技术领域，尤其涉及一种基于跨模态迁移知识数据的小分类模型的训练方法及系统。所述方法包括以下步骤：获取结构化数据和非结构化数据；对结构化数据和非结构化数据进行知识图谱构建，生成多维异构信息图谱数据；对多维异构信息图谱数据进行低维向量转换，生成实体关系嵌入向量数据；对标准结构化数据和标准非结构化数据进行多模态融合网络结构设计，生成多模态自适应融合网络结构；利用多模态自适应融合网络结构对标准结构化数据和标准非结构化数据进行多模态特征数据融合，生成多模态融合特征调节数据。本发明通过数据融合、数据扩充、特征表示、跨模态迁移和低资源微调，提高了小分类模型构建的性能。

技术研发人员：李磊,符思明,王国华
受保护的技术使用者：宣城市优佳网络科技有限公司
技术研发日：
技术公布日：2024/5/16