技术特征：
1.一种面向微服务资源的多模态数据分析方法，其特征在于，具体步骤包括：s1、获取不同微服务组件资源的多模态数据，所述多模态数据包括文本数据和图像数据；s2、通过resnet模型和transformer模型分别对图像数据和文本数据进行编码，得到原始的图像数据和文本数据的高层特征表示；s3、利用得到的图像数据和文本数据的高层特征表示训练clip模型，并进行数据标注，在高层特征表示的空间中进行对齐图像数据和文本数据的特征；s4、通过交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模态数据。2.根据权利要求1所述一种面向微服务资源的多模态数据分析方法，其特征在于，所述步骤s2中的具体步骤包括：基于改进的resnet模型对图像数据进行编码，得到图像数据的高层特征表示；以及基于transformer模型对文本数据进行编码，得到文本数据的高层特征表示。3.根据权利要求2所述一种面向微服务资源的多模态数据分析方法，其特征在于，所述基于改进的resnet模型对图像数据进行编码的具体步骤包括：根据获取的多模态数据中提取出的图像数据，进行图片预处理，设定图片输入分辨率，在图片缩放的基础上，采用中心裁剪的方法对图片进行裁剪，对缩放裁剪的图片进行归一化处理；通过提取归一化处理后的图像数据不同维度的特征来构成特征集；选取样本点并提取样本点的m维特征，每个样本的特征是一个大小为m
×
n的矩阵，使用随机擦除与变换对比度的方式对原图像数据进行增强；按照比例将数据集拆分为训练集和测试集，并将其全部转化为二进制文件，添加样本标签，将转换得到的tfrcords文件作为resnet模型数据输入；再对resnet模型卷积层通过投影快捷方式进行改进，其中投影快捷方式使用步幅为2的3
×
3最大池化层跟随步幅为1的1
×
1卷积层来代替原始的投影快捷方式，用于在残差网络特征维度改变之前添加不同特征尺寸的特性；再在resnet模型中利用稀疏性激活函数relu自动引入稀疏性；进行训练resnet模型，得到图像数据的高层特征表示。4.根据权利要求2所述一种面向微服务资源的多模态数据分析方法，其特征在于，所述基于transformer模型对文本数据进行编码的具体步骤包括：通过分词去词的方法和采用bert模型处理进行文本预处理，得到文本向量化表示；根据任务的分类标签对文本向量化表示的文本数据构建每个类别的描述文本，将transformer模型的编码器作为一个特征提取器，对文本数据进行特征提取，以获取文本数据的内部信息，得到文本数据的高层特征表示。5.根据权利要求1所述一种面向微服务资源的多模态数据分析方法，其特征在于，所述步骤s3中的具体步骤包括：将resnet模型作为clip模型中的image encoder模型，将transformer模型作为clip模型中的text encoder模型，分别提取文本特征和图像特征，clip模型会对提取的文本特征和图像特征进行对比学习；对于一个包含n个文本与图像对的训练batch，将n个文本特征和n个图像特征两两组合，clip模型会预测出n2个文本与图像对的相似度；根据相似度直接计算文本特征和图像
特征的余弦相似性；clip模型的训练目标则为最大n个正样本的相似度，同时最小化n个负样本的相似度。6.根据权利要求1所述一种面向微服务资源的多模态数据分析方法，其特征在于，所述步骤s4中的具体步骤包括：对传统的交叉熵损失函数，在其基础上加入权重系数w
n
，则改进的交叉熵损失函数的表达式为：式中，n表示总的样本数量，p
n,i
表示第n个样本类别为i的概率；再利用改进的交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模态数据。7.一种面向微服务资源的多模态数据分析装置，其特征在于，还包括：数据获取模块，用于获取不同微服务组件资源的多模态数据，所述多模态数据包括文本数据和图像数据；数据处理模块，用于通过resnet模型和transformer模型分别对图像数据和文本数据进行编码，得到原始的图像数据和文本数据的高层特征表示；特征解析模块，用于利用得到的图像数据和文本数据的高层特征表示训练clip模型，并进行数据标注，在高层特征表示的空间中进行对齐图像数据和文本数据的特征；数据分类模块，用于通过交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模态数据。8.根据权利要求7所述一种面向微服务资源的多模态数据分析装置，其特征在于，所述数据获取模块还包括第一获取单元和第二获取单元：所述第一获取单元，用于获取多模态数据中的文本数据；所述第二获取单元，用于获取多模态数据中的图像数据。9.根据权利要求7所述一种面向微服务资源的多模态数据分析装置，其特征在于，所述特征解析模块连接于数据获取模块的数据输出端，用于对数据编码后的多模态数据进行解析。10.一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-6任一项所述一种面向微服务资源的多模态数据分析方法。
技术总结
本发明公开了一种面向微服务资源的多模态数据分析方法、装置及介质，包括获取不同微服务组件资源的多模态数据，所述多模态数据包括文本数据和图像数据；通过ResNet模型和Transformer模型分别对图像数据和文本数据进行编码，得到原始的图像数据和文本数据的高层特征表示；利用得到的图像数据和文本数据的高层特征表示训练CLIP模型，并进行数据标注，在高层特征表示的空间中进行对齐图像数据和文本数据的特征；通过交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模态数据。本发明通过利用ResNet模型和Transformer模型对图像数据和文本数据进行编码，降低数据向量化中的损失，使用CLIP模型对多模态数据的高层特征表示进行对齐，提升多模态数据对齐的准确度。度。度。
技术研发人员：乔林 陈硕 曲睿婷 雷振江 王飞 胡楠 齐俊 教传铭 李冬 刘江 宋跃明
受保护的技术使用者：国家电网有限公司
技术研发日：2022.10.13
技术公布日：2023/1/31