一种面向微服务资源的多模态数据分析方法、装置及介质与流程

1.本发明涉及数据分析技术领域，特别涉及一种面向微服务资源的多模态数据分析方法、装置及介质。


背景技术：

2.随着信息技术的发展，很多大型公司的云数据中心大规模应用了云计算、虚拟化、微服务等技术。相比传统数据中心，云数据中心运维工作业务应用基本采用互联网微服务架构。一个业务应用系统可能由多个微服务组成，每个微服务节点之间相互关联，使得业务应用关系更复杂，且微服务引用一些开源的组件、软件，引发的故障，处理技术要求更高，运维难度也更大。
3.传统架构下，由物理服务器等为业务应用提供运行资源，资源供给相对固定，当业务应用资源欠缺时，由信息调度统筹资源调度安排，耗时以天为单位计量。在云平台环境下，大量的业务应用以分布式的方式分派给由底层云平台计算资源组成的资源池中，能够实现灵活自动的资源水平与垂直扩展能力，耗时能达到秒级或分钟级别，但云平台资源池是由海量的硬件资源共同构成，资源配置差异较大，对资源的精准识别和智能调度策略要求更高。
4.现有技术的不足之处在于，由于资源和业务应用的强关联，传统架构应用的健壮性和灵活性都较弱。在云环境下，微服务架构带来了更优的可扩展性、独立升级性、易维护性、业务健壮性等能力，大的业务按照功能职责拆分成独立的服务应用模块，但随着电网业务规模的不断发展，相应的业务服务数量也不断增加，服务间的调用关系越来越错综复杂，给故障发现和快速定位带来更大的挑战。


技术实现要素：

5.本发明的目的克服现有技术存在的不足，为实现以上目的，采用一种面向微服务资源的多模态数据分析方法、装置及介质，以解决上述背景技术中提出的问题。
6.第一方面，本发明实施例提供一种面向微服务资源的多模态数据分析方法，包括：
7.s1、获取不同微服务组件资源的多模态数据，所述多模态数据包括文本数据和图像数据；
8.s2、通过resnet模型和transformer模型分别对图像数据和文本数据进行编码，得到原始的图像数据和文本数据的高层特征表示；
9.s3、利用得到的图像数据和文本数据的高层特征表示训练clip模型，并进行数据标注，在高层特征表示的空间中进行对齐图像数据和文本数据的特征；
10.s4、通过交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模态数据。
11.作为本发明的进一步的方案：所述步骤s2中的具体步骤包括：
12.基于改进的resnet模型对图像数据进行编码，得到图像数据的高层特征表示；以
及
13.基于transformer模型对文本数据进行编码，得到文本数据的高层特征表示。
14.作为本发明的进一步的方案：所述基于改进的resnet模型对图像数据进行编码的具体步骤包括：
15.根据获取的多模态数据中提取出的图像数据，进行图片预处理，设定图片输入分辨率，在图片缩放的基础上，采用中心裁剪的方法对图片进行裁剪，对缩放裁剪的图片进行归一化处理；
16.通过提取归一化处理后的图像数据不同维度的特征来构成特征集；选取样本点并提取样本点的m维特征，每个样本的特征是一个大小为m
×
n的矩阵，使用随机擦除与变换对比度的方式对原图像数据进行增强；按照比例将数据集拆分为训练集和测试集，并将其全部转化为二进制文件，添加样本标签，将转换得到的tfrcords文件作为resnet模型数据输入；
17.再对resnet模型卷积层通过投影快捷方式进行改进，其中投影快捷方式使用步幅为2的3
×
3最大池化层跟随步幅为1的1
×
1卷积层来代替原始的投影快捷方式，用于在残差网络特征维度改变之前添加不同特征尺寸的特性；再在resnet模型中利用稀疏性激活函数relu自动引入稀疏性；
18.进行训练resnet模型，得到图像数据的高层特征表示。
19.作为本发明的进一步的方案：所述基于transformer模型对文本数据进行编码的具体步骤包括：
20.通过分词去词的方法和采用bert模型处理进行文本预处理，得到文本向量化表示；
21.根据任务的分类标签对文本向量化表示的文本数据构建每个类别的描述文本，将transformer模型的编码器作为一个特征提取器，对文本数据进行特征提取，以获取文本数据的内部信息，得到文本数据的高层特征表示。
22.作为本发明的进一步的方案：所述步骤s3中的具体步骤包括：
23.将resnet模型作为clip模型中的image encoder模型，将transformer模型作为clip模型中的text encoder模型，分别提取文本特征和图像特征，clip模型会对提取的文本特征和图像特征进行对比学习；
24.对于一个包含n个文本与图像对的训练batch，将n个文本特征和n个图像特征两两组合，clip模型会预测出n2个可能的文本与图像对的相似度；根据相似度直接计算文本特征和图像特征的余弦相似性；clip模型的训练目标则为最大n个正样本的相似度，同时最小化n个负样本的相似度。
25.作为本发明的进一步的方案：所述步骤s4中的具体步骤包括：
26.对传统的交叉熵损失函数，在其基础上加入权重系数wn，则改进的交叉熵损失函数的表达式为：
[0027][0028]
式中，n表示总的样本数量，p
n,i
表示第n个样本类别为i的概率；
[0029]
再利用改进的交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模
态数据。
[0030]
第二方面，本发明实施例提供一种面向微服务资源的多模态数据分析装置，还包括：
[0031]
数据获取模块，用于获取不同微服务组件资源的多模态数据，所述多模态数据包括文本数据和图像数据；
[0032]
数据处理模块，用于通过resnet模型和transformer模型分别对图像数据和文本数据进行编码，得到原始的图像数据和文本数据的高层特征表示；
[0033]
特征解析模块，用于利用得到的图像数据和文本数据的高层特征表示训练clip模型，并进行数据标注，在高层特征表示的空间中进行对齐图像数据和文本数据的特征；
[0034]
数据分类模块，用于通过交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模态数据。
[0035]
作为本发明的进一步的方案：所述数据获取模块还包括第一获取单元和第二获取单元：
[0036]
所述第一获取单元，用于获取多模态数据中的文本数据；
[0037]
所述第二获取单元，用于获取多模态数据中的图像数据。
[0038]
作为本发明的进一步的方案：所述特征解析模块连接于数据获取模块的数据输出端，用于对数据编码后的多模态数据进行解析。
[0039]
第三方面，本发明实施例提供一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现如上述任一项所述一种面向微服务资源的多模态数据分析方法。
[0040]
与现有技术相比，本发明存在以下技术效果：
[0041]
采用上述的技术方案，通过基于改进的resnet算法和transformer模型能有效的对图像和文本数据进行编码，降低了图像和文本数据在向量化中的损失。同时使用clip模型对多模态数据的高层特征表示进行对齐，能有效得到图片和文本组，提升了多模态数据对齐的准确度。能够有效使用微服务资源的特点，实现多模态数据的高效分析。
[0042]
具体实施案例可以为针对关联微服务运行的的云平台主机设备、平台软件、信息系统、微服务等多层次、多样化业务场景下的多模态运维数据，通过发明的内容，针对主机设备、平台软件、信息系统、微服务调用等层次出现的故障场景，得到多模态数据(主要包括文本和图像)的高层特征表示，实现多模态数据的对齐。为后续异常知识库的建立、故障的主动预警、故障的原因分析和调度的辅助决策打下基础。
附图说明
[0043]
下面结合附图，对本发明的具体实施方式进行详细描述：
[0044]
图1为本发明公开的一些实施例的多模态数据分析方法的步骤示意图；
[0045]
图2为本发明公开的一些实施例的多模态数据分析方法的流程框图；
[0046]
图3为本发明公开的一些实施例的改进的resnet模型图；
[0047]
图4为本发明公开的一些实施例的transformer编码器结构图。
具体实施方式
[0048]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0049]
请参考图1和图2，本发明实施例中，一种面向微服务资源的多模态数据分析方法，包括：
[0050]
s1、获取不同微服务组件资源的多模态数据，所述多模态数据包括文本数据和图像数据；
[0051]
具体的，通过提取不同微服务组件资源的多模态数据的文本数据和图像数据，用于后续进行数据分析；
[0052]
s2、通过resnet模型和transformer模型分别对图像数据和文本数据进行编码，得到原始的图像数据和文本数据的高层特征表示，其具体步骤包括：
[0053]
s21、基于改进的resnet模型对图像数据进行编码，得到图像数据的高层特征表示；本实施例中，其具体步骤包括：
[0054]
根据获取的多模态数据中提取出的图像数据，进行图片预处理，设定图片输入分辨率，在图片缩放的基础上，采用中心裁剪的方法对图片进行裁剪，对缩放裁剪的图片进行归一化处理；
[0055]
通过提取归一化处理后的图像数据不同维度的特征来构成特征集；选取样本点并提取样本点的m维特征，每个样本的特征是一个大小为m
×
n的矩阵，使用随机擦除与变换对比度的方式对原图像数据进行增强；按照比例将数据集拆分为训练集和测试集，并将其全部转化为二进制文件，添加样本标签，将转换得到的tfrcords文件作为resnet模型数据输入；
[0056]
如图3所示，图示为改进的resnet模型图，再对resnet模型卷积层通过投影快捷方式进行改进，其中投影快捷方式使用步幅为2的3
×
3最大池化层跟随步幅为1的1
×
1卷积层来代替原始的投影快捷方式，减少信息丢失，用于在残差网络特征维度改变之前添加不同特征尺寸的特性；再在resnet模型中利用稀疏性激活函数relu自动引入稀疏性，进而缓解梯度消失现象；
[0057]
最后进行训练resnet模型，得到图像数据的高层特征表示。
[0058]
s22、基于transformer模型对文本数据进行编码，得到文本数据的高层特征表示。
[0059]
本实施例中，其具体步骤包括：
[0060]
如图4所示，图示为transformer编码器结构图，通过分词去词的方法和采用bert模型处理进行文本预处理，得到文本向量化表示；
[0061]
根据任务的分类标签对文本向量化表示的文本数据构建每个类别的描述文本，将transformer模型的编码器作为一个特征提取器，对文本数据进行特征提取，以获取文本数据的内部信息，得到文本数据的高层特征表示。
[0062]
s3、利用得到的图像数据和文本数据的高层特征表示训练clip模型，并进行数据标注，在高层特征表示的空间中进行对齐图像数据和文本数据的特征，具体步骤包括：
[0063]
将resnet模型作为clip模型中的image encoder模型，将transformer模型作为
clip模型中的text encoder模型，分别提取文本特征和图像特征，clip模型会对提取的文本特征和图像特征进行对比学习；
[0064]
对于一个包含n个文本与图像对的训练batch，将n个文本特征和n个图像特征两两组合，clip模型会预测出n2个可能的文本与图像对的相似度；根据相似度直接计算文本特征和图像特征的余弦相似性；clip模型的训练目标则为最大n个正样本的相似度，同时最小化n个负样本的相似度。
[0065]
s4、通过交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模态数据，具体步骤包括：
[0066]
对传统的交叉熵损失函数，在其基础上加入权重系数wn，则改进的交叉熵损失函数的表达式为：
[0067][0068]
式中，n表示总的样本数量，p
n,i
表示第n个样本类别为i的概率；
[0069]
再利用改进的交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模态数据。
[0070]
本发明实施例还提供一种面向微服务资源的多模态数据分析装置，还包括：
[0071]
数据获取模块，用于获取不同微服务组件资源的多模态数据，所述多模态数据包括文本数据和图像数据；
[0072]
数据处理模块，用于通过resnet模型和transformer模型分别对图像数据和文本数据进行编码，得到原始的图像数据和文本数据的高层特征表示；
[0073]
特征解析模块，用于利用得到的图像数据和文本数据的高层特征表示训练clip模型，并进行数据标注，在高层特征表示的空间中进行对齐图像数据和文本数据的特征；
[0074]
数据分类模块，用于通过交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模态数据。
[0075]
本实施例中，通过数据获取模块获取不同微服务组件中的多模态数据的资源，再利用数据处理模块对得到的图像数据和文本数据进行编码，得到数据的高层特征表示，再输入特征解析模块进行在高层特征表示的空间中进行对齐图像数据和文本数据的特征，最终通过数据分类模块对数据进行分类，得到分析后的多模态数据。
[0076]
本实施例中，所述数据获取模块还包括第一获取单元和第二获取单元：
[0077]
所述第一获取单元，用于获取多模态数据中的文本数据；
[0078]
所述第二获取单元，用于获取多模态数据中的图像数据；
[0079]
所述第一获取单元和第二获取单元用于针对不同类型的数据进行采集获取。
[0080]
本实施例中，所述特征解析模块连接于数据获取模块的数据输出端，用于对数据编码后的多模态数据进行解析。
[0081]
本发明实施例还提供一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现如上述任一项所述一种面向微服务资源的多模态数据分析方法，所述方法包括：
[0082]
s1、获取不同微服务组件资源的多模态数据，所述多模态数据包括文本数据和图像数据；
[0083]
s2、通过resnet模型和transformer模型分别对图像数据和文本数据进行编码，得到原始的图像数据和文本数据的高层特征表示；
[0084]
s3、利用得到的图像数据和文本数据的高层特征表示训练clip模型，并进行数据标注，在高层特征表示的空间中进行对齐图像数据和文本数据的特征；
[0085]
s4、通过交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模态数据。
[0086]
本领域内的技术人员应明白，本发明可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本发明实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
[0087]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0088]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0089]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0090]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0091]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。