云服务事件及服务等级合约数据的向量化方法

技术特征：

1.一种云服务事件及服务等级合约数据的向量化方法，其特征在于包括有下列步骤：

步骤一，形式化云服务事件；

步骤101，云服务器日志收集；

收集云服务器执行作业的日志记录，日志记录中的作业记为job，job中存在有多个任务；将其中一个任务下的任意一个实例记录作为一次云服务事件；

步骤102，设置云服务事件的字段内容；

将所述进行云服务事件字段内容标记，记为

所述

所述中的下角标i表示任务的标识号，下角标j表示实例的标识号；

start_time表示实例的开始时刻；

end_time表示实例的结束时刻；

machine_id表示云服务器标识；

task_name表示任务名；

job_name表示作业名；

inst_name表示实例名；

seq_no表示实例重试的次数；

total_seq_no表示实例重试的总次数；

status表示实例的状态；

cpu_avg表示实例的平均cpu利用量；

cpu_max表示实例的最大cpu利用量；

mem_avg表示实例的平均内存利用量；

mem_max表示实例的最大内存利用量；

步骤二，构造云服务事件的状态元；

步骤201，云服务事件的主谓句式表达；

云服务事件中的每一个字段是句子的组成元素；应用句子结构成分方法，用双竖线划分出句子的主语部分和谓语部分；一次云服务事件用主谓句式的表述式记为sys_event，且sys_event＝[时段],(特定)实例||[重试]呈态<载荷>；

步骤202，基于状态元表征的云服务事件的状况；

采用主谓句式sys_event＝[时段],(特定)实例||[重试]呈态<载荷>对实例集各个实例的字段语义进行句子结构成分划分，构造出云服务事件的状态元集合，记为event_status，所述event_status包含的内容有：

云服务事件的时长状态元time用于描述云服务事件的时长状态，所述time＝{start_time,end_time}；

云服务事件的位置状态元location用于描述云服务事件的位置状态，所述location＝{machine_id,job_name,task_name}；

云服务事件的数量状态元number用于描述云服务事件的数量状态，所述number＝{inst_name}；

云服务事件的重试状态元retry用于描述云服务事件的重试状态，所述retry＝{seq_no,total_seq_no}；

云服务事件的操作状态元operation用于描述云服务事件的操作状态，所述operation＝{status}；

云服务事件的cpu载荷状态元cpu用于cpu载荷元cpu描述云服务事件的cpu载荷状态，所述cpu＝{cpu_avg,cpu_max}；

云服务事件的内存载荷状态元mem用于内存载荷元mem描述云服务事件的内存载荷状态，所述mem＝{mem_avg,mem_max}；

对于任意一个云服务事件字段内容构造得到的云服务事件状态元集合为：

步骤三，形式化云服务事件的服务等级合约；

基于大数据计算服务maxcompute服务等级合约，并结合云服务事件字段内容构建得到云服务事件－状况规约slas；

所述

实例级的时长元规约

实例级的位置元规约

作业级的数量元规约

实例级的重试元规约

实例级的操作规约

实例级的cpu载荷规约

实例级的内存载荷规约

步骤四，提取违规元；

在符合步骤三制定的规约中的元素，则作为违规元；

违规元是指云服务事件－状况规约中涉及违反规定的元素；从所述slas中提取出的违规元构建得到云服务事件违规元集合

违反实例级的时长元规约sla4inst_time，称为时长元－违规元vf_longtail：

所述vf_longtail＝<end_time,start_time>；

违反实例级的位置元规约sla4inst_location，称为位置元－违规元vf_location：

所述vf_location＝{machine_id,job_name,task_name}；

违反作业级的数量元规约sla4job_number，称为数量元－违规元vf_number：

所述vf_number＝{inst_name}；

违反实例级的重试元规约sla4inst_retry，称为重试元－违规元vf_retry：

所述vf_retry＝{seq_no,total_seq_no}；

违反实例级的操作元规约sla4inst_operation，称为操作元－违规元vf_operation：

所述vf_operation＝{status}；

违反实例级的cpu载荷元规约sla4inst_cpu，称为cpu载荷元－违规元vf_cpu：

所述vf_cpu＝{cpu_avg,cpu_max}；

违反实例级的内存载荷元规约sla4inst_mem，称为内存载荷元－违规元vf_mem：

所述vf_mem＝{mem_avg,mem_max}；

违规是指未达到云服务事件－状况规约的行为；事件违规是指云服务事件则所述违规；

违规元是指涉及违反规约中的因素；违规元揭示云服务事件违规的本质，从而能够为准确地判定违规生成出所需的向量样本，故需要发现所述云服务事件违规的因素(即违规元)，它成为云服务事件的违规元；为从多个方面考虑云服务事件可能涉嫌违规的因素，因此，构造出云服务事件状态元集合

步骤五，提取指标；

从云服务事件－状况规约以及云服务事件违规元集合提取出违规限制值作为违规指标，得到规约－指标集合metric；

所述

步骤六，映射构建状况元－违规元－联系组；

依据云服务事件状态元集合及其云服务事件违规元集合映射出状态元－违规元联系元组，从而得到状况元－违规元－联系元组集，记为psv；

所述

psv_time表示“时长状态元－时长违规元”联系元组；

psv_location表示“位置状态元－位置违规元”联系元组；

psv_number表示“数量状态元－数量违规元”联系元组；

psv_retry表示“重试状态元－重试违规元”联系元组；

psv_operation表示“操作状态元－操作违规元”联系元组；

psv_cpu表示“cpu载荷状态元－cpu载荷违规元”联系元组；

psv_mem表示“内存载荷状态元－内存载荷违规元”联系元组；

依据事件的时长状态元time及其违规元vf_longtail，映射出时长状态元－时长违规元联系元组psv_time：

psv_time＝(end_time,start_time)；

依据事件的位置状态元location及其违规元vf_location，映射出位置状态元-位置违规元联系元组psv_location：

psv_location＝(machine_id,job_name,task_name)；

依据数量状态元number及其违规元vf_number，映射出数量状态元-数量违规元联系元组psv_number：

psv_number＝(inst_name)；

依据事件的重试状态元retry及其违规元vf_retry，映射出重试状态元-重试违规元联系元组psv_retry：

psv_retry＝(seq_no,total_seq_no)；

依据事件的操作状态元operation及其违规元vf_operation，映射出操作状态元-操作违规元联系元组psv_operation：

psv_operation＝(status)；

依据事件的cpu载荷状态元cpu及其违规元vf_cpu，映射出“cpu载荷状态元-cpu载荷违规元”联系元组psv_cpu：

psv_cpu＝(cpu_avg,cpu_max)；

依据事件的内存载荷状态元mem及其违规元vf_mem，映射出“内存载荷状态元-内存载荷违规元”联系元组psv_mem：

psv_mem＝(mem_avg,mem_max)；

步骤七，构造状况元－指标元－联系组；

步骤701，依据映射出的状况元－违规元－联系元组集以及提取出的规约－指标集合构造云服务事件的状态元－指标元－元组集合，记为psm；

所述

psm_time表示时长状态元－时长违规元指标元组；

psm_location表示位置状态元－位置违规元指标元组；

psm_number表示数量状态元－数量违规元指标元组；

psm_retry表示重试状态元－重试违规元指标元组；

psm_operation表示操作状态元－操作违规元指标元组；

psm_cpu表示cpu载荷状态元－cpu载荷违规元指标元组；

psm_mem表示内存载荷状态元－内存载荷违规元指标元组；

时长状态元－时长违规元指标元组

位置状态元－位置违规元指标元组

数量状态元－数量违规元指标元组

重试状态元－重试违规元指标元组

操作状态元－操作违规元指标元组

cpu载荷状态元－cpu载荷违规元指标元组

内存载荷状态元－内存载荷违规元指标元组

步骤702，依据状态元－指标元－元组集合将状况事件与指标做笛卡尔积，构造出云服务事件的状况－指标联系元组，记为rsm；

所述rsm＝(event_status,metric)

event_status表示实例状况事件；

metric表示事件的违规指标；

构造的云服务事件状况－指标联系元组

步骤八，生成云服务事件的状况－指标向量化样本；

向量化方法是类比自然语言的word2vec方法，将云服务事件与其服务等级合约数据量化为向量；

读入实例集遍历每个实例状况事件的状态元

若任意一实例的状态元不为空，则抽取出位置状态元值和数量状态元值中的数值；

terminated态映射为数值0；

ready态映射为数值1；

running态映射为数值2；

terminating态映射为数值3；

interrupted态映射为数值4；

failed态映射为数值5；

若时长状态元、重试状态元、cpu载荷状态元以及内存载荷状态元的值为数值，则保存其数值；若cpu载荷状态元、内存载荷状态元的值存在空值，则将其填为数值0；

若任意一实例的状态元为空，则说明已遍历且量化完所述的所有状态元最后保存状态元的量化结果至文件中。

2.根据权利要求1所述的云服务事件及服务等级合约数据的向量化方法，其特征在于：云服务事件－状况规约slas中的各个规约为；

实例级时长状态元规约形式化为公式(1)：

v表示谓词判定的条件；

当所述v的谓词判定结果是则违反了公式(1)，记为违规－实例级的时长元规约，即该状态元是违规元vf_longtail；

当所述v的谓词判定结果不是则为满足实例级时长元规约；

实例级位置元规约形式化为公式(3)：

v表示谓词判定的条件；

当所述v的谓词判定结果是则违反了公式(3)，记为违规－实例级的位置元规约，即该状态元是违规元vf_location；

当所述v的谓词判定结果不是则为满足实例级位置元规约；

作业级数量元规约形式化为公式(5)：

rnumber_metric＝2000(8)

mnumber_metric＝8000(9)

v表示谓词判定的条件；

当所述v的谓词判定结果是则违反了公式(5)，记为违规－作业级的数量元规约，即该状态元是违规元vf_number；

当所述v的谓词判定结果不是则为满足作业级数量元规约；

实例级重试元规约形式化为公式(10)

retry_metric＝3(11)

v表示谓词判定的条件；

当所述v的谓词判定结果是则违反了公式(10)，记为违规－实例级的重试元规约，即该状态元是违规元vf_retry；

当所述v的谓词判定结果不是则为满足实例级重试元规约；

实例级操作元规约形式化为公式(12)：

retry_metric＝3(13)

v表示谓词判定的条件；

当所述v的谓词判定结果是则违反了公式(12)，记为违规－实例级的操作元规约，即该状态元是违规元vf_operation；

当所述v的谓词判定结果不是则为满足实例级操作元规约；

将中文表述的实例级cpu载荷元规约形式化为公式(14)：

v表示谓词判定的条件；

当所述v的谓词判定结果是则违反了公式(14)，记为违规－实例级的cpu载荷元规约，即该状态元是违规元vf_cpu；

当所述v的谓词判定结果不是则为满足实例级cpu载荷元规约；

将中文表述的实例级内存载荷元规约形式化为公式(15)：

v表示谓词判定的条件；

当所述v的谓词判定结果是则违反了公式(15)，记为违规－实例级的内存载荷元规约，即该状态元是违规元vf_mem；

当所述v的谓词判定结果不是则为满足实例内存载荷元规约。

3.根据权利要求1所述的云服务事件及服务等级合约数据的向量化方法，其特征在于：云服务器的日志选用alibabaclustertracev2018数据集。

技术总结
本发明公开了一种云服务事件及其服务等级合约数据的向量化方法，该方法从离散云服务事件的碎片数据与合约数据开始，形式化事件并构造其状态元，其次形式化合约并从中提取违规元及其指标，其三映射出事件状况与服务等级合约的联系元组，最后量化状态元及其指标，生成云服务事件与服务等级合约的状况－指标向量样本序列，以此作为云服务器日志涉嫌违规的向量化痕迹数据。依据本发明方法获得的状况－指标向量样本，既可以用于针对实体状态或实体联系等事件违规的神经网络深度判定，也可用于基于深度学习的入侵检测、事件调查以及追踪溯源等。

技术研发人员：李肖坚;张翠萍;杨昊澎;黄程灵
受保护的技术使用者：广西师范大学
技术研发日：2021.04.07
技术公布日：2021.06.11