一种基于多元时序图结构的异步时间序列分类方法与流程

本发明属于图计算与时间序列序列分类领域，尤其涉及一种基于多元时序图网络的异步时间序列分类方法。

背景技术：

1、多维异步时间序列常出现在医学、金融学、气候科学等日常领域，它是观测时间间隔不规则的采样序列，序列之间的采样率通常也是异步的，且数据中存在较多不规则缺失。多维异步时间序列一般用于分类、预测等任务，例如，基于医疗中的非规则的健康记录数据分析，进行患者死亡风险预测、疾病早期检测、患者分型等等。

2、传统的分类算法，如机器学习、神经网络等都要求数据是规则的，具体包括固定的数据维度，连续且固定的时间采样。当前学者们主要通过研究填充对齐数据的方法，补全缺失信息，将数据处理成规则的时间序列后，再使用经典的分类算法进行分析。这些方法数据处理的方法，仅仅在单数据维度中结合时间依赖性进行简单的数据填充、插值补全，没有充分考虑到多个数据维度之间(传感器之间)存在的相互依赖性，导致最后的分类效果鲁棒性不强。

技术实现思路

1、本发明的目的在于针对现有技术的不足，提供一种基于多元时序图网络的异步时间序列分类方法。

2、本发明的目的是通过以下技术方案来实现的：

3、一种基于多元时序图网络的异步时间序列分类方法，包括以下步骤：

4、步骤一：根据单个异步时序样本数据情况，将时序数据在单个样本上对齐，没有观测值的时刻定义为观测值缺失；

5、步骤二：针对每个样本，在多元交互模块中，学习所有传感器之间的关联权重，构建有向时序图网络；

6、步骤三：针对每个样本，在邻接图邻居聚合模块中，通过邻接图消息传播机制对样本每个时间点上所有传感器数据信息进行更新；

7、步骤四：考虑样本中每个传感器不同时间前后的关联，构建基于掩码时间感知的注意力模块，学习观测值间的时间相关性，集成传感器各个时间点的数据，生成单个传感器嵌入表达；

8、步骤五：将样本各传感器的数据与样本静态特征进行结合，获得样本最终特征，最后使用线性分类方法对样本进行分类训练。

9、进一步地，所述步骤二通过以下子步骤来实现：

10、步骤2.1：使用可训练衰减机制捕捉变量的缺失模式，对缺失的观测值进行填充；

11、步骤2.2：将样本在传感器上的观测值映射到高维空间，获得节点的初始表示；

12、步骤2.3：通过匹配节点的嵌入来计算注意力系数，即学习传感器间的关联权重，从而构建有向时序图网络。

13、进一步地，所述步骤二包括如下具体步骤：

14、将每个样本看作一个有向图其中表示d个传感器构成的节点集合，节点vi表示第i个传感器，是有向图的带权有向边，其中ek,ij＞0表示从节点vi到vj边的权重，ek,ij＝0表示从节点vi到vj之间不存在边，其中表示在时刻t节点vi对vj的重要性；

15、对于样本sk在第i个传感器上t时刻被观测到的数据使用非线性映射将其映射到更高维空间其中为样本sk节点vi在t时刻的初始表示，dh＝4表示向量维度；如果样本sk在第i个传感器上t时刻的值未被观测到，则通过引入可训练衰减机制对缺失值进行填充后将其映射到高维空间：

16、

17、其中是其最近时间τ＜t的观测值，为第j个传感器观测值的经验均值，衰变率为可训练变量，wλ、bλ为可训练参数；

18、在获得节点的初始表示后，通过匹配节点的嵌入来计算注意系数，即时刻t节点vi对vj的重要性：

19、

20、其中c和wα为可训练参数，σ为sigmoid激活函数，为时刻t的时间戳编码向量表示，dt＝12表示向量的维度，为预定义的参数，计算方式如下：

21、

22、其中φ(t)[u]表示时间戳t编码向量φ(t)的第u维值，为可训练参数集合；

23、根据学习到的注意力系数，即时刻t节点vi对vj的重要性，对样本两两节点的连接及相关权重进行重构：

24、

25、通过对每个样本前k％最小的权重的边进行剪枝的方式减少信息冗余并加强数据的稀疏性，其中k＝50为预定义的参数。

26、进一步地，所述步骤三通过以下子步骤来实现：

27、步骤3.1：使用图注意力机制学习当前时刻和前r步时刻的邻居节点对当前节点的影响权重；

28、步骤3.2：聚合当前时刻和前r步时刻的邻居信息，对当前节点的信息进行更新，从而更新每个时间点上所有传感器数据的信息。

29、进一步地，所述步骤三包括如下具体步骤：

30、对每个邻居的影响进行建模，并在此影响下聚集邻居节点信息，使用一种特殊的r步马尔可夫性质的图卷积模块，来建模同一时刻内和跨时域间的依赖，学习邻接图的时间和结构信息，第l层的聚合过程如下：

31、

32、其中w(l)和为可训练参数，r＝2表示最长时间步，为预定义参数，表示节点vi在时刻t-r的邻居节点，t-r表示时刻t前第r个时刻，t-0＝t，表示在第l层节点vi在t时刻和其在t-r时刻的邻居vj的注意力得分，其中注意力得分根据节点的嵌入表达使用全连接神经网络和softmax函数获得，图卷积模块总层数l＝2，从而获得节点多跳邻居节点信息。

33、进一步地，所述步骤四通过以下子步骤来实现：

34、步骤4.1：将样本在每个传感器上每个时刻的嵌入表达信息与时间位置编码信息进行拼接，获得包含时间位置信息的嵌入表达；

35、步骤4.2：使用基于时间间隔的tansformer机制，学习各个时间步间的相互影响后信息；

36、步骤4.3：将各个样本每个传感器上有观测值的时间点的嵌入表达进行求和平均，获得最终各个样本每个传感器对应的掩码传感器嵌入表达。

37、进一步地，所述步骤四包括如下具体步骤：

38、针对样本sk中节点vi在上一步最后一层，即第l＝2层获得的长度的嵌入表达序列将其与对应时间戳编码向量进行拼接，获得包含时间位置信息的嵌入表达矩阵

39、使用基于时间间隔的tansformer机制学习时间步间的相互影响后个时间步下节点的嵌入表达，计算过程如下：

40、

41、其中为计算query，key和value的可训练映射矩阵参数(dh＝4,dt＝12,dq＝dk＝dv＝dh×dt)，为规范化的时间间隔矩阵，其元素表示嵌入表达和之间的规范化的时间间隔，其中表示除0外最小的时间间隔；

42、步骤4.3：将各个样本每个传感器上有观测值的时间点的嵌入表达进行求和平均，获得最终各个样本每个传感器对应的掩码传感器嵌入表达；

43、计算uk,i的元素的掩码平均值获得样本节点级别的嵌入表达：

44、

45、其中⊙表示表示点乘运算，表示元素全为1的列向量，mk,i为样本sk在第i个传感器上的掩码矩阵，表示样本sk在第i个传感器上的观测值哪一部分是缺失值，如：

46、

47、uk,i为样本sk的第i个传感器的单变量时间序列变量sk,i的最终节点级表示。

48、进一步地，所述步骤五通过以下子步骤来实现：

49、步骤5.1：将各个样本所有传感器上的嵌入表达与样本的静态属性特征进行拼接操作，获得单个样本的嵌入表达；

50、步骤5.2：使用分类器对样本进行分类，并使用sdg梯度下降方法对模型进行训练，在模型训练的过程中优化交叉熵损失函数。

51、进一步地，所述步骤五包括如下具体步骤：

52、对存在静态属性/特征xk,0的样本sk，使用一个额外的非线性映射将静态属性特征映射到统一空间：ak＝σ(w0xk,0)，其中d＝4为预定义参数，σ为relu非线性激活函数；

53、然后对节点级嵌入表示信息以及静态属性表示信息进行汇总，获得多元时序序列的样本图级表示：

54、gk＝aggregate(uk,1,uk,2,...,uk,d,ak)

55、其中aggregate表示任意的聚合操作，

56、使用一组全连接层将样本图级特征转换到目标空间其中为模型对样本sk的分类结果，最后使用随机梯度下降的优化方法，对模型进行训练，模型的损失函数为：

57、

58、表示交叉熵损失函数，其中c表示样本类别个数，k表示样本个数。

59、本发明的有益效果是：本发明是面向图计算与时序数据分类领域的基于掩码时间感知注意力机制的异步时序数据分类方法，具有如下优势：

60、(1)本发明提出一种基于多元时序图网络的异步时间序列分类方法。通过多元交互模块来处理缺失信息，并自动提取多传感器间图结构关系，使用图神经网络实现传感器数据信息间的互相传播，在传感器数据大量缺失的情况下，算法鲁棒性高。

61、(2)本发明提出使用基于掩码时间感知注意力机制，考虑时序数据在时序上的相关性，学习了传感器中不同时刻间的相互关系，提高了算法的分类效果。