一种基于空间结构图学习的多维异步时序数据分类方法与流程

本发明属于图计算与时序数据预测领域，尤其涉及一种基于空间结构图学习的多维异步时序数据分类方法。

背景技术：

1、多维异步时序数据具有维度多、异步、时序性等特点，其在实际生活场景(如医疗、气象、金融、工业等)采样过程中存在采样观察时间间隔不规律的特性，因此对多维异步时序数据的分类分析存在很大的挑战。

2、针对多维异步时序数据，目前主流的做法是选择最小的异步采样时间间隔，对各维度的时序缺失数据进行数据预测补全，形成规则的多维时序数据；然后结合现有的深度学习算法完成分类任务。然而，在数据预测补全方面，现有的方法仅分别在单维数据中利用缺失值补全技术补全缺失数据，没有深度考虑多个维度之间的数据关联性，数据可行度低；在深度学习算法方面，当前分类算法没有考虑时序数据在时序上的相关性，分类效果较差。

技术实现思路

1、本发明的目的在于针对现有技术的不足，提供一种基于空间结构图学习的多维异步时序数据分类方法。

2、本发明的目的是通过以下技术方案来实现的：

3、一种基于空间结构图学习的多维异步时序数据分类方法，包括以下步骤：

4、步骤一：根据单个多维异步时序样本数据情况，将缺失的观测值赋值为0，将时序数据在单个样本上对齐，根据所有样本的最长时间长度，将所有样本时长对齐；

5、步骤二：针对每个样本，初始化所有传感器间的关系图结构为有向全连接图，其中每条有向边的权重为1，该关系图结构会随着消息传递过程进行更新迭代；

6、步骤三：针对每个样本，通过消息传递机制对样本每个时间点上所有传感器数据信息进行更新，并根据消息传播过程中产生的注意力权重更新图结构；

7、步骤四：考虑样本中每个传感器不同时间前后的关联，使用基于时间间隔的transformer方法，集成传感器各个时间点的数据，生成单个传感器嵌入表达；

8、步骤五：将样本各传感器的数据与样本静态特征进行结合，获得样本最终特征，最后使用线性分类方法对样本进行分类训练。

9、进一步地，所述步骤一包括如下具体步骤：

10、对于给出的n个多维异步时序样本数据其中yi∈{1,2,...,c}是样本si的标签，首先针对每个单一样本其中表示样本在f个传感器{u1,u2,...,uf}上观测到数据的时间，表示样本si的传感器u在时间τ的观测值，若观测值缺失，则将其填充为0；将所有时间序列时长都统一转化为t，其中t为所有观测样本的最长时长，具体操作为：对于所有时长大于t的序列，取其最近的t个时长；对于时长小于t的序列，通过在其后填充0的方式将其补齐为时长t。

11、进一步地，所述步骤二包括如下具体步骤：

12、样本传感器间关系图初始化阶段，为每个样本si构建一个有向权重图gi＝{v,ei}，其中v表示所有传感器构成的节点集合，ei表示传感器两两之间构成的有向边集合，对于任意的表示传感器u对传感器v的影响大小，并且当传感器u上有观测值时，将会通过有向边传播信息给传感器v，当时，传感器u到传感器v之间无信息传播，根据有向边的定义可知一般情况下，当u≠v，

13、在进行信息传播之前，先将有向图定义为有向全连接图，并且每条有向边的权重均初始化为1，亦即对于样本si，对任意两个传感器u、v，

14、进一步地，所述步骤三通过以下子步骤来实现：

15、步骤3.1：将样本在传感器上的观测值映射到高维空间，并根据传感器间的关系图，实现传感器间观测数据信息传播与更新；

16、步骤3.2：根据信息传播过程中计算的中间结果，更新传感器间的关系图结构与权重。

17、进一步地，所述步骤三包括如下具体步骤：

18、首先使用非线性映射将样本si在传感器u上τ时刻的1维观测值映射到更高维空间其中σ是一个非线性激活函数，ou是仅与传感器u相关的可训练参数，dh＝4为预定义的维数参数；

19、然后，样本si各个时刻的观测数据将根据构造的传感器间关系图进行l层信息传播，其中l＝2为预定义参数，在第l层，样本si在传感器u上τ时刻的信息将汇聚其观测到的邻居节点信息及其前一时刻信息进行更新，更新公式如下：

20、

21、其中⊙表示点乘运算，μ＝0.3为预定的前一时刻对当前时刻信息的影响权重参数，wu、是仅与传感器u、v相关的可训练参数，表示在样本si上传感器u对传感器v的影响大小，是规范化后的τ时刻传感器v对u的注意力权重，亦即在样本si中τ时刻传感器v信息对传感器u的影响大小/重要性权重，计算过程如下：

22、

23、

24、其中是仅与传感器u相关的可训练向量参数，dl＝16为预定义参数，是将从dh维空间映射到dl+dp维空间的可训练参数，dp＝16为预定义参数，是时刻τ的位置编码，定义为一系列频率为f的三角函数：

25、

26、其中2k、2k+1表示特征维度，位置编码的奇数列和偶数列计算方式不同，f＝10000和dp＝16为预定义参数；

27、在信息传播的过程中，通过汇聚学习到的不同时刻不同传感器间的注意力权重信息，来更新全局传感器间关系图的权重：

28、

29、并通过对每个样本的最小的k％边权重进行剪枝，从而更新样本上传感器间关系图的结构，其中k＝50为预定义的参数。

30、进一步地，所述步骤四通过以下子步骤来实现：

31、步骤4.1：将样本在每个传感器上每个时刻的嵌入表达信息与时间位置编码信息进行拼接，获得包含时间位置信息的嵌入表达；

32、步骤4.2：使用基于时间间隔的transformer机制，学习各个时间步间的相互影响后信息；

33、步骤4.3：将各个样本每个传感器上有观测值的时间点的嵌入表达进行求和平均，获得最终各个样本每个传感器对应的掩码传感器嵌入表达。

34、进一步地，所述步骤四包括如下具体步骤：

35、传感器嵌入表达生成阶段，针对样本si，首先将其在传感器u上时刻τ嵌入表达信息与时间位置编码pτ进行拼接*t表示矩阵的转置，此时表示样本si在传感器u上时刻τ的包含时间位置信息的嵌入表达，矩阵表示样本si在传感器u上的嵌入表达；

36、然后使用基于时间间隔的自注意力机制代替tansformer中的标准自注意力机制，使用生成和value(viu)：

37、

38、

39、

40、其中分别表示与生成query、key、value相关的可训练矩阵参数，并使用全连接层来获取时间间隔信息，具体计算过程为：

41、

42、

43、其中为基于时间间隔的自注意力权重，为最终的输出，σ为softmax函数，为样本sk的时间间隔矩阵，其中tk＝{tk,1,tk,2,...,tk,t}表示样本sk的时间序列，而表示时刻tk,i和tk,j间的时间间隔，对时间间隔矩阵进行规范化操作：其中表示时间间隔矩阵除0外的最小值；

44、将样本si在传感器u上有观测值的时刻数据进行汇总，获得样本si在传感器u上的掩码嵌入表达：

45、

46、其中表示矩阵的第j列列向量，为样本si在传感器u上的掩码向量，表示样本si在传感器u上的观测值的哪一部分是缺失值：

47、

48、表示向量的第j个元素。

49、进一步地，所述步骤五通过以下子步骤来实现：

50、步骤5.1：将各个样本所有传感器上的嵌入表达与样本的静态属性特征进行拼接操作，获得单个样本的嵌入表达；

51、步骤5.2：使用分类器对样本进行分类，并使用sdg梯度下降方法对模型进行训练，在模型训练的过程中同时考虑交叉熵损失函数与各个样本图结构间的差异损失函数。

52、进一步地，所述步骤五包括如下具体步骤：

53、针对不存在静态属性特征的数据，将样本si所有传感器u1、u2、...、uf的数据进行拼接操作，获得样本最终的特征嵌入表达

54、

55、针对存在静态属性特征的数据，将样本si所有传感器u1、u2、...、uf的数据和静态特征数据进行拼接操作，获得样本最终的特征嵌入表达

56、

57、在获得样本嵌入表达后，使用分类器，对样本进行分类，分类器定义为一个2层的mlp，最终输出层为c个神经元，其中c为样本类别个数，具体计算公式为：

58、

59、其中为样本si的预测输出结果，σ是一个激活函数，w(0)和w(1)为模型中可训练的矩阵参数；

60、最终使用随机梯度下降(sgd)的优化方法，对模型进行训练；模型的损失函数包括两个部分，为loss＝lce+λlr,其中λ＝0.001为预定义的参数，表示交叉熵损失函数，表示模型学习出来各样本图结构间的差异损失函数，即两两样本两两传感器间的平均欧氏距离，其中f表示传感器的个数，n表示样本个数。

61、本发明的有益效果是：本发明是面向图计算与时序数据预测领域的基于时间间隔transformer的多维异步时序数据分类方法，具有如下特点：

62、(1)本发明提出一种基于空间结构图学习的多维异步时序数据分类方法。通过将多传感器间作用建模为图结构，使用图神经网络实现传感器数据信息间的互相传播，在信息传播的过程中实现对缺失观测值的自动填充，在传感器数据大量缺失的情况下，算法鲁棒性高。

63、(2)本发明提出使用基于时间间隔的transformer机制，考虑时序数据在时序上的相关性，学习了传感器中不同时刻间的相互关系，提高了算法的分类效果。