使用卷积傅里叶网络分析多变量时间序列的系统、方法和计算机程序产品与流程

使用卷积傅里叶网络分析多变量时间序列的系统、方法和计算机程序产品
1.相关申请交叉引用
2.本技术要求2021年5月24日申请的第63/192,259号美国临时专利申请的优先权，所述美国临时专利申请以全文引用的方式并入本文中。
技术领域
3.本公开大体上涉及使用机器学习模型预测度量的系统、方法和计算机程序产品，并且在一个特定实施例中涉及用于使用包括卷积傅里叶网络的机器学习模型的预测度量的系统、方法和计算机程序产品。


背景技术：

4.机器学习可以是计算机科学的领域，其使用统计技术为计算机系统提供使用数据学习(例如，逐渐提高性能)任务的能力，而无需对计算机系统进行明确编程以执行任务。在一些情况下，可以针对数据集开发机器学习模型，使得机器学习模型可以执行关于所述数据集的任务(例如，与预测相关联的任务)。
5.在一些情况下，机器学习模型，例如预测性机器学习模型，可用于基于数据作出与风险或机会相关联的预测。预测性机器学习模型可用于基于与单元相关联的数据分析单元的性能与单元的一个或多个已知特征之间的关系。预测性机器学习模型的目的可以是评估类似单元将展现所述单元的性能的可能性。预测性机器学习模型可用作欺诈检测模型。例如，预测性机器学习模型可以基于与支付交易相关联的数据执行计算，以评估涉及客户的支付交易的风险或机会，以便指导是否授权支付交易的决策。
6.多变量时间序列可以指具有多于一个时间依赖性变量的时间序列。在一些情况下，在多变量时间序列中，每个时间依赖性变量可以不仅取决于所述时间依赖性变量的过去值，而且还对其它时间依赖性变量具有某种依赖性。所述依赖性可用于预测时间依赖性变量的未来值。
7.支付处理者可以是使得支付交易能够在不同方(例如，消费者和商家)之间以可靠性、便利性和安全性进行的实体(例如，企业实体，例如社团、公司等)。支付处理者可以使用支付处理网络处理(例如，清除和/或结算)支付交易。支付处理网络可以包括被配置成允许各方(例如，服务提供商、金融机构和/或账户持有人)之间的通信使得可以进行支付交易的通信设备网络。
8.由于支付处理者的支付处理网络的意外中断可能损害由支付处理者启用的支付交易，因此支付处理者可以使用预测性机器学习模型主动地监视与预测性系统的支付交易(例如，与支付交易相关联的交易数据)，所述预测机器学习模型可以采用多变量时间序列作为输入。在一些情况下，如果交易数据的某些方面(例如，交易量和/或交易金额)偏离不同地理区域的正常情况(例如，预定水平)，则可能够及时地检测到意外的网络中断。此外，可以基于确定正发生发行方系统的异常交易下降率来检测可疑活动，例如自动柜员机
(atm)出钞攻击。
9.然而，支付处理网络的延迟可能导致与预测性机器学习模型一起使用的交易数据的可用性延迟。例如，一些交易数据可以每小时提供(例如，经由聚合交易数据的过程)，而交易数据的其它方面可能在更长的时间段内不可用，例如在数天内不可用。如果可能需要预测系统等待所有交易准备就绪，则预测系统可能不会跟上实时支付交易中的动态。此外，经济、地缘政治和/或流行病等外部因素可能突然改变支付交易的行为，并随后导致突然的概念偏移，这可能会降低由预测系统作出的预测的质量。
10.此外，在预测性系统内可能使用各种交易度量，并且上文提及的许多应用需要系统估计交易度量内的时变模式。然而，仅多变量时间序列交易数据可能不足以进行准确的预测。预测性机器学习模型从同时接收的多个传入交易度量中学习模式可能具有挑战性。
11.另外，当分析多变量时间序列时，例如包括与季节性相关的数据的方面的多变量时间序列，由于多变量时间序列的性质，基于多变量时间序列中的时间依赖性变量的真实值的预测技术可能是无效的。


技术实现要素：

12.因此，公开了使用卷积傅里叶网络预测度量的系统、装置、产品、设备和/或方法，其克服了现有技术的一些或全部缺陷。
13.在以下编号条款中阐述其它实施例或方面。
14.条款1：一种系统，包括：至少一个处理器，其被编程或配置成：接收历史数据点的时间序列，其中所述历史数据点包括关于初始时间段期间的多个时间间隔的多个交易特征的值；确定历史时间段，其中所述历史时间段包括所述初始时间段的第一时间段；确定当代(contemporary)时间段，其中所述当代时间段包括所述初始时间段的在所述历史时间段之后的第二时间段，其中所述历史时间段比所述当代时间段更长；从所述历史时间段确定与历史交易度量相关联的数据点的第一时间序列；从所述历史时间段确定与历史目标交易度量相关联的数据点的第二时间序列；从所述当代时间段确定与当代交易度量相关联的数据点的第三时间序列；生成机器学习模型，其中所述机器学习模型被配置成提供包括与当代目标交易度量相关联的数据点的预测时间序列的输出，其中当生成所述机器学习模型时，所述至少一个处理器被编程或配置成：基于与所述历史交易度量相关联的所述数据点的第一时间序列、与所述历史目标交易度量相关联的所述数据点的第二时间序列，以及与所述当代交易度量相关联的所述数据点的第三时间序列训练所述机器学习模型；以及生成所述机器学习模型的输出，其中所述机器学习模型的所述输出包括所述当代目标交易度量，并且其中所述当代目标交易度量包括目标预测周期期间的目标交易度量的值。
15.条款2：根据条款1所述的系统，其中当训练所述机器学习模型时，所述至少一个处理器被编程或配置成：提供与所述历史交易度量相关联的所述数据点的第一时间序列、与所述历史目标交易度量相关联的所述数据点的第二时间序列，以及与所述当代交易度量相关联的所述数据点的第三时间序列，作为对所述机器学习模型的处理层的输入，其中所述处理层包括快速傅里叶变换(fft)层；提供所述处理层的输出，作为对所述机器学习模型的特征提取组件(component)的输入；提供所述机器学习模型的所述特征提取组件的输出，作为对所述机器学习模型的双重注意力组件的输入；以及提供所述机器学习模型的所述双重
注意力组件的输出，作为对所述机器学习模型的学习和预测组件的输入。
16.条款3：根据条款1或2所述的系统，其中当提供与所述历史交易度量相关联的所述数据点的第一时间序列、与所述历史目标交易度量相关联的所述数据点的第二时间序列，以及与所述当代交易度量相关联的所述数据点的第三时间序列，作为对所述机器学习模型的所述处理层的输入时，所述至少一个处理器被编程或配置成：提供与所述历史交易度量相关联的所述数据点的第一时间序列的第一多个特征中的每个特征作为对所述fft层的输入，以生成所述第一多个特征中的每个特征的实(real)部分和虚(imaginary)部分；提供与所述历史目标交易度量相关联的所述数据点的第二时间序列的第二多个特征中的每个特征作为对所述fft层的输入，以生成所述第二多个特征中的每个特征的实部分和虚部分；以及提供与所述当代交易度量相关联的所述数据点的第三时间序列的第三多个特征中的每个特征作为对所述fft层的输入，以生成所述第三多个特征中的每个特征的实部分和虚部分。
17.条款4：根据条款1至3中任一项所述的系统，其中当训练所述机器学习模型时，所述至少一个处理器被编程或配置成：组合所述第一多个特征中的每个特征的所述实部分以生成所述第一多个特征的组合实部分；组合所述第一多个特征中的每个特征的所述虚部分以生成所述第一多个特征的组合虚部分；组合所述第二多个特征中的每个特征的所述实部分以生成所述第二多个特征的组合实部分；组合所述第二多个特征中的每个特征的所述虚部分以生成所述第二多个特征的组合虚部分；组合所述第三多个特征中的每个特征的所述实部分以生成所述第三多个特征的组合实部分；以及组合所述第三多个特征中的每个特征的所述虚部分以生成所述第三多个特征的组合虚部分；并且其中所述机器学习模型的所述处理层的所述输出包括所述第一多个特征的所述组合实部分、所述第一多个特征的所述组合虚部分、所述第二多个特征的所述组合实部分、所述第二多个特征的所述组合虚部分、所述第三多个特征的所述组合实部分，以及所述第三多个特征的所述组合虚部分。
18.条款5：根据条款1至4中任一项所述的系统，其中当训练所述机器学习模型时，所述至少一个处理器被编程或配置成：提供所述第一多个特征的所述组合实部分作为对一维特征提取卷积层的输入；提供所述第一多个特征的所述组合虚部分作为对所述一维特征提取卷积层的输入；提供所述第二多个特征的所述组合实部分作为对所述一维特征提取卷积层的输入；提供所述第二多个特征的所述组合虚部分作为对所述一维特征提取卷积层的输入；提供所述第三多个特征的所述组合实部分作为对所述一维特征提取卷积层的输入；提供所述第三多个特征的所述组合虚部分作为对所述一维特征提取卷积层的输入；以及基于所述一维特征提取卷积层的输出生成所述机器学习模型的所述特征提取组件的所述输出。
19.条款6：根据条款1至5中任一项所述的系统，其中对所述机器学习模型的所述双重注意力组件的所述输入包括实输入部分和虚输入部分，其中所述实输入部分包括：第一实输入，其基于所述一维特征提取卷积层针对所述第一多个特征的所述组合实部分的输出；第二实输入，其基于所述一维特征提取卷积层针对所述第二多个特征的所述组合实部分的输出；第三实输入，其基于所述一维特征提取卷积层针对所述第三多个特征的所述组合实部分的输出；并且其中所述虚输入部分包括：第一虚输入，其基于所述一维特征提取卷积层针对所述第一多个特征的所述组合虚部分的输出；第二虚输入，其基于所述一维特征提取卷积层针对所述第二多个特征的所述组合虚部分的输出；第三虚输入，其基于所述一维特
征提取卷积层针对所述第三多个特征的所述组合虚部分的输出；并且其中当训练所述机器学习模型时，所述至少一个处理器被编程或配置成：基于所述实输入部分生成实分量注意力矩阵，其中所述实分量注意力矩阵具有等于所述多个交易特征中的特征数量的多个注意力向量；以及基于所述虚输入部分生成虚分量注意力矩阵，其中所述虚分量注意力矩阵具有等于所述多个交易特征中的特征数量的多个注意力向量。
20.条款7：根据条款1至6中任一项所述的系统，其中所述至少一个处理器被进一步编程或配置成：生成对所述机器学习模型的所述双重注意力组件的所述输入的所述实输入部分；以及生成对所述机器学习模型的所述双重注意力组件的所述输入的所述虚输入部分；其中当生成对所述机器学习模型的所述双重注意力组件的所述输入的所述实输入部分时，所述至少一个处理器被编程或配置成：提供所述一维特征提取卷积层针对所述第一多个特征的所述组合实部分的所述输出作为对dropout层的输入，以生成实当代交易度量特征向量作为所述第一实输入；提供所述一维特征提取卷积层针对所述第二多个特征的所述组合实部分的所述输出作为对所述dropout层的输入，以生成实历史交易度量特征向量作为所述第二实输入；以及提供所述一维特征提取卷积层针对所述第三多个特征的所述组合实部分的所述输出作为对所述dropout层的输入，以生成实历史目标交易度量特征向量作为所述第三实输入；并且其中当生成对所述机器学习模型的所述双重注意力组件的所述输入的所述虚输入部分时，所述至少一个处理器被编程或配置成：提供所述一维特征提取卷积层针对所述第一多个特征的所述组合虚部分的所述输出作为对所述dropout层的输入，以生成虚当代交易度量特征向量作为所述第一虚输入；提供所述一维特征提取卷积层针对所述第二多个特征的所述组合虚部分的所述输出作为对所述dropout层的输入，以生成虚历史交易度量特征向量作为所述第二虚输入；以及提供所述一维特征提取卷积层针对所述第三多个特征的所述组合虚部分的所述输出作为对所述dropout层的输入，以生成虚历史目标交易度量特征向量作为所述第三虚输入。
21.条款8：根据条款1至7中任一项所述的系统，其中当生成所述实分量注意力矩阵时，所述至少一个处理器被编程或配置成：生成所述实当代交易度量特征向量和所述实历史交易度量特征向量的点积；提供所述实当代交易度量特征向量和所述实历史交易度量特征向量的所述点积作为对softmax层的输入，以生成实注意力特征向量；以及生成所述实注意力特征向量和所述实历史目标交易度量特征向量的点积，以生成所述实分量注意力矩阵；其中当生成所述虚分量注意力矩阵时，所述至少一个处理器被编程或配置成：生成所述虚当代交易度量特征向量和所述虚历史交易度量特征向量的点积；提供所述虚当代交易度量特征向量和所述虚历史交易度量特征向量的所述点积作为对softmax层的输入，以生成虚注意力特征向量；以及生成所述虚注意力特征向量和所述虚历史目标交易度量特征向量的点积，以生成所述虚分量注意力矩阵。
22.条款9：根据条款1至8中任一项所述的系统，其中当生成所述实分量注意力矩阵时，所述至少一个处理器被编程或配置成：对所述实当代交易度量特征向量和所述实历史交易度量特征向量执行加法函数；提供所述实当代交易度量特征向量和所述实历史交易度量特征向量的所述加法函数的结果，作为对tanh激活函数的输入；提供所述tanh激活函数的输出作为对softmax层的输入，以生成实注意力特征向量；以及生成所述实注意力特征向量和所述实历史目标交易度量特征向量的点积，以生成所述实分量注意力矩阵；其中当生
成所述虚分量注意力矩阵时，所述至少一个处理器被编程或配置成：对所述虚当代交易度量特征向量和所述虚历史交易度量特征向量执行加法函数；提供所述虚当代交易度量特征向量和所述虚历史交易度量特征向量的所述加法函数的结果，作为对tanh激活函数的输入；提供所述tanh激活函数的输出作为对softmax层的输入，以生成虚注意力特征向量；以及生成所述虚注意力特征向量和所述虚历史目标交易度量特征向量的点积，以生成所述虚分量注意力矩阵。
23.条款10：根据条款1至9中任一项所述的系统，其中当提供所述机器学习模型的所述双重注意力组件的所述输出作为对所述机器学习模型的所述学习和预测组件的所述输入时，所述至少一个处理器被编程或配置成：将所述实分量注意力矩阵和所述实当代交易度量特征向量连接(concatenate)以生成第一连接(concatenation)；提供所述第一连接作为对特征学习一维卷积层的输入；将所述虚分量注意力矩阵和所述虚当代交易度量特征向量连接以生成第二连接；提供所述第二连接作为对所述特征学习一维卷积层的输入；基于所述特征学习一维卷积层针对所述第一连接的输出提供对重构(reshape)层的输入以生成实分量特征向量；以及基于所述特征学习一维卷积层针对所述第二连接的输出提供对所述重构层的输入以生成虚分量特征向量。
24.条款11：根据条款1至10中任一项所述的系统，其中当生成所述机器学习模型的所述输出时，所述至少一个处理器被编程或配置成：基于所述实分量特征向量和所述虚分量特征向量生成复数(complex number)特征向量；以及提供所述复数特征向量作为对逆(inverse)fft层的输入以生成所述当代目标交易度量。
25.条款12：一种方法，包括：用至少一个处理器接收历史数据点的时间序列，其中所述历史数据点包括关于初始时间段期间的多个时间间隔的多个交易特征的值；用至少一个处理器确定历史时间段，其中所述历史时间段包括所述初始时间段的第一时间段；用至少一个处理器确定当代时间段，其中所述当代时间段包括所述初始时间段的在所述历史时间段之后的第二时间段，其中所述历史时间段比所述当代时间段更长；用至少一个处理器从所述历史时间段确定与历史交易度量相关联的数据点的第一时间序列；用至少一个处理器从所述历史时间段确定与历史目标交易度量相关联的数据点的第二时间序列；用至少一个处理器从所述当代时间段确定与当代交易度量相关联的数据点的第三时间序列；用至少一个处理器生成机器学习模型，其中所述机器学习模型被配置成提供包括与当代目标交易度量相关联的数据点的预测时间序列的输出，其中生成所述机器学习模型包括：基于与所述历史交易度量相关联的所述数据点的第一时间序列、与所述历史目标交易度量相关联的所述数据点的第二时间序列，以及与所述当代交易度量相关联的所述数据点的第三时间序列训练所述机器学习模型；以及生成所述机器学习模型的输出，其中所述机器学习模型的所述输出包括所述当代目标交易度量，并且其中所述当代目标交易度量包括目标预测周期期间的目标交易度量的值。
26.条款13：根据条款12所述的方法，其中训练所述机器学习模型包括：提供与所述历史交易度量相关联的所述数据点的第一时间序列、与所述历史目标交易度量相关联的所述数据点的第二时间序列，以及与所述当代交易度量相关联的所述数据点的第三时间序列，作为对所述机器学习模型的处理层的输入，其中所述处理层包括快速傅里叶变换(fft)层；提供所述处理层的输出，作为对所述机器学习模型的特征提取组件的输入；提供所述机器
学习模型的所述特征提取组件的输出，作为对所述机器学习模型的双重注意力组件的输入；以及提供所述机器学习模型的所述双重注意力组件的输出，作为对所述机器学习模型的学习和预测组件的输入。
27.条款14：根据条款12或13所述的方法，其中提供与所述历史交易度量相关联的所述数据点的第一时间序列、与所述历史目标交易度量相关联的所述数据点的第二时间序列，以及与所述当代交易度量相关联的所述数据点的第三时间序列作为对所述机器学习模型的所述处理层的输入包括：提供与所述历史交易度量相关联的所述数据点的第一时间序列的第一多个特征中的每个特征作为对所述fft层的输入，以生成所述第一多个特征中的每个特征的实部分和虚部分；提供与所述历史目标交易度量相关联的所述数据点的第二时间序列的第二多个特征中的每个特征作为对所述fft层的输入，以生成所述第二多个特征中的每个特征的实部分和虚部分；以及提供与所述当代交易度量相关联的所述数据点的第三时间序列的第三多个特征中的每个特征作为对所述fft层的输入，以生成所述第三多个特征中的每个特征的实部分和虚部分。
28.条款15：根据条款12至14中任一项所述的方法，其中训练所述机器学习模型包括：组合所述第一多个特征中的每个特征的所述实部分以生成所述第一多个特征的组合实部分；组合所述第一多个特征中的每个特征的所述虚部分以生成所述第一多个特征的组合虚部分；组合所述第二多个特征中的每个特征的所述实部分以生成所述第二多个特征的组合实部分；组合所述第二多个特征中的每个特征的所述虚部分以生成所述第二多个特征的组合虚部分；组合所述第三多个特征中的每个特征的所述实部分以生成所述第三多个特征的组合实部分；以及组合所述第三多个特征中的每个特征的所述虚部分以生成所述第三多个特征的组合虚部分；并且其中所述机器学习模型的所述处理层的所述输出包括所述第一多个特征的所述组合实部分、所述第一多个特征的所述组合虚部分、所述第二多个特征的所述组合实部分、所述第二多个特征的所述组合虚部分、所述第三多个特征的所述组合实部分，以及所述第三多个特征的所述组合虚部分。
29.条款16：根据条款12至15中任一项所述的方法，其中训练所述机器学习模型包括：提供所述第一多个特征的所述组合实部分作为对一维特征提取卷积层的输入；提供所述第一多个特征的所述组合虚部分作为对所述一维特征提取卷积层的输入；提供所述第二多个特征的所述组合实部分作为对所述一维特征提取卷积层的输入；提供所述第二多个特征的所述组合虚部分作为对所述一维特征提取卷积层的输入；提供所述第三多个特征的所述组合实部分作为对所述一维特征提取卷积层的输入；提供所述第三多个特征的所述组合虚部分作为对所述一维特征提取卷积层的输入；以及基于所述一维特征提取卷积层的输出生成所述机器学习模型的所述特征提取组件的所述输出。
30.条款17：根据条款12至16中任一项所述的方法，其中对所述机器学习模型的所述双重注意力组件的所述输入包括实输入部分和虚输入部分，其中所述实输入部分包括：第一实输入，其基于所述一维特征提取卷积层针对所述第一多个特征的所述组合实部分的输出；第二实输入，其基于所述一维特征提取卷积层针对所述第二多个特征的所述组合实部分的输出；第三实输入，其基于所述一维特征提取卷积层针对所述第三多个特征的所述组合实部分的输出；并且其中所述虚输入部分包括：第一虚输入，其基于所述一维特征提取卷积层针对所述第一多个特征的所述组合虚部分的输出；第二虚输入，其基于所述一维特征
提取卷积层针对所述第二多个特征的所述组合虚部分的输出；第三虚输入，其基于所述一维特征提取卷积层针对所述第三多个特征的所述组合虚部分的输出；并且其中训练所述机器学习模型包括：基于所述实输入部分生成实分量注意力矩阵，其中所述实分量注意力矩阵具有等于所述多个交易特征中的特征数量的多个注意力向量；以及基于所述虚输入部分生成虚分量注意力矩阵，其中所述虚分量注意力矩阵具有等于所述多个交易特征中的特征数量的多个注意力向量。
31.条款18：根据条款12至17中任一项所述的方法，其中所述方法进一步包括：生成对所述机器学习模型的所述双重注意力组件的所述输入的所述实输入部分；以及生成对所述机器学习模型的所述双重注意力组件的所述输入的所述虚输入部分；其中生成对所述机器学习模型的所述双重注意力组件的所述输入的所述实输入部分包括：提供所述一维特征提取卷积层针对所述第一多个特征的所述组合实部分的所述输出作为对dropout层的输入，以生成实当代交易度量特征向量作为所述第一实输入；提供所述一维特征提取卷积层针对所述第二多个特征的所述组合实部分的所述输出作为对所述dropout层的输入，以生成实历史交易度量特征向量作为所述第二实输入；以及提供所述一维特征提取卷积层针对所述第三多个特征的所述组合实部分的所述输出作为对所述dropout层的输入，以生成实历史目标交易度量特征向量作为所述第三实输入；并且其中生成对所述机器学习模型的所述双重注意力组件的所述输入的所述虚输入部分包括：提供所述一维特征提取卷积层针对所述第一多个特征的所述组合虚部分的所述输出作为对所述dropout层的输入，以生成虚当代交易度量特征向量作为所述第一虚输入；提供所述一维特征提取卷积层针对所述第二多个特征的所述组合虚部分的所述输出作为对所述dropout层的输入，以生成虚历史交易度量特征向量作为所述第二虚输入；以及提供所述一维特征提取卷积层针对所述第三多个特征的所述组合虚部分的所述输出作为对所述dropout层的输入，以生成虚历史目标交易度量特征向量作为所述第三虚输入。
32.条款19：根据条款12至18中任一项所述的方法，其中生成所述实分量注意力矩阵包括：生成所述实当代交易度量特征向量和所述实历史交易度量特征向量的点积；提供所述实当代交易度量特征向量和所述实历史交易度量特征向量的所述点积作为对softmax层的输入，以生成实注意力特征向量；以及生成所述实注意力特征向量和所述实历史目标交易度量特征向量的点积，以生成所述实分量注意力矩阵；其中生成所述虚分量注意力矩阵包括：生成所述虚当代交易度量特征向量和所述虚历史交易度量特征向量的点积；提供所述虚当代交易度量特征向量和所述虚历史交易度量特征向量的所述点积作为对softmax层的输入，以生成虚注意力特征向量；以及生成所述虚注意力特征向量和所述虚历史目标交易度量特征向量的点积，以生成所述虚分量注意力矩阵。
33.条款20：根据条款12至19中任一项所述的方法，其中生成所述实分量注意力矩阵包括：对所述实当代交易度量特征向量和所述实历史交易度量特征向量执行加法函数；提供所述实当代交易度量特征向量和所述实历史交易度量特征向量的所述加法函数的结果，作为对tanh激活函数的输入；提供所述tanh激活函数的输出作为对softmax层的输入，以生成实注意力特征向量；以及生成所述实注意力特征向量和所述实历史目标交易度量特征向量的点积，以生成所述实分量注意力矩阵；其中生成所述虚分量注意力矩阵包括：对所述虚当代交易度量特征向量和所述虚历史交易度量特征向量执行加法函数；提供所述虚当代交
易度量特征向量和所述虚历史交易度量特征向量的所述加法函数的结果，作为对tanh激活函数的输入；提供所述tanh激活函数的输出作为对softmax层的输入，以生成虚注意力特征向量；以及生成所述虚注意力特征向量和所述虚历史目标交易度量特征向量的点积，以生成所述虚分量注意力矩阵。
34.条款21：根据条款12至20中任一项所述的方法，其中提供所述机器学习模型的所述双重注意力组件的所述输出作为对所述机器学习模型的所述学习和预测组件的所述输入包括：将所述实分量注意力矩阵和所述实当代交易度量特征向量连接以生成第一连接；提供所述第一连接作为对特征学习一维卷积层的输入；将所述虚分量注意力矩阵和所述虚当代交易度量特征向量连接以生成第二连接；提供所述第二连接作为对所述特征学习一维卷积层的输入；基于所述特征学习一维卷积层针对所述第一连接的输出提供对重构层的输入以生成实分量特征向量；以及基于所述特征学习一维卷积层针对所述第二连接的输出提供对所述重构层的输入以生成虚分量特征向量。
35.条款22：根据条款12至21中任一项所述的方法，其中生成所述机器学习模型的所述输出包括：基于所述实分量特征向量和所述虚分量特征向量生成复数特征向量；以及提供所述复数特征向量作为对逆fft层的输入以生成所述当代目标交易度量。
36.条款23：一种计算机程序产品，包括至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括一个或多个指令，所述一个或多个指令在由至少一个处理器执行时使所述至少一个处理器：接收历史数据点的时间序列，其中所述历史数据点包括关于初始时间段期间的多个时间间隔的多个交易特征的值；确定历史时间段，其中所述历史时间段包括所述初始时间段的第一时间段；确定当代时间段，其中所述当代时间段包括所述初始时间段的在所述历史时间段之后的第二时间段，其中所述历史时间段比所述当代时间段更长；从所述历史时间段确定与历史交易度量相关联的数据点的第一时间序列；从所述历史时间段确定与历史目标交易度量相关联的数据点的第二时间序列；从所述当代时间段确定与当代交易度量相关联的数据点的第三时间序列；生成机器学习模型，其中所述机器学习模型被配置成提供包括与当代目标交易度量相关联的数据点的预测时间序列的输出，其中使所述至少一个处理器生成所述机器学习模型的所述一个或多个指令使所述至少一个处理器：基于与所述历史交易度量相关联的所述数据点的第一时间序列、与所述历史目标交易度量相关联的所述数据点的第二时间序列，以及与所述当代交易度量相关联的所述数据点的第三时间序列训练所述机器学习模型；以及生成所述机器学习模型的输出，其中所述机器学习模型的所述输出包括所述当代目标交易度量，并且其中所述当代目标交易度量包括目标预测周期期间的目标交易度量的值。
37.条款24：根据条款23所述的计算机程序产品，其中使所述至少一个处理器训练所述机器学习模型的所述一个或多个指令使所述至少一个处理器：提供与所述历史交易度量相关联的所述数据点的第一时间序列、与所述历史目标交易度量相关联的所述数据点的第二时间序列，以及与所述当代交易度量相关联的所述数据点的第三时间序列，作为对所述机器学习模型的处理层的输入，其中所述处理层包括快速傅里叶变换(fft)层；提供所述处理层的输出，作为对所述机器学习模型的特征提取组件的输入；提供所述机器学习模型的所述特征提取组件的输出，作为对所述机器学习模型的双重注意力组件的输入；以及提供所述机器学习模型的所述双重注意力组件的输出，作为对所述机器学习模型的学习和预测
组件的输入。
38.条款25：根据条款23或24所述的计算机程序产品，其中使所述至少一个处理器提供与所述历史交易度量相关联的所述数据点的第一时间序列、与所述历史目标交易度量相关联的所述数据点的第二时间序列，以及与所述当代交易度量相关联的所述数据点的第三时间序列作为对所述机器学习模型的所述处理层的输入的所述一个或多指令使所述至少一个处理器：提供与所述历史交易度量相关联的所述数据点的第一时间序列的第一多个特征中的每个特征作为对所述fft层的输入，以生成所述第一多个特征中的每个特征的实部分和虚部分；提供与所述历史目标交易度量相关联的所述数据点的第二时间序列的第二多个特征中的每个特征作为对所述fft层的输入，以生成所述第二多个特征中的每个特征的实部分和虚部分；以及提供与所述当代交易度量相关联的所述数据点的第三时间序列的第三多个特征中的每个特征作为对所述fft层的输入，以生成所述第三多个特征中的每个特征的实部分和虚部分。
39.条款26：根据条款23至25中任一项所述的计算机程序产品，其中使所述至少一个处理器训练所述机器学习模型的所述一个或多个指令使所述至少一个处理器：组合所述第一多个特征中的每个特征的所述实部分以生成所述第一多个特征的组合实部分；组合所述第一多个特征中的每个特征的所述虚部分以生成所述第一多个特征的组合虚部分；组合所述第二多个特征中的每个特征的所述实部分以生成所述第二多个特征的组合实部分；组合所述第二多个特征中的每个特征的所述虚部分以生成所述第二多个特征的组合虚部分；组合所述第三多个特征中的每个特征的所述实部分以生成所述第三多个特征的组合实部分；以及组合所述第三多个特征中的每个特征的所述虚部分以生成所述第三多个特征的组合虚部分；并且其中所述机器学习模型的所述处理层的所述输出包括所述第一多个特征的所述组合实部分、所述第一多个特征的所述组合虚部分、所述第二多个特征的所述组合实部分、所述第二多个特征的所述组合虚部分、所述第三多个特征的所述组合实部分，以及所述第三多个特征的所述组合虚部分。
40.条款27：根据条款23至26中任一项所述的计算机程序产品，其中使所述至少一个处理器训练所述机器学习模型的所述一个或多个指令使所述至少一个处理器：提供所述第一多个特征的所述组合实部分作为对一维特征提取卷积层的输入；提供所述第一多个特征的所述组合虚部分作为对所述一维特征提取卷积层的输入；提供所述第二多个特征的所述组合实部分作为对所述一维特征提取卷积层的输入；提供所述第二多个特征的所述组合虚部分作为对所述一维特征提取卷积层的输入；提供所述第三多个特征的所述组合实部分作为对所述一维特征提取卷积层的输入；提供所述第三多个特征的所述组合虚部分作为对所述一维特征提取卷积层的输入；以及基于所述一维特征提取卷积层的输出生成所述机器学习模型的所述特征提取组件的所述输出。
41.条款28：根据条款23至27中任一项所述的计算机程序产品，其中对所述机器学习模型的所述双重注意力组件的所述输入包括实输入部分和虚输入部分，其中所述实输入部分包括：第一实输入，其基于所述一维特征提取卷积层针对所述第一多个特征的所述组合实部分的输出；第二实输入，其基于所述一维特征提取卷积层针对所述第二多个特征的所述组合实部分的输出；第三实输入，其基于所述一维特征提取卷积层针对所述第三多个特征的所述组合实部分的输出；并且其中所述虚输入部分包括：第一虚输入，其基于所述一维
特征提取卷积层针对所述第一多个特征的所述组合虚部分的输出；第二虚输入，其基于所述一维特征提取卷积层针对所述第二多个特征的所述组合虚部分的输出；第三虚输入，其基于所述一维特征提取卷积层针对所述第三多个特征的所述组合虚部分的输出；并且其中使所述至少一个处理器训练所述机器学习模型的所述一个或多个指令使所述至少一个处理器：基于所述实输入部分生成实分量注意力矩阵，其中所述实分量注意力矩阵具有等于所述多个交易特征中的特征数量的多个注意力向量；以及基于所述虚输入部分生成虚分量注意力矩阵，其中所述虚分量注意力矩阵具有等于所述多个交易特征中的特征数量的多个注意力向量。
42.条款29：根据条款23至28中任一项所述的计算机程序产品，其中所述一个或多个指令还使所述至少一个处理器：生成对所述机器学习模型的所述双重注意力组件的所述输入的所述实输入部分；以及生成对所述机器学习模型的所述双重注意力组件的所述输入的所述虚输入部分；其中使所述至少一个处理器生成对所述机器学习模型的所述双重注意力组件的所述输入的所述实输入部分的所述一个或多个指令使所述至少一个处理器：提供所述一维特征提取卷积层针对所述第一多个特征的所述组合实部分的所述输出作为对dropout层的输入，以生成实当代交易度量特征向量作为所述第一实输入；提供所述一维特征提取卷积层针对所述第二多个特征的所述组合实部分的所述输出作为对所述dropout层的输入，以生成实历史交易度量特征向量作为所述第二实输入；以及提供所述一维特征提取卷积层针对所述第三多个特征的所述组合实部分的所述输出作为对所述dropout层的输入，以生成实历史目标交易度量特征向量作为所述第三实输入；并且其中使所述至少一个处理器生成对所述机器学习模型的所述双重注意力组件的所述输入的所述虚输入部分的所述一个或多个指令使所述至少一个处理器：提供所述一维特征提取卷积层针对所述第一多个特征的所述组合虚部分的所述输出作为对所述dropout层的输入，以生成虚当代交易度量特征向量作为所述第一虚输入；提供所述一维特征提取卷积层针对所述第二多个特征的所述组合虚部分的所述输出作为对所述dropout层的输入，以生成虚历史交易度量特征向量作为所述第二虚输入；以及提供所述一维特征提取卷积层针对所述第三多个特征的所述组合虚部分的所述输出作为对所述dropout层的输入，以生成虚历史目标交易度量特征向量作为所述第三虚输入。
43.条款30：根据条款23至29中任一项所述的计算机程序产品，其中使所述至少一个处理器生成所述实分量注意力矩阵的所述一个或多个指令使所述至少一个处理器：生成所述实当代交易度量特征向量和所述实历史交易度量特征向量的点积；提供所述实当代交易度量特征向量和所述实历史交易度量特征向量的所述点积作为对softmax层的输入，以生成实注意力特征向量；以及生成所述实注意力特征向量和所述实历史目标交易度量特征向量的点积，以生成所述实分量注意力矩阵；其中使所述至少一个处理器生成所述虚分量注意力矩阵的所述一个或多个指令使所述至少一个处理器：生成所述虚当代交易度量特征向量和所述虚历史交易度量特征向量的点积；提供所述虚当代交易度量特征向量和所述虚历史交易度量特征向量的所述点积作为对softmax层的输入，以生成虚注意力特征向量；以及生成所述虚注意力特征向量和所述虚历史目标交易度量特征向量的点积，以生成所述虚分量注意力矩阵。
44.条款31：根据条款23至30中任一项所述的计算机程序产品，其中使所述至少一个
处理器生成所述实分量注意力矩阵的所述一个或多个指令使所述至少一个处理器：对所述实当代交易度量特征向量和所述实历史交易度量特征向量执行加法函数；提供所述实当代交易度量特征向量和所述实历史交易度量特征向量的所述加法函数的结果，作为对tanh激活函数的输入；提供所述tanh激活函数的输出作为对softmax层的输入，以生成实注意力特征向量；以及生成所述实注意力特征向量和所述实历史目标交易度量特征向量的点积，以生成所述实分量注意力矩阵；其中使所述至少一个处理器生成所述虚分量注意力矩阵的所述一个或多个指令使所述至少一个处理器：对所述虚当代交易度量特征向量和所述虚历史交易度量特征向量执行加法函数；提供所述虚当代交易度量特征向量和所述虚历史交易度量特征向量的所述加法函数的结果，作为对tanh激活函数的输入；提供所述tanh激活函数的输出作为对softmax层的输入，以生成虚注意力特征向量；以及生成所述虚注意力特征向量和所述虚历史目标交易度量特征向量的点积，以生成所述虚分量注意力矩阵。
45.条款32：根据条款23至31中任一项所述的计算机程序产品，其中使所述至少一个处理器提供所述机器学习模型的所述双重注意力组件的所述输出作为对所述机器学习模型的所述学习和预测组件的所述输入的所述一个或多个指令使所述至少一个处理器：将所述实分量注意力矩阵和所述实当代交易度量特征向量连接以生成第一连接；提供所述第一连接作为对特征学习一维卷积层的输入；将所述虚分量注意力矩阵和所述虚当代交易度量特征向量连接以生成第二连接；提供所述第二连接作为对所述特征学习一维卷积层的输入；基于所述特征学习一维卷积层针对所述第一连接的输出提供对重构层的输入以生成实分量特征向量；以及基于所述特征学习一维卷积层针对所述第二连接的输出提供对所述重构层的输入以生成虚分量特征向量。
46.条款33：根据条款23至32中任一项所述的计算机程序产品，其中使所述至少一个处理器生成所述机器学习模型的所述输出的所述一个或多个指令使所述至少一个处理器被编程或配置成：基于所述实分量特征向量和所述虚分量特征向量生成复数特征向量；以及提供所述复数特征向量作为对逆fft层的输入以生成所述当代目标交易度量。
47.在参考附图考虑以下描述和所附权利要求书之后，本公开的这些和其它特征和特性以及相关结构元件和各部分的组合的操作方法和功能以及制造经济性将变得更加显而易见，所有附图形成本说明书的部分，其中相似附图标号在各图中标示对应部分。然而，应明确地理解，图式仅用于说明及描述的目的，且不希望作为对本公开的限制的定义。除非上下文另外明确规定，否则在本说明书和权利要求书中使用时，单数形式“一”和“所述”包括多个指示物。
附图说明
48.下文参考附图中说明的示例性实施例更详细地解释本公开的额外优点和细节，在附图中：
49.图1是其中可以根据本公开的原理实施本文中所描述的系统、装置、产品、设备和/或方法的环境的非限制性实施例或方面的图；
50.图2是图1的一个或多个装置的组件的非限制性实施例或方面的图；
51.图3是使用包括卷积傅里叶网络的机器学习模型分析多变量时间序列的过程的非限制性实施例或方面的流程图；
52.图4是生成包括卷积傅里叶网络的机器学习模型的过程的非限制性实施例或方面的流程图；
53.图5a-5e是用于分析多变量时间序列的机器学习模型架构的非限制性实施例或方面的图；
54.图6是用于在分布式环境中训练机器学习模型的过程的实施方案的非限制性实施例或方面的图；以及
55.图7是用于在分布式环境中训练机器学习模型的过程的实施方案的非限制性实施例或方面的图。
具体实施方式
56.下文出于描述的目的，术语“端”、“上”、“下”、“右”、“左”、“竖直”、“水平”、“顶部”、“底部”、“横向”、“纵向”以及其衍生词应涉及本公开如其在附图中的定向。然而，应理解，除了明确指定相反情况之外，本公开可以采用各种替代变化和步骤序列。还应理解，附图中所说明的以及在以下说明中描述的特定装置和过程仅仅是本公开的示例性实施例或方面。因此，除非另有指示，否则与本文公开的实施例或实施例的方面相关联的特定维度和其它物理特性不应被视为限制。
57.本文所使用的方面、组件、元件、结构、动作、步骤、功能、指令等都不应当被理解为关键的或必要的，除非明确地如此描述。另外，如本文所使用，冠词“一”希望包括一个或多个项目，且可与“一个或多个”和“至少一个”互换使用。此外，如本文所使用，术语“集合”希望包括一个或多个项目(例如，相关项目、不相关项目、相关项目与不相关项目的组合等)，并且可与“一个或多个”或“至少一个”互换使用。在希望仅有一个项目的情况下，使用术语“一个”或类似语言。且，如本文所使用，术语“具有”等希望是开放式术语。另外，除非另外明确陈述，否则短语“基于”希望意味着“至少部分地基于”。在适当的情况下，短语“基于”还可以意指“响应于”。
58.如本文所使用，术语“通信”和“传达”可以指信息(例如，数据、信号、消息、指令、命令等)的接收、接纳、发送、传送、预配等。一个单元(例如，装置、系统、装置或系统的组件、其组合等)与另一单元通信意味着所述一个单元能够直接或间接地从所述另一单元接收信息和/或向所述另一单元传递(例如，发送)信息。这可以指代本质上有线和/或无线的直接或间接连接。另外，尽管所发送的信息可以在第一单元与第二单元之间被修改、处理、中继和/或路线，但这两个单元也可以彼此通信。例如，即使第一单元被动地接收信息且不会主动地将信息发送到第二单元，第一单元也可与第二单元通信。作为另一实例，如果至少一个中间单元(例如，位于第一单元与第二单元之间的第三单元)处理从第一单元接收的信息且将处理后的信息发送到第二单元，则第一单元可与第二单元通信。在一些非限制性实施例或方面，消息可以指包括数据的网络包(例如，数据包等)。
59.如本文所使用，术语“发行方”、“发行方机构”、“发行方银行”或“支付装置发行方”可指向个体(例如，用户、客户等)提供用于进行例如信用支付交易和/或借记支付交易等支付交易的账户的一个或多个实体。例如，发行方机构可向客户提供唯一地标识与所述客户相关联的一个或多个账户的账户标识符，例如主账号(pan)。在一些非限制性实施例或方面，发行方可以与唯一地标识发行方机构的银行标识号码(bin)相关联。如本文所使用，“发
行方系统”可以指由发行方或代表发行方操作的一个或多个计算机系统，例如执行一个或多个软件应用程序的服务器。例如，发行方系统可包括用于授权交易的一个或多个授权服务器。
60.如本文中所使用，术语“交易服务提供商”可以指接收来自商家或其它实体的交易授权请求且在一些情况下通过交易服务提供商与发行方机构之间的协议来提供支付保证的实体。例如，交易服务提供商可包括支付网络，例如的实体。例如，交易服务提供商可包括支付网络，例如american或处理交易的任何其它实体。如本文中所使用，术语“交易服务提供商系统”可以指由交易服务提供商或代表交易服务提供商操作的一个或多个计算机系统，例如执行一个或多个软件应用程序的交易服务提供商系统。交易服务提供商系统可以包括一个或多个处理器，并且在一些非限制性实施例或方面，可由交易服务提供商或代表交易服务提供商操作。
61.如本文所使用，术语“商家”可以指基于支付交易等交易向用户(例如，客户、消费者等)提供商品和/或服务和/或对商品和/或服务的访问的一个或多个实体(例如，零售业务的运营商)。如本文所使用，“商家系统”可以指由商家或代表商家操作的一个或多个计算机系统，例如执行一个或多个软件应用程序的服务器。如本文所使用，术语“产品”可以指由商家提供的一个或多个商品和/或服务。
62.如本文所使用，术语“收单方”可以指由交易服务提供商许可且由交易服务提供商批准以发起涉及与交易服务提供商相关联的支付装置的交易(例如，支付交易)的实体。如本文所使用，术语“收单方系统”也可以指由收单方或代表收单方操作的一个或多个计算机系统、计算机装置等。收单方可发起的交易可包括支付交易(例如，购买、原始信用交易(oct)、账户资金交易(aft)等)。在一些非限制性实施例中，收单方可以由交易服务提供商授权以与商家或服务提供商签约，发起涉及与交易服务提供商相关联的支付装置的交易。收单方可以与支付服务商签合约，以使支付服务商能够向商家提供赞助。收单方可以根据交易服务提供商规章监视支付服务商的合规性。收单方可以对支付服务商进行尽职调查，并确保在与受赞助的商家签约之前发生适当的尽职调查。收单方可能对收单方操作或赞助的所有交易服务提供商计划负责任。收单方可以负责收单方支付服务商、由收单方支付服务商赞助的商家等的行为。在一些非限制性实施例中，收单方可以是金融机构，例如银行。
63.如本文所使用，术语“支付网关”可指实体和/或由此类实体或代表此类实体操作的支付处理系统，所述实体(例如商家服务提供商、支付服务提供商、支付服务商、与收单方有合约的支付服务商、支付集合人(payment aggregator)等)将支付服务(例如交易服务提供商支付服务、支付处理服务等)提供到一个或多个商家。支付服务可以与由交易服务提供商管理的便携式金融装置的使用相关联。如本文所使用，术语“支付网关系统”可指由支付网关或代表支付网关操作的一个或多个计算机系统、计算机装置、服务器、服务器群组等。
64.如本文所使用，术语“客户端”和“客户端装置”可以指一个或多个计算装置，例如处理器、存储装置和/或访问可由服务器提供的服务的类似计算机组件。在一些非限制性实施例或方面，客户端装置可包括被配置成与一个或多个网络通信和/或促进支付交易的电子装置，例如但不限于一个或多个台式计算机、一个或多个便携式计算机(例如，平板计算机)、一个或多个移动装置(例如，蜂窝电话、智能手机、个人数字助理、可穿戴装置，例如手表、眼镜、镜片和/或衣服等)，和/或其它类似装置。此外，术语“客户端”还可指拥有、使用
和/或操作客户端装置以促进与另一实体的交易的实体。
65.如本文所使用，术语“服务器”可以指一个或多个计算装置，例如处理器、存储装置和/或类似计算机组件，所述计算装置在例如因特网或私用网络等网络上与客户端装置和/或其它计算装置通信，且在一些实例中，促进其它服务器和/或客户端装置之间的通信。
66.如本文所使用，术语“系统”可指一个或多个计算装置或计算装置组合，例如但不限于处理器、服务器、客户端装置、软件应用程序和/或其它类似组件。此外，如本文所使用，对“服务器”或“处理器”的参考可指先前所述的陈述为执行先前步骤或功能的服务器和/或处理器、不同的服务器和/或处理器，和/或服务器和/或处理器的组合。例如，如在说明书和权利要求书中所使用，陈述为执行第一步骤或功能的第一服务器和/或第一处理器可指陈述为执行第二步骤或功能的相同或不同服务器和/或处理器。
67.本公开的非限制性实施例或方面涉及用于使用卷积傅里叶网络预测度量的系统、方法和计算机程序产品。在一些非限制性实施例或方面，一种用于估计时间间隔期间的交易度量的系统可包括至少一个处理器，所述至少一个处理器被编程或配置成：接收历史数据点的时间序列，其中所述历史数据点包括关于初始时间段期间的多个时间间隔的多个交易特征的值；确定历史时间段，其中所述历史时间段包括所述初始时间段的第一时间段；确定当代时间段，其中所述当代时间段包括所述初始时间段的在所述历史时间段之后的第二时间段，其中所述历史时间段比所述当代时间段更长。在一些非限制性实施例或方面，所述至少一个处理器可被编程或配置成从所述历史时间段确定与历史交易度量相关联的数据点的第一时间序列；从所述历史时间段确定与历史目标交易度量相关联的数据点的第二时间序列；从所述当代时间段确定与当代交易度量相关联的数据点的第三时间序列，并且生成机器学习模型。
68.在一些非限制性实施例或方面，所述机器学习模型被配置成提供包括与当代目标交易度量相关联的数据点的预测时间序列的输出。在一些非限制性实施例或方面，当生成所述机器学习模型时，所述至少一个处理器被编程或配置成：基于与所述历史交易度量相关联的所述数据点的第一时间序列、与所述历史目标交易度量相关联的所述数据点的第二时间序列，以及与所述当代交易度量相关联的所述数据点的第三时间序列训练所述机器学习模型。在一些非限制性实施例或方面，当训练所述机器学习模型时，所述至少一个处理器被编程或配置成：提供与所述历史交易度量相关联的所述数据点的第一时间序列、与所述历史目标交易度量相关联的所述数据点的第二时间序列，以及与所述当代交易度量相关联的所述数据点的第三时间序列，作为对所述机器学习模型的特征提取组件的输入；提供所述机器学习模型的所述特征提取组件的输出，作为对所述机器学习模型的双重注意力组件的输入；提供所述机器学习模型的所述双重注意力组件的输出，作为对所述机器学习模型的学习和预测组件的输入；以及生成所述机器学习模型的所述学习和预测组件的输出，其中所述机器学习模型的所述预测组件的所述输出包括所述当代目标交易度量，并且其中所述当代目标交易度量包括目标预测周期期间的目标交易度量的值。
69.以此方式，并且通过使用傅里叶变换和/或逆傅里叶变换作为卷积傅里叶网络，系统可以提供根据支付处理网络中涉及的延迟，例如用于机器学习模型的交易数据的可用性的延迟来处理数据的能力。此外，系统可能稳固，并且能够在分析可能改变支付交易行为并导致概念漂移的因素时提供准确的结果。此外，系统可能能够基于分析对与多变量时间序
列中的数据相关联的数据特定的方面，包括季节性方面的能力来精确地分析多变量时间序列。
70.现在参考图1，图1是其中可以实施本文所描述的装置、系统，和/或方法的实例环境100的图。如图1所示，环境100包括时间序列分析系统102、交易服务提供商系统104、用户装置106和通信网络108。时间序列分析系统102、交易服务提供商系统104和/或用户装置106可以经由有线连接、无线连接或有线和无线连接的组合互连(例如，建立连接以进行通信)。
71.时间序列分析系统102可包括被配置成经由通信网络108与交易服务提供商系统104和/或用户装置106通信的一个或多个装置。例如，时间序列分析系统102可以包括服务器、服务器群组和/或其它类似装置。在一些非限制性实施例或方面，时间序列分析系统102可与如本文所描述的交易服务提供商系统104相关联。另外或替代地，时间序列分析系统102可以生成(例如，训练、验证、再训练等)、存储和/或实施一个或多个机器学习模型(例如，操作一个或多个机器学习模型、提供输入到一个或多个机器学习模型和/或从一个或多个机器学习模型提供输出等)。在一些非限制性实施例或方面，时间序列分析系统102可以与数据存储装置通信，所述数据存储装置对于时间序列分析系统102可以是本地或远程的。在一些非限制性实施例或方面，时间序列分析系统102能够从数据存储装置接收信息，将信息存储在数据存储装置中，将信息发送到数据存储装置，和/或搜索存储在数据存储装置中的信息。
72.交易服务提供商系统104可包括被配置成经由通信网络108与时间序列分析系统102和/或用户装置106通信的一个或多个装置。例如，交易服务提供商系统104可以包括计算装置，例如服务器、服务器群组和/或其它类似装置。在一些非限制性实施例或方面，交易服务提供商系统104可与本文所描述的交易服务提供商相关联。在一些非限制性实施例或方面，时间序列分析系统102可以是交易服务提供商系统104的组件。
73.用户装置106可包括被配置成经由通信网络108与时间序列分析系统102和/或交易服务提供商系统104通信的一个或多个装置。例如，用户装置106可以包括计算装置，例如台式计算机、便携式计算机(例如，平板电脑、膝上型计算机等)、移动装置(例如，蜂窝电话、智能手机、个人数字助理、可穿戴装置等)、和/或其它类似装置。在一些非限制性实施例或方面，用户装置106可与用户(例如，操作用户装置106的个体)相关联。
74.通信网络108可包括一个或多个有线和/或无线网络。例如，通信网络108可包括蜂窝网络(例如，长期演进(lte)网络、第三代(3g)网络、第四代(4g)网络、第五代网络(5g)网络、码分多址(cdma)网络等)、公用陆地移动网络(plmn)、局域网(lan)、广域网(wan)、城域网(man)、电话网络(例如，公共交换电话网络(pstn)等)、专用网络、自组网络、内联网、因特网、基于光纤的网络、云计算网络等，和/或这些或其它类型的网络的组合。
75.示例地提供图1中示出的装置和网络的数量和布置。可能存在与图1中所示的那些相比额外的装置和/或网络、更少的装置和/或网络、不同的装置和/或网络，或不同地布置的装置和/或网络。此外，图1中所示的两个或更多个装置可在单个装置内实施，或图1中所示的单个装置可实施为多个分布式装置。另外或替代地，环境100的一组装置(例如，一个或多个装置)可以执行被描述为由环境100的另一组装置执行的一个或多个功能。
76.现在参考图2，图2是装置200的实例组件的图式。装置200可对应于时间序列分析
系统102(例如，时间序列分析系统102的一个或多个装置)、交易服务提供商系统104(例如，交易服务提供商系统104的一个或多个装置)和/或用户装置106。在一些非限制性实施例或方面，时间序列分析系统102、交易服务提供商系统104和/或用户装置106可以包括至少一个装置200和/或装置200的至少一个组件。如图2所示，装置200可包括总线202、处理器204、存储器206、存储组件208、输入组件210、输出组件212，和通信接口214。
77.总线202可包括准许装置200的组件之间的通信的组件。在一些非限制性实施例或方面，处理器204可以硬件、软件，或硬件和软件的组合实施。例如，处理器204可包括处理器(例如，中央处理单元(cpu)、图形处理单元(gpu)、加速处理单元(apu)等)、微处理器、数字信号处理器(dsp)和/或可以被编程为执行功能的任何处理组件(例如，现场可编程门阵列(fpga)、专用集成电路(asic)等)。存储器206可以包括随机存取存储器(ram)、只读存储器(rom)，和/或存储供处理器204使用的信息和/或指令的另一类型的动态或静态存储器(例如，快闪存储器、磁存储器、光学存储器等)。
78.存储组件208可存储与装置200的操作和使用相关联的信息和/或软件。例如，存储组件208可以包括硬盘(例如，磁盘、光盘、磁光盘、固态磁盘等)、压缩光盘(cd)、数字多功能光盘(dvd)、软盘、盒带、磁带和/或另一类型的计算机可读介质，以及对应的驱动器。
79.输入组件210可以包括准许装置200例如通过用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风等)接收信息的组件。另外或替代地，输入组件210可以包括用于感测信息的传感器(例如，全球定位系统(gps)组件、加速度计、陀螺仪、致动器等)。输出组件212可以包括提供来自装置200的输出信息的组件(例如，显示器、扬声器、一个或多个发光二极管(led)等)。
80.通信接口214可以包括收发器式组件(例如，收发器、独立的接收器和发送器等)，所述收发器式组件使装置200能够例如经由有线连接、无线连接，或有线连接和无线连接的组合与其它装置通信。通信接口214可以准许装置200接收来自另一装置的信息和/或向另一装置提供信息。例如，通信接口214可包括以太网接口、光学接口、同轴接口、红外接口、射频(rf)接口、通用串行总线(usb)接口、接口、蜂窝网络接口等。
81.装置200可以执行本文描述的一个或多个过程。装置200可以基于处理器204执行由例如存储器206和/或存储组件208的计算机可读介质存储的软件指令来执行这些过程。计算机可读介质(例如，非瞬态计算机可读介质)在本文中定义为非瞬态存储器装置。存储器装置包括位于单个物理存储装置内的存储器空间或跨多个物理存储装置扩展的存储器空间。
82.软件指令可以经由通信接口214从另一计算机可读介质或从另一装置读取到存储器206和/或存储组件208中。在被执行时，存储在存储器206和/或存储组件208中的软件指令可以使处理器204执行本文描述的一个或多个过程。另外或替代地，硬接线电路可替代或结合软件指令使用以执行本文中所描述的一个或多个过程。因此，本文所描述的实施例不限于硬件电路和软件的任何特定组合。
83.图2中所示的组件的数量和布置作为实例提供。在一些非限制性实施例或方面，与图2中所示的那些相比，装置200可以包括额外组件、更少组件、不同组件或以不同方式布置的组件。另外或替代地，装置200的一组组件(例如一个或多个组件)可执行被描述为由装置200的另一组组件执行的一个或多个功能。
84.现在参考图3，图3是使用包括卷积傅里叶网络的机器学习模型分析多变量时间序列的过程300的非限制性实施例或方面的流程图。在一些非限制性实施例或方面，可以由时间序列分析系统102(例如，时间序列分析系统102的一个或多个装置)(例如，完全、部分地等)执行过程300的一个或多个步骤。在一些非限制性实施例或方面，过程300的一个或多个步骤可以由与时间序列分析系统102(例如，时间序列分析系统102的一个或多个装置)、交易服务提供商系统104(例如，交易服务提供商系统104的一个或多个装置)和/或用户装置106分离或包括前述组件的另一装置或另一组装置(例如，完全、部分地等)执行。
85.如图3所示，在步骤302，过程300包括接收历史数据点的时间序列。例如，时间序列分析系统102可以从交易服务提供商系统104接收历史数据点的时间序列。在一些非限制性实施例或方面，历史数据点的时间序列可包括与使用一个或多个支付处理网络(例如，与交易服务提供商系统104相关联的一个或多个支付处理网络)进行的历史支付交易相关联的数据(例如，交易数据)。
86.在一些非限制性实施例或方面，历史数据点的时间序列可包括多变量时间序列。在一些非限制性实施例或方面，多变量时间序列可以是基于多个时间依赖性变量的一系列值，其中每个变量取决于所述变量的过去值并且还取决于多个时间依赖性变量中的其它时间依赖性变量。
87.如图3所示，在步骤304，过程300包括生成包括卷积傅里叶网络的机器学习模型。例如，时间序列分析系统102可以基于历史数据点的时间序列生成包括卷积傅里叶网络的机器学习模型。在一些非限制性实施例或方面，时间序列分析系统102可以通过基于历史数据点的时间序列的一部分训练机器学习模型并基于历史数据点的时间序列的另一部分验证机器学习模型来生成机器学习模型。在一些非限制性实施例或方面，机器学习模型可被配置成提供包括与当代目标交易度量相关联的数据点的预测时间序列的输出。
88.如图3所示，在步骤306，过程300包括使用机器学习模型执行动作。例如，时间序列分析系统102可以使用机器学习模型执行动作。在一些非限制性实施例或方面，时间序列分析系统102可以使用机器学习模型生成预测。例如，时间序列分析系统102可以接收输入(例如，实时输入)并基于输入生成机器学习模型的输出。在一些非限制性实施例或方面，输出可包括预测。在一些非限制性实施例或方面，预测可以包括基于一个或多个实体的历史交易行为与一个或多个实体相关联的一个或多个未来交易度量(例如，一个或多个当代目标交易度量)。
89.现在参考图4，图4是(例如，以与过程300的步骤304相同或类似的方式)生成包括卷积傅里叶网络的机器学习模型的过程400的非限制性实施例或方面的流程图。在一些非限制性实施例或方面，可以由时间序列分析系统102(例如，时间序列分析系统102的一个或多个装置)(例如，完全、部分地等)执行过程400的一个或多个步骤。在一些非限制性实施例或方面，过程400的一个或多个步骤可以由与时间序列分析系统102(例如，时间序列分析系统102的一个或多个装置)、交易服务提供商系统104(例如，交易服务提供商系统104的一个或多个装置)和/或用户装置106分离或包括前述组件的另一装置或另一组装置(例如，完全、部分地等)执行。
90.如图4中进一步所示，在步骤402，过程400包括使用快速傅里叶变换(fft)处理时间序列。例如，时间序列分析系统102可以使用fft处理时间序列。在一些非限制性实施例或
方面，时间序列分析系统102可以使用离散傅里叶变换，例如实际值fft(rfft)来处理时间序列。以此方式，通过使用rfft，时间序列分析系统102可以基于rfft的结果确定时间序列中的不同模式。对于在总时间段的时间间隔(例如，子周期)期间具有模式的时间序列，例如时间序列中的季节模式，这可能尤其如此。
91.在一些非限制性实施例或方面，时间序列分析系统102可以接收历史数据点的时间序列。在一些非限制性实施例或方面，数据点可以包括关于初始时间段期间的多个时间间隔的多个交易特征的值(例如，与涉及一个或多个实体的多个历史支付交易相关联的数据的交易特征，例如与多个历史支付交易相关联的交易度量的值，与多个历史支付交易相关联的交易度量的测量值等)。在一些非限制性实施例或方面，时间序列分析系统102可以确定包括初始时间段的第一时间段的历史时间段，并且确定包括所述初始时间段的在所述历史时间段之后的第二时间段的当代时间段。在一些非限制性实施例或方面，历史时间段可以比当代时间段更长。另外或替代地，历史时间段和当代时间段可以按初始时间段内的时间量分开。例如，历史时间段和当代时间段可以按包括初始时间段内的时间量的时间间隙分开。
92.在一些非限制性实施例或方面，时间序列分析系统102可以从历史时间段确定与历史交易度量相关联的数据点的第一时间序列；从历史时间段确定与历史目标交易度量相关联的数据点的第二时间序列；和/或从当代时间段确定与当代交易度量相关联的数据点的第三时间序列。
93.在一些非限制性实施例或方面，时间序列分析系统102可以基于与历史交易度量相关联的数据点的第一时间序列、与历史目标交易度量相关联的数据点的第二时间序列和/或与当代交易度量相关联的数据点的第三时间序列训练机器学习模型。在一些非限制性实施例或方面，时间序列分析系统102可以通过提供与历史交易度量相关联的数据点的第一时间序列、与历史目标交易度量相关联的数据点的第二时间序列和与当代交易度量相关联的数据点的第三时间序列作为对处理层的输入来训练机器学习模型。在一些非限制性实施例或方面，处理层可包括rfft层。
94.在一些非限制性实施例或方面，当提供与历史交易度量相关联的数据点的第一时间序列、与历史目标交易度量相关联的数据点的第二时间序列和与当代交易度量相关联的数据点的第三时间序列作为对输入机器学习模型的处理层的输入时，时间序列分析系统102可以提供与历史交易度量相关联的数据点的第一时间序列的第一多个特征中的每个特征作为对rfft层的输入，以生成第一多个特征中的每个特征的实部分和虚部分。另外或替代地，时间序列分析系统102可以提供与历史目标交易度量相关联的数据点的第二时间序列的第二多个特征中的每个特征作为对rfft层的输入，以生成第二多个特征中的每个特征的实部分和虚部分。另外或替代地，时间序列分析系统102可以提供与当代交易度量相关联的数据点的第三时间序列的第三多个特征中的每个特征作为对rfft层的输入，以生成第三多个特征中的每个特征的实部分和虚部分。
95.在一些非限制性实施例或方面，时间序列分析系统102可以组合第一多个特征中的每个特征的实部分以生成第一多个特征的组合实部分，组合第一多个特征中的每个特征的虚部分以生成第一多个特征的组合虚部分，组合第二多个特征中的每个特征的实部分以生成第二多个特征的组合实部分，组合第二多个特征中的每个特征的虚部分以生成第二多
个特征的组合虚部分，组合第三多个特征中的每个特征的实部分以生成第三多个特征的组合实部分，和/或组合第三多个特征中的每个特征的虚部分以生成第三多个特征的组合虚部分。在一些非限制性实施例或方面，机器学习模型的处理层的输出可以包括第一多个特征的组合实部分、第一多个特征的组合虚部分、第二多个特征的组合实部分、第二多个特征的组合虚部分、第三多个特征的组合实部分，以及第三多个特征的组合虚部分。
96.如图4中进一步所示，在步骤404，过程400包括执行特征提取技术。例如，时间序列分析系统102可以对机器学习模型的处理层的输出执行特征提取技术。在一些非限制性实施例或方面，时间序列分析系统102可以提供处理层的输出作为对机器学习模型的特征提取组件的输入。在一些非限制性实施例或方面，时间序列分析系统102可以提供第一多个特征的组合实部分作为对一维特征提取卷积层的输入，提供第一多个特征的组合虚部分作为一维特征提取卷积层的输入，提供第二多个特征的组合实部分作为对一维特征提取卷积层的输入，提供第二多个特征的组合虚部分作为一维特征提取卷积层的输入，提供第三多个特征的组合实部分作为对一维特征提取卷积层的输入，和/或提供第三多个特征的组合虚部分作为一维特征提取卷积层的输入。
97.在一些非限制性实施例或方面，时间序列分析系统102可以提供一维特征提取卷积层针对第一多个特征的组合实部分的输出作为对dropout层的输入以生成实当代交易度量特征向量，提供一维特征提取卷积层针对第二多个特征的组合实部分的输出作为对dropout层的输入以生成实历史交易度量特征向量，提供一维特征提取卷积层针对第三多个特征的组合实部分的输出作为对dropout层的输入以生成实历史目标交易度量特征向量，提供一维特征提取卷积层针对第一多个特征的组合虚部分的输出作为对dropout层的输入以生成虚当代交易度量特征向量，提供一维特征提取卷积层针对第二多个特征的组合虚部分的输出作为对dropout层的输入以生成虚历史交易度量特征向量，和/或提供一维特征提取卷积层针对第三多个特征的组合虚部分的输出作为对dropout层的输入以生成虚历史目标交易度量特征向量。
98.在一些非限制性实施例或方面，时间序列分析系统102可以基于一维特征提取卷积层的输出生成机器学习模型的特征提取组件的输出。在一些非限制性实施例或方面，机器学习模型的特征提取组件的输出可以包括实当代交易度量特征向量、实历史交易度量特征向量、实历史目标交易度量特征向量、虚当代交易度量特征向量、虚历史交易度量特征向量和/或虚历史目标交易度量特征向量。
99.如图4中进一步所示，在步骤406，过程400包括执行注意力技术。例如，时间序列分析系统102可以执行注意力技术。在一些非限制性实施例或方面，时间序列分析系统102可以提供机器学习模型的特征提取组件的输出作为对机器学习模型的双重注意力组件的输入。在一些非限制性实施例或方面，对机器学习模型的双重注意力组件的输入包括实输入部分和虚输入部分。在一些非限制性实施例或方面，实输入部分包括第一实输入，其基于一维特征提取卷积层针对第一多个特征的组合实部分的输出；第二实输入，其基于一维特征提取卷积层针对第二多个特征的组合实部分的输出；和/或第三实输入，其基于一维特征提取卷积层针对第三多个特征的组合实部分的输出。在一些非限制性实施例或方面，虚输入部分包括第一虚输入，其基于一维特征提取卷积层针对第一多个特征的组合虚部分的输出；第二虚输入，其基于一维特征提取卷积层针对第二多个特征的组合虚部分的输出；和/
或第三虚输入，其基于一维特征提取卷积层针对第三多个特征的组合虚部分的输出。
100.在一些非限制性实施例或方面，时间序列分析系统102可以基于实输入部分生成实分量注意力矩阵和/或基于虚输入部分生成虚分量注意力矩阵。在一些非限制性实施例或方面，第一注意力矩阵具有等于多个交易特征中的特征数量的多个注意力向量。在一些非限制性实施例或方面，第二注意力矩阵具有等于多个交易特征中的特征数量的多个注意力向量。
101.在一些非限制性实施例或方面，时间序列分析系统102可以生成对机器学习模型的双重注意力组件的输入的实输入部分和/或生成对机器学习模型的双重注意力组件的输入的虚输入部分。在一些非限制性实施例或方面，当生成对机器学习模型的双重注意力组件的输入的实输入部分时，时间序列分析系统102可以提供一维特征提取卷积层针对第一多个特征的组合实部分的输出作为对dropout层的输入，以生成实当代交易度量特征向量作为第一实输入；提供一维特征提取卷积层针对第二多个特征的组合实部分的输出作为对dropout层的输入，以生成实历史交易度量特征向量作为第二实输入；和/或提供一维特征提取卷积层针对第三多个特征的组合实部分的输出作为对dropout层的输入，以生成实历史目标交易度量特征向量作为第三实输入。在一些非限制性实施例或方面，当生成对机器学习模型的双重注意力组件的输入的虚输入部分时，时间序列分析系统102可以提供一维特征提取卷积层针对第一多个特征的组合虚部分的输出作为对dropout层的输入，以生成虚当代交易度量特征向量作为第一虚输入；提供一维特征提取卷积层针对第二多个特征的组合虚部分的输出作为对dropout层的输入，以生成虚历史交易度量特征向量作为第二虚输入；和/或提供一维特征提取卷积层针对第三多个特征的组合虚部分的输出作为对dropout层的输入，以生成虚历史目标交易度量特征向量作为第三虚输入。
102.在一些非限制性实施例或方面，当生成第一注意力矩阵时，时间序列分析系统102可以生成实当代交易度量特征向量和实历史交易度量特征向量的点积，提供实当代交易度量特征向量和实历史交易度量特征向量的点积作为对softmax层的输入以生成实注意力特征向量，和/或生成实注意力特征向量和实历史目标交易度量特征向量的点积以生成实分量注意力矩阵。
103.在一些非限制性实施例或方面，当生成所述第一注意力矩阵时，时间序列分析系统102可以对实当代交易度量特征向量和实历史交易度量特征向量执行加法函数，提供实当代交易度量特征向量和实历史交易度量特征向量的加法函数的结果，作为对tanh激活函数的输入，提供tanh激活函数的输出作为对softmax层的输入，以生成实注意力特征向量；和/或生成实注意力特征向量和实历史目标交易度量特征向量的点积，以生成实分量注意力矩阵。
104.在一些非限制性实施例或方面，当生成第二注意力矩阵时，时间序列分析系统102可以生成虚当代交易度量特征向量和虚历史交易度量特征向量的点积，提供虚当代交易度量特征向量和虚历史交易度量特征向量的点积作为对softmax层的输入以生成虚注意力特征向量，和/或生成虚注意力特征向量和虚历史目标交易度量特征向量的点积以生成虚分量注意力矩阵。
105.在一些非限制性实施例或方面，当生成所述第二注意力矩阵时，时间序列分析系统102可以对虚当代交易度量特征向量和虚历史交易度量特征向量执行加法函数，提供虚
当代交易度量特征向量和虚历史交易度量特征向量的加法函数的结果，作为对tanh激活函数的输入，提供tanh激活函数的输出作为对softmax层的输入，以生成虚注意力特征向量；和/或生成虚注意力特征向量和虚历史目标交易度量特征向量的点积，以生成虚分量注意力矩阵。
106.如图4中进一步所示，在步骤408，过程400包括执行学习和预测技术。例如，时间序列分析系统102可以执行学习和预测技术。在一些非限制性实施例或方面，时间序列分析系统102可以提供机器学习模型的双重注意力组件的输出作为对机器学习模型的学习和预测组件的输入。在一些非限制性实施例或方面，时间序列分析系统102可以将第一注意力矩阵和实当代交易度量特征向量连接以生成第一连接，并提供第一连接作为对特征学习一维卷积层的输入。在一些非限制性实施例或方面，时间序列分析系统102可以将第二注意力矩阵和虚当代交易度量特征向量连接以生成第二连接，并提供第二连接作为对特征学习一维卷积层的输入。
107.在一些非限制性实施例或方面，时间序列分析系统102可以基于特征学习一维卷积层针对第一连接的输出提供对重构层的输入以生成实分量特征向量；和/或基于特征学习一维卷积层针对第二连接的输出提供对重构层的输入以生成虚分量特征向量。
108.在一些非限制性实施例或方面，时间序列分析系统102可以生成机器学习模型的学习和预测组件的输出。机器学习模型的预测组件的输出可以包括当代目标交易度量，并且当代目标交易度量可以包括目标预测周期期间的目标交易度量的值。在一些非限制性实施例或方面，时间序列分析系统102可以基于实分量特征向量和虚分量特征向量生成复数特征向量，并提供所述复数特征向量作为对逆rfft层的输入以生成当代目标交易度量。
109.现在参考图5a-5e，所示为机器学习模型架构500和机器学习模型架构500的组件的非限制实施例或方面，其用于使用包括卷积傅里叶网络的机器学习模型分析多变量时间序列的过程(例如，过程300)或生成包括卷积傅里叶网络的机器学习模型的过程(例如，过程400)。
110.如图5a所示、机器学习模型架构500可包括处理层502、特征提取组件504、双重注意力组件506以及学习和预测组件508。如图5a进一步示出，对处理层502的输入可包括当代交易度量的时间序列tm、历史交易度量的时间序列th和历史目标交易度量的时间序列te。如图5a进一步示出，学习和预测组件508的输出可以包括当代目标交易度量的时间序列tu。通过使用傅里叶交易(例如，rfft)，机器学习模型架构500是包括卷积傅里叶网络的机器学习模型。因此，机器学习模型架构500涉及频率域中的乘法对应于时间域中的卷积的原则。
111.在一些非限制性实施例或方面，时间序列当代交易度量tm可包括多变量时间序列tm∈r
τc
×
f，其中τc是多变量时间序列的长度，且f是多变量时间序列中包括的特征的数量。在一些非限制性实施例或方面，在第m时间，第n特征的值可以表示为t
mn,m
。在一个实例中，当代交易度量可以包括一年的交易度量序列，其包括14个特征，其中τ是8,760，因为一年中有8,760小时，且f的值为14，表示所使用的特征的数量(例如，交易度量的数量)。
112.在一些非限制性实施例或方面，当代目标交易度量的时间序列tu可包括单变量时间序列tu∈r
τc
，其中τc是单变量时间序列的长度。在一些非限制性实施例或方面，历史交易度量的时间序列th可包括多变量时间序列th∈r
τh
×
f，其中τh是多变量时间序列的长度，且f是多变量时间序列中包括的特征的数量。在一些非限制性实施例或方面，历史目标交易
度量的时间序列te可包括单变量时间序列te∈r
τh
×
f，其中τh是时间序列的长度。在一些非限制性实施例或方面，对于历史交易度量的时间序列th中的每个时间步骤，在历史目标交易度量的时间序列te中可能存在对应的(例如，一对一映射到)时间步骤。
113.在一些非限制性实施例或方面，所有交易度量的时间序列tm、tu、th和te可被视为两个单独的对，其中当代交易度量tm和当代目标交易度量tu形成第一对，并且历史交易度量th和历史目标交易度量te形成第二对。对于所有四个交易度量，t[i:j]可用于表示在第i数据点(例如时间戳)开始和在第j数据点结束的序列(例如，总序列的子序列)。
[0114]
在一些非限制性实施例中，可以在当代交易度量的时间序列的开始与历史交易度量的时间序列的结束之间提供时间间隙g。在一个实例中，当代交易度量的时间序列的开始是s，并且历史交易度量的时间序列的开始可以由以下公式描述：s-g-τh。
[0115]
在一些非限制性实施例或方面，当代交易度量的时间序列tm和当代目标交易度量的时间序列tu可以具有相同的长度。在一些非限制性实施例或方面，每个时间序列的长度可以基于所述时间序列的采样率。在一个实例中，如果tm和tu具有相同的采样率，则tm和tu可以具有相同的长度。在一些非限制性实施例或方面，历史交易度量的时间序列th和/或历史目标交易度量的时间序列te可具有与tm和/或tu不同的长度，因为与tm和/或tu相比，更多历史数据点可用于注意力层中。
[0116]
如图5b所示，处理层502可包括rfft层。如图5b进一步示出，对处理层502的输入可包括输入数据(例如，与当代交易度量相关联的数据点的时间序列tm的特征、与历史交易度量相关联的数据点的时间序列th的特征，和/或与历史目标交易度量相关联的数据点的时间序列te的特征)。在一些非限制性实施例或方面，时间序列分析系统102可以将输入数据提供到处理层502。在一些非限制性实施例或方面，时间序列分析系统102可以将输入数据提供到处理层502的rfft层。例如，时间序列分析系统102可以提供与当代交易度量相关联的数据点的时间序列的特征、与历史交易度量相关联的数据点的时间序列的特征、和/或与历史目标交易度量相关联的数据点的时间序列的特征作为对处理层502的rfft层的输入。
[0117]
如图5b进一步示出，时间序列分析系统102可以使用处理层502的rfft层将rfft单独地应用于每个特征。例如，时间序列分析系统102可以使用处理层502的rfft层将rfft单独地应用于与当代交易度量相关联的数据点的时间序列的每个特征。时间序列分析系统102可以使用处理层502的rfft层将rfft单独地应用于与历史交易度量相关联的数据点的时间序列的每个特征和/或与历史目标交易度量相关联的数据点的时间序列的每个特征。在一些非限制性实施例或方面，时间序列分析系统102可以基于使用处理层502的rfft层将rfft单独地应用于每个特征来生成输出。例如，时间序列分析系统102可以基于时间序列分析系统102使用处理层502的rfft层将rfft单独地应用于每个特征，生成与当代交易度量相关联的数据点的时间序列的每个特征、与历史交易度量相关联的数据点的时间序列的每个特征和/或与历史目标交易度量相关联的数据点的时间序列的每个特征的实部分和虚部分。
[0118]
在一些非限制性实施例或方面，时间序列分析系统102可以将输出拆分成每个特征的实部分和虚部分。例如，时间序列分析系统102可以将与当代交易度量相关联的数据点的时间序列的每个特征、与历史交易度量相关联的数据点的时间序列的每个特征和/或与历史目标交易度量相关联的数据点的时间序列的每个特征的输出拆分成每个特征的实部
分和虚部分。在一些非限制性实施例或方面，时间序列分析系统102可以基于时间序列分析系统102将输出拆分成每个特征的实部分和虚部分而单独地组合(例如，分组)每个特征(例如，与当代交易度量、历史交易度量和/或历史目标交易度量相关联的数据点的时间序列的每个特征)的实部分和虚部分。
[0119]
在一些非限制性实施例或方面，时间序列分析系统102可以组合每个特征的实部分以生成特征的组合实部分。例如，时间序列分析系统102可以组合与当代交易度量相关联的数据点的时间序列的每个特征的实部分，以生成与当代交易度量相关联的数据点的时间序列的特征的组合实部分。时间序列分析系统102可以组合与历史交易度量相关联的数据点的时间序列的每个特征的实部分，以生成与历史交易度量相关联的数据点的时间序列的特征的组合实部分。时间序列分析系统102可以组合与历史目标交易度量相关联的数据点的时间序列的每个特征的实部分，以生成与历史目标交易度量相关联的数据点的时间序列的特征的组合实部分。
[0120]
在一些非限制性实施例或方面，时间序列分析系统102可以组合每个特征的虚部分以生成特征的组合虚部分。例如，时间序列分析系统102可以组合与当代交易度量相关联的数据点的时间序列的每个特征的虚部分，以生成与当代交易度量相关联的数据点的时间序列的特征的组合虚部分。时间序列分析系统102可以组合与历史交易度量相关联的数据点的时间序列的每个特征的虚部分，以生成与历史交易度量相关联的数据点的时间序列的特征的组合虚部分。时间序列分析系统102可以组合与历史目标交易度量相关联的数据点的时间序列的每个特征的虚部分，以生成与历史目标交易度量相关联的数据点的时间序列的特征的组合虚部分。
[0121]
在一些非限制性实施例或方面，时间序列分析系统102可以生成处理层502的输出。例如，时间序列分析系统102可以生成处理层502的输出，所述输出包括与当代交易度量相关联的数据点的时间序列的特征的组合实部分和特征的组合虚部分，与历史交易度量相关联的数据点的时间序列的特征的组合实部分和特征的组合虚部分，和/或与历史目标交易度量相关联的数据点的时间序列的特征的组合实部分和特征的组合虚部分。
[0122]
在一些非限制性实施例或方面，时间序列输入tm，具有f个特征，其中第k特征表示为t
mk
＝[t0,
···
,t
τc
]，离散傅里叶变换将在第k特征的第m时间输出一系列复数，为：
[0123][0124][0125]
f*
mk,m
的实部分和虚部分分别表示为fr*
mk,m
和fi*
mk,m
。等式1和2的变换也可用于其它时间序列输入th和te。
[0126]
考虑到时间步骤、当代交易度量tm、历史交易度量th和历史目标交易度量te、当代周期与历史周期之间的间隔g、历史长度(例如，th和te的长度)th、以及预测长度(例如，tm的长度)t
p
，模型f可写为：
[0127]
[0128]
其中ta和tb是目标预测周期的左边界和右边界，使得[-ta:+tb]是目标预测周期，并且v＝-t
p-g-th。
[0129]
在一些非限制性实施例或方面，可以将训练期间的优化目标定义如下：
[0130][0131]
其中μ-t
p-g-th≥0。
ꢀꢀ
(3)
[0132]
在一些非限制性实施例或方面，当代交易度量的时间序列(tm)的输入特征fm、历史交易度量的时间序列(th)的输入特征fh和历史目标交易度量的时间序列(te)的输入特征fe可以通过傅里叶层(例如，包括诸如dft例如fft、rfft等的傅里叶变换的层)从时间域变换为频率域。此变换可使后续层能够捕获交易度量特征的基础模式。具体来说，对于fm和fh中的第k特征：
[0133][0134]
具体来说，对于fe中的第k特征：
[0135][0136]
其中序列中的每个复数由包括诸如dft例如fft、rfft等的傅里叶变换来变换。由于输入特征fm、fh和fe是实数字，因此傅里叶变换的输出f*
mk
、f*
hk
和f*e是对称的。这意味着，如果f*
mk
包括多个时间步骤(例如，168个时间步骤)，则在f*
mk
中将存在所述数量的一半的频率(例如，84个不同频率)。
[0137]
此后，将复杂值输出拆分成实部分和虚部分：
[0138][0139][0140][0141]
如图5c所示，特征提取组件504可包括一个或多个一维卷积层(例如，一维特征提取卷积层)和dropout层。如图5c所示，特征提取组件504的输入可包括特征(例如，与当代交易度量相关联的数据点的时间序列tm的特征、与历史交易度量相关联的数据点的时间序列th的特征，和/或与历史目标交易度量相关联的数据点的时间序列te的特征)的组合实部分和特征的组合虚部分。在一些非限制性实施例或方面，时间序列分析系统102可以将输入提供到特征提取组件504。在一些非限制性实施例或方面，时间序列分析系统102可以将输入提供到特征提取组件504的一个或多个一维特征提取卷积层。例如，时间序列分析系统102可以提供与当代交易度量相关联的数据点的时间序列的特征的组合实部分和特征的组合虚部分(例如，处理层502的输出)，与历史交易度量相关联的数据点的时间序列的特征的组合实部分和特征的组合虚部分，和/或与历史目标交易度量相关联的数据点的时间序列的特征的组合实部分和特征的组合虚部分，作为对特征提取组件504的一个或多个一维特征提取卷积层的输入。
[0142]
在一些非限制性实施例或方面，时间序列分析系统102可以使用特征提取组件504提取频率域中的特征。例如，时间序列分析系统102可以使用特征提取组件504的一个或多个一维特征提取卷积层来提取频率域中的与当代交易度量相关联的数据点的时间序列的特征。时间序列分析系统102可以使用特征提取组件504的一个或多个一维特征提取卷积层来提取频率域中的与历史交易度量相关联的数据点的时间序列的特征。时间序列分析系统102可以使用特征提取组件504的一个或多个一维特征提取卷积层来提取频率域中的与历史目标交易度量相关联的数据点的时间序列的特征。
[0143]
在一些非限制性实施例或方面，时间序列分析系统102可以生成包括从特征提取组件504的一个或多个一维特征提取卷积层提取的特征的输出。在一些非限制性实施例或方面，时间序列分析系统102可以提供包括从一个或多个一维特征提取卷积层提取的特征的输出，作为对特征提取组件504的dropout层的输入。
[0144]
在一些非限制性实施例或方面，时间序列分析系统102可以基于时间序列分析系统102提供对dropout层的输入(例如，一维特征提取卷积层针对特征的组合实部分的输出)而使用特征提取组件504的dropout层生成实特征向量(例如，实当代交易度量特征向量、实历史交易度量特征向量，和/或实历史目标交易度量特征向量)。例如，时间序列分析系统102可以使用特征提取组件504的dropout层生成实当代交易度量特征向量。时间序列分析系统102可以使用特征提取组件504的dropout层生成实历史交易度量特征向量。时间序列分析系统102可以使用特征提取组件504的dropout层生成实历史目标交易度量特征向量。在一些非限制性实施例或方面，可以限制dropout层在特征提取组件504中的使用。
[0145]
在一些非限制性实施例或方面，时间序列分析系统102可以基于时间序列分析系统102提供对dropout层的输入(例如，一维特征提取卷积层针对特征的组合虚部分的输出)而使用特征提取组件504的dropout层生成虚特征向量(例如，虚当代交易度量特征向量、虚历史交易度量特征向量，和/或虚历史目标交易度量特征向量)。例如，时间序列分析系统102可以使用特征提取组件504的dropout层生成虚当代交易度量特征向量。时间序列分析系统102可以使用特征提取组件504的dropout层生成虚历史交易度量特征向量。时间序列分析系统102可以使用特征提取组件504的dropout层生成虚历史目标交易度量特征向量。在一些非限制性实施例或方面，可以限制dropout层在特征提取组件504中的使用。
[0146]
在用作对一维卷积层(conv1d)的输入之前，fm和fh中的所有变换特征可以组合：
[0147][0148]
使用特征提取组件504执行的特征提取过程中的最后步骤可以是使用conv1d层来提取特征。包括conv1d层的卷积神经网络(cnn)可以定义为：
[0149][0150]
其中l≥1表示第l层，h
(l)
是第l层的输出，w
(l)
和b
(l)
是第l层的权重和偏差。第一层(l＝0)中的x表示f
r*m
、f
i*m
、fr*h、f
i*h
、f
r*e
和f
i*e
。对于上述六个输入，conv1d层的相应输出表示为h
(l)mr
、h
(l)mi
、h
(l)hr
、h
(l)hi
、h
(l)er
和h
(l)ei
。
[0151]
如图5d所示，双重注意力组件506可包括一个或多个点积层(例如，包括产生点积的点积函数的一个或多个层)和一个或多个softmax层。在一些非限制性实施例或方面，双重注意力组件506可包括激活函数层代替点积层。在一些非限制性实施例或方面，激活函数层可包括加法函数和/或tanh激活函数。
[0152]
如图5d进一步示出，对双重注意力组件506的输入可包括实特征向量和/或虚特征向量(例如，实当代交易度量特征向量、实历史交易度量特征向量和/或实历史目标交易度量特征向量)。在一些非限制性实施例或方面，时间序列分析系统102可以将输入提供到双重注意力组件506。在一些非限制性实施例或方面，时间序列分析系统102可以将输入提供到双重注意力组件506的一个或多个点积层。例如，时间序列分析系统102可以提供实当代交易度量特征向量、实历史交易度量特征向量和/或实历史目标交易度量特征向量(例如，特征提取组件504的输出)，作为对双重注意力组件506的一个或多个点积层的输入。作为另一实例，时间序列分析系统102可以提供虚当代交易度量特征向量、虚历史交易度量特征向量和/或虚历史目标交易度量特征向量(例如，特征提取组件504的输出)，作为对双重注意力组件506的一个或多个点积层的输入。在一些非限制性实施例或方面，双重注意力组件506可以处理主频率。
[0153]
在一些非限制性实施例或方面，时间序列分析系统102可以将输入提供到双重注意力组件506的一个或多个激活函数层。例如，时间序列分析系统102可以提供实当代交易度量特征向量、实历史交易度量特征向量和/或实历史目标交易度量特征向量(例如，特征提取组件504的输出)，作为对双重注意力组件506的一个或多个激活函数层的输入。作为另一实例，时间序列分析系统102可以提供虚当代交易度量特征向量(例如，特征提取组件504的输出)、虚历史交易度量特征向量和/或虚历史目标交易度量特征向量，作为对双重注意力组件506的一个或多个激活函数层的输入。
[0154]
在一些非限制性实施例或方面，时间序列分析系统102可以使用双重注意力组件506的激活函数层对实当代交易度量特征向量和实历史交易度量特征向量执行加法函数。在一些非限制性实施例或方面，时间序列分析系统102可以提供实当代交易度量特征向量和实历史交易度量特征向量的加法函数的结果，作为对tanh激活函数的输入。在一些非限制性实施例或方面，时间序列分析系统102可以使用双重注意力组件506的激活函数层对实当代交易度量特征向量和实历史交易度量特征向量执行tanh激活函数。在一些非限制性实施例或方面，时间序列分析系统102可以提供实当代交易度量特征向量和实历史交易度量特征向量的tanh激活函数的结果，作为对双重注意力组件506的softmax层的输入。例如，时间序列分析系统102可以提供tanh激活函数的输出作为对双重注意力组件506的softmax层的输入，以生成实注意力特征向量。
[0155]
在一些非限制性实施例或方面，时间序列分析系统102可以生成实注意力特征向量和实历史目标交易度量特征向量的点积层。例如，时间序列分析系统102可以生成实注意力特征向量和实历史目标交易度量特征向量的点积层，以生成实分量注意力矩阵。
[0156]
在一些非限制性实施例或方面，时间序列分析系统102可以使用双重注意力组件506的激活函数层对虚当代交易度量特征向量和虚历史交易度量特征向量执行加法函数。在一些非限制性实施例或方面，时间序列分析系统102可以提供虚当代交易度量特征向量和虚历史交易度量特征向量的加法函数的结果，作为对tanh激活函数的输入。在一些非限
制性实施例或方面，时间序列分析系统102可以使用双重注意力组件506的激活函数层对虚当代交易度量特征向量和虚历史交易度量特征向量执行tanh激活函数。在一些非限制性实施例或方面，时间序列分析系统102可以提供虚当代交易度量特征向量和虚历史交易度量特征向量的tanh激活函数的结果，作为对双重注意力组件506的softmax层的输入。例如，时间序列分析系统102可以提供tanh激活函数的输出作为对双重注意力组件506的softmax层的输入，以生成虚注意力特征向量。
[0157]
在一些非限制性实施例或方面，时间序列分析系统102可以使用双重注意力组件506的点积层来生成虚当代交易度量特征向量和虚历史交易度量特征向量的点积层。在一些非限制性实施例或方面，时间序列分析系统102可以提供虚当代交易度量特征向量和虚历史交易度量特征向量的点积层，作为对双重注意力组件506的softmax层的输入。例如，时间序列分析系统102可以提供点积层作为对双重注意力组件506的softmax层的输入，以生成虚注意力特征向量。
[0158]
在一些非限制性实施例或方面，时间序列分析系统102可以生成虚注意力特征向量和虚历史目标交易度量特征向量的点积层。例如，时间序列分析系统102可以生成虚注意力特征向量和虚历史目标交易度量特征向量的点积层，以生成虚分量注意力矩阵。在一些非限制性实施例或方面，时间序列分析系统102可以生成实分量注意力矩阵和/或虚分量注意力矩阵，作为双重注意力组件506的输出。
[0159]
在一些非限制性实施例或方面，实分量注意力矩阵可包括对应于每个特征的注意力向量(例如，实注意力特征向量)。例如，实分量注意力矩阵可以包括对应于与当代交易度量相关联的数据点的时间序列的每个特征的注意力向量。实分量注意力矩阵可以包括对应于与历史交易度量相关联的数据点的时间序列的每个特征的注意力向量。实分量注意力矩阵可以包括对应于与历史目标交易度量相关联的数据点的时间序列的每个特征的注意力向量。
[0160]
在一些非限制性实施例或方面，虚分量注意力矩阵可包括对应于每个特征的注意力向量(例如，虚注意力特征向量)。例如，虚分量注意力矩阵可以包括对应于与当代交易度量相关联的数据点的时间序列的每个特征的注意力向量。虚分量注意力矩阵可以包括对应于与历史交易度量相关联的数据点的时间序列的每个特征的注意力向量。虚分量注意力矩阵可以包括对应于与历史目标交易度量相关联的数据点的时间序列的每个特征的注意力向量。
[0161]
在一些非限制性实施例或方面，对双重注意力组件506的输入(例如，实特征向量和/或虚特征向量)可以具有与特征的数量相同的维度(例如，维度等于特征的数量)。例如，实当代交易度量特征向量、实历史交易度量特征向量和/或实历史目标交易度量特征向量可以具有14个特征和等于14的维度。作为另一实例，虚当代交易度量特征向量、虚历史交易度量特征向量和/或虚历史目标交易度量特征向量可以具有14个特征和等于14的维度。
[0162]
在一些非限制性实施例或方面，时间序列分析系统102可以对实特征向量和/或虚特征向量的每个维度应用注意力机构(例如，双重注意力组件506)。例如，时间序列分析系统102可以针对实特征向量的每个维度对实当代交易度量特征向量、实历史交易度量特征向量和/或实历史目标交易度量特征向量应用双重注意力组件506。作为另一实例，时间序列分析系统102可以针对虚特征向量的每个维度对虚当代交易度量特征向量、虚历史交易
度量特征向量和/或虚历史目标交易度量特征向量应用双重注意力组件506。
[0163]
如图5d进一步示出，机器学习模型架构500包括双重注意力组件506，其中注意力组件506a针对实部分且注意力组件506b针对虚部分。使用注意力组件的目标是可以使用完整的频域历史数据(例如，述历史交易度量的时间序列、历史交易度量的特征的值、历史目标交易度量的时间序列、历史目标交易度量的特征的值等)生成双重注意力组件506，并且双重注意力组件506可能够基于当代数据的特性(例如，当代交易度量的时间序列，当代交易度量的特征的值等)来引导机器学习模型架构500的预测。在一些非限制性实施例或方面，如果历史数据与当代数据之间存在不完整的时间段，则可在训练期间不使用(例如，可以从训练中排除)间隙的时间段。间隙可以相对于当代交易度量的开始(例如，开始时间戳)，并且如果当代交易度量的时间序列的开始在不同的时间序列中不同，则不完整的时间段可以不同。
[0164]
在一些非限制性实施例或方面，历史交易度量可以用作注意力密钥，历史目标交易度量可以用作注意力值，并且当代交易度量可以用作查询。对于机器学习模型架构500中的输入的实部分和虚部分，双重注意力组件506的注意力组件(例如，双重注意力组件506的注意力层)可写为：
[0165][0166]
如图5e所示，学习和预测组件508可包括连接层、一个或多个一维特征提取卷积层、重构层、复杂层和逆fft层。如图5e进一步示出，对学习和预测组件508的输入可包括实分量注意力矩阵和/或虚分量注意力矩阵(例如，双重注意力组件506的输出)和实当代交易度量特征向量和/或虚当代交易度量特征向量。在一些非限制性实施例或方面，学习和预测组件508可包括特征学习组件，所述特征学习组件包括一个或多个一维卷积层(例如，特征学习一维卷积层)。
[0167]
在一些非限制性实施例或方面，时间序列分析系统102可以将输入(例如，双重注意力组件506的输出)提供到学习和预测组件508。在一些非限制性实施例或方面，时间序列分析系统102可以将输入提供到学习和预测组件508的连接层。例如，时间序列分析系统102可以提供实分量注意力矩阵和实当代交易度量特征向量，作为对学习和预测组件508的连接层的输入。作为另一实例，时间序列分析系统102可以提供虚分量注意力矩阵和虚当代交易度量特征向量，作为对学习和预测组件508的连接层的输入。
[0168]
在一些非限制性实施例或方面，时间序列分析系统102可以使用学习和预测组件508将输入(例如，双重注意力组件506的输出)连接。例如，时间序列分析系统102可以将实分量注意力矩阵和实当代交易度量特征向量连接以生成第一连接。作为另一实例，时间序列分析系统102可以将虚分量注意力矩阵和虚当代交易度量特征向量连接以生成第二连接。在一些非限制性实施例或方面，时间序列分析系统102可以提供第一连接，作为对一个或多个一维卷积层(例如，特征学习一维卷积层)的输入。在一些非限制性实施例或方面，时间序列分析系统102可以提供第二连接，作为对一个或多个一维卷积层(例如，特征学习一维卷积层)的输入。在一些非限制性实施例或方面，时间序列分析系统102可以使用学习和预测组件508的一个或多个特征学习一维卷积层来学习特征。例如，时间序列分析系统102可以使用学习和预测组件508的一个或多个特征学习一维卷积层来学习第一连接和/或第
二连接的特征。
[0169]
在一些非限制性实施例或方面，时间序列分析系统102可以生成基于第一连接和/或第二连接的特征学习一维卷积层的输出。在一些非限制性实施例或方面，时间序列分析系统102可以提供基于第一连接和/或第二连接的特征学习一维卷积层的输出，作为重构层的输入。例如，时间序列分析系统102可以将基于第一连接的特征学习一维卷积层的输出提供到重构层，以生成实分量特征向量。作为另一实例，时间序列分析系统102可以将基于第二连接的特征学习一维卷积层的输出提供到重构层，以生成虚分量特征向量。
[0170]
在一些非限制性实施例或方面，时间序列分析系统102可以使用学习和预测组件508的重构层来重构(例如，挤压)对重构层的输入(例如，基于第一连接和/或第二连接的特征学习一维卷积层的输出)的维度，其中输入的维度具有1的形状。在一些非限制性实施例或方面，时间序列分析系统102可以提供重构层的输出(例如，实分量特征向量、虚分量特征向量)，作为对学习和预测组件508的复杂层的输入。在一些非限制性实施例或方面，时间序列分析系统102可以使用重构层的输出(例如，实分量特征向量、虚分量特征向量)来构建(例如，生成)复数。
[0171]
在一些非限制性实施例或方面，时间序列分析系统102可以使用学习和预测组件508的复杂层生成复数特征向量。例如，时间序列分析系统102可以使用学习和预测组件508的复杂层基于实分量特征向量和虚分量特征向量生成复数特征向量。在一些非限制性实施例或方面，时间序列分析系统102可以提供复杂层的输出(例如，复数特征向量)，作为对学习和预测组件508的逆fft层的输入。
[0172]
在一些非限制性实施例或方面，时间序列分析系统102可以使用学习和预测组件508的逆fft层生成当代目标交易度量。例如，时间序列分析系统102可以通过将复数特征向量变换为多个时间步骤的预测，使用学习和预测组件508的逆fft层来生成当代目标交易度量。
[0173]
在一些非限制性实施例或方面，机器学习模型架构500中的实部分输入和虚部分输入的上下文向量(例如，基于将实分量注意力矩阵和实当代交易度量特征向量连接而生成的第一连接或基于将虚分量注意力矩阵和虚当代交易度量特征向量连接而生成的第二连接)可以写为：
[0174][0175]
其中表示连接操作。
[0176]
输入的实部分和虚部分的替代注意力设计可写为：
[0177][0178]
在一些非限制性实施例或方面，使用历史交易度量计算的向量可以具有与使用当代交易度量计算的向量不同的形状。这可以基于与用于当代交易度量的时间段相比，用于历史交易度量的时间段更长。以此方式，在频率域中，使用历史交易度量计算的向量可以基于比用于当代交易度量的时间段更大的时间段，所述向量可以使机器学习模型架构500能够更好地理解历史(例如，实体的历史记录)是什么样，并且产生频率域中的更好预测。
[0179]
在双重注意力组件506之后，机器学习模型架构500的最后部分是学习和预测组件508。在一些非限制性实施例或方面，conv1d层可用于从先前输出学习模式。具体地，hr和hi可以计算为：
[0180][0181]
在实部分和虚部分均被变换的情况下，复数可以如下提供：
[0182]hcomplex
＝hr+i
·hi (15)
[0183]
逆rfft可用于获得作为实数字的预测(例如，当代目标交易度量的时间序列tu的预测):
[0184][0185]
现在参考图6，图6是用于在分布式环境中训练机器学习模型的过程的实施方案600的非限制性实施例或方面的图。
[0186]
如图6所示，时间序列分析系统102可以从数据存储装置(例如，数据库装置、数据储存装置等)检取多个数据分片(例如，数据分片1、数据分片2、数据分片3和数据分片4)。在一些非限制性实施例或方面，数据分片可包括时间序列(例如，多变量时间序列、当代交易度量的时间序列、历史交易度量的时间序列、历史目标交易度量的时间序列等)的索引。例如，数据分片可以包括时间序列的索引，所述索引可以用于检取时间序列而不是实时序列的值。在一些非限制性实施例或方面，时间序列分析系统102可以控制多个装置(例如，装置：1、装置：2、装置：3和装置：4；其中的每一个是计算装置，例如服务器、中央处理单元、图形处理单元等)，以基于多个数据分片中的每个数据分片来训练机器学习模型。多个装置中的每个装置可以具有存储在所述装置上的机器学习模型(例如，对应于机器学习模型架构500的机器学习模型或对应于机器学习模型架构500的组件的机器学习模型)的副本(例如，具有相同变量的副本)。机器学习模型的梯度可以由每个装置提供，并且所述梯度(例如，梯度_1、梯度_2、梯度_3或梯度_4)可以用来由每个相应装置更新每个相应机器学习模型的一个或多个参数。在一些非限制性实施例或方面，每个相应机器学习模型的一个或多个参数可以被传播到每个装置，并且用于更新(例如，用一个或多个参数的平均值更新)存储在所有装置上的机器学习模型的所有副本。在一些非限制性实施例中，在时间序列分析系统102使用不同参数比较机器学习模型的性能之后，可以由时间序列分析系统102选择装置数量、数据分片和/或机器学习模型副本的大小(例如，批量大小)。以此方式，时间序列分析系统102可在进行机器学习模型训练的速度方面提供线性改进。
[0187]
现在参考图7，图7是用于在分布式环境中训练机器学习模型的过程的实施方案700的非限制性实施例或方面的图。在一些非限制性实施例或方面，实施方案700的步骤可与实施方案600的步骤相同或类似。
[0188]
如图7所示，时间序列分析系统102可以从数据存储装置(例如，数据库装置、数据储存装置等)检取多个数据分片(例如，数据分片1、数据分片2、数据分片3、数据分片4、数据分片5、数据分片6、数据分片7和数据分片8)。在一些非限制性实施例或方面，时间序列分析系统102可以控制多个装置(例如，装置：1、装置：2、装置：3和装置：4；其中的每一个是计算装置，例如服务器、中央处理单元、图形处理单元等)，以基于多个数据分片中的每个数据分
片来训练机器学习模型。多个装置中的每个装置可以具有存储在所述装置上的机器学习模型(例如，对应于机器学习模型架构500的机器学习模型或对应于机器学习模型架构500的组件的机器学习模型)的副本(例如，副本1-8)。
[0189]
如图7中进一步示出，机器学习模型的多个副本可以存储在每个装置上，并且每个装置可以基于多个数据分片训练机器学习模型的多个副本。例如，每个装置可以存储机器学习模型的两个副本，并且每个装置可以使用两个数据分片训练机器学习模型的两个副本中的每一个。在一些非限制性实施例或方面，时间序列分析系统102可以使用作业调度算法(例如，组合优化算法，例如格力优化算法)来优化机器学习模型的每个副本的训练步骤。
[0190]
在一些非限制性实施例或方面，并且类似于实施方案600，每个装置可以提供用于机器学习模型的梯度，并且所述梯度可用于由每个相应装置更新每个相应机器学习模型的一个或多个参数。在一些非限制性实施例或方面，每个相应机器学习模型的一个或多个参数可以被传播到每个装置，并且用于更新(例如，用一个或多个参数的平均值更新)存储在所有装置上的机器学习模型的所有副本。以此方式，与仅使用单个数据分片来训练机器学习模型的单个副本的实施方案相比，时间序列分析系统102可以在进行机器学习模型训练的速度方面提供改进。
[0191]
尽管已出于说明的目的而基于当代被认为是最实用和优选的实施例或方面详细描述了本公开，但应理解，此类细节仅用于所述目的，且本公开不限于所公开实施例或方面，而相反，旨在涵盖属于所附权利要求书的精神和范围内的修改和等同布置。例如，应理解，本公开预期，尽可能地，任何实施例的一个或多个特征可以与任何其它实施例的一个或多个特征组合。