自适应的数据流转方法、系统、设备以及存储介质与流程

本申请涉及云原生，特别是涉及一种自适应的数据流转方法、系统、设备以及存储介质。

背景技术：

1、近年来，数据处理平台得到了广泛的发展和使用。例如，大数据计算平台(maxcompute)提供针对tb/pb级数据的分布式处理能力，并应用于数据分析、数据挖掘等领域。

2、因此，为了能够充分发挥数据处理平台的作用，则希望etl服务(extract-transform-load)可以高效地处理流转各类数据，使得即便是与etl服务不同的计算系统或计算引擎的进程也能够利用数据处理平台上的资源。

3、但目前的数据流转方法适应能力较低，难以实现高效地数据流转。

技术实现思路

1、本申请至少提供一种自适应的数据流转方法、装置、设备以及计算机可读存储介质。

2、本申请第一方面提供了一种自适应的数据流转方法，所述方法应用于数据流转系统中的当前算子节点集，所述方法包括：基于接收到的待处理数据的数据量和所述当前算子节点集的可处理数据总量进行分析，得到当前分析结果，所述当前算子节点集包括至少一个当前算子节点；若所述当前分析结果表征所述当前算子节点集不满足所述待处理数据的数据处理要求，则申请所述数据流转系统对所述当前算子节点集中的当前算子节点进行调整，得到目标算子节点集，所述目标算子节点集中的目标算子节点用于对所述待处理数据进行处理；将所述目标算子节点处理后的数据进行输出。

3、在一实施例中，所述若所述当前分析结果表征所述当前算子节点集不满足所述待处理数据的数据处理要求，则申请所述数据流转系统对所述当前算子节点集中的当前算子节点进行调整，得到目标算子节点集的步骤，包括：若所述当前分析结果为所述可处理数据总量小于所述待处理数据的数据量，则表征所述当前算子节点集不满足所述待处理数据的数据处理要求；申请所述数据流转系统在所述当前算子节点集中进行节点增加处理，得到所述目标算子节点集。

4、在一实施例中，所述若所述当前分析结果表征所述当前算子节点集不满足所述待处理数据的数据处理要求，则申请所述数据流转系统对所述当前算子节点集中的当前算子节点进行调整，得到目标算子节点集的步骤，包括：若所述当前分析结果为所述可处理数据总量大于所述待处理数据的数据量，则表征所述当前算子节点集不满足所述待处理数据的数据处理要求；申请所述数据流转系统在所述当前算子节点集中进行节点回收处理，得到所述目标算子节点集。

5、在一实施例中，所述当前算子节点集中的各当前算子节点设有分别独立的输入数据通道线程和输出数据通道线程，所述输入数据通道线程用于接收所述待处理数据，所述输出数据通道线程用于输出所述处理后的数据。

6、在一实施例中，在所述将所述目标算子节点处理后的数据进行输出的步骤之后，所述方法还包括：基于所述待处理数据和所述目标算子节点输出的处理后的数据确定剩余待处理数据；基于所述剩余待处理数据的数据量和所述目标算子节点集的可处理数据总量持续进行分析，得到持续分析结果；若所述持续分析结果表征所述目标算子节点集不满足所述剩余待处理数据的数据处理要求，则申请所述数据流转系统对所述目标算子节点集中的目标算子节点进行调整。

7、在一实施例中，所述将所述目标算子节点处理后的数据进行输出的步骤，包括：将所述处理后的数据输出至所述数据流转系统中的后序算子节点集进行数据处理，所述后序算子节点集包括至少一个后序算子节点，所述后序算子节点和所述目标算子节点串行，所述后序算子节点的数据处理流程在所述目标算子节点的数据处理流程之后；或者，将所述处理后的数据输出至目标设备。

8、在一实施例中，所述将所述处理后的数据输出至所述数据流转系统中的后序算子节点集进行数据处理的步骤，包括：将所述处理后的数据输出至所述后序算子节点集，以使所述后序算子节点集基于接收到的所述处理后的数据的数据量和所述后序算子节点集的可处理数据总量进行分析，得到后序分析结果；若所述后序分析结果表征所述后序算子节点集不满足所述处理后的数据的数据处理要求，则申请所述数据流转系统对所述后序算子节点集中的后序算子节点进行调整。

9、本申请第二方面提供了一种自适应的数据流转系统，所述系统包括：算子节点集，用于基于接收到的待处理数据的数据量和所述算子节点集的可处理数据总量进行分析，得到分析结果，所述算子节点集包括至少一个算子节点；若所述分析结果表征所述算子节点集不满足数据处理要求，则申请所述数据流转系统对所述算子节点集中的算子节点进行调整，得到调整后的算子节点集；将所述调整后的算子节点集中的算子节点处理后的数据进行输出；管理节点，用于响应所述算子节点集的请求，对所述算子节点集进行调整。

10、本申请第三方面提供了一种自适应的数据流转装置，包括：分析模块，用于基于接收到的待处理数据的数据量和所述当前算子节点集的可处理数据总量进行分析，得到当前分析结果，所述当前算子节点集包括至少一个当前算子节点；调整模块，用于若所述当前分析结果表征所述当前算子节点集不满足所述待处理数据的数据处理要求，则申请所述数据流转系统对所述当前算子节点集中的当前算子节点进行调整，得到目标算子节点集，所述目标算子节点集中的目标算子节点用于对所述待处理数据进行处理；输出模块，用于将所述目标算子节点处理后的数据进行输出。

11、本申请第四方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述自适应的数据流转方法。

12、本申请第五方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述自适应的数据流转方法。

13、上述方案，通过将接收到的待处理数据的数据量和所述当前算子节点集的可处理数据总量进行对比分析，以根据当前分析结果判断当前算子节点集的可处理数据总量是否和待处理数据的数据量匹配；若不匹配则表征当前算子节点集不满足所述待处理数据的数据处理要求，申请所述数据流转系统对所述当前算子节点集中的当前算子节点进行调整，得到目标算子节点集对待处理数据进行处理；将处理后的数据进行输出；由此能够根据待处理数据的数据量对节点资源进行自适应地调整，实现高效地数据流转。

14、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

技术特征：

1.一种自适应的数据流转方法，其特征在于，所述方法应用于数据流转系统中的当前算子节点集，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述若所述当前分析结果表征所述当前算子节点集不满足所述待处理数据的数据处理要求，则申请所述数据流转系统对所述当前算子节点集中的当前算子节点进行调整，得到目标算子节点集的步骤，包括：

3.根据权利要求1所述的方法，其特征在于，所述若所述当前分析结果表征所述当前算子节点集不满足所述待处理数据的数据处理要求，则申请所述数据流转系统对所述当前算子节点集中的当前算子节点进行调整，得到目标算子节点集的步骤，包括：

4.根据权利要求1所述的方法，其特征在于，所述当前算子节点集中的各当前算子节点设有分别独立的输入数据通道线程和输出数据通道线程，所述输入数据通道线程用于接收所述待处理数据，所述输出数据通道线程用于输出所述处理后的数据。

5.根据权利要求1所述的方法，其特征在于，在所述将所述目标算子节点处理后的数据进行输出的步骤之后，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述将所述目标算子节点处理后的数据进行输出的步骤，包括：

7.根据权利要求6所述的方法，其特征在于，所述将所述处理后的数据输出至所述数据流转系统中的后序算子节点集进行数据处理的步骤，包括：

8.一种自适应的数据流转系统，其特征在于，所述系统包括：

9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至7任一项所述的方法。

技术总结
本申请公开了一种自适应的数据流转方法、系统、设备以及存储介质，该自适应的数据流转方法包括：基于接收到的待处理数据的数据量和当前算子节点集的可处理数据总量进行分析，得到当前分析结果，当前算子节点集包括至少一个当前算子节点；若当前分析结果表征当前算子节点集不满足待处理数据的数据处理要求，则申请数据流转系统对当前算子节点集中的当前算子节点进行调整，得到目标算子节点集，目标算子节点集中的目标算子节点用于对待处理数据进行处理；将目标算子节点处理后的数据进行输出。上述方案，能够对节点资源进行自适应地调整，实现高效地数据流转。

技术研发人员：斯奇能,文江,王亮
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：
技术公布日：2024/4/7