一种流应用的配置方法、节点及流计算系统的制作方法
【技术领域】
[0001] 本发明涉及计算机技术领域，尤其涉及一种流应用的配置方法、节点及流计算系 统。
【背景技术】
[0002] 流计算是一种类似流水线式的数据处理模式，待处理的数据像流水一样连续不断 的进入流计算系统，流计算系统进行实时处理并输出结果。在流计算系统中，针对具体业务 的流计算是由部署在流计算系统中的流应用完成的。流应用逻辑模型图，通常简称为流图， 可以指示多个算子以及多个算子之间的数据流走向，其中，数据流用于表示算子之间的数 据传输，算子承载有待处理业务的业务逻辑，用于对流应用的数据进行处理，业务逻辑具体 为用于处理待处理业务所使用的规则或算法。如图1所示，用圆圈表示算子，用箭头表示数 据流走向。在流图中，第一个接收输入流应用的数据的算子为源算子，输出流应用的处理结 果的算子为输出算子，除源算子和输出算子之外的算子为中间算子（包括算子1、算子2、算 子3、算子4和算子5)。
[0003] 随着用户需求的变化，待处理业务的业务逻辑可能会发生变化，随着业务逻辑的 变化，算子的输入数据格式和输出数据格式也可能会发生变化，这就需要对流计算系统中 的流应用进行扩展，以使得流计算系统中的流应用能够处理业务逻辑发生变化后的待处理 业务。
[0004] 现有技术中，可以通过在流计算系统中创建一个新的流应用，该新的流应用包含 能够承载新增的业务逻辑的算子，以实现对流计算系统中的流应用的扩展，以使得新的流 应用能够处理新增业务逻辑的待处理业务。如图2所示，可以在如图1所示的原有的流应 用所在的流计算系统中，创建一个新的流应用，其中，原有的流应用包含能够承载待处理业 务原有的业务逻辑的算子，新的流应用包含能够承载新增的业务逻辑的算子。具体的，该新 的流应用包含源算子、算子6、算子7和输出算子，其中，算子6和算子7能够承载新增的业 务逻辑。
[0005] 但是，存在的问题是：在流计算系统中创建包含新的源算子和新的输出算子的新 的流应用会占用额外的系统资源；并且，由于每一个流应用都需要有相应的进程来管理，因 此，控制节点需要创建新的进程来管理新的流应用，这会进一步导致系统资源的占用。
【发明内容】
[0006] 本发明的实施例提供一种流应用的配置方法、节点及流计算系统，可以对流应用 进行升级，以使得流应用能够处理新增业务逻辑的待处理业务，并避免对系统资源的过多 占用。
[0007] 为达到上述目的，本发明的实施例采用如下技术方案：
[0008] 本发明实施例的第一方面，提供一种流应用的配置方法，应用于流计算系统中的 控制节点，所述流计算系统包括所述控制节点和至少一个工作节点，多个算子分布于所述 至少一个工作节点中的一个或多个工作节点上，用于对所述流计算系统上部署的流应用的 数据进行处理，所述方法包括：
[0009] 所述控制节点获取流应用的增量流图和数据流格式文件，所述增量流图用于指示 待新增算子以及所述待新增算子与所述待新增算子的上、下游算子之间的数据流走向，所 述数据流格式文件用于指示所述待新增算子的数据格式和所述待新增算子的上、下游算子 的数据格式，所述数据格式包括输入数据格式和输出数据格式；
[0010] 所述控制节点根据所述增量流图生成控制指令，并向所述至少一个工作节点发送 所述控制指令，所述控制指令用于指示所述至少一个工作节点创建所述待新增算子，并根 据所述待新增算子与所述待新增算子的上、下游算子之间的数据流走向，创建所述待新增 算子与所述待新增算子的上、下游算子之间的消息通道；
[0011] 所述控制节点向所述至少一个工作节点发送所述数据流格式文件，以指示所述至 少一个工作节点根据所述数据流格式文件，为所述至少一个工作节点上创建的所述待新增 算子和所述待新增算子的上、下游算子，配置所述数据格式。
[0012] 结合第一方面，在第一种可能的实现方式中，所述控制指令包含第一控制指令和 第二控制指令；
[0013] 所述控制节点根据所述增量流图生成控制指令，并向所述至少一个工作节点发送 所述控制指令，包括：
[0014] 所述控制节点根据所述增量流图所指示的所述待新增算子生成所述第一控制指 令；
[0015] 所述控制节点向所述至少一个工作节点发送所述第一控制指令，所述第一控制指 令用于指示所述至少一个工作节点创建所述待新增算子；
[0016] 所述控制节点根据所述增量流图所指示的所述待新增算子与所述待新增算子的 上、下游算子之间的数据流走向，生成所述第二控制指令；
[0017] 所述控制节点向所述至少一个工作节点发送所述第二控制指令，所述第二控制指 令用于指示所述至少一个工作节点根据所述待新增算子与所述待新增算子的上、下游算子 之间的数据流走向，创建所述待新增算子与所述待新增算子的上、下游算子之间的消息通 道。
[0018] 结合第一方面，在第二种可能的实现方式中，在所述控制节点向所述至少一个工 作节点发送所述数据流格式文件之前，所述方法还包括：
[0019] 所述控制节点解析所述数据流格式文件，获得所述待新增算子的格式文件和所述 待新增算子的上、下游算子的格式文件；其中，所述待新增算子的格式文件用于指示所述待 新增算子的数据格式，所述待新增算子的上、下游算子的格式文件用于指示所述待新增算 子的上、下游算子的数据格式；
[0020] 所述控制节点向所述至少一个工作节点发送所述数据流格式文件，包括：
[0021] 所述控制节点将所述待新增算子的格式文件下发至所述待新增算子所在的工作 节点，以使得所述待新增算子所在的工作节点解析所述待新增算子的格式文件，并使得所 述待新增算子所在的工作节点根据解析结果为所述待新增算子配置数据格式，进而使得所 述待新增算子创建编解码模型，以对输入所述待新增算子的数据进行逻辑运算；
[0022] 所述控制节点将所述待新增算子的上、下游算子的格式文件下发至所述待新增算 子的上、下游算子所在的工作节点，以使得所述待新增算子的上、下游算子所在的工作节点 解析所述待新增算子的上、下游算子的格式文件，并使得所述待新增算子的上、下游算子所 在的工作节点根据解析结果为所述待新增算子的上、下游算子配置数据格式，进而使得所 述待新增算子的上、下游算子创建编解码模型，以对输入所述待新增算子的上、下游算子的 数据进行逻辑运算。
[0023] 结合第一方面的第二种可能的实现方式中，在第三种可能的实现方式中，所述数 据流格式文件还用于指示所述待新增算子的输出数据的派发策略和所述待新增算子的上、 下游算子的输出数据的派发策略；
[0024] 其中，所述待新增算子的输出数据的派发策略用于指示所述待新增算子的输出数 据格式与所述待新增算子的输出端口之间的对应关系；所述待新增算子包含至少一个输出 端口，所述待新增算子的每个输出端口对应于所述待新增算子与所述待新增算子的一个下 游算子之间的消息通道；
[0025] 所述待新增算子的上游算子的输出数据的派发策略用于指示所述待新增算子的 上游算子的输出数据格式与所述待新增算子的上游算子的输出端口之间的对应关系；所述 待新增算子的上游算子包含至少一个输出端口，所述待新增算子的上游算子的每个输出端 口对应于所述待新增算子的上游算子与所述待新增算子的上游算子的一个下游算子之间 的消息通道；
[0026] 所述待新增算子的下游算子的输出数据的派发策略用于指示所述待新增算子的 下游算子的输出数据格式与所述待新增算子的下游算子的输出端口之间的对应关系；所述 待新增算子的下游算子包含至少一个输出端口，所述待新增算子的下游算子的每个输出端 口对应于所述待新增算子的下游算子与所述待新增算子的下游算子的一个下游算子之间 的消息通道。
[0027] 结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述数据 流格式文件还用于指示所述待新增算子的输出数据的派发策略，具体为：所述待新增算子 的格式文件还用于指示所述待新增算子的输出数据的派发策略；
[0028] 所述数据流格式文件还用于指示所述待新增算子的上、下游算子的输出数据的派 发策略，具体为：所述待新增算子的上、下游算子的格式文件还用于指示所述待新增算子的 上、下游算子的输出数据的派发策略。
[0029] 本发明实施例的第二方面，提供一种流应用的配置方法，应用于流计算系统中的 工作节点，所述流计算系统包括控制节点和至少一个所述工作节点，至少一个算子分布在 所述工作节点上，用于对所述流计算系统上部署的流应用的数据进行处理，所述方法包 括：
[0030] 所述工作节点接收所述控制节点发送的控制指令；所述控制指令为所述控制节点 根据增量流图生成的，所述增量流图用于指示待新增算子以及所述待新增算子与所述待新 增算子的上、下游算子之间的数据流走向；
[0031] 所述工作节点根据所述控制指令的指示，创建所述待新增算子并创建所述待新增 算子与所述待新增算子的上、下游算子之间的消息通道；
[0032] 所述工作节点接收所述控制节点发送的数据流格式文件，并根据所述数据流格式 文件，为第一算子配置数据格式；所述第一算子为分布在所述工作节点上的算子，所述第 一算子包括：算子集合中的至少一个算子，所述算子集合由所述待新增算子和所述待新增 算子的上、下游算子构成；所述数据格式包括输入数据格式和输出数据格式；所述数据流 格式文件用于指示所述待新增算子的数据格式和所述待新增算子的上、下游算子的数据格 式。
[0033] 结合第二方面，在第一种可能的实现方式中，所述工作节点接收所述控制节点发 送的数据流格式文件，并根据所述数据流格式文件，为第一算子配置数据格式，包括：
[0034] 所述工作节点接收所述控制节点发送的所述第一算子的格式文件，所述第一算子 的格式文件为所述控制节点解析所述数据流格式文件得到的，所述第一算子的格式文件用 于指示所述第一算子的数据格式；
[0035] 所述工作节点解析所述第一算子的格式文件，并根据解析结果为所述第一算子配 置数据格式，进而使得所述第一算子创建编解码模型，以对输入所述第一算子的数据进行 逻辑运算。
[0036] 结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述数据 流格式文件还用于指示所述待新增算子的输出数据的派发策略和所述待新增算子的上、下 游算子的输出数据的派发策略；
[0037] 其中，所述待新增算子的输出数据的派发策略用于指示所述待新增算子的输出数 据格式与所述待新增算子的输出端口之间的对应关系；所述待新增算子包含至少一个输出 端口，所述待新增算子的每个输出端口对应于所述待新增算子与所述待新增算子的一个下 游算子之间的消息通道；
[0038] 所述待新增算子的上游算子的输出数据的派发策略用于指示所述待新增算子的 上游算子的输出数据格式与所述待新增算子的上游算子的输出端口之间的对应关系；所述 待新增算子的上游算子包含至少一个输出端口，所述待新增算子的上游算子的每个输出端 口对应于所述待新增算子的上游算子与所述待新增算子的上游算子的一个下游算子之间 的消息通道；
[0039] 所述待新增算子的下游算子的输出数据的派发策略用于指示所述待新增算子的 下游算子的输出数据格式与所述待新增算子的下游算子的输出端口之间的对应关系；所述 待新增算子的下游算子包含至少一个输出端口，所述待新增算子的下游算子的每个输出端 口对应于所述待新增算子的下游算子与所述待新增算子的下