算子流的生成方法、算子流的生成装置及存储介质与流程

本发明涉及数据处理领域，尤其涉及算子流的生成方法、算子流的生成装置及存储介质。

背景技术：

1、算子是一种映射，是一个向量空间的元素通过此映射在另一个向量空间中产生的另一个元素，算子可用于数据分析、机器学习以及规则推荐等领域。

2、在相关的基于算子进行数据分析的方案中，通常是选用算子库和算子流库提供的内置的算子和算子流执行相应的数据分析工作。当前算子流的调用方式通常是在代码中静态定义算子之间的执行流程，以确定的顺序依次调用各个算子。然而，此种方式设定的调用流程通常难以修改及扩展，当算子或算子流不满足数据分析的业务需求时，存在数据分析效率低的缺陷。

3、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种算子流的生成方法、算子流的生成装置及存储介质，解决现有技术中算子流难以扩展和修改，导致数据分析过程的分析效率低的问题。

2、为实现上述目的，本发明提供一种算子流的生成方法，所述方法包括以下步骤：

3、当推荐算子流及算子流库中其他算子流与数据处理任务的业务规则不匹配时，输出算子流注册界面，并基于所述算子流注册界面接收算子流生成指令；

4、确定所述算子流生成指令对应的需求算子，以及所述需求算子的算子组合；

5、选定所述需求算子，并基于所述算子组合对所述需求算子进行整合，得到目标算子流。

6、可选地，所述确定所述算子流生成指令对应的需求算子，以及所述需求算子的算子组合的步骤之后，还包括：

7、当推荐算子及算子库中的其他算子与所述业务规则不匹配时，或者所述推荐算子与所述需求算子不适配时，输出算子注册界面，并基于所述算子注册界面接收算子生成指令；

8、确定所述算子生成指令对应的算子名称、算子类型、适用对象、算子标签以及实现代码；

9、根据所述算子名称、所述算子类型、所述适用对象、所述算子标签以及所述实现代码生成自定义算子对应的元数据；

10、根据所述算子生成指令对应的算子模块以及所述元数据，生成所述自定义算子。

11、可选地，所述根据所述算子生成指令对应的算子模块以及所述元数据，生成所述自定义算子的步骤之后，还包括：

12、确定所述需求算子对应的自定义需求参数，或者确定所述自定义需求参数和已有算子对应的需求参数；

13、根据所述自定义需求参数对所述自定义算子进行调整，或者根据所述自定义需求参数对所述自定义算子进行调整并根据所述需求参数对所述已有算子进行调整；

14、执行所述确定所述算子流生成指令对应的需求算子，以及所述需求算子的算子组合。

15、可选地，所述选定所述需求算子，并基于所述算子组合对所述需求算子进行整合，得到目标算子流步骤之后，还包括：

16、接收到所述目标算子流的调用指令时，确定所述调用指令对应的输出路径，并根据所述输出路径执行所述目标算子流对应的操作结果；或者

17、接收到所述目标算子流的共享及复用指令时，将所述目标算子流的属性修改为允许复用，以及将所述目标算子流添加至公共组件中；或者

18、接收到所述目标算子流的优化指令时，获取所述目标算子流运行时的特征数据，并根据所述特征数据生成所述目标算子流的优化日志信息。

19、可选地，所述输出算子流注册界面，并基于所述算子流注册界面接收算子流生成指令的步骤之前，还包括：

20、接收到所述数据处理任务或者登录信息时，确定所述数据处理任务对应的处理角色、业务场景以及历史操作记录；

21、算子流推荐模型根据所述处理角色、所述业务场景以及所述历史操作记录，在算子流推荐界面中输出所述推荐算子流；或者

22、所述输出算子注册界面，并基于所述算子注册界面接收算子生成指令的步骤之前，还包括：

23、算子推荐模型根据所述处理角色、所述业务场景以及所述历史操作记录，在算子推荐界面中输出所述推荐算子。

24、可选地，所述接收到所述数据处理任务或者登录信息时，确定所述数据处理任务对应的处理角色、业务场景以及历史操作记录的步骤之前，还包括：

25、获取所述算子流推荐模型用于训练的训练角色、训练场景及所述训练角色对应的训练记录；

26、确定所述训练角色的特征编码，所述训练场景的关键字特征和加权特征以及所述训练记录的频繁模式挖掘特征；

27、对所述特征编码、所述关键字特征和加权特征以及所述频繁模式挖掘特征进行one-hot编码处理，得到推荐矩阵；

28、将所述推荐矩阵进行拼接融合，得到目标推荐矩阵，并基于单层神经网络对所述目标推荐矩阵进行训练，得到所述算子流推荐模型。

29、可选地，所述将所述推荐矩阵进行拼接融合，得到目标推荐矩阵，并基于单层神经网络对所述目标推荐矩阵进行训练，得到所述算子推荐模型的步骤包括：

30、将所述推荐矩阵进行拼接融合，得到所述目标推荐矩阵，并基于神经网络输入界面获取到的神经网络指令生成所述单层神经网络；

31、将所述目标推荐矩阵作为所述单层神经网络的输入参数，得到感知器模型；

32、基于交叉验证方法，根据预设验证数据对不同参数组合下的所述感知器模型进行超参数调优，并将性能评分最高的所述感知器模型作为所述算子推荐模型。

33、可选地，所述确定所述训练角色的特征编码，所述训练场景的关键字特征和加权特征以及所述训练记录的频繁模式挖掘特征的步骤包括：

34、根据softmax分类模型对所述训练角色进行处理，得到所述特征编码；

35、根据attention模型对所述训练场景进行处理，得到所述关键字特征和所述加权特征；

36、根据lstm模型对所述训练记录进行处理，得到所述频繁模式挖掘特征。

37、此外，为实现上述目的，本发明还提供一种算子流的生成装置，所述算子流的生成装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的算子流的生成程序，所述算子流的生成程序被所述处理器执行时实现如上所述的算子流的生成方法的步骤。

38、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有算子流的生成程序，所述算子流的生成程序被处理器执行时实现如上所述的算子流的生成方法的步骤。

39、本发明实施例提供了算子流的生成方法、算子流的生成装置及存储介质，当推荐的算子流及算子流库中的其他算子流与数据处理任务的业务规则不匹配时，输出算子流注册界面，并基于所述算子流注册界面接收算子流生成指令，随后确定所述算子流生成指令对应的需求算子，以及所述需求算子的算子组合，最后选定所述需求算子，并基于所述算子组合对所述需求算子进行整合，得到目标算子流。可以看出，通过输出算子流注册界面，并响应所述注册界面对应的算子流生成指令，基于该指令对需求算子进行组合得到目标算子流，进而使得目标算子流能够快速适配当前的数据处理任务，进而提高数据处理效率以及数据分析效率。