应用程序特征数据处理方法、装置、设备及介质与流程

本技术涉及数据处理领域，尤其涉及一种应用程序特征数据处理方法、相应的装置、电子设备及计算机可读存储介质。

背景技术：

1、在深度学习模型推理的业务场景中，经常需要针对超大规模的特征数据使用机器学习算法进行分类或者回归计算，在当前互联网的环境下，需要对数十亿甚至上千亿的数据进行训练，训练特征随着业务扩展，也会到一个非常惊人的量级，参与计算的特征有可能达到百亿的规模。

2、对于特征数据的处理，常规的解决方案是通过手动导出和导入、批量文件传输、数据库复制和同步、消息队列或api集成等方法进行同步和发布，但是在数十亿甚至上千亿的特征数据规模下，使用上述方法对特征数据进行同步和发布，其工作效率低下、特征数据的灵活性较差、可维护性以及重用性极低，满足不了各个应用程序的个性化需求以及功能需求。

3、综上，适应对于特征数据的同步与发布，其工作效率低下、特征数据的灵活性较差、可维护性以及重用性极低等问题，本技术人出于解决该问题的考虑做出相应的探索。

技术实现思路

1、本技术的目的在于解决上述问题而提供一种应用程序特征数据处理方法、相应的装置、电子设备及计算机可读存储介质。

2、为满足本技术的各个目的，本技术采用如下技术方案：

3、适应本技术的目的之一而提出的一种应用程序特征数据处理方法，包括如下步骤：

4、响应应用程序的特征数据请求事件而获取所述特征数据相对应的流式特征数据和/或批次特征数据，将所述流式特征数据和/或批次特征数据进行数据预处理以确定多个不同特征数据集；

5、按照预设规则从多个所述特征数据集中提取出各个应用程序相对应的特征子集以对应每个应用程序，将各个应用程序相对应的所述特征子集进行拼接确定各个应用程序相对应的特征数据集列表，并发送至程序特征池；

6、获取各个应用程序相对应的特征视图配置信息，根据所述特征视图配置信息从所述程序特征池中的所述特征数据集列表确定各个应用程序相对应的视图数据；

7、响应目标应用程序提交的特征视图调用指令而将该指令所指定的视图数据推送至所述目标应用程序，以展示各个应用程序相对应的特征视图。

8、可选的，响应应用程序的特征数据请求事件而获取所述特征数据相对应的流式特征数据和/或批次特征数据的步骤，包括如下步骤：

9、获取由上游系统下发的实时增量的流式特征数据中的流式特征数据标识符；

10、将所述流式特征数据标识符及其相对应的实时增量的流式特征数据发送至流式系统中，以便于各个应用程序实时获取所述流式特征数据的变化。

11、可选的，将所述流式特征数据和/或批次特征数据进行数据预处理以确定多个不同特征数据集的步骤，包括如下步骤：

12、对获取的各个来源及类型的所述流式特征数据或批次特征数据进行数据清洗；

13、对数据清洗后的各个类型的所述流式特征数据或批次特征数据进行归一化处理以确定多个不同特征数据集。

14、可选的，按照预设规则从多个所述特征数据集中提取出各个应用程序相对应的特征子集以对应每个应用程序，将各个应用程序相对应的所述特征子集进行拼接确定各个应用程序相对应的特征数据集列表的步骤，包括如下步骤：

15、获取所述各个应用程序中的深度学习模型相对应的应用程序标识以及其相对应的特征数据名称；

16、根据所述应用程序标识以及其相对应的特征数据名称从多个不同类型的所述特征数据集中提取出所述深度学习模型相对应的特征子集，将所述特征子集标准化处理为所述深度学习模型相对应的特征数据向量或特征数据矩阵；

17、根据所述特征数据向量或特征数据矩阵确定各个应用程序中的深度学习模型相对应的特征数据集列表。

18、可选的，根据所述特征视图配置信息从所述程序特征池中的所述特征数据集列表确定各个应用程序相对应的视图数据的步骤,包括如下步骤：

19、响应配置信息解析指令而获取所述特征视图配置信息中的特征数据名称和特征数据版本；

20、根据所述特征数据名称和特征数据版本从所述特征数据集列表确定各个应用程序相对应的特征数据，根据所述特征数据确定所述各个应用程序相对应的视图数据。

21、可选的，确定所述特征视图配置信息的步骤，包括如下步骤：

22、响应特征视图配置指令而定义所述应用程序的特征视图相对应的参数信息，所述参数信息包括布局样式、特征数据名称以及特征数据版本；

23、将所述参数信息中的布局样式、特征数据名称以及特征数据版本封装为特征视图配置信息。

24、可选的，响应目标应用程序提交的特征视图调用指令而将该指令所指定的视图数据推送至所述目标应用程序，以展示各个应用程序相对应的特征视图的步骤，包括如下步骤：

25、接收所述特征视图调用指令，根据所述特征视图调用指令提取出特征视图配置信息中的参数信息；

26、根据所述参数信息中的布局样式、特征数据名称以及特征数据版本生成数据查询请求；

27、根据所述数据查询请求从所述程序特征池中的所述特征数据集列表获取各个应用程序相对应的视图数据；

28、根据所述应用程序相对应的视图数据在各个应用程序的图形化界面中展示其相对应的所述特征视图。

29、适应本技术的另一目的而提供的一种应用程序特征数据处理装置，包括：

30、数据预处理模块，设置为响应应用程序的特征数据请求事件而获取所述特征数据相对应的流式特征数据和/或批次特征数据，将所述流式特征数据和/或批次特征数据进行数据预处理以确定多个不同特征数据集；

31、特征集确定模块，设置为按照预设规则从多个所述特征数据集中提取出各个应用程序相对应的特征子集以对应每个应用程序，将各个应用程序相对应的所述特征子集进行拼接确定各个应用程序相对应的特征数据集列表，并发送至程序特征池；

32、视图数据确定模块，设置为获取各个应用程序相对应的特征视图配置信息，根据所述特征视图配置信息从所述程序特征池中的所述特征数据集列表确定各个应用程序相对应的视图数据；

33、特征视图展示模块，设置为响应目标应用程序提交的特征视图调用指令而将该指令所指定的视图数据推送至所述目标应用程序，以展示各个应用程序相对应的特征视图。

34、适应本技术的另一目的而提供的一种电子设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本技术所述应用程序特征数据处理方法的步骤。

35、适应本技术的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述应用程序特征数据处理方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。

36、相对于现有技术，本技术能够使各个应用程序相对应的特征数据的数据处理与数据使用相分离，通过将特征数据统一存储在程序特征池中，然后通过功能视图处理器解析出各个应用程序相对应的特征视图配置信息中的参数信息，并将其相对应的特征数据推送到目标应用程序，分离了特征数据的处理和使用，通过特征数据的处理与使用相分离，包括但不限于以下有益效果：

37、其一，显著提高特征数据的灵活性，通过将各个应用程序相对应的特征数据的处理逻辑与使用逻辑相分离，可以独立地修改和优化每个环节，这意味着可以根据业务实际需求修改特征数据的处理方式，而不影响特征数据在各个应用程序的模型训练或推断时的使用。

38、其二，显著增强特征数据的可维护性，通过将各个应用程序相对应的特征数据的处理逻辑与使用逻辑相分离，使得特征数据更易于维护和管理，使其更易于调试、测试和修改，特征数据的使用逻辑也可以更清晰地表达各个应用程序模型或算法的需求。

39、其三，显著提高特征数据的重用性，通过将特征数据的处理逻辑模块化，可以将其作为独立的组件重复使用，可以在不同的项目或任务中针对已经开发和验证过的特征数据处理逻辑进行共享和重用，大大提高开发效率。

40、其四，显著提高特征数据的统一性，通过将各个应用程序相对应的特征数据的处理逻辑与使用逻辑相分离，能够确保在不同的模型或分析任务中使用相同的特征处理逻辑，从而保持一致性，有助于避免在不同环数据处理节中而引入偏差或错误。

41、进一步地，通过将各个应用程序相对应的特征数据的处理逻辑与使用逻辑相分离，能够显著提高特征数据同步和发布的工作效率，各个应用程序相对应的特征视图的设计中融入了多版本管理的设计思路，有利于下游应用服务根据实际需求加载多个版本数据，也有助于进行数据版本的回滚等功能。各个应用程序不同的特征视图可以根据个性化需求和用户体验需求，组合来自不同来源及类型的特征数据，达到特征数据共享的效果。