一种数据处理方法、装置及设备与流程

本技术涉及数据处理，尤其涉及一种数据处理方法、装置及设备。

背景技术：

1、在各种业务场景下，部分业务对实时数据的依赖性较大，随着业务的快速发展，需要被实时查看的业务指标越来越多。为了能够更好地进行业务分析和业务风控，把控业务的各项指标趋势，流数据的处理显得尤为重要。

2、目前的业务指标计算方法中，是通过将流/表数据进行关联计算(join)实现的，但由于流数据或表数据的源数据存储在不同的业务数据库中，而目前针对每个业务数据库中的关联计算均是采用同一种方法执行，导致数据处理的灵活性较低。

技术实现思路

1、本技术提供一种数据处理方法、装置及设备，用于提高数据处理的灵活性。

2、第一方面，本技术实施例提供一种数据处理方法，应用于数据处理平台，所述数据处理平台是基于分布式处理引擎和分布式处理框架搭建的；所述方法包括：根据业务需求，获取多种类型的源数据；根据所述业务需求，确定多个数据处理任务，一个数据处理任务用于指示至少一种类型的源数据的关联计算任务；根据预设的关联计算方式集合，确定与每个数据处理任务对应的关联计算方式；根据与每个数据处理任务对应的关联计算方式，对所述每个数据处理任务进行处理，获得所述每个数据处理任务的数据处理结果。

3、在本技术实施例中，针对不同类型的源数据的关联计算任务，使用不同的关联计算方式对其进行处理，使得每个数据处理任务均可采用合适的关联计算方式进行数据处理，相较于现有技术中采用同一种方法对不同数据源进行处理的方式，本技术实施例所提供的数据处理方法提高了数据处理的灵活性。

4、在一种可能的实施方式中，所述多种类型的源数据包括第一类型源数据、第二类型源数据和第三类型源数据，其中，所述第一类型源数据为事务性数据，所述第二类型源数据为处理时延高于预设时延的数据，所述第三类型源数据为处理时延不高于所述预设时延的数据。

5、在一种可能的实施方式中，所述多个数据处理任务包括第一数据处理任务，所述第一数据处理任务指示对所述第一类型源数据与所述第三类型源数据进行关联计算，所述第一类型源数据存储在关系型数据库中，所述第三类型源数据存储在消息队列中；根据与每个数据处理任务对应的关联计算方式，对所述每个数据处理任务进行处理，获得所述每个数据处理任务的数据处理结果，包括：根据预设的第一数据处理规则，将所述第一类型源数据从所述关系型数据库中加载至独立存储器中，所述独立存储器独立于所述数据处理平台的内部存储空间以外；根据所述业务需求，将所述消息队列中的每条第三类型源数据与所述独立存储器中的第一类型源数据进行匹配；若所述每条第三类型源数据与所述独立存储器中的任一条第一类型源数据匹配成功，则将所述每条第三类型源数据确定为所述数据处理结果。

6、在一种可能的实施方式中，所述多个数据处理任务还包括第二数据处理任务，所述第二数据处理任务指示对所述第二类型源数据与所述三类型源数据进行关联计算，所述第二类型源数据存储在数据仓库中，所述第三类型源数据存储在消息队列中；根据与每个数据处理任务对应的关联计算方式，对所述每个数据处理任务进行处理，获得所述每个数据处理任务的数据处理结果，包括：根据预设的第二数据处理规则，将所述数据仓库中的每条第二类型源数据按照所述第二数据处理规则读取并加载至所述消息队列中，获得处理后的消息队列，所述每条第二类型源数据为所述消息队列中的一个字段；根据所述业务需求，从所述处理后的消息队列中，确定符合所述业务需求的目标第三类型源数据；根据所述目标第三类型源数据，确定所述数据处理结果。

7、在一种可能的实施方式中，所述多个数据处理任务还包括第三数据处理任务，所述第三数据处理任务指示对所述第三类型源数据进行自关联计算；根据与每个数据处理任务对应的关联计算方式，对所述每个数据处理任务进行处理，获得所述每个数据处理任务的数据处理结果，包括：根据所述业务需求、以及预设时间窗口内的第三类型源数据，确定所述预设时间窗口内的第一目标源数据；根据所述第一目标源数据，确定所述预设时间窗口内与所述第一目标源数据关联的第二目标源数据；根据所述第一目标源数据和所述第二目标源数据，确定所述数据处理结果。

8、在一种可能的实施方式中，在根据与每个数据处理任务对应的关联计算方式，对所述每个数据处理任务进行处理，获得所述每个数据处理任务的数据处理结果之前，所述方法还包括：根据所述多个数据处理任务，预估执行所述多个数据处理任务所需的计算资源；根据所述计算资源和预设阈值，调整为所述多个数据处理任务分配的计算资源；根据所述计算资源，设定状态清理参数，所述状态清理参数用于指示清理所述多个数据处理任务产生的状态参数的频率。

9、在该实施方式中，由于多个数据处理任务执行所需的计算资源较大，若分配固定的计算资源用于执行多个数据处理任务，则在多个数据处理任务所需的计算资源较大的情况下，采用预分配的固定的计算资源执行多个数据处理任务会计算资源不足，导致数据处理任务异常中断的情况出现，因此，本技术实施例通过对多个数据处理任务所需的计算资源进行预估调整，避免在执行数据处理任务的过程中，任务异常中断的情况出现，提高了任务处理的稳定性。并且，通过设定状态清理参数，在任务处理的过程中，按照状态清理参数定时清理内存中不必要的状态信息，有利于减少不必要的状态信息对内存空间的占用。

10、在一种可能的实施方式中，所述业务需求指示获取流量数据中的告警数据；在根据与每个数据处理任务对应的关联计算方式，对所述每个数据处理任务进行处理，获得所述每个数据处理任务的数据处理结果之后，所述方法还包括：根据所述业务需求，对所述数据处理结果执行分层操作，获得多个数据指标；根据预设的告警规则，从所述多个数据指标中筛选得到符合所述告警规则的目标数据指标；根据所述目标数据指标，确定所述告警数据。

11、第二方面，本技术实施例提供一种数据处理装置，应用于数据处理平台，所述数据处理平台是基于分布式处理引擎和分布式处理框架搭建的；所述数据处理装置包括：获取模块，用于根据业务需求，获取多种类型的源数据；确定模块，用于根据所述业务需求，确定多个数据处理任务，一个数据处理任务用于指示至少一种类型的源数据的关联计算任务；所述确定模块，还用于根据预设的关联计算方式集合，确定与每个数据处理任务对应的关联计算方式；任务处理模块，用于根据与每个数据处理任务对应的关联计算方式，对所述每个数据处理任务进行处理，获得所述每个数据处理任务的数据处理结果。

12、在一种可能的实施方式中，所述多种类型的源数据包括第一类型源数据、第二类型源数据和第三类型源数据，其中，所述第一类型源数据为事务性数据，所述第二类型源数据为处理时延高于预设时延的数据，所述第三类型源数据为处理时延不高于所述预设时延的数据。

13、在一种可能的实施方式中，所述多个数据处理任务包括第一数据处理任务，所述第一数据处理任务指示对所述第一类型源数据与所述第三类型源数据进行关联计算，所述第一类型源数据存储在关系型数据库中，所述第三类型源数据存储在消息队列中；所述任务处理模块，具体用于：根据预设的第一数据处理规则，将所述第一类型源数据从所述关系型数据库中加载至独立存储器中，所述独立存储器独立于所述数据处理平台的内部存储空间以外；根据所述业务需求，将所述消息队列中的每条第三类型源数据与所述独立存储器中的第一类型源数据进行匹配；若所述每条第三类型源数据与所述独立存储器中的任一条第一类型源数据匹配成功，则将所述每条第三类型源数据确定为所述数据处理结果。

14、在一种可能的实施方式中，所述多个数据处理任务还包括第二数据处理任务，所述第二数据处理任务指示对所述第二类型源数据与所述三类型源数据进行关联计算，所述第二类型源数据存储在数据仓库中，所述第三类型源数据存储在消息队列中；所述任务处理模块，具体用于：根据预设的第二数据处理规则，将所述数据仓库中的每条第二类型源数据按照所述第二数据处理规则读取并加载至所述消息队列中，获得处理后的消息队列，所述每条第二类型源数据为所述消息队列中的一个字段；根据所述业务需求，从所述处理后的消息队列中，确定符合所述业务需求的目标第三类型源数据；根据所述目标第三类型源数据，确定所述数据处理结果。

15、在一种可能的实施方式中，所述多个数据处理任务还包括第三数据处理任务，所述第三数据处理任务指示对所述第三类型源数据进行自关联计算；所述任务处理模块，具体用于：根据所述业务需求、以及预设时间窗口内的第三类型源数据，确定所述预设时间窗口内的第一目标源数据；根据所述第一目标源数据，确定所述预设时间窗口内与所述第一目标源数据关联的第二目标源数据；根据所述第一目标源数据和所述第二目标源数据，确定所述数据处理结果。

16、在一种可能的实施方式中，所述确定模块，还用于在根据与每个数据处理任务对应的关联计算方式，对所述每个数据处理任务进行处理，获得所述每个数据处理任务的数据处理结果之前，根据所述多个数据处理任务，预估执行所述多个数据处理任务所需的计算资源；根据所述计算资源和预设阈值，调整为所述多个数据处理任务分配的计算资源；根据所述计算资源，设定状态清理参数，所述状态清理参数用于指示清理所述多个数据处理任务产生的状态参数的频率。

17、在一种可能的实施方式中，所述业务需求指示获取流量数据中的告警数据；所述任务处理模块，还用于在根据与每个数据处理任务对应的关联计算方式，对所述每个数据处理任务进行处理，获得所述每个数据处理任务的数据处理结果之后，根据所述业务需求，对所述数据处理结果执行分层操作，获得多个数据指标；根据预设的告警规则，从所述多个数据指标中筛选得到符合所述告警规则的目标数据指标；根据所述目标数据指标，确定所述告警数据。

18、第三方面，本技术实施例提供一种数据处理设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如前文第一方面及任一可能的实施方式所述的方法。

19、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如前文第一方面及任一可能的实施方式所述的方法。

20、第五方面，本技术实施例提供一种计算机程序产品，包含有计算机指令，当其在计算机上运行时，使得上述如前文第一方面及任一可能的实施方式所述的方法被实现。

21、关于第二方面至第五方面的有益效果可参照前文第一方面所述的内容，此处不再赘述。