数据处理方法、装置、设备及介质与流程

本公开的实施方式涉及数据处理，更具体地，本公开的实施方式涉及一种数据处理方法、装置、设备及介质。

背景技术：

1、本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、随着网络的高速发展，网络中所产生的数据量也大幅增长，而企业对数据的分析需求也逐步从离线场景转变到了实时数据分析场景。

3、相关技术中，主要通过flink框架来实现对数据的实时处理，海量数据进入flink处理引擎后，可以在短时间内获取到计算结果，以实现对数据的实时处理。

4、但是，flink处理引擎在对数据进行处理时，是以处理时间作为统计指标的，例如，某个数据的实际产生时间是在t1时刻，但由于数据上报不及时或flink处理引擎处理不及时等问题，在t2时刻才对该数据进行了处理，而flink处理引擎在进行统计时，会直接以t2时刻作为统计时间，使得统计时间和数据的实际产生时间不一致，影响数据处理结果的准确性。

技术实现思路

1、在本上下文中，本公开的实施方式期望提供一种数据处理方法、装置、设备及介质，以提高数据实时处理过程的处理结果准确性。

2、在本公开实施方式的第一方面中，提供了一种数据处理方法，该方法包括：

3、基于预先设置好的数据处理需求，确定多个数据分组，每个数据分组用于存储数据产生时间在对应时间段内的待处理数据；

4、响应于获取到待处理数据，基于待处理数据的数据产生时间，将待处理数据存储到对应数据分组中；

5、对于目标数据分组，基于目标数据分组中所存储的待处理数据以及对应时间段在目标数据分组之前的数据分组中所存储的待处理数据，确定满足数据处理需求的目标数据，目标数据分组为多个数据分组中的任一数据分组。

6、在本公开的一个实施例中，数据处理需求包括时间需求信息，时间需求信息包括产生时间需求和时间间隔需求，产生时间需求用于指示满足数据处理需求的待处理数据的数据产生时间，时间间隔需求用于指示满足数据处理需求的目标数据之间的时间间隔；

7、基于预先设置好的数据处理需求，确定多个数据分组，包括：

8、按照数据处理需求所指示的时间需求信息，将产生时间需求所指示的时间段划分为多个时间槽位，每个时间槽位对应于一个数据分组，每个数据分组所对应的时长满足时间间隔需求。

9、在本公开的一个实施例中，基于待处理数据的数据产生时间，将待处理数据存储到对应数据分组中，包括：

10、确定待处理数据的数据产生时间所对应的目标时间槽位；

11、将待处理数据存储至目标时间槽位所对应的目标数据分组中。

12、在本公开的一个实施例中，基于目标数据分组中所存储的待处理数据以及对应时间段在目标数据分组之前的数据分组中所存储的待处理数据，确定满足数据处理需求的目标数据，包括：

13、对目标数据分组中所存储的待处理数据以及对应时间段在目标数据分组之前的数据分组中所存储的待处理数据进行累加，以得到满足数据处理需求的目标数据。

14、在本公开的一个实施例中，对目标数据分组中所存储的待处理数据以及对应时间段在目标数据分组之前的数据分组中所存储的待处理数据进行累加，以得到满足数据处理需求的目标数据之后，该方法还包括：

15、基于目标数据分组所对应的时间槽位，确定目标数据分组所对应的世界时。

16、在本公开的一个实施例中，响应于获取到待处理数据，基于待处理数据的数据产生时间，将待处理数据存储到对应数据分组中之前，该方法还包括：

17、确定数据处理需求所指示的待获取的目标数据的数据类型；

18、在数据类型指示目标数据为可累加指标数据的情况下，执行响应于获取到待处理数据，基于待处理数据的数据产生时间，将待处理数据存储到对应数据分组中的步骤。

19、在本公开的一个实施例中，确定数据处理需求所指示的待获取数据的数据类型之后，该方法还包括：

20、在数据类型指示目标数据为不可累加指标数据的情况下，基于预设筛选维度，对待处理数据所对应的数据维度进行筛选；

21、基于经过维度筛选的待处理数据的数据产生时间，将经过维度筛选的待处理数据存储到对应数据分组中。

22、在本公开实施方式的第二方面中，提供了一种数据处理装置，该装置包括：

23、第一确定模块，用于基于预先设置好的数据处理需求，确定多个数据分组，每个数据分组用于存储数据产生时间在对应时间段内的待处理数据；

24、存储模块，用于响应于获取到待处理数据，基于待处理数据的数据产生时间，将待处理数据存储到对应数据分组中；

25、第二确定模块，用于对于目标数据分组，基于目标数据分组中所存储的待处理数据以及对应时间段在目标数据分组之前的数据分组中所存储的待处理数据，确定满足数据处理需求的目标数据，目标数据分组为多个数据分组中的任一数据分组。

26、在本公开实施方式的第三方面中，提供了一种计算设备，计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行程序时实现如上述第一方面以及第一方面中的任一实施例所提供的数据处理方法所执行的操作。

27、在本公开实施方式的第四方面中，提供了一种计算机可读存储介质，计算机可读存储介质上存储有程序，程序被处理器执行如上述第一方面以及第一方面中的任一实施例所提供的数据处理方法所执行的操作。

28、在本公开实施方式的第五方面中，提供了一种计算机程序产品，计算机程序产品包括计算机程序，程序被处理器执行时实现上述第一方面以及第一方面中的任一实施例所提供的数据处理方法所执行的操作。

29、本公开通过基于预先设置好的数据处理需求，确定多个数据分组，以通过不同的数据分组存储数据产生时间在不同时间段内的待处理数据，从而可以在获取到待处理数据的情况下，基于待处理数据的数据产生时间，将所获取到的待处理数据存储到对应的数据分组中，以使对于作为多个数据分组中任一数据分组的目标数据分组，均可以基于目标数据分组中所存储的待处理数据以及对应时间段在目标数据分组之前的数据分组中所存储的待处理数据，实现对满足数据处理需求的目标数据的确定。通过本公开所提供的方案，可以在实时数据处理过程中，直接以数据产生时间作为统计时间，避免出现因统计时间和数据的实际产生时间不一致导致数据处理结果不准确的情况的出现，提高实时数据处理过程的处理结果准确性。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述数据处理需求包括时间需求信息，所述时间需求信息包括产生时间需求和时间间隔需求，所述产生时间需求用于指示满足所述数据处理需求的待处理数据的数据产生时间，所述时间间隔需求用于指示满足所述数据处理需求的目标数据之间的时间间隔；

3.根据权利要求2所述的方法，其特征在于，所述基于所述待处理数据的数据产生时间，将所述待处理数据存储到对应数据分组中，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标数据

5.根据权利要求4所述的方法，其特征在于，所述对所述目标数据分组中所存储的待处理数据以及对应时间段在所述目标数据分组之前的数据分组中所存储的待处理数据进行累加，以得到满足所述数据处理需求的目标数据之后，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述响应于获取到待处理数据，基于所述待处理数据的数据产生时间，将所述待处理数据存储到对应数据分组中之前，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述确定所述数据处理需求所指示的待获取数据的数据类型之后，所述方法还包括：

8.一种数据处理装置，其特征在于，所述装置包括：

9.一种计算设备，其特征在于，所述计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的数据处理方法所执行的操作。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有程序，所述程序被处理器执行如权利要求1至7中任一项所述的数据处理方法所执行的操作。

技术总结
本公开提供了一种数据处理方法、装置、设备及介质。本公开通过基于预先设置好的数据处理需求，确定多个数据分组，以通过不同的数据分组存储数据产生时间在不同时间段内的待处理数据，从而可以在获取到待处理数据的情况下，基于待处理数据的数据产生时间，将待处理数据存储到对应的数据分组中，以使对于作为多个数据分组中任一数据分组的目标数据分组，均可以基于目标数据分组中所存储的待处理数据以及对应时间段在目标数据分组之前的数据分组中所存储的待处理数据，实现对满足数据处理需求的目标数据的确定。通过本公开所提供的方案，可以在实时数据处理过程中，直接以数据产生时间作为统计时间，提高实时数据处理过程的处理结果准确性。

技术研发人员：周广振
受保护的技术使用者：杭州网易云音乐科技有限公司
技术研发日：
技术公布日：2024/1/12