延迟容忍度时间区间更新方法、装置、电子设备和介质与流程

文档序号:29086871发布日期:2022-03-02 01:36阅读:203来源:国知局
延迟容忍度时间区间更新方法、装置、电子设备和介质与流程

1.本公开的实施例涉及计算机技术领域,具体涉及延迟容忍度时间区间更新方法、装置、电子设备和介质。


背景技术:

2.在基于时间间隔的两流数据关联的应用场景中,需要对两流数据中拥有相同主键值、且彼此之间时间间隔不超过指定时间间隔的数据进行关联后下发。目前,在基于时间间隔的两流数据关联中,通常采取的方式为:设置固定的延迟容忍度时间区间,直接丢弃未在延迟容忍度时间区间内匹配到关联数据的数据,缓存所有时间戳大于当前水位线加延迟容忍度时间区间的下限值的数据。
3.然而,当采用上述方式对两流数据关联时,经常会存在如下技术问题:
4.实际中,两个数据流中的数据的到来顺序及前后时间差无法确切估计,若延迟容忍度时间区间设置的过短,则会导致大量数据因未匹配成功而被丢弃,无法实现精准一次;若延迟容忍度时间区间设置的过长,将耗费大量内存缓存数据,浪费存储资源。


技术实现要素:

5.本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
6.本公开的一些实施例提出了延迟容忍度时间区间更新方法、装置、电子设备和介质,来解决以上背景技术部分提到的技术问题。
7.第一方面,本公开的一些实施例提供了一种延迟容忍度时间区间更新方法,该方法包括:响应于确定等待时长集合满足预设条件,根据上述等待时长集合生成目标概率密度函数,其中,上述等待时长集合中的等待时长是需要进行关联的目标流和源流中的数据的相互等待时长;基于上述目标概率密度函数,确定等待时长上限值和等待时长下限值;将延迟容忍度时间区间的上限值和下限值分别更新为上述等待时长上限值和上述等待时长下限值。
8.可选的,上述基于上述目标概率密度函数,确定等待时长上限值和等待时长下限值,包括:将上述目标概率密度函数的最大值对应的自变量的数值确定为分隔数值;确定上述目标概率密度函数在负无穷至上述分隔数值之间的区间内的最小值对应的自变量的数值,得到等待时长下限值;确定上述目标概率密度函数在上述分隔数值至正无穷之间的区间内的最小值对应的自变量的数值,得到等待时长上限值。
9.可选的,上述预设条件是上述等待时长集合中包括的等待时长的数目大于或者等于目标数目;以及在上述响应于确定等待时长集合满足预设条件,根据上述等待时长集合生成目标概率密度函数之后,上述方法还包括:清空上述等待时长集合。
10.可选的,上述方法还包括:响应于接收到来自于上述目标流或者上述源流中的、且
未匹配到关联数据的从表数据,确定上述从表数据的来源;响应于确定上述从表数据来自于上述源流,根据接收到上述从表数据的时间和上述延迟容忍度时间区间的下限值,确定第一等待时段;响应于在上述第一等待时段内从上述目标流中接收到与上述从表数据相匹配的关联数据,将接收到上述从表数据的时间与接收到上述关联数据的时间的时间差值确定为等待时长。
11.可选的,上述方法还包括:响应于在上述第一等待时段内未从上述目标流中接收到与上述从表数据相匹配的关联数据,选取上述延迟容忍度时间区间的下限值作为等待时长。
12.可选的,上述方法还包括:响应于确定上述从表数据来自于上述目标流,根据接收到上述从表数据的时间和上述延迟容忍度时间区间的上限值,确定第二等待时段;响应于在上述第二等待时段内从上述源流中接收到与上述从表数据相匹配的关联数据,将接收到上述关联数据的时间与接收到上述从表数据的时间的时间差值确定为等待时长。
13.可选的,上述方法还包括:响应于在上述第二等待时段内未从上述目标流中接收到与上述从表数据相匹配的关联数据,选取上述延迟容忍度时间区间的上限值作为等待时长。
14.可选的,上述方法还包括:将上述等待时长加入上述等待时长集合中。
15.可选的,上述方法还包括:响应于接收到来自于上述目标流或者上述源流中的主表数据,下发上述主表数据。
16.第二方面,本公开的一些实施例提供了一种延迟容忍度时间区间更新装置,装置包括:生成单元,被配置成响应于确定等待时长集合满足预设条件,根据上述等待时长集合生成目标概率密度函数,其中,上述等待时长集合中的等待时长是需要进行关联的目标流和源流中的数据的相互等待时长;确定单元,被配置成基于上述目标概率密度函数,确定等待时长上限值和等待时长下限值;更新单元,被配置成将延迟容忍度时间区间的上限值和下限值分别更新为上述等待时长上限值和上述等待时长下限值。
17.可选的,上述确定单元包括分隔数值确定子单元、第一最小值确定子单元和第二最小值确定子单元。其中,分隔数值确定子单元被配置成将上述目标概率密度函数的最大值对应的自变量的数值确定为分隔数值;第一最小值确定子单元被配置成确定上述目标概率密度函数在负无穷至上述分隔数值之间的区间内的最小值对应的自变量的数值,得到等待时长下限值;第二最小值确定子单元被配置成确定上述目标概率密度函数在上述分隔数值至正无穷之间的区间内的最小值对应的自变量的数值,得到等待时长上限值。
18.可选的,上述预设条件是上述等待时长集合中包括的等待时长的数目大于或者等于目标数目;以及在上述生成单元之后,上述装置还包括清空单元,被配置成清空上述等待时长集合。
19.可选的,上述装置还包括:来源确定单元、第一等待时段确定单元和第一等待时长确定单元。其中,来源确定单元被配置成响应于接收到来自于上述目标流或者上述源流中的、且未匹配到关联数据的从表数据,确定上述从表数据的来源;第一等待时段确定单元被配置成响应于确定上述从表数据来自于上述源流,根据接收到上述从表数据的时间和上述延迟容忍度时间区间的下限值,确定第一等待时段;第一等待时长确定单元被配置成响应于在上述第一等待时段内从上述目标流中接收到与上述从表数据相匹配的关联数据,将接
收到上述从表数据的时间与接收到上述关联数据的时间的时间差值确定为等待时长。
20.可选的,上述装置还包括第一选取单元,被配置成响应于在上述第一等待时段内未从上述目标流中接收到与上述从表数据相匹配的关联数据,选取上述延迟容忍度时间区间的下限值作为等待时长。
21.可选的,上述装置还包括第二等待时段确定单元和第二等待时长确定单元。其中,第二等待时段确定单元被配置成响应于确定上述从表数据来自于上述目标流,根据接收到上述从表数据的时间和上述延迟容忍度时间区间的上限值,确定第二等待时段;第二等待时长确定单元被配置成响应于在上述第二等待时段内从上述源流中接收到与上述从表数据相匹配的关联数据,将接收到上述关联数据的时间与接收到上述从表数据的时间的时间差值确定为等待时长。
22.可选的,上述装置还包括第二选取单元,被配置成响应于在上述第二等待时段内未从上述目标流中接收到与上述从表数据相匹配的关联数据,选取上述延迟容忍度时间区间的上限值作为等待时长。
23.可选的,上述装置还包括加入单元,被配置成将上述等待时长加入上述等待时长集合中。
24.可选的,上述装置还包括下发单元,被配置成响应于接收到来自于上述目标流或者上述源流中的主表数据,下发上述主表数据。
25.第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
26.第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
27.本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的延迟容忍度时间区间更新方法,可以动态调整数据延迟容忍度时间区间,在确保绝大多数数据完成关联逻辑外,最大限度的节省缓存资源。具体来说,造成数据因未匹配成功而被丢弃、无法实现精准一次或者耗费大量内存缓存数据、浪费存储资源的原因在于:所设置的延迟容忍度时间区间是固定的。基于此,本公开的一些实施例的延迟容忍度时间区间更新方法,根据等待时长集合中记录的多个等待时长生成目标概率密度函数,并通过所生成的目标概率密度函数确定延迟容忍度时间区间的新的上限值和下限值。从而,根据历史数据对延迟容忍度时间区间进行更新。使得延迟容忍度时间区间不会过长,也不会过短,可以在一定程度上避免由于业务数据出现波峰波谷而产生的数据到达时间变化所导致的延迟容忍度时间区间与实际数据到达时间差交集减小的情况。进而,在确保绝大多数数据完成关联逻辑外,最大限度的节省缓存资源。
附图说明
28.结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
29.图1是本公开的一些实施例的延迟容忍度时间区间更新方法的一个应用场景的示
意图;
30.图2是根据本公开的延迟容忍度时间区间更新方法的一些实施例的流程图;
31.图3是根据本公开的延迟容忍度时间区间更新方法的另一些实施例的流程图;
32.图4是本公开的延迟容忍度时间区间更新方法的另一些实施例中的下发主表数据的示意图;
33.图5是本公开的延迟容忍度时间区间更新装置的一些实施例的结构示意图;
34.图6是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
35.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
36.另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
37.需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
38.需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
39.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
40.下面将参考附图并结合实施例来详细说明本公开。
41.图1是本公开的一些实施例的延迟容忍度时间区间更新方法的一个应用场景的示意图。
42.在图1的应用场景中,首先,计算设备101可以响应于确定等待时长集合102满足预设条件,根据上述等待时长集合102生成目标概率密度函数103,其中,上述等待时长集合102中的等待时长是需要进行关联的目标流和源流中的数据的相互等待时长;然后,计算设备101可以基于上述目标概率密度函数103,确定等待时长上限值104和等待时长下限值105;最后,计算设备101可以将延迟容忍度时间区间106的上限值和下限值分别更新为上述等待时长上限值104和上述等待时长下限值105。
43.需要说明的是,上述计算设备101可以是硬件,也可以是软件。当计算设备为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时,可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
44.应该理解,图1中的计算设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的计算设备。
45.继续参考图2,示出了根据本公开的延迟容忍度时间区间更新方法的一些实施例的流程200。该延迟容忍度时间区间更新方法的流程200,包括以下步骤:
46.步骤201,响应于确定等待时长集合满足预设条件,根据等待时长集合生成目标概率密度函数。
47.在一些实施例中,延迟容忍度时间区间更新方法的执行主体(如图1所示的计算设备101)可以响应于确定等待时长集合满足预设条件,根据上述等待时长集合生成目标概率密度函数。其中,上述等待时长集合中的等待时长可以是需要进行关联的目标流和源流中的数据的历史相互等待时长。上述目标流可以是数据流中的数据的等待时长被记为正数的数据流。上述源流可以是数据流中的数据的等待时长被记为负数的数据流。可以指定需要进行关联的两流数据中的任意一流为目标流,另一流为源流。
48.上述预设条件可以是上述等待时长集合对应的时长到达预设时长。上述等待时长集合对应的时长可以是上述等待时长集合为空时,或者上述等待时长集合中所有的等待时长均已被用于生成过目标概率密度函数之后,以加入上述等待时长集合中的第一个等待时长的时间为计时起点的时长。
49.可以从上述等待时长集合中选择出在上述等待时长集合对应的时长内加入上述等待时长集合的等待时长作为目标等待时长,得到目标等待时长集合。上述目标概率密度函数可以是核函数为目标核函数的核密度函数。可以将上述目标等待时长集合中的各个目标等待时长作为已知样本数据代入初始概率密度函数,得到上述目标概率密度函数:
[0050][0051]
其中,表示上述目标概率密度函数。n表示上述目标等待时长集合中的目标等待时长的数目。h表示预设带宽。i表示序号。k(
·
)表示上述目标核函数。x表示上述目标概率密度函数的自变量。x表示上述目标等待时长集合中的目标等待时长。xi表示上述目标等待时长集合中的第i个目标等待时长。
[0052]
实践中,上述预设带宽是大于零的正数,可以根据实际的应用场景进行设置,这里不做限制。上述目标核函数可以是epanechnikov(埃帕内切尼科夫)核函数、quartic(四次方)核函数、triweight(三重)核函数和cosine(余弦)核函数等。
[0053]
作为示例,上述预设带宽可以取值为作为示例,上述预设带宽可以取值为是上述目标等待时长集合中各个目标等待时长的标准差。
[0054]
步骤202,基于目标概率密度函数,确定等待时长上限值和等待时长下限值。
[0055]
在一些实施例中,上述执行主体基于上述目标概率密度函数,确定等待时长上限值和等待时长下限值,可以包括以下步骤:
[0056]
第一步,在上述延迟容忍度时间区间内对上述目标概率密度函数进行积分,得到积分面积值。
[0057]
第二步,响应于确定上述积分面积值大于或者等于预设面积值,分别将上述延迟容忍度时间区间的上限值和下限值与第一预设数值的乘积值确定为等待时长上限值和等待时长下限值。
[0058]
作为示例,上述预设面积值可以是3/4。上述第一预设数值可以是3/4。
[0059]
第三步,响应于确定上述积分面积值小于预设面积值,分别将上述延迟容忍度时间区间的上限值和下限值与第二预设数值的乘积值确定为等待时长上限值和等待时长下限值。
[0060]
作为示例,上述第二预设数值可以是4/3。
[0061]
步骤203,将延迟容忍度时间区间的上限值和下限值分别更新为等待时长上限值和等待时长下限值。
[0062]
在一些实施例中,上述执行主体可以将延迟容忍度时间区间的上限值和下限值分别更新为上述等待时长上限值和上述等待时长下限值。
[0063]
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的延迟容忍度时间区间更新方法,可以动态调整数据延迟容忍度时间区间,在确保绝大多数数据完成关联逻辑外,最大限度的节省缓存资源。具体来说,造成数据因未匹配成功而被丢弃、无法实现精准一次或者耗费大量内存缓存数据、浪费存储资源的原因在于:所设置的延迟容忍度时间区间是固定的。基于此,本公开的一些实施例的延迟容忍度时间区间更新方法,根据等待时长集合中记录的多个等待时长生成目标概率密度函数,并通过所生成的目标概率密度函数确定延迟容忍度时间区间的新的上限值和下限值。从而,根据历史数据对延迟容忍度时间区间进行更新。使得延迟容忍度时间区间不会过长,也不会过短,可以在一定程度上避免由于业务数据出现波峰波谷而产生的数据到达时间变化所导致的延迟容忍度时间区间与实际数据到达时间差交集减小的情况。进而,在确保绝大多数数据完成关联逻辑外,最大限度的节省缓存资源。
[0064]
进一步参考图3,其示出了延迟容忍度时间区间更新方法的另一些实施例的流程300。该延迟容忍度时间区间更新方法的流程300,包括以下步骤:
[0065]
步骤301,响应于确定等待时长集合满足预设条件,根据等待时长集合生成目标概率密度函数。
[0066]
在一些实施例中,延迟容忍度时间区间更新方法的执行主体(如图1所示的计算设备101)可以响应于确定等待时长集合满足预设条件,根据上述等待时长集合生成目标概率密度函数。其中,上述等待时长集合中的等待时长可以是需要进行关联的目标流和源流中的数据的相互等待时长。上述预设条件可以是上述等待时长集合中包括的等待时长的数目大于或者等于目标数目。实践中,可以根据实际应用场景设置上述目标数目,这里不做限定。上述目标流可以是数据流中的数据的等待时长被记为正数的数据流。上述源流可以是数据流中的数据的等待时长被记为负数的数据流。
[0067]
上述目标概率密度函数可以是核函数为目标核函数的核密度函数。可以将上述等待时长集合中的各个等待时长作为已知样本数据代入初始概率密度函数,得到上述目标概率密度函数:
[0068][0069]
其中,表示上述目标概率密度函数。n表示上述目标等待时长集合中的目标
等待时长的数目。h表示预设带宽。i表示序号。k(
·
)表示上述目标核函数。x表示上述目标概率密度函数的自变量。t表示上述目标等待时长集合中的目标等待时长。ti表示上述目标等待时长集合中的第i个等待时长。
[0070]
实践中,上述预设带宽是大于零的正数,可以根据实际的应用场景进行设置,这里不做限制。
[0071]
作为示例,上述目标核函数可以是gaussian(高斯)核函数。上述预设带宽可以取值为值为是上述等待时长集合中各个等待时长的标准差。
[0072]
在一些实施例的一些可选的实现方式中,上述执行主体还可以清空上述等待时长集合。由此,可以在根据上述等待时长集合生成上述目标概率密度函数之后,将上述等待时长集合清空,并重新向上述等待时长集合中加入等待时长,直至上述等待时长集合再次满足上述预设条件。从而,确保每次以最新记录的目标数目个等待时长生成目标率密度函数。
[0073]
步骤302,将目标概率密度函数的最大值对应的自变量的数值确定为分隔数值。
[0074]
在一些实施例中,上述执行主体可以将上述目标概率密度函数的最大值对应的自变量的数值确定为分隔数值。
[0075]
步骤303,确定目标概率密度函数在负无穷至分隔数值之间的区间内的最小值对应的自变量的数值,得到等待时长下限值。
[0076]
在一些实施例中,上述执行主体可以确定上述目标概率密度函数在负无穷至上述分隔数值之间的区间内的最小值对应的自变量的数值,得到等待时长下限值。
[0077]
步骤304,确定目标概率密度函数在分隔数值至正无穷之间的区间内的最小值对应的自变量的数值,得到等待时长上限值。
[0078]
在一些实施例中,上述执行主体可以确定上述目标概率密度函数在上述分隔数值至正无穷之间的区间内的最小值对应的自变量的数值,得到等待时长上限值。
[0079]
由此,可以根据由业务数据出现波峰波谷而导致的数据到达时间的变化,动态的调整延迟容忍度时间区间,增加延迟容忍度时间区间与实际数据到达时间差的交集。进而,在确保绝大多数数据完成关联逻辑外,最大限度的节省缓存资源。
[0080]
步骤305,将延迟容忍度时间区间的上限值和下限值分别更新为等待时长上限值和等待时长下限值。
[0081]
在一些实施例中,步骤305的具体实现方式及所带来的技术效果可以参考图2对应的那些实施例中的步骤203,在此不再赘述。
[0082]
步骤306,响应于接收到来自于目标流或者源流中的、且未匹配到关联数据的从表数据,确定从表数据的来源。
[0083]
在一些实施例中,上述执行主体可以响应于接收到来自于上述目标流或者上述源流中的、且未匹配到关联数据的从表数据,确定上述从表数据的来源。其中,上述关联数据可以是在先接收的、并存储在缓存中的、且与上述从表数据具有相同的主键值的数据。主表数据可以是在后续业务流程执行过程中不可或缺的数据。从表数据可以是在后续业务流程执行过程中可以缺少的数据。可以指定上述目标流和上述源流中任意一条或者两条数据流中的数据为主表数据,其余数据流中的数据为从表数据。由此可以支持两流数据之间的inner join(内连接)、left join(左连接)、right join(右连接)和outer join(外连接)。
两流数据之间的inner join可以指两条数据流中的数据均为从表数据,需要互相等待后才能下发。两流数据之间的left join和right join可以指两条数据流中的其中一流数据为主表数据,另一流数据为从表数据,仅需从表数据等待主表数据。两流数据之间的outer join可以指两条数据流中的数据均为主表数据,无需互相等待即可直接下发。
[0084]
若上述目标流和上述源流中的数据的包括的字段名不同,则可以预先记录上述目标流和上述源流中的数据的包括的各个字段名。将上述从表数据中包括的各个字段名与上述目标流对应的各个字段名进行匹配,若不存在不相同的字段名,则可以确定上述从表数据来自于上述目标流。若存在不相同的字段名,则可以确定上述从表数据来自于上述源流。若上述从表数据中包括可以用于标记数据来源的来源标识。则可以通过来源标识确定上述从表数据的来源。
[0085]
步骤307,响应于确定从表数据来自于源流,根据接收到从表数据的时间和延迟容忍度时间区间的下限值,确定第一等待时段。
[0086]
在一些实施例中,上述执行主体可以响应于确定上述从表数据来自于上述源流,将接收到上述从表数据的时间以及接收到上述从表数据的时间与上述延迟容忍度时间区间的下限值的差值所确定的时间之间的时间段确定为第一等待时段。其中,上述延迟容忍度时间区间的下限值可以表征上述源流中的数据等待上述目标流中的数据的最长等待时长。上述延迟容忍度时间区间的上限值可以表征上述目标流中的数据等待上述源标流中的数据的最长等待时长。
[0087]
作为示例,上述延迟容忍度时间区间可以为[-15s,60s]。
“‑
15s”可以表示上述源流中的数据等待上述目标流中的数据的最长等待时长为15秒。“60s”可以表示上述目标流中的数据等待上述源流中的数据的最长等待时长为60秒。上述从表数据可以来源于上述源流,接收到上述从表数据的时间可以是2021年5月31日15:02:13。则2021年5月31日15:02:13与上述延迟容忍度时间区间的下限值-15s的差值所确定的时间为2021年5月31日15:02:28。则上述第一等待时段可以是2021年5月31日15:02:13至2021年5月31日15:02:28。
[0088]
在一些实施例的一些可选的实现方式中,上述执行主体还可以执行以下步骤:
[0089]
第一步,响应于确定上述从表数据来自于上述目标流,根据接收到上述从表数据的时间和上述延迟容忍度时间区间的上限值,确定第二等待时段。其中,可以将接收到上述从表数据的时间以及接收到上述从表数据的时间与上述延迟容忍度时间区间的上限值的和所确定的时间之间的时间段确定为第二等待时段。
[0090]
作为示例,上述接收到上述从表数据的时间可以是2021年5月31日15:02:13。则2021年5月31日15:02:13与上述延迟容忍度时间区间的上限值60s的和所确定的时间为2021年5月31日15:03:13。则上述第二等待时段可以是2021年5月31日15:02:13至2021年5月31日15:03:13。
[0091]
第二步,响应于在上述第二等待时段内从上述源流中接收到与上述从表数据相匹配的关联数据,将接收到上述关联数据的时间与接收到上述从表数据的时间的时间差值确定为等待时长。其中,与上述从表数据相匹配的关联数据可以是与上述从表数据有相同键值的数据。
[0092]
作为示例,接收上述从表数据的时间可以是2021年5月31日15:02:13。接收到与上述从表数据相匹配的关联数据的时间可以是2021年5月31日15:02:50,在上述第二等待时
段2021年5月31日15:02:13至2021年5月31日15:03:13内。则可以将2021年5月31日15:02:50与2021年5月31日15:02:13之间的时间差值37s作为等待时长。
[0093]
可选的,上述执行主体还可以响应于在上述第二等待时段内未从上述目标流中接收到与上述从表数据相匹配的关联数据,选取上述延迟容忍度时间区间的上限值作为等待时长。
[0094]
作为示例,若在上述第二等待时段2021年5月31日15:02:13至2021年5月31日15:03:13内未接收到与上述从表数据相匹配的关联数据,则可以将上述延迟容忍度时间区间[-15s,60s]的上限值60s作为等待时长。
[0095]
步骤308,响应于在第一等待时段内从目标流中接收到与从表数据相匹配的关联数据,将接收到从表数据的时间与接收到关联数据的时间的时间差值确定为等待时长。
[0096]
在一些实施例中,上述执行主体可以响应于在上述第一等待时段内从上述目标流中接收到与上述从表数据相匹配的关联数据,将接收到上述从表数据的时间与接收到上述关联数据的时间的时间差值确定为等待时长。其中,与上述从表数据相匹配的关联数据可以是与上述从表数据有相同键值的数据。
[0097]
作为示例,上述第一等待时段可以是2021年5月31日15:02:13至2021年5月31日15:02:28。接收到与上述从表数据相匹配的关联数据的时间可以是2021年5月31日15:02:20,在上述第一等待时段内。则可以将2021年5月31日15:02:13与2021年5月31日15:02:20之间的时间差值-7s作为等待时长。
[0098]
在一些实施例的一些可选的实现方式中,上述执行主体还可以响应于在上述第一等待时段内未从上述目标流中接收到与上述从表数据相匹配的关联数据,选取上述延迟容忍度时间区间的下限值作为等待时长。
[0099]
作为示例,若在上述第一等待时段2021年5月31日15:02:13至2021年5月31日15:02:28内未接收到与上述从表数据相匹配的关联数据,则可以将上述延迟容忍度时间区间[-15s,60s]的下限值-15s作为等待时长。
[0100]
步骤309,将等待时长加入等待时长集合中。
[0101]
在一些实施例中,上述执行主体可以将上述等待时长加入上述等待时长集合中。
[0102]
步骤310,响应于接收到来自于目标流或者源流中的主表数据,下发主表数据。
[0103]
在一些实施例中,上述执行主体响应于接收到来自于上述目标流或者上述源流中的主表数据,下发上述主表数据,可以包括以下步骤:
[0104]
第一步,确定缓存中是否存在与上述主表数据相匹配的关联数据。其中,与上述主表数据相匹配的关联数据可以是在先接收的、并存储在缓存中、且与上述主表数据有相同的主键值的数据。
[0105]
第二步,响应于确定存在上述关联数据,将上述关联数据和上述主表数据一同下发。
[0106]
第三步,响应于确定不存在上述关联数据,下发上述主表数据。
[0107]
由此,可以在判断数据的关联主从关系后,确保主表的无延迟下发,保障数据正确性。
[0108]
作为示例,参考图4,首先,可以确定缓存401中是否存在与上述主表数据402相匹配的关联数据403。然后,可以响应于确定存在上述关联数据403,将上述关联数据403和上
述主表数据402一同下发。或者,可以响应于确定不存在上述关联数据403,下发上述主表数据402。
[0109]
从图3中可以看出,与图2对应的一些实施例的描述相比,图3对应的一些实施例中的延迟容忍度时间区间更新方法的流程300体现了等待时长集合中的等待时长的生成步骤以及主表数据的下发步骤。由此,这些实施例描述的方案可以支持在两流数据均为主表数据,两流数据均为从表数据或者一条流的数据为主表数据、另一条流的数据为从表数据的场景下对两流数据的处理。还可以在判断数据的关联主从关系后,确保主表数据的无延迟下发,保障数据正确性。
[0110]
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种延迟容忍度时间区间更新装置的一些实施例,这些装置实施例与图2所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
[0111]
如图5所示,一些实施例的延迟容忍度时间区间更新装置500包括:生成单元501、确定单元502和更新单元503。其中,生成单元501,被配置成响应于确定等待时长集合满足预设条件,根据上述等待时长集合生成目标概率密度函数,其中,上述等待时长集合中的等待时长是需要进行关联的目标流和源流中的数据的相互等待时长;确定单元502,被配置成基于上述目标概率密度函数,确定等待时长上限值和等待时长下限值;更新单元503,被配置成将延迟容忍度时间区间的上限值和下限值分别更新为上述等待时长上限值和上述等待时长下限值。
[0112]
在一些实施例的可选实现方式中,上述确定单元包括分隔数值确定子单元、第一最小值确定子单元和第二最小值确定子单元。其中,分隔数值确定子单元被配置成将上述目标概率密度函数的最大值对应的自变量的数值确定为分隔数值;第一最小值确定子单元被配置成确定上述目标概率密度函数在负无穷至上述分隔数值之间的区间内的最小值对应的自变量的数值,得到等待时长下限值;第二最小值确定子单元被配置成确定上述目标概率密度函数在上述分隔数值至正无穷之间的区间内的最小值对应的自变量的数值,得到等待时长上限值。
[0113]
在一些实施例的可选实现方式中,上述预设条件是上述等待时长集合中包括的等待时长的数目大于或者等于目标数目;以及在上述生成单元之后,上述装置还包括清空单元,被配置成清空上述等待时长集合。
[0114]
在一些实施例的可选实现方式中,上述装置还包括:来源确定单元、第一等待时段确定单元和第一等待时长确定单元。其中,来源确定单元被配置成响应于接收到来自于上述目标流或者上述源流中的、且未匹配到关联数据的从表数据,确定上述从表数据的来源;第一等待时段确定单元被配置成响应于确定上述从表数据来自于上述源流,根据接收到上述从表数据的时间和上述延迟容忍度时间区间的下限值,确定第一等待时段;第一等待时长确定单元被配置成响应于在上述第一等待时段内从上述目标流中接收到与上述从表数据相匹配的关联数据,将接收到上述从表数据的时间与接收到上述关联数据的时间的时间差值确定为等待时长。
[0115]
在一些实施例的可选实现方式中,上述装置还包括第一选取单元,被配置成响应于在上述第一等待时段内未从上述目标流中接收到与上述从表数据相匹配的关联数据,选取上述延迟容忍度时间区间的下限值作为等待时长。
[0116]
在一些实施例的可选实现方式中,上述装置还包括第二等待时段确定单元和第二等待时长确定单元。其中,第二等待时段确定单元被配置成响应于确定上述从表数据来自于上述目标流,根据接收到上述从表数据的时间和上述延迟容忍度时间区间的上限值,确定第二等待时段;第二等待时长确定单元被配置成响应于在上述第二等待时段内从上述源流中接收到与上述从表数据相匹配的关联数据,将接收到上述关联数据的时间与接收到上述从表数据的时间的时间差值确定为等待时长。
[0117]
在一些实施例的可选实现方式中,上述装置还包括第二选取单元,被配置成响应于在上述第二等待时段内未从上述目标流中接收到与上述从表数据相匹配的关联数据,选取上述延迟容忍度时间区间的上限值作为等待时长。
[0118]
在一些实施例的可选实现方式中,上述装置还包括加入单元,被配置成将上述等待时长加入上述等待时长集合中。
[0119]
在一些实施例的可选实现方式中,上述装置还包括下发单元,被配置成响应于接收到来自于上述目标流或者上述源流中的主表数据,下发上述主表数据。
[0120]
可以理解的是,该装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元,在此不再赘述。
[0121]
下面参考图6,其示出了适于用来实现本公开的一些实施例的电子设备600的结构示意图。图6示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
[0122]
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(rom)602中的程序或者从存储装置608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
[0123]
通常,以下装置可以连接至i/o接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置607;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
[0124]
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从rom 602被安装。在该计算机程序被处理装置601执行时,执行本公开的一些实施例的方法中限定的上述功能。
[0125]
需要说明的是,本公开的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意
以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。
[0126]
在一些实施方式中,客户端、服务器可以利用诸如http(hypertext transfer protocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“lan”),广域网(“wan”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
[0127]
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:响应于确定等待时长集合满足预设条件,根据上述等待时长集合生成目标概率密度函数,其中,上述等待时长集合中的等待时长是需要进行关联的目标流和源流中的数据的相互等待时长;基于上述目标概率密度函数,确定等待时长上限值和等待时长下限值;将延迟容忍度时间区间的上限值和下限值分别更新为上述等待时长上限值和上述等待时长下限值。
[0128]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0129]
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执
行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
[0130]
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括生成单元、确定单元和更新单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,生成单元还可以被描述为“生成目标概率密度函数的单元”。
[0131]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1