数据流中的数据读取方法、装置、设备及介质与流程

本申请涉及数据处理领域，特别涉及一种数据流中的数据读取方法、装置、设备及介质。

背景技术：

1、数据流可以是一组无界无限的数据序列。随着科技的发展，数据流更多地应用在网络监管、传感器网络、气象测控和金融服务等领域。技术人员通常需要及时地获取数据流中的有用数据。

2、相关技术会采用缓存技术，将多路数据流中的具有相同关联字段的关联数据缓存到计算机设备的内存中。通过预先设置好不同的触发阈值，比如单条内容字段填充率、固定时间周期等，实现在满足触发阈值后，由计算机设备输出发生变化的关联数据和关联字段。

3、但是相关技术时效性较差，不能及时输出需要的关联数据和关联字段。

技术实现思路

1、本申请实施例提供了一种数据流中的数据读取方法、装置、设备及介质，该方法可以保证输出的目标字段数据的时效性。所述技术方案如下：

2、根据本申请的一个方面，提供了一种数据流中的数据读取方法，该方法由终端执行，该方法包括：

3、实时获取服务器中的消息队列，得到所述消息队列中的队列关联键值，所述队列关联键值用于指示所述队列关联键值对应的字段数据发生变更；

4、根据自定义拉取条件从所述队列关联键值中确定目标关联键值；

5、根据所述目标关联键值向所述服务器发送数据查询请求，所述数据查询请求用于向所述服务器请求与所述目标关联键值对应的目标字段数据；

6、接收所述服务器返回的目标字段数据，所述目标字段数据是所述服务器根据所述数据查询请求从存储器中读取的。

7、根据本申请的一个方面，提供了一种数据流中的数据读取装置，该装置包括：

8、第一处理模块，用于实时获取服务器中的消息队列，得到所述消息队列中的队列关联键值，所述队列关联键值用于指示所述队列关联键值对应的字段数据发生变更；

9、所述第一处理模块，还用于根据自定义拉取条件从所述队列关联键值中确定目标关联键值；

10、第一发送模块，用于根据所述目标关联键值向所述服务器发送数据查询请求，所述数据查询请求用于向所述服务器请求与所述目标关联键值对应的目标字段数据；

11、第一接收模块，用于接收所述服务器返回的目标字段数据，所述目标字段数据是所述服务器根据所述数据查询请求从存储器中读取的。

12、根据本申请的一个方面，提供了一种数据流中的数据读取方法，该方法由服务器执行，该服务器包括存储器和旁路系统，该方法包括：

13、将数据流中关联的输入关联键值和输入字段数据写入所述存储器；

14、将所述输入关联键值中的队列关联键值写入所述旁路系统中的消息队列，所述队列关联键值对应的字段数据发生变更；

15、向所述终端提供所述消息队列；

16、根据所述终端发送的数据查询请求从所述存储器中读取目标字段数据；

17、向所述终端发送所述目标字段数据。

18、根据本申请的一个方面，提供了一种数据流中的数据读取装置，该装置包括存储器和旁路系统，该装置包括：

19、第二处理模块，用于将数据流中关联的输入关联键值和输入字段数据写入所述存储器；

20、所述第二处理模块，还用于将所述输入关联键值中的队列关联键值写入所述旁路系统中的消息队列，所述队列关联键值对应的字段数据发生变更；

21、第二发送模块，用于向所述终端提供所述消息队列；

22、所述第二处理模块，还用于根据所述终端发送的数据查询请求从所述存储器中读取目标字段数据；

23、所述第二发送模块，还用于向所述终端发送所述目标字段数据。

24、根据本申请的一个方面，提供了一种数据流中的数据读取方法，该方法由终端和服务器执行，该服务器包括存储器和旁路系统，该方法包括：

25、所述服务器将所述数据流中关联的输入关联键值和输入字段数据写入存储器；

26、所述服务器将所述输入关联键值中的队列关联键值写入所述旁路系统中的消息队列，所述队列关联键值对应的所述输入字段数据发生变更；

27、所述终端从所述服务器处实时获取所述消息队列，得到所述消息队列中的所述队列关联键值；

28、所述终端根据自定义拉取条件从所述队列关联键值中确定目标关联键值；

29、所述终端根据所述目标关联键值向所述服务器发送数据查询请求，所述数据查询请求用于向所述服务器请求与所述目标关联键值对应的目标字段数据；

30、所述服务器根据所述数据查询请求从所述存储器中读取所述目标字段数据；

31、所述服务器向所述终端发送所述目标字段数据。

32、根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上方面所述的数据流中的数据读取方法。

33、根据本申请的另一方面，提供了一种计算机存储介质，计算机可读存储介质中存储有至少一条程序代码，程序代码由处理器加载并执行以实现如上方面所述的数据流中的数据读取方法。

34、根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，上述计算机程序产品或计算机程序包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如上方面所述的数据流中的数据读取方法。

35、本申请实施例提供的技术方案带来的有益效果至少包括：

36、服务器将输入关联键值中的队列关联键值写入到消息队列中，终端通过实时消费的方式获取消息队列中的队列关联键值，并且终端再根据自定义拉取条件获取需要的目标关联键值，并通过数据查询请求从服务器处得到需要的目标字段数据。因此，本申请实施例可以实时获取到队列关联键值，并根据需求从队列关联键值中确定需要的目标关联键值，并得到目标字段数据，提高了获取目标字段数据的效率，保证了目标字段数据的时效性。

技术特征：

1.一种数据流中的数据读取方法，其特征在于，所述方法由终端执行，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据自定义拉取条件从所述队列关联键值中确定目标关联键值，包括：

3.根据权利要求2所述的方法，其特征在于，所述更新信息包括用于表示所述队列关联键值的生成时间的时间戳信息；所述自定义拉取条件是预设时间区间；

4.根据权利要求2所述的方法，其特征在于，所述更新信息包括用于表示所述队列关联键值对应的字段数据来源和上报频率，所述自定义拉取条件是字段数据来源集合和频率阈值；

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

6.一种数据流中的数据读取方法，其特征在于，所述方法由服务器执行，所述服务器包括存储器和旁路系统，所述方法包括：

7.根据权利要求6所述的方法，其特征在于，所述存储器包括缓存层和持久化层；所述缓存层用于淘汰在时间区间内未使用时间最长的字段数据；所述持久化层用于永久存储所述字段数据；

8.根据权利要求6所述的方法，其特征在于，所述将数据流中关联的输入关联键值和输入字段数据写入所述存储器，包括：

9.根据权利要求5所述的方法，其特征在于，所述将数据流中关联的输入关联键值和输入字段数据写入所述存储器，包括：

10.一种数据流中的数据读取方法，其特征在于，所述方法由终端和服务器执行，所述服务器包括存储器和旁路系统，所述方法包括：

11.一种数据流中的数据读取装置，其特征在于，所述装置包括：

12.一种数据流中的数据读取装置，其特征在于，所述装置包括存储器和旁路系统，所述装置包括：

13.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一项所述的数据流中的数据读取方法，或，如权利要求6至9任一项所述的数据流中的数据读取方法，或，如权利要求10所述的数据流中的数据读取方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至5任一项所述的数据流中的数据读取方法，或，如权利要求6至9任一项所述的数据流中的数据读取方法，或，如权利要求10所述的数据流中的数据读取方法。

15.一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现如权利要求1至5任一项所述的数据流中的数据读取方法，或，如权利要求6至9任一项所述的数据流中的数据读取方法，或，如权利要求10所述的数据流中的数据读取方法。

技术总结
本申请公开了一种数据流中的数据读取方法、装置、设备及介质，涉及数据处理领域。该方法由终端和服务器执行，服务器包括存储器和旁路系统该方法包括：服务器将数据流中关联的输入关联键值和输入字段数据写入存储器；将输入关联键值中的队列关联键值写入旁路系统中的消息队列，队列关联键值对应的输入字段数据发生变更；终端实时获取消息队列，得到消息队列中的队列关联键值；根据自定义拉取条件从队列关联键值中确定目标关联键值；根据目标关联键值向服务器发送数据查询请求；服务器根据数据查询请求从存储器中读取目标字段数据；向终端发送目标字段数据。本申请可以提高保证数据的时效性。

技术研发人员：张超,杨浩,李文斌,王冬,封盛
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15