数据流融合的延迟感知与自适应处理方法及装置与流程

本发明涉及数据处理，具体涉及一种数据流融合的延迟感知与自适应处理方法及装置。

背景技术：

1、在物联网(internet of things，iot)以及边缘计算领域，经常会从某个实时数据源采集一路或多路的数据，这些数据形成了一路或多路的实时数据流，本文中有时也简称为数据流或实时流。

2、为了便于对数据进行观察和分析，有时候需要对多路数据流进行可视化处理。参考中国专利申请号202010720673，提供了一种大数据可视化平台，该平台具体包括感知层、网络层、数据库层、系统应用层、数据服务层、系统展示层及共享交换平台。其中，所述感知层通过通信网络端口对接网络层，所述网络层通过通信网络端口对接数据库层，所述数据库层通过通信网络端口对接系统应用层，所述系统应用层通过通信网络端口对接数据服务层，所述数据服务层通过通信网络端口对接系统展示层，所述该可视化平台通过通信网络端口对接共享交换平台。

3、在多路数据流进行可视化处理时，其中的多流数据的实时自动融合成为行业内的挑战，由于各数据流所处的硬件环境配置，网络环境等原因，同时发出的数据可能因为到达时间不同，而无法及时有效的融合，从而为随后的可视化准确性和实时性带来困难。例如，参考中国专利申请号201510038575，该申请提供了一种分布式实时数据融合系统，其包括决策信息分发模块以及依次运行在storm引擎的五个工作节点上的数据采集模块、预处理模块、对准模块、状态估计模块和威胁估计模块。该申请采用storm实时流式计算引擎作为系统的基础设施，使数据采集模块、预处理模块、对准模块、状态估计模块和威胁估计模块分别运行在storm集群环境中的五个工作节点上，能够充分利用storm分布式集群的高性能并行处理能力。该申请中的对准模块，能够对数据进行基本的校准，但是面对可能不断变化延迟的多路数据流，其方案并不适用，另外，可视化应用相对于分析应用，对实时性的要求更高，因此亟需一种适用于可视化应用场景下的多路数据流的融合方案，能够在数据实时性与准确性之间取得较好的权衡。

技术实现思路

1、本发明的至少一个实施例提供了一种数据流融合的延迟感知与自适应处理方法及装置，能够在数据实时性与准确性之间取得较好的权衡。

2、根据本发明的一个方面，至少一个实施例提供了一种数据流融合的延迟感知与自适应处理方法，包括：

3、接收按照相同发送时间和发送周期发送数据的n路数据流，并以数据的发送时间为索引，缓存接收到的每路数据流的数据，其中，n为大于1的整数；

4、计算所述数据的接收时间和发送时间的差值，得到所述数据的传输时延；

5、在缓存的第一索引的数据流记录数达到n时，对所述第一索引对应的各数据流的数据的传输时延进行加权求和，得到所述第一索引对应的平均传输时延，并根据所述平均传输时延与所述发送周期，更新读取缓存数据的时间间隔的大小。

6、可选的，对所述第一索引对应的各数据流的数据的传输时延进行加权求和，包括：

7、针对每路数据流，获取所述数据流在截止到第二索引对应的数据时的累计传输时延，计算所有数据流在截止到第二索引对应的数据时的累计传输时延的和值；根据每路数据流的累计传输时延在所述和值中的比例，确定每路数据流对应的权重，其中，所述第二索引为第一索引的前一个索引；

8、根据每路数据流对应的权重，对所述第一索引对应的各数据流的数据的传输时延进行加权求和，得到所述第一索引对应的平均传输时延。

9、可选的，在更新读取缓存数据的时间间隔的大小之后，所述方法还包括：

10、将所述第一索引对应的各数据流的数据的传输时延，分别与所属数据流在截止到第二索引对应的数据时的累计传输时延相加，得到所属数据流在截止到第一索引对应的数据时的累计传输时延。

11、可选的，在所述第一索引为数据流中的首个索引的情况下，所述方法还包括：

12、从所述第一索引对应的各数据流的数据的传输时延中，选择出最大传输时延；根据所述最大传输时延，设置读取缓存数据的时间间隔的初始值。

13、可选的，还包括：

14、前端数据流处理模块按照所述时间间隔的当前大小，确定下一次读取缓存数据的读取时间；

15、前端数据流处理模块按照所述读取时间，读取缓存的各数据流的数据，并对同一索引的各数据流的数据进行融合处理。

16、可选的，所述n路数据流与建筑信息模型bim中的对象相关联。

17、根据本发明的另一方面，至少一个实施例提供了一种数据流融合的延迟感知与自适应处理装置，包括：

18、接收模块，用于接收按照相同发送时间和发送周期发送数据的n路数据流，并以数据的发送时间为索引，缓存接收到的每路数据流的数据，其中，n为大于1的整数；

19、计算模块，用于计算所述数据的接收时间和发送时间的差值，得到所述数据的传输时延；

20、第一更新模块，用于在缓存的第一索引的数据流记录数达到n时，对所述第一索引对应的各数据流的数据的传输时延进行加权求和，得到所述第一索引对应的平均传输时延，并根据所述平均传输时延与所述发送周期，更新读取缓存数据的时间间隔的大小。

21、可选的，所述第一更新模块，还用于：

22、针对每路数据流，获取所述数据流在截止到第二索引对应的数据时的累计传输时延，计算所有数据流在截止到第二索引对应的数据时的累计传输时延的和值；根据每路数据流的累计传输时延在所述和值中的比例，确定每路数据流对应的权重，其中，所述第二索引为第一索引的前一个索引；

23、根据每路数据流对应的权重，对所述第一索引对应的各数据流的数据的传输时延进行加权求和，得到所述第一索引对应的平均传输时延。

24、可选的，上述装置还包括：

25、第二更新模块，用于在所述第一更新模块更新读取缓存数据的时间间隔的大小之后，将所述第一索引对应的各数据流的数据的传输时延，分别与所属数据流在截止到第二索引对应的数据时的累计传输时延相加，得到所属数据流在截止到第一索引对应的数据时的累计传输时延。

26、可选的，上述装置还包括：

27、设置模块，用于在所述第一索引为数据流中的首个索引的情况下，从所述第一索引对应的各数据流的数据的传输时延中，选择出最大传输时延；根据所述最大传输时延，设置读取缓存数据的时间间隔的初始值。

28、根据本发明的另一方面，至少一个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序被处理器执行时，实现如上所述的方法的步骤。

29、与现有技术相比，本发明实施例提供的数据流融合的延迟感知与自适应处理方法及装置，可以根据多路数据流的平均传输时延，来更新前端数据流处理模块读取n路数据流的时间间隔，该时间间隔的设置，同时考虑了各个数据流当前数据的传输时延以及历史累计传输时延，从而能够很好的匹配各路数据流的传输时延的实际情况，使得所设置的时间间隔大小适中，能够在接收到n路数据流后及时读取数据，在数据实时性与准确性之间取得较好的权衡。