一种数据调度方法、装置、设备及介质与流程

本申请涉及数据处理，尤其涉及一种数据调度方法、装置、设备及介质。

背景技术：

1、近年来，随着人工智能算法处理数据种类增加，可能接入智能算法系统的传感器类型逐渐增加，例如相机、激光雷达、毫米波雷达等多种传感器设备。在智能算法系统中需要处理多种传感器的数据，而业务需要处理不同传感器同一时间的数据，因此需要向业务对应的算法输入数据同步后的各传感器数据。现有技术由智能算法外部的程序对各传感器数据进行时间戳同步后再送入智能算法系统进行处理，但是，智能算法系统内部有的算法需要同步后的传感器数据，而有的算法不需要同步后的传感器数据，例如目标检测算法只需要视频通道数据即可。

技术实现思路

1、本申请实施例提供了一种数据调度方法、装置、设备及介质，用以在智能算法系统中实现针对目标算法的数据同步处理过程，从而将多个同步的设备数据提供给目标算法进行处理。

2、本申请实施例提供的一种数据调度方法，包括：

3、接收需要采用目标算法处理的当前输入的设备数据，并缓存到该目标算法对应的预设的设备数据列表中；

4、基于所述目标算法对应的同步策略配置文件，当确定所述当前输入的设备数据为主设备数据时，通过遍历所述设备数据列表中缓存的设备数据，从所述设备数据列表中确定目标设备数据，其中，所述目标设备数据的时间戳，与所述当前输入的设备数据的时间戳之间的时间间隔，小于预设阈值；并且，所述目标设备数据对应的设备类型，与所述当前输入的设备数据对应的设备类型，属于所述同步策略配置文件中设置的同步设备类型；

5、基于所述目标设备数据，生成数据同步结果。

6、通过该方法，接收需要采用目标算法处理的当前输入的设备数据，并缓存到该目标算法对应的预设的设备数据列表中；基于所述目标算法对应的同步策略配置文件，当确定所述当前输入的设备数据为主设备数据时，通过遍历所述设备数据列表中缓存的设备数据，从所述设备数据列表中确定目标设备数据，并基于所述目标设备数据，生成数据同步结果，其中，所述目标设备数据的时间戳，与所述当前输入的设备数据的时间戳之间的时间间隔，小于预设阈值；并且，所述目标设备数据对应的设备类型，与所述当前输入的设备数据对应的设备类型，属于所述同步策略配置文件中设置的同步设备类型。从而，实现了在智能算法系统内部针对目标算法的数据同步处理过程，从而可以将多个同步的设备数据提供给目标算法进行处理，避免采用现有技术在智能算法系统外部针对所有算法的数据同步处理，解除了外部程序与智能算法系统之间的耦合。

7、在一些实施方式中，所述同步策略配置文件中包括如下内容：

8、同步设备类型、主设备类型、同步时间范围。

9、在一些实施方式中，基于所述目标算法对应的同步策略配置文件，当确定所述当前输入的设备数据为主设备数据时，通过遍历所述设备数据列表中缓存的设备数据，从所述设备数据列表中确定目标设备数据，包括：

10、基于所述目标算法对应的同步策略配置文件中设置的主设备类型，当确定所述当前输入的设备数据为主设备数据时，从所述设备数据列表中逐一获取缓存的设备数据，其中，若基于所述目标算法对应的同步策略配置文件中设置的同步设备类型，确定当前获取的设备数据是需要与所述主设备类型的数据同步的设备类型的数据，并且，进一步基于所述目标算法对应的同步策略配置文件中设置的同步时间范围，确定所述当前获取的设备数据的时间戳，与所述主设备数据的时间戳之间的时间间隔，小于预设阈值，则将所述当前获取的设备数据作为目标设备数据。

11、在一些实施方式中，所述同步策略配置文件中还包括：在所述设备数据列表中的每一设备的最大缓存数据量。

12、在一些实施方式中，所述方法还包括：

13、确定所述当前输入的设备数据所对应的设备标识；

14、基于所述设备标识，确定所述设备数据列表中所述设备标识对应的缓存数据量；

15、当所述缓存数据量达到所述最大缓存数据量时，将所述设备标识对应的时间戳最早的缓存数据，从所述设备数据列表中删除。

16、在一些实施方式中，所述同步策略配置文件中还包括：为每一类型设备设置的缓存数据的最大缓存时长。

17、在一些实施方式中，所述方法还包括：

18、从所述设备数据列表中逐一获取缓存数据，其中，若当前获取的缓存数据的时间戳早于所述当前输入的设备数据的时间戳，并且当前获取的缓存数据的时间戳与所述当前输入的设备数据的时间戳之间的时间间隔，大于所述当前获取的缓存数据所属类型设备对应的缓存数据的最大缓存时长，则将所述当前获取的缓存数据从所述设备数据列表中删除。

19、在一些实施方式中，所述方法还包括：

20、通过同步策略配置命令，更新所述同步策略配置文件。

21、本申请实施例提供的一种数据调度装置，包括：

22、第一单元，用于接收需要采用目标算法处理的当前输入的设备数据，并缓存到该目标算法对应的预设的设备数据列表中；

23、第二单元，用于基于所述目标算法对应的同步策略配置文件，当确定所述当前输入的设备数据为主设备数据时，通过遍历所述设备数据列表中缓存的设备数据，从所述设备数据列表中确定目标设备数据，其中，所述目标设备数据的时间戳，与所述当前输入的设备数据的时间戳之间的时间间隔，小于预设阈值；并且，所述目标设备数据对应的设备类型，与所述当前输入的设备数据对应的设备类型，属于所述同步策略配置文件中设置的同步设备类型；

24、第三单元，用于基于所述目标设备数据，生成数据同步结果。

25、本申请另一实施例提供了一种电子设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。

26、此外，根据实施例，例如提供了一种用于计算机的计算机程序产品，其包括软件代码部分，当所述产品在计算机上运行时，这些软件代码部分用于执行上述所定义的方法的步骤。该计算机程序产品可以包括在其上存储有软件代码部分的计算机可读介质。此外，该计算机程序产品可以通过上传过程、下载过程和推送过程中的至少一个经由网络直接加载到计算机的内部存储器中和/或发送。

27、本申请另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。

技术特征：

1.一种数据调度方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述同步策略配置文件中包括如下内容：

3.根据权利要求2所述的方法，其特征在于，基于所述目标算法对应的同步策略配置文件，当确定所述当前输入的设备数据为主设备数据时，通过遍历所述设备数据列表中缓存的设备数据，从所述设备数据列表中确定目标设备数据，包括：

4.根据权利要求2所述的方法，其特征在于，所述同步策略配置文件中还包括：在所述设备数据列表中的每一设备的最大缓存数据量。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求2或4所述的方法，其特征在于，所述同步策略配置文件中还包括：为每一类型设备设置的缓存数据的最大缓存时长。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

9.一种数据调度装置，其特征在于，所述装置包括：

10.一种电子设备，其特征在于，包括：

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至7任一项所述的方法。

技术总结
本申请公开了一种数据调度方法、装置、设备及介质，用以在智能算法系统中实现针对目标算法的数据同步处理过程。本申请提供的方法包括：接收需要采用目标算法处理的当前输入的设备数据，并缓存到该目标算法对应的预设的设备数据列表中；基于目标算法对应的同步策略配置文件，当确定当前输入的设备数据为主设备数据时，通过遍历设备数据列表中缓存的设备数据，从设备数据列表中确定目标设备数据，其中，目标设备数据的时间戳，与当前输入的设备数据的时间戳之间的时间间隔，小于预设阈值；并且，目标设备数据对应的设备类型，与当前输入的设备数据对应的设备类型，属于同步策略配置文件中设置的同步设备类型；基于目标设备数据，生成数据同步结果。

技术研发人员：李琦,殷俊,黄鹏,虞响
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：
技术公布日：2024/1/15