分布式边缘数据采集方法、装置、电子设备及存储介质与流程

本技术涉及数据采集的，具体涉及分布式边缘数据采集方法、装置、电子设备及存储介质。

背景技术：

1、分布式边缘数据是指存储在多个边缘计算节点上的数据，这些节点通常分布在网络的边缘，靠近数据的产生源头或最终用户。这些数据分布在多个地理位置或网络边缘，以满足实时性能、低延迟和高可用性的需求，通常需要协调和管理多个节点之间的数据同步、复制和共享，以支持各种应用和系统的需求。

2、对于智能驾驶涉及许多分布式边缘数据，这些数据对于实时决策和驾驶辅助系统至关重要，包括车辆传感器数据、实时地图和导航数据、环境传感器数据以及驾驶员监测数据等。这些相关的分布式边缘数据是智能驾驶系统的关键组成部分，它们用于车辆感知、决策制定、路线规划和驾驶监控。这些数据需要在车辆本身或附近的边缘节点上进行处理，以支持实时的智能驾驶功能。

3、在车辆进行智能驾驶的过程中，会产生大量的分布式边缘数据，并且大部分数据都是实时产生的，例如每间隔几微秒车辆的雷达系统会进行一次障碍物检测。采集以及后续处理和存储这些大规模的数据，需要高昂的硬件基础设施和高性能的计算资源。因此，需要一种方法能够高效地进行分布式边缘数据采集。

技术实现思路

1、本技术提供分布式边缘数据采集方法、装置、电子设备及存储介质，能够高效地进行分布式边缘数据采集。

2、在本技术的第一方面提供了分布式边缘数据采集方法，所述方法包括：

3、获取多个不同时刻采集的目标驾驶数据，所述目标驾驶数据为多种驾驶数据中的任意一种驾驶数据，所述驾驶数据为预设车辆行驶过程中，车辆电子设备产生的数据；

4、根据多个所述目标驾驶数据，确定所述目标驾驶数据的变化趋势；

5、根据所述变化趋势，确定第一时刻的第一预测数据，所述第一时刻为当前时刻的后一个时刻，且与所述当前时刻的间隔时长为所述目标驾驶数据的采集间隔时长；

6、获取所述第一时刻采集的第一实际数据，所述第一实际数据与所述第一预测数据为同一种驾驶数据；

7、判断所述第一预测数据与所述第一实际数据是否相同，若确定所述第一预测数据与所述第一实际数据相同，则根据所述目标驾驶数据的当前采集频率，确定所述目标驾驶数据的调整采集频率，所述调整采集频率小于所述当前采集频率。

8、通过采用上述技术方案，在预设车辆行驶过程中产生多种分布式边缘数据，针对其中的目标驾驶数据，通过已有的目标驾驶数据，确定该目标驾驶数据的变化趋势。然后根据变化趋势，预测在未来某一个时刻的预测数据。并在该时刻获取采集到的实际数据，再判断预测数据与实际数据是否相同，如果二者相同，表明该目标驾驶数据的变化趋势可以预测。则可以降低目标驾驶数据的采集频率，后续通过预测来进行数据填充，而不需要通过高频率采集大量的数据，能够高效地进行分布式边缘数据采集。

9、可选的，所述根据多个所述目标驾驶数据，确定所述目标驾驶数据的变化趋势，具体包括：

10、根据所述当前采集频率，确定时间窗口；

11、将所述时间窗口置于首位，以使所述时间窗口的起始点与多个所述目标驾驶数据的第一个目标驾驶数据重合；

12、确定多个所述目标驾驶数据中，所述时间窗口位于首位时包含的多个时间序列数据；

13、根据多个所述时间序列数据，确定统计指标，所述统计指标用于反映多个所述时间序列数据的特征；

14、依次滑动所述时间窗口，得到多个所述统计指标；

15、对多个所述统计指标进行回归分析，得到所述变化趋势。

16、通过采用上述技术方案，基于时间窗口的预测方法能够捕获和量化边缘数据的趋势，无论是短期波动还是长期趋势。这有助于更好地理解目标驾驶数据的演变过程，识别数据中的模式和规律。同时时间窗口的大小和步长的选择具有灵活性，可以根据不同的分析需求和数据性质进行调整，能够适应不同的目标驾驶数据类型。

17、可选的，在所述若确定所述第一预测数据与所述第一实际数据相同，则根据所述目标驾驶数据的当前采集频率，确定所述目标驾驶数据的调整采集频率之后，所述方法还包括：

18、根据所述当前采集频率，确定第一驾驶数据与第二驾驶数据之间的空缺位数，所述第一驾驶数据与所述第二驾驶数据为基于所述调整采集频率采集到的多个所述目标驾驶数据中，相邻的两个目标驾驶数据；

19、根据所述变化趋势，确定所述第一驾驶数据与所述第二驾驶数据之间的多个填充数据，所述多个填充数据的数量与所述空缺位数相同；

20、将多个所述填充数据依次填充至所述第一驾驶数据与所述第二驾驶数据之间。

21、通过采用上述技术方案，在确定第一预测数据第一实际数据相同后，表明计算的数据变化趋势正确，则可以降低采集频率。在数据传输后，通过数据的变化趋势，填充由于低频率采集导致的空缺数据，从而使数据更加完整。确保了数据的连续性和一致性，即使在低采集频率下，也可以提供完整的数据。

22、可选的，在所述获取多个不同时刻采集的目标驾驶数据之后，所述方法还包括：

23、获取所述驾驶数据的当前采集频率；

24、判断所述当前采集频率与预设采集频率的大小关系，若确定所述当前采集频率小于预设采集频率，则对第三驾驶数据和第四驾驶数据中的所述第三驾驶数据进行去除处理，或者对所述第三驾驶数据和所述第四驾驶数据中的所述第四驾驶数据进行去除处理，所述第三驾驶数据和所述第四驾驶数据为多个所述驾驶数据中，相邻的两个驾驶数据。

25、通过采用上述技术方案，如果驾驶数据的当前采集频率小于预设采集频率时，表明该驾驶数据的采集频率较小，可以理解为该数据的实时性要求较低。进一步可以通过去除一些数据来减小数据量，从而节省了计算和通信资源。

26、可选的，在所述判断所述当前采集频率与预设采集频率的大小关系之后，所述方法还包括：

27、若确定所述当前采集频率大于或等于所述预设采集频率，则获取所述目标驾驶数据的数据量；

28、根据所述数据量，对所述目标驾驶数据进行分组，以使每组的目标驾驶数据的数量相同；

29、对各组所述目标驾驶数据进行压缩处理，得到多个压缩包。

30、通过采用上述技术方案，在当前采集频率大于或等于预设采集频率的情况下，通过数据压缩和分组处理来优化数据传输，降低资源消耗，提高数据采集的效率和可扩展性。

31、可选的，在所述获取多个不同时刻采集的目标驾驶数据之前，所述方法还包括：

32、对每种所述驾驶数据进行清洗处理，以识别和纠正所述驾驶数据中的错误值和异常值；

33、对清洗处理后的所述驾驶数据进行转换处理，以统一数据格式；

34、对转换处理后的所述驾驶数据进行对齐处理，以保持多种所述驾驶数据在时间维度上的一致。

35、通过采用上述技术方案，清洗处理有助于识别和纠正驾驶数据中的错误值和异常值。这提高了数据的准确性和可靠性。对齐处理确保了多种不同时刻采集的驾驶数据在时间维度上的一致。这使得不同数据源的数据可以在时间轴上对齐，以便进行比较和分析。转换处理统一了驾驶数据的格式，使其更容易处理和分析。这有助于消除数据格式的差异性，从而提高了数据的可操作性。

36、可选的，在所述判断所述第一预测数据与所述第一实际数据是否相同之后，所述方法还包括：

37、若确定所述第一预测数据与所述第一实际数据不同，则根据所述变化趋势确定第二时刻的第二预测数据，所述第二时刻为所述第一时刻的后一个时刻，且与所述第一时刻的间隔时长为所述采集间隔时长；

38、获取所述第二时刻采集的第二实际数据，所述第二实际数据与所述第二预测数据为同一种驾驶数据；

39、判断所述第二预测数据与所述第二实际数据是否相同，若确定所述第二预测数据与所述第二实际数据相同，则去除所述第一实际数据。

40、通过采用上述技术方案，如果第一预测数据与第一实际数据不同，根据数据变化趋势预测第二时刻的预测数据，然后验证其准确性。如果第二时刻的第二预测数据与该时刻的第二实际数据一致，进一步表明数据变化趋势，第一实际数据可能为异常数据，则对其进行去除处理。

41、在本技术的第二方面提供了分布式边缘数据采集装置，包括获取模块、处理模块以及判断模块，其中：

42、所述获取模块，用于获取多个不同时刻采集的目标驾驶数据，所述目标驾驶数据为多种驾驶数据中的任意一种驾驶数据，所述驾驶数据为预设车辆行驶过程中，车辆电子设备产生的数据；

43、所述处理模块，用于根据多个所述目标驾驶数据，确定所述目标驾驶数据的变化趋势；

44、所述处理模块，用于根据所述变化趋势，确定第一时刻的第一预测数据，所述第一时刻为当前时刻的后一个时刻，且与所述当前时刻的间隔时长为所述目标驾驶数据的采集间隔时长；

45、所述获取模块，用于获取所述第一时刻采集的第一实际数据，所述第一实际数据与所述第一预测数据为同一种驾驶数据；

46、所述判断模块，用于判断所述第一预测数据与所述第一实际数据是否相同，若确定所述第一预测数据与所述第一实际数据相同，则根据所述目标驾驶数据的当前采集频率，确定所述目标驾驶数据的调整采集频率，所述调整采集频率小于所述当前采集频率。

47、可选的，所述处理模块，用于根据所述当前采集频率，确定时间窗口；

48、所述处理模块，用于将所述时间窗口置于首位，以使所述时间窗口的起始点与多个所述目标驾驶数据的第一个目标驾驶数据重合；

49、所述处理模块，用于确定多个所述目标驾驶数据中，所述时间窗口位于首位时包含的多个时间序列数据；

50、所述处理模块，用于根据多个所述时间序列数据，确定统计指标，所述统计指标用于反映多个所述时间序列数据的特征；

51、所述处理模块，用于依次滑动所述时间窗口，得到多个所述统计指标；

52、所述处理模块，用于对多个所述统计指标进行回归分析，得到所述变化趋势。

53、可选的，所述处理模块，用于根据所述当前采集频率，确定第一驾驶数据与第二驾驶数据之间的空缺位数，所述第一驾驶数据与所述第二驾驶数据为基于所述调整采集频率采集到的多个所述目标驾驶数据中，相邻的两个目标驾驶数据；

54、所述判断模块，用于根据所述变化趋势，确定所述第一驾驶数据与所述第二驾驶数据之间的多个填充数据，所述多个填充数据与所述空缺位数相同；

55、所述处理模块，用于将多个所述填充数据依次填充至所述第一驾驶数据与所述第二驾驶数据之间。

56、可选的，所述获取模块，用于获取所述驾驶数据的当前采集频率；

57、所述判断模块，用于判断所述当前采集频率与预设采集频率的大小关系，若确定所述当前采集频率小于预设采集频率，则对第三驾驶数据和第四驾驶数据中的所述第三驾驶数据进行去除处理，或者对所述第三驾驶数据和所述第四驾驶数据中的所述第四驾驶数据进行去除处理，所述第三驾驶数据和所述第四驾驶数据为多个所述驾驶数据中，相邻的两个驾驶数据。

58、可选的，所述获取模块，用于若确定所述当前采集频率大于或等于所述预设采集频率，则获取所述目标驾驶数据的数据量；

59、所述处理模块，用于根据所述数据量，对所述目标驾驶数据进行分组，以使每组的目标驾驶数据的数量相同；

60、所述处理模块，用于对各组所述目标驾驶数据进行压缩处理，得到多个压缩包。

61、可选的，所述处理模块，用于对每种所述驾驶数据进行清洗处理，以识别和纠正所述驾驶数据中的错误值和异常值；

62、所述处理模块，用于对清洗处理后的所述驾驶数据进行转换处理，以统一数据格式；

63、所述处理模块，用于对转换处理后的所述驾驶数据进行对齐处理，以保持多种所述驾驶数据在时间维度上的一致。

64、可选的，所述处理模块，用于若确定所述第一预测数据与所述第一实际数据不同，则根据所述变化趋势确定第二时刻的第二预测数据，所述第二时刻为所述第一时刻的后一个时刻，且与所述第一时刻的间隔时长为所述采集间隔时长；

65、所述获取模块，用于获取所述第二时刻采集的第二实际数据，所述第二实际数据与所述第二预测数据为同一种驾驶数据；

66、所述判断模块，用于判断所述第二预测数据与所述第二实际数据是否相同，若确定所述第二预测数据与所述第二实际数据相同，则去除所述第一实际数据。

67、在本技术的第三方面提供了一种电子设备，包括处理器、存储器、用户接口以及网络接口，所述存储器用于存储指令，所述用户接口和所述网络接口均用于与其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如上述任意一项所述的方法。

68、在本技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如上述任意一项所述的方法。

69、综上所述，本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

70、1.在预设车辆行驶过程中产生多种分布式边缘数据，针对其中的目标驾驶数据，通过已有的目标驾驶数据，确定该目标驾驶数据的变化趋势。然后根据变化趋势，预测在未来某一个时刻的预测数据。并在该时刻获取采集到的实际数据，再判断预测数据与实际数据是否相同，如果二者相同，表明该目标驾驶数据的变化趋势可以预测。则可以降低目标驾驶数据的采集频率，后续通过预测来进行数据填充，而不需要通过高频率采集大量的数据，能够高效地进行分布式边缘数据采集。

71、2.基于时间窗口的预测方法能够捕获和量化边缘数据的趋势，无论是短期波动还是长期趋势。这有助于更好地理解目标驾驶数据的演变过程，识别数据中的模式和规律。同时时间窗口的大小和步长的选择具有灵活性，可以根据不同的分析需求和数据性质进行调整，能够适应不同的目标驾驶数据类型。

72、3. 在确定第一预测数据第一实际数据相同后，表明计算的数据变化趋势正确，则可以降低采集频率。在数据传输后，通过数据的变化趋势，填充由于低频率采集导致的空缺数据，从而使数据更加完整。确保了数据的连续性和一致性，即使在低采集频率下，也可以提供完整的数据。