基于日志序列化的汽车状态数据异常检测方法及系统与流程

本发明涉及数据处理领域，尤其涉及一种基于日志序列化的汽车状态数据异常检测方法及系统。

背景技术：

1、在现代汽车产业中，大量传感器的嵌入使得汽车能够实时的生成运行状态数据，这些数据涵盖了引擎温度、油压、刹车系统等多个维度，形成了极其丰富的高维数据。然而，处理这些庞大的数据，并从其中有效地检测出异常的变化，是一个极具挑战性的任务。传统的异常检测方法，例如统计学和机器学习方法，包括线性回归、决策树、支持向量机等，虽然在处理低维或者中等维度的数据时表现优良，但在处理如现有汽车状态这样的高维数据时，其效果却不能让人满意。

2、目前，现有技术采用深度学习技术进行异常检测，通过构建深度神经网络模型学习数据的正常分布，然后根据模型对新数据点进行正常性判断。虽然深度学习模型在一些领域已经取得了显著的成果，但在应用于高维的汽车状态数据时，仍面临由数据的复杂性和异构性所带来的挑战。

3、现有技术主要存在两大问题：一是处理高维状态数据困难，二是准确识别异常状态的挑战。由于汽车状态数据的高维性，传统的机器学习方法在处理上往往显得力不从心，而深度学习方法虽然具备一定的处理能力，却在面对复杂且异构的数据时，性能上仍然存在不足。此外，异常状态数据在总数据中所占比例微小，这使得模型在捕捉异常状态特征方面的难度进一步增大。

技术实现思路

1、本发明实施例的目的是提供一种基于日志序列化的汽车状态数据异常检测方法及系统，以解决现有技术中所存在的因为日志内容冗余所造成的占用存储空间大的问题。

2、第一方面，本发明提供了一种基于日志序列化的汽车状态数据异常检测方法，所述基于日志序列化的汽车状态数据异常检测方法包括：

3、获取汽车状态数据集；

4、将所述汽车状态数据集转换为总时间序列日志；

5、通过滑动窗口对总时间序列日志进行切割，得到预设步长的多个第一时间序列日志；每个所述第一时间序列日志包括日志键序列和参数向量序列；

6、将当前的日志键序列输入日志键异常检测模块，预测下一个日志键，得到预测日志键；根据预测日志键和实际日志键，判断日志键正常或异常；

7、当日志键正常，将当前的参数向量序列输入参数向量异常检测模块，检测参数向量序列正常或者异常；

8、当参数向量序列异常时，输出异常的参数向量。

9、在一种可能的实现方式中，所述方法还包括：

10、当日志键异常时，输出异常的日志键，继续检测当前之后的日志键序列；或者，当参数向量序列正常时，继续检测当前之后的日志键序列。

11、在一种可能的实现方式中，所述将所述汽车状态数据集转换为总时间序列动作日志具体包括：

12、根据采集汽车状态数据的时间戳，对采集到的所述汽车状态数据集中的汽车状态数据进行排序；

13、对所述汽车状态数据进行状态变化筛选，保留连续的时间点上状态发生变化的汽车状态数据；

14、将保留的所述汽车状态数据转化为动作数据；

15、针对每个动作数据，将动作数据转换为时间序列日志；

16、对时间序列日志进行解析，得到日志键和参数向量。

17、在一种可能的实现方式中，所述对所述汽车状态数据进行状态变化筛选，保留连续的时间点上状态发生变化的汽车状态数据具体包括：

18、对所述汽车状态数据集进行清洗；

19、针对清洗后的汽车状态数据集，根据时间节点，判断相邻的两个时间节点的汽车状态数据是否发生变化，当发生变化时，将相邻的两个时间节点的汽车状态数据保留；

20、当未发生变化时，将相邻的两个时间节点的汽车状态数据的字段设置为空值。

21、在一种可能的实现方式中，所述根据预测日志键和实际日志键，判断日志键正常或异常具体包括：

22、将t时刻前最近h步的日志键序列输入至日志键异常检测模块；

23、获取日志键异常检测模块输出的t时刻在w条件下日志键为k的条件概率；

24、将所述条件概率不在前c时，确定t时刻的日志键异常；其中，c为经验值。

25、在一种可能的实现方式中，所述方法之前还包括：

26、将车辆的历史时间序列日志中的日志键输入待训练的日志键异常检测模块进行训练，得到训练后的日志键异常检测模块。

27、在一种可能的实现方式中，所述将车辆的历史时间序列日志中的日志键输入待训练的日志键异常检测模块进行训练，得到训练后的日志键异常检测模块具体包括：

28、移除所述原始训练模型中原有的全连接层、激活层、dropout层以及最后一个lstm层；

29、冻结所述原始训练模型的其他层；

30、在所述原始训练模型中添加新的lstm层、dropout层、全连接层和激活层；

31、通过添加的新的lstm层、dropout层、全连接层和激活层的权重进行更新，得到日志键异常检测模块。

32、第二方面，本发明提供了一种基于日志序列化的汽车状态数据异常检测系统，所述系统包括：

33、汽车状态获取单元，所述汽车状态获取单元用于获取汽车状态数据集；

34、转换单元，所述转换单元用于将所述汽车状态数据集转换为总时间序列日志；

35、切割单元，所述切割单元用于通过滑动窗口对总时间序列日志进行切割，得到预设步长的多个第一时间序列日志；每个所述第一时间序列日志包括日志键序列和参数向量序列；

36、日志键异常判断单元，所述日志键异常判断单元用于将当前的日志键序列输入日志键异常检测模块，预测下一个日志键，得到预测日志键；根据预测日志键和实际日志键，判断日志键正常或异常；

37、参数向量异常判断单元，所述参数向量异常判断单元用于当日志键正常，将当前的参数向量序列输入参数向量异常检测模块，检测参数向量序列正常或者异常；

38、参数向量异常输出单元，所述参数向量异常输出单元用于当参数向量序列异常时，输出异常的参数向量。

39、第三方面，本发明提供了一种芯片系统，包括处理器，所述处理器与存储器的耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现第一方面任一项所述的基于日志序列化的汽车状态数据异常检测方法。

40、第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行第一方面任意一项所述的基于日志序列化的汽车状态数据异常检测方法。

41、通过应用本发明实施例提供的基于日志序列化的汽车状态数据异常检测方法，将汽车状态数据转换为时间序列日志，然后通过应用时间序列神经网络模型进行异常检测。本发明的目标在于解决汽车状态数据处理的难题，并提高异常状态的识别准确度。通过本发明的方法，可以能将复杂、高维汽车状态数据转化为易于处理的日志形式，从而大大简化了数据处理的流程，同时提升了异常检测的准确性和效率。