空空任务分析数据的预处理方法、系统、设备和存储介质与流程

本技术实施例涉及数据处理，特别涉及一种空空任务分析数据的预处理方法、系统、设备和存储介质。

背景技术：

1、空空任务即空对空任务，包括空空作战任务、空空训练任务等，空空任务分析指的是基于各种机载记录数据，对空空作战任务、空空训练任务种的装备性能、任务过程进行分析与评估。不同机型的机载记录数据的数据记录格式千差万别，相同机型但不同版本的机载记录数据的数据记录格式也经常出现局部变化。同时，机载记录数据的文件大小动辄高达几十个gb，数据记录内容还存在混杂、冗余、多以任务系统设备区分、与空空作战任务、空空训练任务没有直接逻辑关系等特点，不能直接用于装备性能评估和任务过程分析。这使得在进行空空任务数据分析时，需要使用通用的数据处理工具，手动选取单个或多个数据项进行简单的分析、对比，或者针对具体需求即时编写软件进行分析。

2、本技术的发明人发现，业内通用的数据预处理方法无法应对不同机型、不同版本的数据记录格式的经常性变化，也无法支持进一步开展较为系统的装备性能评估和任务过程分析。

技术实现思路

1、本技术实施例的目的在于提供一种空空任务分析数据的预处理方法、系统、设备和存储介质，能够快速适配不同机型、不同版本的机载记录数据，为进一步的空空任务分析与评估提供可以直接使用的具有逻辑的基础数据。

2、为解决上述技术问题，本技术的实施例提供了一种空空任务分析数据的预处理方法，包括以下步骤：使用预设的转换配置策略将原始机载数据转换为预设表示方式，并在转换后的得到数据文件中任意选择一个数据文件，基于选定的数据文件生成基础时标集合；其中，所述预设表示方式使用所述基础时标集合、事件、状态、全周期数据和分段周期数据进行数据表示；根据预设的时间对齐策略和所述基础时标集合，将各所述数据文件进行时间对齐，使各所述数据文件的数据项在任意一个基础时标均可取得数值；按照各所述数据文件的业务属性和预设的整合映射关系，将时间对齐后的各所述数据文件进行整合，得到若干个具有业务逻辑的业务数据块，并按所述预设表示方式进行存储。

3、本技术的实施例还提供了一种空空任务分析数据的预处理系统，包括：数据项抽取与转换组件，用于使用预设的转换配置策略将原始机载数据转换为预设表示方式，并在转换后的得到数据文件中任意选择一个数据文件，基于选定的数据文件生成基础时标集合；其中，所述预设表示方式使用所述基础时标集合、事件、状态、全周期数据和分段周期数据进行数据表示；时间对齐组件，用于根据预设的时间对齐策略和所述基础时标集合，将各所述数据文件进行时间对齐，使各所述数据文件的数据项在任意一个基础时标均可取得数值；数据整合组件，用于按照各所述数据文件的业务属性和预设的整合映射关系，将时间对齐后的各所述数据文件进行整合，得到若干个具有业务逻辑的业务数据块，并进行存储。

4、本技术的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的空空任务分析数据的预处理方法。

5、本技术的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的空空任务分析数据的预处理方法。

6、本技术的实施例提供的空空任务分析数据的预处理方法、系统、设备和存储介质，对原始机载数据按照基础时标集合、事件、状态、全周期数据和分段周期数据等表示方式进行转换，由基础时标集合、事件、状态、全周期数据和分段周期数据等组成的数据表示方法更加简洁、高效、便于存储，有效解决了原始记载数据混杂、冗余、无逻辑关系、格式多变的问题。基于转换配置策略、时间对齐策略完成原始机载数据的抽取、转换和对齐，这样不同机型、不同版本的原始机载数据在转换和对齐中得以处理。时间对齐后的各数据文件还需要按照其业务属性和整合映射关系进行数据整合，整合后得到的业务数据块具有业务逻辑，为进一步的空空任务分析与评估提供了可以直接使用的基础数据，便于空空任务分析与评估的快速、精准、系统化开展。

7、在一些可选的实施例中，所述基础时标集合包括若干个连续的时标点，所述时标点至少用于表示时、分、秒、毫秒、微秒信息，所述时标点包括起始时标点和结束时标点，顺序排列的两个起始时标点和结束时标点用于表示时间段；所述时标点对应的数据项为有效用于表示事件发生，所有所述事件发生构成所述事件；若在任意时间段内，所述时标点对应的数据项的数值均不变，则所述时标点对应的数据项的数值表示状态具体值，所有所述状态具体值构成所述状态；若在任意时间段内，所述时标点对应的数据项的数值连续变化，则所述数据项为所述分段周期数据；若在整个所述基础时标集合对应的时间段内，所述时标点对应的数据项的数值连续变化，则所述数据项为所述全周期数据。基础时标集合规定了时间标准，不同的原始机载数据可以通过统一的基础时标集合得以展现，形成时间轴。时间和状态很好地表示了离散数据的隐层含义，分段周期数据和全周期数据则很好地表示了连续数据的隐层含义。这样的表示方式直观、清晰、具有强逻辑性。

8、在一些可选的实施例中，所述使用预设的转换配置策略将原始机载数据转换为预设表示方式，包括：抽取各所述原始机载数据的列索引，并确定各所述原始机载数据的目标转换类型，所述目标转换类型包括浮点型、整数型和字符型；按照所述原始机载数据的列索引，基于所述目标转换类型，将所述原始机载数据中的离散数据用所述事件或所述状态进行表示，并将所述原始机载数据中的连续数据用所述分段周期数据或所述全周期数据进行表示。不同机型、不同版本的原始机载数据被转换为统一的表示方式，这使得本技术提出的空空任务分析数据的预处理方法具有很强的泛化能力和普适性。

9、在一些可选的实施例中，所述时间对齐策略包括起始点对齐策略和终止点对齐策略，对于离散数据，所述根据预设的时间对齐策略和所述基础时标集合，将各所述数据文件进行时间对齐，包括：获取所述数据文件对应的时间轴，确定所述基础时标集合中第一个起始时标点和最后一个终止时标点在所述时间轴中的位置；若所述第一个起始时标点在所述时间轴的起点之前，则在所述第一个起始时标点到所述时间轴的起点之间添加数据项，并将添加的数据项设为无效且数值赋值为0；若所述第一个起始时标点在所述时间轴的起点之后且在所述时间轴的终点之前，则舍弃所述时间轴的起点到所述第一个起始时标点之间的数据项；若所述最后一个终止时标点在所述时间轴的终点之后，则在所述时间轴的终点到所述最后一个终止时标点之间添加数据项，并将添加的数据项设为无效且数值赋值为0；若所述最后一个终止时标点在所述时间轴的终点之前且在所述时间轴的起点之后，则舍弃所述最后一个终止时标点到所述时间轴的终点之间的数据项。任选的用于生成基础时标集合的数据文件对应的时间轴不一定是所有数据文件中最长的，其余数据文件的内容需要按照选定的数据文件的时间轴进行增减，对于离散数据，为了避免增加的数据影响到数据文件，将新增的数据项设置为无效且数值为0，不产生新的事件和状态，从而在不影响数据大局的前提下完成时间对齐。

10、在一些可选的实施例中，所述时间对齐策略还包括插值策略，所述插值策略至少包括等比例插值、中间点插值和线性插值，对于连续数据，所述根据预设的时间对齐策略和所述基础时标集合，将各所述数据文件进行时间对齐，包括：获取所述数据文件对应的时间轴，确定所述基础时标集合中第一个起始时标点和最后一个终止时标点在所述时间轴中的位置；若所述第一个起始时标点在所述时间轴的起点之前，则在所述第一个起始时标点到所述时间轴的起点之间添加数据项，并根据所述时间轴的起点对应的数据项的数值及其之后的变化趋势，选择插值策略，为添加的数据项的数值赋值；若所述第一个起始时标点在所述时间轴的起点之后且在所述时间轴的终点之前，则舍弃所述时间轴的起点到所述第一个起始时标点之间的数据项；若所述最后一个终止时标点在所述时间轴的终点之后，则在所述时间轴的终点到所述最后一个终止时标点之间添加数据项，并根据所述时间轴的终点对应的数据项的数值及其之前的变化趋势，选择插值策略，为添加的数据项的数值赋值；若所述最后一个终止时标点在所述时间轴的终点之前且在所述时间轴的起点之后，则舍弃所述最后一个终止时标点到所述时间轴的终点之间的数据项。对于连续数据，需要基于数值变化规律进行插值，这样对齐后的数据更加科学、合理。

11、在一些可选的实施例中，所述整合映射关系为所述数据文件的业务属性与所述业务数据块之间的映射关系，所述按照各所述数据文件的业务属性和预设的整合映射关系，将时间对齐后的各所述数据文件进行整合，得到若干个具有业务逻辑的业务数据块，包括：基于所述数据文件的业务属性在已有的各所述整合映射关系中进行匹配；若匹配到与所述数据文件的业务属性对应的整合映射关系，则直接将所述数据文件合并至所述对应的整合映射关系指向的业务数据块中；若没有匹配到与所述数据文件的业务属性对应的整合映射关系，则建立新的整合映射关系和新的业务数据块，并对所述新的整合映射关系进行存储。随着不同机型、不同版本的增加，原有的映射关系并不能完全覆盖，因此当没有匹配的映射关系时，新建映射关系生成新的业务数据块，并将新建的映射关系进行存储，便于后续的数据整合。

12、在一些可选的实施例中，所述业务数据块包括：飞机标识数据块、平台数据块、目标探测数据块、外挂管理数据块、任务操作数据块、任务解算数据块、以及设备状态数据块。