基于空管航迹大数据的航班运行态势规律分析方法与流程

本发明属于空中交通管理数据处理分析以及其他数据分析领域，本发明是在空管数据处理分析中实现的一种基于空管航迹大数据的航班运行态势规律分析方法。

背景技术：

目前随着航空运输领域的各类系统、设备的部署增加，软件规模的持续增长和功能提高，系统间交互日趋频繁，带来了信息增量急剧膨胀且数量庞大、种类众多、格式差异大、时效性强的各种数据；目前空管领域的系统/软件多数还运行于传统模式下，数据的使用及功能的实现基于原有单机架构；传统的数据存储、分析计算技术难以处理和分析超大量的空管领域系统数据尤其是海量的航迹数据；为了更好地实现海量数据的综合应用，突破现有功能性能的瓶颈，提高运行效能，提高业务的覆盖面和分析深层次需求，需要新的大数据相关技术与方法；航班运行态势规律分析作为重要的应用分析场景，是航班运行效能分析、航班轨迹预测的应用基础，如何利用大数据相关技术构建高效实用的态势规律分析方法是需要着重解决和研究的课题。

根据空管航迹数据特点，利用计算机，结合聚类等先进的数据处理算法实现航迹数据处理，是航班运行态势规律分析的研究重点；目前一些研究如下；

目标航迹聚类能够从海量的航迹数据中发现目标的潜在运动轨迹，是态势数据挖掘、行为意图分析的重要技术手段；提出一种能够对目标航迹数据进行聚类分析、发现目标潜在运动轨迹的算法，以航迹线段作为分析对象，根据垂直距离、平行距离和角度距离综合判断航迹线段之间的距离，将距离相近的线段聚为一类；实验结果表明，该算法能够从大量航迹数据中发现目标运动的轨迹特征。(陈勇.一种目标航迹数据聚类挖掘分析方法.[j]无线电工程,2015,45(3):22-24)。

一种基于空管历史数据挖掘的短时航迹预测方法。其首先对空管系统记录的航空器轨迹数据进行提取、归类处理，将同类航迹构成航迹群；其次通过消除航空器各航迹的冗余信息，提取得到可以表征航迹群信息的关键航迹点航迹群；然后对关键航迹点航迹群进行时空配准，之后再进行聚类分析，形成经验关键航迹点，进而形成经验航迹；最后基于经验航迹进行航空器的短时航迹预测，并利用航空器实际运行航迹对经验航迹进行更新。本发明以真实空管数据为数据源，通过实验说明本方法能够排除离群航迹对航迹预测的不良影响，依据已知航迹信息做出准确航迹预测，可应用到航路规划、空中交通管理和空域监视等方面，具有航迹预测准确度高，参数要求简单的优点(专利名称：基于空管历史数据挖掘的短时航迹预测方法；专利申请公布号cn105225541a；发明人：苏志刚等；申请人：中国民航大学)。。

总之，现有技术或方法侧重的是基于传统聚类分析方法实现小批量航迹点的处理和预测方法研究，而本专利基于海量航迹数据，利用大数据机器学习处理方法，针对任意航班飞行轨迹进行运行规律的分析。随着业务系统的增长和航班飞行的复杂化，空管历史航迹数据规模越来越呈现爆炸式增长；现有方法无法很好地解决海量航迹数据下的航班运行规律分析任务的计算和处理。

技术实现要素：

本发明的目的在于提供一种可用于空中交通管理数据处理分析以及其他数据分析领域的基于空管航迹大数据的航班运行态势规律分析方法。阐述了数据采集、数据预处理、数据存储、数据挖掘分析、数据可视化整个数据分析处理流程。通过结合大数据分布式计算处理技术和机器学习算法实现了以航班对象的海量航迹数据处理和分析。通过航班运行态势规律分析为后期航班运行效能分析、航班轨迹预测的提供应用和实施基础。

本发明的技术方案是：基于空管航迹大数据的航班运行态势规律分析方法，包括以下步骤：

步骤1、分析空管的航迹数据源，确认航迹数据来自何种监视设备或系统生成，选取合适的航迹数据源，执行步骤2；

步骤2、根据数据源中航迹数据类型及特点，开发和部署具体航迹数据采集软件；采集软件通过数据源输出接口和数据格式的方式进行，确认程序能够采集的航迹数据包含关键信息；数据采集器以二进制报文或文本文件的方式进行输出；执行步骤3；

步骤3、根据采集时间及采集范围的采集策略方式，综合考虑网络传输状况及数据量，采取定时批量从存储系统中采集或实时对接信号源实时采集的方式，根据预定的存储需求，将采集到的原始数据存储到大数据存储中心，执行步骤4；

步骤4、利用大数据预处理手段对存储的数据进行数据清洗及数据转换进行加工处理，通过去除废弃数据、纠正错误数据及格式转换操作，对数据进行初步的处理和加工，确保数据正确性、完整性、一致性、价值性；对于类别不同的数据源数据，利用数据标注分类完成数据分类集成；执行步骤5；

步骤5、针对空管航迹数据，按照标准数据格式，构建统一规范的航迹数据存储模型，对于预处理后的航迹数据进行规范存储，形成以航班对象和时间戳为主键索引的航班对象数据主题仓库；执行步骤6；

步骤6、分析航班对象的海量航迹数据，根据趋势规律分析业务需求，进行数据抽象，基于成熟的机器学习算法或自定义模型算法，形成能够处理和满足航迹趋势分析的算法模型，构建模型算法的参数计算方法，生成到算法与模型库中；执行步骤7；

步骤7、根据算法模型，借助大数据分布式计算引擎，构建以航班对象的航迹趋势规律计算任务流，采取多机集群的分布式计算处理方法，实现运行态势规律分析，执行步骤8；

步骤8、将步骤7的计算分析结果进行持久化存储，形成报表及数据视图的方式，执行步骤9；

步骤9、利用大数据可视化技术将分析结果以图形、列表、文字、散点地图渲染的方式通过可视化手段进行前端展示和交互分析。

进一步的，步骤4中归纳出利用大数据手段进行空管航迹数据的预处理，包括航迹大数据的数据质量问题，航迹大数据的数据质量包括正确性、完整性、一致性及价值性，航迹大数据作为典型的时空序列数据，其数据处理包括以下步骤：

步骤4.1、分析步骤3存储的原始数据，编写航迹原始报文解析程序，根据报文头字节长度和报文体偏移值计算报文体开始读取位置，利用程序读入内存，按照报文格式解析并提取原始数据信息；

步骤4.2、判断航迹点数据中关键信息是否缺失或异常，如缺失或异常，则按照缺失异常字段对应修正规则执行修正补充，光滑噪声数据，数据处理成功则跳过步骤4.3，否则执行步骤4.3；

步骤4.3、对于无法修正或者无意义的数据，标记为废弃脏数据，丢弃错误数据实现数据清洗；

步骤4.4、分析需要转换和分类的数据字段，根据标准数据格式要求和转换分类规则，对特定字段实现格式、内容的转换和分类，具体包括以下步骤：

步骤4.4.1、分析提取的时间值字段是否为绝对时间，如果不是，需要计算为绝对时间；

步骤4.4.2、按照标准格式和统一单位，对各个数据字段进行数据规约，根据统一高度速度航向的数据进行计算单位和数据格式；

步骤4.4.3、按照分类规则，对于需要划分主题的数据进行按类别拆分，打上分类标签，完成空管航迹点数据标注相关工作；

步骤4.4.4、利用大数据分布式处理，将以上预处理手段通过分布式编程范式，提交给分布式计算引擎，通过并行计算任务实现海量航迹数据的预处理。

进一步的，步骤6中根据航班运行趋势规律分析需求，将现实对象进行计算机能够处理的数据抽象，基于机器学习算法或自定义模型，形成能够处理和满足空管航班航迹数据趋势分析的算法模型，构建模型算法的参数计算方法，其计算包含以下步骤：

步骤6.1、数据抽象，将以航班为对象的航迹大数据转化为包含多维度特征的向量；其特征指是以航迹数据的时间、空间、高度、速度及航向为航班对象的属性字段；

步骤6.2、研究符合航迹大数据趋势规律分析得的机器学习算法，航迹规律分析属于机器学习中的无监督学习，采用迭代k均值聚类分析的方式可以实现航迹点趋势的分析；

步骤6.3、聚类分析：确定不同的航班对象选取有效的超参数k的取值算法；每一个航班轨迹数据集对应的k取值按以下方式选择：

通过航班对象数据范围内平均运行采样点个数才指定初始k值，其中是该航班对象实际到达时间，是航班实际降落时间，δt为航迹数据采集间隔。

进一步的，步骤7中根据算法模型，借助大数据分布式计算引擎，构建以航班对象的航迹趋势规律计算的并行任务，实现运行态势规律分析，利用分布式内存计算模型rdd，所述的rdd即弹性分布式数据集来抽象表示每个航班的航迹数据集，对航班航迹数据的实现进行计算处理；其计算处理的方法包含以下步骤：

步骤7.1、基于大数据分布式编程范式编写分布式计算程序；

步骤7.2、从数据仓库中将预处理后的数据读取到分布式内存引擎中，基于步骤6的聚类算法模型进行分布式迭代计算，其算法的具体步骤如下：

第一步、根据步骤6.3确定的k值，随机在该航班某一批次航迹数据中选取k个航迹点作为初始聚类质心点，

第二步、重复下面过程直到收敛。

对于每一个数据样例点i,计算其应该属于的类：

对于每一个类j，重新计算该类的质心：

步骤7.3、通过逐步减低目标代价函数的误差值，当目标代价函数收敛或者达到一定的精度要求时，作为机器学习的终止条件，得到最终航班对象的聚类结果；其中，

代价函数如下：

式中，μc(i)表示第i个聚类的均值；所述的代价函数利用迭代的方法，通过大数据的分布式内存计算技术非常适合海量分布式数据的迭代计算，从而计算出每个航班航迹点的规律分布结果。

本发明的有益效果是：本发明实现了如何基于空管航迹大数据完成航班运行态势规律分析的处理分析方法，创新地提出利用大数据手段通过空管航迹数据的采集及预处理手段完成数据准备。基于机器学习算法和分布式计算处理方式，基于改进的k均值聚类算法实现空管航迹数据的挖掘分析，为展开航班运行效能分析、航班轨迹预测的研究提供了理论与实践基础。

附图说明

图1空管航迹数据采集与预处理流程图；

图2空管航迹数据存储模型图；

图3空管航迹数据聚类算法的结构示意图；

图4空管航迹数据分布式处理流程图。

具体实施方式

本发明；基于空管航迹大数据的航班运行态势规律分析方法，包括以下步骤：

步骤1、分析空管的航迹数据源，确认航迹数据来自何种监视设备或系统生成，选取合适的航迹数据源，执行步骤2；

步骤2、根据数据源中航迹数据类型及特点，开发和部署具体航迹数据采集软件；采集软件通过数据源输出接口和数据格式的方式进行，确认程序能够采集的航迹数据包含关键信息；如航班号、时间戳、经度、纬度、高度、速度、航向等重要属性信息数据采集器，以二进制报文或文本文件的方式进行输出；执行步骤3；

步骤3、根据采集时间及采集范围的采集策略方式，综合考虑网络传输状况及数据量，采取定时批量从存储系统中采集或实时对接信号源实时采集的方式，根据预定的存储需求，将采集到的原始数据存储到大数据存储中心，执行步骤4；

步骤4、利用大数据预处理手段对存储的数据进行数据清洗及数据转换进行加工处理，通过去除废弃数据、纠正错误数据及格式转换操作，对数据进行初步的处理和加工，确保数据正确性、完整性、一致性、价值性；对于类别不同的数据源数据，利用数据标注分类完成数据分类集成；执行步骤5；

步骤5、针对空管航迹数据，按照标准数据格式，构建统一规范的航迹数据存储模型，对于预处理后的航迹数据进行规范存储，形成以航班对象和时间戳为主键索引的航班对象数据主题仓库；执行步骤6；

步骤6、分析航班对象的海量航迹数据，根据趋势规律分析业务需求，进行数据抽象，基于成熟的机器学习算法或自定义模型算法，形成能够处理和满足航迹趋势分析的算法模型，构建模型算法的参数计算方法，生成到算法与模型库中；执行步骤7；

步骤7、根据算法模型，借助大数据分布式计算引擎，构建以航班对象的航迹趋势规律计算任务流，采取多机集群的分布式计算处理方法，实现运行态势规律分析，执行步骤8；

步骤8、将步骤7的计算分析结果进行持久化存储，形成报表及数据视图的方式，执行步骤9；

步骤9、利用大数据可视化技术将分析结果以图形、列表、文字、散点地图渲染的方式通过可视化手段进行前端展示和交互分析。

进一步的，步骤4中归纳出利用大数据手段进行空管航迹数据的预处理，包括航迹大数据的数据质量问题，航迹大数据的数据质量包括正确性、完整性、一致性、价值性、时效性及可信性等方面，航迹大数据作为典型的时空序列数据，其数据处理包括以下步骤：

步骤4.1、分析步骤3存储的原始数据，编写航迹原始报文解析程序，根据报文头字节长度和报文体偏移值计算报文体开始读取位置，利用程序读入内存，按照报文格式解析并提取原始数据信息；

步骤4.2、判断航迹点数据中关键信息是否缺失或异常，如缺失或异常，则按照缺失异常字段对应修正规则执行修正补充，光滑噪声数据，数据处理成功则跳过步骤4.3，否则执行步骤4.3；

步骤4.3、对于无法修正或者无意义的数据，标记为废弃脏数据，丢弃错误数据实现数据清洗；

步骤4.4、分析需要转换和分类的数据字段，根据标准数据格式要求和转换分类规则，对特定字段实现格式、内容的转换和分类，具体包括以下步骤：

步骤4.4.1、分析提取的时间值字段是否为绝对时间，如果不是，需要计算为绝对时间；

步骤4.4.2、按照标准格式和统一单位，对各个数据字段进行数据规约，根据统一高度速度航向的数据进行计算单位和数据格式；

步骤4.4.3、按照分类规则，对于需要划分主题的数据进行按类别拆分，打上分类标签，完成空管航迹点数据标注相关工作；

步骤4.4.4、利用大数据分布式处理，将以上预处理手段通过分布式编程范式，提交给分布式计算引擎，通过并行计算任务实现海量航迹数据的预处理。

进一步的，步骤6中根据航班运行趋势规律分析需求，将现实对象进行计算机能够处理的数据抽象，基于机器学习算法或自定义模型，形成能够处理和满足空管航班航迹数据趋势分析的算法模型，构建模型算法的参数计算方法，其计算包含以下步骤：

步骤6.1、数据抽象，将以航班为对象的航迹大数据转化为包含多维度特征的向量；其特征指是以航迹数据的时间、空间、高度、速度及航向为航班对象的属性字段；

步骤6.2、研究符合航迹大数据趋势规律分析得的机器学习算法，航迹规律分析属于机器学习中的无监督学习，采用迭代k均值聚类分析的方式可以实现航迹点趋势的分析；

步骤6.3、聚类分析：确定不同的航班对象选取有效的超参数k的取值算法；每一个航班轨迹数据集对应的k取值按以下方式选择：

通过航班对象数据范围内平均运行采样点个数才指定初始k值，其中是该航班对象实际到达时间，是航班实际降落时间，δt为航迹数据采集间隔。

进一步的，步骤7中根据算法模型，借助大数据分布式计算引擎，构建以航班对象的航迹趋势规律计算的并行任务，实现运行态势规律分析，利用分布式内存计算模型rdd，所述的rdd即弹性分布式数据集来抽象表示每个航班的航迹数据集，对航班航迹数据的实现进行计算处理；其计算处理的方法包含以下步骤：

步骤7.1、基于大数据分布式编程范式编写分布式计算程序；

步骤7.2、从数据仓库中将预处理后的数据读取到分布式内存引擎中，基于步骤6的聚类算法模型进行分布式迭代计算，其算法的具体步骤如下：

第一步、根据步骤6.3确定的k值，随机在该航班某一批次航迹数据中选取k个航迹点作为初始聚类质心点，

第二步、重复下面过程直到收敛。

对于每一个数据样例点i,计算其应该属于的类：

对于每一个类j，重新计算该类的质心：

步骤7.3、通过逐步减低目标代价函数的误差值，当目标代价函数收敛或者达到一定的精度要求时，作为机器学习的终止条件，得到最终航班对象的聚类结果；其中，

代价函数如下：

式中，μc(i)表示第i个聚类的均值；所述的代价函数利用迭代的方法，通过大数据的分布式内存计算技术非常适合海量分布式数据的迭代计算，从而计算出每个航班航迹点的规律分布结果。

如图1所示，是本发明采用的空管航迹数据采集及预处理流程；其中，空管的航班航迹数据源来自于多个区域，通过利用分布式数据采集手段获取实时最新的航级数据；数据采集包括实时数据采集和批量历史数据的接入，都是通过数据采集模块实现不同地区不同系统的航迹数据汇聚，每一个数据采集的末端部署数据预处理模块，数据预处理包括了数据的清洗、数据转换等处理手段，数据经过预处理，存储到分布式数据存储(如hdfs或者hbase)和后端的空管数据仓库。

如图2所示，是本发明设计的空管航迹大数据的数据存储模型，为后续规律分析和访问计算提供了标准数据格式；本发明主要以航班为对象的规律分析，为了查找访问效率设计航班号加上时间戳作为航迹数据存储的主键，航班对象的其他的属性，如经度、维度、速度、航向等则作为info列族的维度数据存储。

如图3所示，是本发明采用的航迹聚类分析算法；首先将待分析的海量航迹数据从数据仓库中获取，根据每个航班对象确定该次计算任务的聚类参数值k及初始的聚类中心；利用机器算法结合分布式并行迭代计算开始计算聚类中心与所有航迹点的距离，通过航迹相似度分析，进行航迹聚类簇的划分，通过迭代次数及目标代价函数计算判断是否到达终止条件，从而获得最后的聚类中心结果集。

如图4所示，是本发明利用大数据分布式计算引擎完成海量航迹数据的计算和分析，由于待分析的航班数据规模大、迭代计算复杂，必须引入新的计算方式来快速完成航迹规律的分析和计算；利用分布式计算框架和动态资源调度机制，将计算任务平均分配到大数据计算集群之上，充分利用多个数据节点和计算节点的存储资源和计算资源来完成航班运行态势规律的分析。

通过上述步骤，实现了一种基于空管航迹大数据的航班运行态势规律分析方法，可以为空中交通管理运行提供快速、准确、灵活的数据分析和计算手段。实现了空管大数据中心关于海量数据采集、预处理、存储和分析计算的规律分析方法。通过对航班运行态势规律的挖掘分析，从而为后续航班运行效能分析、航班轨迹预测提供全面的技术手段和研究基础。

本发明实现了如何基于空管航迹大数据完成航班运行态势规律分析的处理分析方法，创新地提出利用大数据手段通过空管航迹数据的采集及预处理手段完成数据准备。基于机器学习算法和分布式计算处理方式，基于改进的k均值聚类算法实现空管航迹数据的挖掘分析，为展开航班运行效能分析、航班轨迹预测的研究提供了理论与实践基础。