面向航空发动机性能监控的海量数据管理方法及系统的制作方法
【技术领域】
[0001]本发明涉及航空发动机数据管理技术领域，具体地说是一种能够对飞机发动机监控数据进行快速、准确监控的面向航空发动机性能监控的海量数据管理方法及系统。
【背景技术】
[0002]随着航空建设的发展，飞机的数量越来越多。作为飞机的重要部件，航空发动机的健康管理就成为重中之重。航空发动机是一个复杂系统，日常运营中，产生大量的监控数据。针对这些海量数据的监控管理成为迫切需求。
[0003]航空发动机的监控数据，数据量庞大，如果检索依旧依赖于关系型数据库，数据量小时可以接受，但是航空发动机的监控数据不断增量，仅依靠关系型数据库本身的索引或者分区分表等方法，效率会非常底下，甚至导致数据库服务器崩溃。
【发明内容】
[0004]本发明针对现有技术中存在的缺点和不足，提出了一种能够对飞机发动机监控数据进行快速、准确监控的面向航空发动机性能监控的海量数据管理方法及系统。
[0005]本发明可以通过以下措施达到:
一种面向航空发动机性能监控的海量数据管理方法，其特征在于包括以下步骤:
步骤1:录入基础数据，将其存储到关系数据库；
步骤2:确定分布式文件系统模型；
步骤3:采集航空发动机监控数据，并进行预处理处理；
步骤4:将解析后的可操作数据处理后形成key;
步骤5:将解析后的可操作数据处理后形成value;
步骤6:将key与value进行绑定，存储至发动机相应的文件目录；
步骤7:及时增量更新监控数据，并同步更新文件系统；
步骤8:对监控数据进行报警规则检测；
步骤9:完成监控数据的快速检索，进行趋势分析。
[0006]本发明所述步骤I中所述基础数据包括飞机、发动机、监控属性、飞行阶段、数据来源、报警规则、趋势分析规则、报文解析模板、数据解析模板，用于提供基于关系模型的数据查询服务和基础数据增量服务，其中飞机模型如下:Airplane={ ID ,basiclnfo}；
其中ID为飞机的全局唯一标识，长度必须为32位数字和字母组合，basiclnfo为飞机基本信息，一台飞机至少有两台发动机，而且发动机会不断变化，此模型用来辅助查询不同时段的飞机发动机信息；
发动机模型如下:Engine= {ESN,basicInfο ,historyList ,alertRuleList}；
其中ESN为发动机的全局唯一标识，作为分布式文件系统的子目录唯一标识，basiclnfo为发动机基本信息，historyList为发动机的历史信息，记录发动机的动态变化信息，通过它可以查询发动机在不同时段的所在飞机信息，alertRuleList为关联该发动机的报警规则，将增量监控数据存储到分布式文件系统之后需要进行报警规则的检查，触发报警管理；
监控属性模型如下:
StandardParam={ID,basiclnfo}
其中ID为监控属性的全局唯一标识，长度必须为32位数字和字母组合，作为存储分布式文件系统的key的重要组成部分，也用它来进行报警规则和趋势分析规则的信息记录，basiclnfo为监控属性基本信息。
[0007]飞行阶段模型如下:
FlightPhase={ID,basiclnfo}
其中ID为飞行阶段的全局唯一标识，长度必须为32位数字和字母组合，作为存储分布式文件系统value的一部分，basiclnfo为飞行阶段基本信息；
数据来源模型如下:DataSource= {ID,basicInfo}；
其中ID为数据来源的全局唯一标识，长度必须为32位数字和字母组合，作为存储分布式文件系统value的一部分，basiclnfo为数据来源基本信息；
报警规则模型如下:AlertRule={ID，ruleContent，basicInfo}；
其中ID为报警规则的全局唯一标识，长度必须为32位数字和字母组合，ruleContend为报警规则的主要描述，通过解析ruleContent得到需要进行检测的属性，并通过属性在文件系统中得到相应的属性值，然后触发报警管理，basiclnfo为报警规则基本信息；
趋势分析模型如下:
AnalyzeRule={ID，esnarray，chartStyle，dataRange，basiclnfo，paramList}
其中ID为趋势分析的全局唯一标识，长度必须为32位数字和字母组合，Esnarray为ESN组合列表，chartStyle为趋势分析的类型，两大类包括多Y轴和单Y轴，dataRange为要进行趋势分析的数据范围，两大类包括时间范围和采样点范围，basiclnfo为趋势分析基本信息。paramLi st为坐标轴要显示的监控值信息列表；
报文解析模板模型如下:
AcarsMode1={ID,Engine,Flight_phase,xmlModel}
其中ID为报文解析模板的全局唯一标识，长度必须为32位数字和字母组合，Engine为适用发动机，Fl igh t_phase为适用飞行阶段，xmlModel为模板内容，格式为xml格式，标记监控属性的具体位置和长度；
数据解析模板模型如下:
OemMode1={ID,FolderList,dataStartRow,acCoI,esnCol,dateCol }
其中ID为数据解析模板的全局唯一标识，长度必须为32位数字和字母组合；FolderList为该模板适用的文件目录列表，dataStartRow为数据开始列，acCol为飞机所在列，esnCol为发动机所在列，dateCol为采集时间所在列。
[0008]本发明步骤2中确定分布式文件系统模型包含以下内容:在分布式文件系统中，存储模型如下:
f iIeSystem= {ESNi | i=l，2...η}
ESN={keyi,columnFamily i=l,2...η }columnFamily={ DataFrom , Flight_phase , Value } 其中ESN为存储目录的唯一标识，也就是来自于发动机的唯一标识。Key为rowKey，由监控属性和采集时间组成，columnFamily为主要监控内容，包括数据来源、飞行阶段和监控值。
[0009]本发明步骤3包含以下内容:将采集到的原始数据文件保存到分布式文件系统的原始文件存储目录，然后再对原始数据文件进行有效预处理，从而生成正确有效的格式统一的可存储数据，需要从采集到的数据中得到有效的飞机、发动机、飞行阶段、监控属性及对应的监控值，目前主流的两种文件格式为原始报文和厂家数据;其中针对原始报文，一般为txt格式，通过适用的报文模板解析出报文数据，并生成可操作的数据;针对厂家数据，一般为电子表格格式，也是海量数据的主要来源，将原始文件放在数据解析模板适用的目录中，系统自动解析成可操作数据。
[0010]本发明步骤3中解析得到的数据的主要格式为列表格式:
ModeIList={modeIList}
Model={Airplane,Engine,Date,Flight_phase,datafrom,paramList}paramListModeI ={StandardParam,value}
Mode I List为所有数据的列表，包含多个modelList，一个mode I List包含多个Mode I，Model中Airplane为飞机信息,Engine为发动机信息，Date为采集时间，将作为分布式文件系统key的一部分进行存储，F1 ight_phase为飞行阶段信息，一个mo del包含一个paramList，paramList 为监控信息列表，paramLisi^t^；^?SparamListModel，paramListModel包括详细信息，StandardParam为监控属性，value为监控值。
[0011]本发明步骤3中将解析后的原始数据文件统一移动到已完成文件夹中，防止进行重复性操作。
[0012]本发明步骤4中将解析后的可操作数据处理后形成key的过程中，由于系统中主要是对时间段内的监控属性进行检测，所以key的信息中必须包含监控属性和时间信息，因为一台发动机，在一个时间点，只能采集到监控属性一次，也就能够确保key的唯一*性；
StandardParam的唯一标识ID长度为32位，采集时间越精确越好，因此精确到秒，转换为便于操作的时间格式为14位，例如1990-1 2-3 I 20: 50: 50转换为可操作时间为19901231205050，长度为14位，因此key的标准长度为46位，前32位为监控属性的唯一标识，后14位为米集时间。
[0013]本发明步骤5中将解析后的可操作数据处理后形成value，包含以下内容:系统中检索数据的时候涉及到数据的飞行阶段和来源，因此value中除了监控值，还需要