机场动态终端实时数据监控处理方法与流程

本发明涉及一种机场动态终端实时位置数据的监控系统及其监控处理方法，属于民用航空运输的大数据处理平台领域。
背景技术：
：目前国内民航领域的机场内部组织结构较为复杂，为了能够工作人员、保障车辆以及进出港航班信息进行精细化管理与调控，需要实时地处理上述人员与移动工作终端的位置数据，以作为后续派工、违章预警等重要环节的管理依据。现有机场动态终端实时数据的种类与数量均较多，在保障数据实时性要求的前提下通常的频次为一秒一次。粗略算来每天就有几十gb容量的数据需要进行存储、转发以及处理，因此现有技术中主要存在的问题是，采集终端数据众多、采集频率较高，采集的数据量过大，给后续传输、应用、存储模块带来了巨大压力。如何对采集的原始位置数据进行更有效地预处理，直接决定了调度系统决策调度以及后续历史查询、违章预警判断、轨迹回放等的最终效果。有鉴于此，特提出本专利申请。技术实现要素：本发明所述机场动态终端实时数据监控处理方法，设计目的在于解决上述现有技术存在的问题而针对民航领域的业务应用需求，建立机场地面服务人员与终端实时位置数据的处理新机制，以灵活地调节存储与传输频率，优化上传数据以节省空间和提高处理效率，在使用上满足机场地面综合化高标准管理需求。所述机场动态终端实时数据监控处理方法，主要包括有以下执行步骤：1)在终端模块缓存实时位置数据；将5-15分钟之内的位置数据，实时地写入终端模块的缓存区中，同时将超过时限的过期数据被清除出缓存区；2)按配置的上传频率将位置数据上传至主站；每次上传的位置数据，是在上传间隔时间之内的所有位置数据的平均值，数据被存储于大数据平台；3)针对特殊场景，临时提高位置数据的上传频率。进一步地，在主站与动态终端之间的数据通讯基于udp协议，以满足位置数据上送的实时性和节省流量有一定的要求。采用udp协议，一方面udp通讯协议跨平台跨语言兼容了平板、手持终端、工控机、单片机等不同类型终端和不同的开发语言；另一方面，udp无连接、无状态、减少了通讯协议本身带来的流量消耗。进一步地，在所述步骤2)、步骤3)中，动态终端上送至主站的位置数据中包括有以下控制节点，起始码、终端id、控制字、经度、纬度、速度、方向、序列号和结束码。基于相同的设计构思，在所述步骤2)、步骤3)中，主站下达终端改变位置数据上送频率的命令数据中包括以下控制节点，起始码、终端id、控制字、上送频率、序列号和结束码。综上内容，所述机场动态终端实时数据监控处理方法具有的优点是：1、通过在终端装置做缓存控制位置数据上送频率，以及特殊场景临时提高终端的位置数据上送频率的方式，减少了主站系统带宽、cpu等性能压力，并保证了上层应用系统对特殊场景的高密度位置数据需求。2、针对大量终端装置长期运行产生海量历史数据的问题，采用oracle按天自动分区的设计，以及历史数据hadoop存储的方案，并且通过io多路复用模型优化，解决了历史数据存储、查询与回放的网速压力。3、采用io多路复用模型，更好地利用cpu资源而提高了实时数据处理效率。4、在传输数据上采用protobuf框架高压缩方式，有效地实现了机场实时大数据的传输与存储，数据处理效率较高，使得终端app以及网页客户端在使用时无明显的延迟。附图说明图1是机场动态终端实时数据监控处理系统示意图；图2是机场动态终端实时数据监控处理方法的流程图；具体实施方式下面结合附图和实施例对本发明作进一步地说明。实施例1，如图1和图2所示，所述机场动态终端实时数据监控处理系统，采用javaee体系，在功能模块切分部署方面参考使用微服务架构，不同部署节点之间使用http请求和mq方式通讯。从功能划分上，实时数据监控处理系统分为以下主要模块：主站，为核心业务子系统，负责调度派工等管理业务、与终端直接交互并对终端下达指令和接收终端上传的数据；即时通讯后台，负责整体即时通讯消息收发处理；大数据平台，按天自动分区存储实时数据以备查询与回放；无线站坪消息后台，负责车辆、人员、航空飞行器实时位置状态管理；gps服务端，提供地图服务；终端模块，安装在人员和动态终端中，负责终端业务功能操作。基于上述实时数据监控处理系统，安装或携带于航班、车辆和人员的动态终端通过gps服务端获取实时的位置数据。在数据的存储上，本申请在大数据平台上采用了oracle按天自动分区的设计，以及历史数据hadoop存储的方案，以应对每天生成的海量实时位置数据、避免因采用单表设计而导致单表爆炸的使用问题、保障历史查询的完整与准确性；针对存储日期较早的位置数据，由于访问频次较低，则通过sqoop同步导入到hadoop集群中。所述的机场动态终端实时数据监控处理方法包括以下执行步骤：1)在终端模块缓存实时位置数据；在终端模块上可缓存10分钟之内的位置数据，并且实时地将最新位置数据写入缓存区中，超过时限的过期数据被清除出缓存区；2)按配置的上传频率将位置数据上传至主站；如可根据需求选择每秒、每2秒、每5秒等频次，每次上传的位置数据是上传间隔时间之内的位置数据的平均值；由主站统一地存储于大数据平台，以由此可解决大量终端同时向主站发送高频数据带来的传输与存储压力。3)针对特殊场景，临时提高位置数据的上传频率；所针对的特殊场景，是指需要获取航班、车辆和人员的高密度位置信息的场景。即通过实时的位置信息判断航班、车辆和人员是否处于特殊场景；若处于特殊场景，则临时提高位置数据的上传频率。所述特殊场景，包括但不仅限于以下场景：场景一、判断车辆是否靠近航空器有效范围之内，即实时地计算车辆与航空器之间的位置距离；当车辆和航空器的位置小于100米时，主站下达命令将终端位置数据上送频率调高至每秒10次；当车辆和航空器位置再次大于100米时，主站下达命令将上送频率恢复至每秒1次。场景二、判断车辆是否出现违章可能；如当车辆速度超过30千米/小时时、或者车辆位置处于限定区域(限定区域为主站所配置的经纬度范围之内)时，主站下达命令将终端位置数据上送频率提高至每秒10次；当车辆速度再次小于30千米/小时、且车辆位置不在限定区域之内时，主站下达命令以将上送频率恢复至每秒1次。场景三、判断航空器是否处于进、出机位；如判断航空器gps速度大于0、航空器与机位中心之间的距离(机位中心位置的经纬度在主站进行专门地配置)小余50米时，主站下达命令以将终端位置数据上送频率调高至每秒10次；当航空器gps速度等于0、或航空器与机位中心之间的距离大于50米时，主站下达命令以将上送频率恢复至每秒1次。在上述步骤2)、步骤3)中，实时位置数据的上送方式采用无线网络，即采用udp协议进行主站与动态终端之间的通讯，以满足位置数据上送的实时性和节省流量有一定的要求。在数据格式方面，可采用以下自定义规约。1、终端上送至主站的位置数据的数据帧格式如下：起始码终端id控制字经度纬度速度方向序列号结束码5ah4字节01h4字节4字节4字节4字节4字节a5h其中，起始码固定为5ah一个字节；终端id，为4个字节的无符号整型，高字节在前，低字节在后；控制字，以01h表示终端向主站上送位置数据；经度、纬度、速度和方向，均为4个字节的浮点型数据；序列号，为4个字节的无符号整数，终端每次将此数加1发送；结束码，固定为a5h的一个字节。主站接收到终端上送的位置数据报文以后，回应如下报文以表示“收到了”：起始码终端id控制字序列号结束码5ah4字节01h4字节a5h具体的数据帧格式是，序列号为主站收到的某一终端发送的特定的序列号，通过该序列号来区分同一终端多次上送的位置数据。若终端向主站发送的位置数据3秒后未收到主站回复，则将本条位置数据报文每隔3秒再发送一次，最多重复发送5次。若终端连续3次发送位置数据未收到主站回复，则记录异常日志。2、主站下达终端改变位置数据上送频率的命令数据帧如下：起始码终端id控制字上送频率序列号结束码5ah4字节02h4字节4字节a5h其中，起始码，为5ah的一个固定字节；终端id，为4个字节的无符号整型，高字节在前、低字节在后；控制字，为02h以表示主站命令终端改变位置数据上送频率，主站设定的上送频率为4个字节的无符号整型，高字节在前、低字节在后，单位为次/每毫秒；序列号，为4个字节的无符号整数，主站每次将此数加1发送；结束码，为a5h的一个固定字节。终端收到主站改变位置数据上送频率的报文后，回应如下报文：起始码终端id控制字序列号结束码5ah4字节02h4字节a5h数据帧格式是，序列号，为终端收到的主站发送的某一特定序列号，由序列号来区分主站多次发送的02h指令；若主站向终端发送02h指令后的3秒内未收到终端回复，则将本条02h指令每隔3秒再发送一次，最多重复发送5次；若主站连续3次发送02h指令未收到终端回复，则记录异常日志。应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。当前第1页12