航空应急救援数据采集系统及方法与流程

本发明一般地涉及大数据技术领域，更具体地，涉及航空应急救援数据采集系统及方法。

背景技术：

航空应急救援是应急救援的方式之一，特指采用航空技术手段和技术装备实施的一种应急救援。与其他应急救援方式比较，其独特之处在于使用的技术条件和组织管理。航空应急救援具备响应速度快、机动能力强、救援范围广、救援效果好、科技含量高的特点，具有其他应急救援手段无可比拟的优势，有着极其广阔的应用前景。国际上通常把航空应急救援类型分为四类：自然灾害救援、事故灾害救援、公共卫生救援和公共安全事件救援。

我国国土面积广大，海岸线漫长，山区众多，又是灾害多发的国家，发展快捷高效的通用航空应急救援体系十分必要。在航空应急救援指挥体系的建设中，必须充分考虑我国的地形地貌、气象水文、地质构造、人文环境和发展程度等诸多因素，建立涵盖自然灾害、事故灾害、公共卫生、公共安全等四类突发事件的处置和救援体制机制。

近些年来，飞速发展的大数据和云计算技术开始在航空应急救援中发挥作用，但依然存在着信息孤岛难题。航空应急救援中，需要从政府应急管理部门的系统中接收航空应急救援任务，从空管系统、天气系统、通航云系统等外部系统中接收飞行任务及计划数据、天气数据、飞行器运营人数据、基地数据、飞行监控数据等。涉及的部门多、接口多样、流程复杂，各系统采用的操作系统、数据库系统或文件系统均不同。现有的应急救援数据采集和汇聚，基本采用手工录入或数据文件导入的方式，效率低，实时性差，存在来源不同、格式不一等问题。

如图1的数据处理逻辑所示，现有的航空应急救援数据，可分为来自系统内部和基于互联网的终端采集两个渠道，分别由系统服务器和网络服务器提供数据汇聚和处理分发业务，处理后的数据统一存储到后端的数据存储中心。。

近年来，随着航空应急救援体系的发展，相关组织和机构已开展了一系列数据应用实践，但现有技术存在一些问题和不足：

一是数据整合程度低，分散在不同部门，没有形成共享机制和平台，数据处理受人力限制大、缺乏相应的技术平台和标准体系，难以快速实现数据整合；

二是数据应用初级，没有形成覆盖全部门的规模化数据应用体系，缺乏大数据思维下的创新性应用，存在应用模式传统、综合分析力度不够、分析深度不足等问题；

三是基础设施资源分布不均，各级部门多系统分散投入基础设施建设，造成投入大收益小、需求大投入小等发展不均衡的现象，急需一个统一的大数据系统对基础设施资源进行跨区域整合和按需分配调度。

技术实现要素：

本发明针对现有技术中所存在的等缺陷，提供了能够解决上述问题的一种航空应急救援数据采集系统及方法。

根据本发明的一方面，提供了一种航空应急救援数据采集系统，包括用于采集实时数据的实时数据采集子系统，所述实时数据采集子系统包括：多个采集设备，用于分别从多个采集点并行地采集实时数据；分布式消息中间件，从所述多个采集设备接收所述实时数据并且将所述实时数据进行标准化；以及分布式流式处理引擎，以消息订阅的方式从所述分布式消息中间件获取标准化的实时数据。

优选地，所述实时数据采集子系统还包括分布式一致性服务器，用于与所述分布式流式处理引擎和所述分布式消息中间件通信连接，以使所述分布式流式处理引擎和所述分布式消息中间件中的数据具有一致性。

优选地，所述多个采集点中的每个采集点具有多个专用设备节点，其中，每个采集点完全覆盖所述多个专用设备节点。

优选地，所述分布式消息中间件通过硬盘存储数据。

优选地，所述实时数据包括预警信息、监测源数据、事件信息和救援状态信息。

优选地，所述航空应急救援数据采集系统还用于采集通用数据、专业数据以及基础数据。

优选地，所述通用数据、所述专业数据以及所述基础数据以批量采集的方式从其他数据系统接入，其中，接入方式包括shell客户端、javaapi、webhdfsrestapi以及shift接口。

优选地，所述通用数据进一步包括应急救援相关的知识库、法律法规、救援案例。

优选地，所述专业数据包括：应急预案、辅助研判算法、空间数据分析及建模模型。

优选地，所述基础数据包括基础地理信息、空间数据、危险源数据、应急资源数据和救援目标数据。

根据本发明的另一方面，提供了一种航空应急救援数据采集方法，包括分别从多个采集点并行地采集实时数据；接收所述实时数据并且将所述实时数据进行标准化；以及以消息订阅的方式从所述分布式消息中间件获取标准化的实时数据。

本发明所提供的多源异构航空应急救援数据的采集系统，利用云计算和大数据技术，实现多源异构数据的实时采集、标准化和数据载入。解决了不同数据源(不同操作系统、不同的数据库系统、不同的文件系统等)、不同数据类型(结构化数据、半结构化数据和非结构化数据)、不同采集方式(包括实时采集、全量采集和增量采集等)的统一和标准化问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是现有技术中的航空应急救援数据的采集系统的数据处理逻辑；

图2是根据本发明的实施例的航空应急救援数据的采集系统中的实时数据采集子系统的结构框图；

图3是根据本发明的实施例的航空应急救援数据的采集系统中的实时数据采集子系统的具体结构图；以及

图4是根据本发明的实施例的实时数据采集的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图2是根据本发明的实施例的航空应急救援数据的采集系统中的实时数据采集子系统的结构框图。下文中，将参照图2对实时数据采集子系统进行描述。

根据本发明的实施例的实时数据采集包括用于采集实时数据的实时数据采集子系统，实时数据采集子系统200包括：多个采集设备202，用于分别从多个采集点并行地采集实时数据；分布式消息中间件204，从多个采集设备202接收实时数据并且将实时数据进行标准化；以及分布式流式处理引擎206，以消息订阅的方式从分布式消息中间件204获取标准化的实时数据。

数据采集节点的数据量可以根据实际需要进行动态的调整，可以通过多个节点并行采集以提高传输速度，满足用户采集需求，如果使用多个数据采集节点，每个节点对应若干个专用设备节点，所有数据采集节点完全覆盖专用设备节点，同时保证不重复。为了保证数据采集接入时的可靠性，在系统架构设计中在数据接入处增加了消息缓冲中间件，保证消息的可靠传输。

该采集系统利用云计算和大数据技术，实现多源异构数据的实时采集、标准化和数据载入。解决了不同数据源(不同操作系统、不同的数据库系统、不同的文件系统等)、不同数据类型(结构化数据、半结构化数据和非结构化数据)的统一和标准化问题。

图3是根据本发明的实施例的航空应急救援数据的采集系统中的实时数据采集子系统的具体结构图。下文中，将参照图3对实时数据采集子系统进行详细描述。

根据本发明的实施例的实时数据采集包括用于采集实时数据的实时数据采集子系统。其中，实时数据包括预警信息、监测源数据、事件信息和救援状态信息。实时数据的数据源包括自政府应急管理部门/林业部门/110/120/122等单位、飞行服务站、起降机场、空管等部门。实时数据采集子系统300包括：多个采集设备302，例如，采集设备304、306、308、310。多个采集设备用于分别从多个采集点并行地采集实时数据。多个采集点中的每个采集点具有多个专用设备节点，其中，每个采集点完全覆盖多个专用设备节点。实时数据采集子系统300还包括：分布式消息中间件312，从多个采集设备302接收实时数据并且将实时数据进行标准化。分布式消息中间件312通过硬盘存储数据以适用于高吞吐量的数据传输。

实时数据采集子系统300还包括：分布式流式处理引擎322，以消息订阅的方式从分布式消息中间件312获取标准化的实时数据。此外，实时数据采集子系统还包括分布式一致性服务器332，用于与分布式流式处理引擎和分布式消息中间件通信连接，以使分布式流式处理引擎和分布式消息中间件中的数据具有一致性。

此外，航空应急救援数据采集系统还用于采集通用数据、专业数据以及基础数据。因此，航空应急救援数据采集系统分别用于采集通用数据、专业数据以及基础数据的通用数据采集子系统、专业数据采集子系统以及基础数据采集子系统。通用数据、专业数据以及基础数据以批量采集的方式从其他数据系统接入，其中，接入方式包括shell客户端、javaapi、webhdfsrestapi以及shift接口。

具体地，通用数据进一步包括应急救援相关的知识库、法律法规、救援案例。通用数据的数据源包括：政府/民营救援机构，如中华人民共和国应急管理部、各省市政府应急管理部门。专业数据包括：应急预案、辅助研判算法、空间数据分析及建模模型，其中，空间数据分析及建模模型在该案中是现有技术，地理信息系统中，对地理参照数据进行分析和建模。例如arcgis等。专业数据的数据源包括：国内外救援机构，针对航空应急救援的专业数据，专业的预案库、算法和数据模型等。基础数据包括基础地理信息、空间数据、危险源数据、应急资源数据和救援目标数据。基础数据的数据源包括：基础地理信息、空间数据来自百度地图、googleearth等，危险源和应急资源数据来自政府/民营救援机构。救援目标数据来自政府应急管理部门/林业部门/110/120/122等单位的应急救援任务数据。下文中，以具体实例的方式航空应急救援数据采集系统进行详细描述。

鉴于上述问题，本发明提出了对多源异构的航空应急救援数据进行采集和汇聚的方法，以期能够解决或部分解决航空应急救援系统中的信息孤岛和数据整合问题。航空应急救援数据，基本可以分为以下4类：

通用数据：应急救援相关的知识库，法律法规，救援案例等。这些数据不受地域限制，数据来自于政府/民营救援机构，可以向全国、各行业、社会公众提供专业化的服务。

专业数据：应急预案，辅助研判算法，空间数据分析及建模模型。对已有的应急预案进行系统和结构化的整理，对预案的处理流程规律，提取各要素：如组织体系及各单位职责，危险源/救援目标的识别与救援能力/风险评价，应急救援设备与设施，事故灾害监测预警，事件级别评估，事件处置程序，事后恢复程序等进行结构化组织，对预案内容逐层细化，并对相关预案进行关联和更新。辅助研判算法，包括航空器、车辆、人员调度路径分析，跨区域、多机种、多目标救援调度优化算法等。

基础数据：基础地理信息，空间数据，危险源数据，应急资源数据，救援目标数据。这些数据由不同职能部门管理，部分数据对外开放的，部分数据需要与有关合作获取。

实时数据：预警信息，监测源数据，事件信息，救援状态信息等。这些数据是在事件发生后，实时接收的数据。由传感器等监测源实时获取，或由应急救援人员从手机、pad等移动终端进行数据输入和数据上传。

针对上述4类数据，本发明提出的多源异构的航空应急救援数据采集系统，输入为来自外部系统的数据源，主要包括：监测部门(地质、水文监测、地震监测和气象等数据)，航空情报部门(飞行计划、空域管制、装备和人员数据)，航空应急救援协作部门(医疗、武警消防、公安、交通以及海上救捞等)，以及互联网/移动互联网的公开数据。数据清洗加工提供跨平台etl工具，实现从不同数据源批量导入数据，根据业务规则和数据源的差异，采用完全数据抽取和增量抽取的规则完成数据采集。经过航空应急救援数据采集系统处理后，则形成经过清洗、标准化等预处理之后的不同类型(结构化/半结构化/非结构化)、不同类别(人、物资、装备、事件、组织)的数据，为航空应急救援指挥提供服务。

多源异构的航空应急救援数据采集系统支持实时数据采集和批量数据采集。

如图3的系统架构所示，实时数据采集实时的接入采集设备的数据，写入分布式消息系统中。

数据采集节点的数据量可以根据实际需要进行动态的调整，可以通过多个节点并行采集以提高传输速度，满足用户采集需求，如果使用多个数据采集节点，每个节点对应若干个专用设备节点，所有数据采集节点完全覆盖专用设备节点，同时保证不重复。

为了保证数据采集接入时的可靠性，在系统架构设计中在数据接入处增加了消息缓冲中间件，保证消息的可靠传输。

消息缓存中间件采用kafka。kafka最初由linkedin公司开发，使用scala语言编写，运行在jvm虚拟机上。kafka是一个分布式、分区的、多副本的、多订阅者、基于zookeeper协调的分布式消息系统。kafka具有以下几个特点：1、默认使用本地磁盘对收到的消息进行持久化；2、有限考虑系统吞吐量；以及3、kafka系统架构是完全分布式的。基于以上几个特点，kafka基于消息发布、订阅模式，大幅度降低传统模式的网络通信开销；同时采用硬盘存储消息，适合高吞吐量的可靠消息传输。

以批量数据采集获取通用数据、专业数据以及基础数据。批量数据采集是由其他系统采集的数据接入，如syslog、netflow、文件等，大数据系统为这些数据的接入提供了以下几种接入方式：

1、shell客户端

通过hadoop系统的客户端节点上，执行hadoop的shell客户端命令，将本地数据上传到分布式文件系统hdfs上。

2、javaapi

hdfs定义了一个文件系统接口filesystem，通过静态工厂方法可以获得filesystem实例，通过该实例可以实现读写hdfs等基本操作。

3、webhdfsrestapi

webhdfs观念是基于http操作，比如get、put、post和delete。像open、getfilestatus、liststatus的操作是使用httpget，其它的像creat、mkdirs、rename、setpermission是依赖于httpput类型。

4、thrift接口

hadoop本身是由java实现的，为了方便其他语言的程序调用，hadoop提供了thrift接口进行可扩展的跨语言访问。可以实现c++,python,php,ruby,erlang,perl,haskell,c#,cocoa,javascript,node.js,smalltalk,andocaml这些编程语言高效、无缝的访问hadoop系统。

下文中，将参照图4，对实时数据采集方法进行描述。

根据本发明的实施例的实时数据采集方法400，包括在步骤402中，分别从多个采集点并行地采集实时数据；在步骤404中，接收实时数据并且将实时数据进行标准化；以及在步骤406中，以消息订阅的方式从分布式消息中间件获取标准化的实时数据。

实时数据采集与其他数据采集的方法与实时数据采集子系统、其他数据采集子系统相对应，因此，为了避免重复，本文中不再赘述。

本发明提出了一种多源异构航空应急救援数据的采集系统，利用云计算和大数据技术，实现多源异构数据的实时采集、标准化和数据载入。解决了不同数据源(不同操作系统、不同的数据库系统、不同的文件系统等)、不同数据类型(结构化数据、半结构化数据和非结构化数据)、不同采集方式(包括实时采集、全量采集和增量采集等)的统一和标准化问题。本发明的关键技术点和欲保护的技术点。系统的整理了航空应急救援所需的各类数据，并提供相应的采集和汇聚方法，实现多源异构数据的采集和汇聚；根据业务规则和数据源的需要提供实时采集和批量采集两种数据采集方式；航空应急救援数据的实时采集系统，可实时的接入采集设备的数据，写入分布式消息系统中；航空应急救援数据的批量采集系统，提供shell客户端，javaapi,webhdfsrestapi,thrift接口共4种接入方式。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。