一种基于插件方式的交通行业数据质量监测平台的制作方法

本发明涉及计算机信息服务领域，具体地，涉及一种基于插件方式的交通行业数据质量监测平台。

背景技术：

随着信息技术的发展,城市交通信息化以及智慧城市建设的不断深入，各种城市交通运行管理直接产生的数据、相关行业和领域的数据，以及公众互动提供的数据都对城市交通的管理和运行产生着直接作用或间接影响。这些数据不仅包含来自交通信息化系统、其他行业系统中的结构化数据，也包含特定数据交换规范组织的半结构化数据。然而由于传输设备故障、路面交通状况和环境因素的异常以及各种信息采集设备的连续性工作特点所引发的间歇性工作故障，都会使所采集的数据出现丢失、错误、不精确。如果直接采用有质量问题的数据提供给交通应用，必然会导致应用结果不准确、不可靠的问题。因此，在应用交通业务数据时必须对其进行相应的质量监测、评价和控制，高质量的基础交通数据得出的结果才具有高的可信度，才能正确的反应实际交通状况。

目前影响交通行业数据质量的问题主要包括：数据缺失、数据错误以及交通异常状况下的数据。其中对缺失数据的监测较为简单，即在监测时刻判断数据应到而未到。对错误数据的监测方法主要有阈值法，各交通行业数据应符合一定的阈值范围，可通过设定阈值，从而判断平台接入的数据是否为错误数据。

Java语言的动态加载技术完美的支持了插件化开发，基于java插件化开发生成的平台系统能够使得所有功能模块均可运行在同一个系统平台上，可以很好地解决新功能植入或功能模块定制，降低了平台内模块之间的耦合性，便于各个模块的独立维护，这样可大大降低开发、测试的成本以及升级的风险。

技术实现要素：

有鉴于此，本发明提供一种基于插件的交通行业数据质量监测平台，可提高交通行业数据质量的监测性能和灵活性，能够根据行业数据的特点和趋势灵活配置插件监测方法，全方位的对采集到的交通行业数据进行质量监测，一旦发现问题，可及时告知数据使用者。

本发明通过以下技术手段解决上述技术问题：

如图3所示，基于插件方式的交通行业数据质量监测平台，该监测平台包括数据接入插件、数据检查插件、spring应用服务器、异步消息队列；数据接入插件包括GPS数据接入插件、刷卡数据接入插件、检测器数据接入插件，数据检查插件包括极大值检查插件、趋势变化检查插件、数据到达检查插件；数据接入插件、数据检查插件通过JMS与异步消息队列进行交互，数据接入插件、数据检查插件均与spring应用服务器连接；spring应用服务器中，spring容器启动，加载数据接入和检查插件实例；根据业务数据特性，依配置的检查流程执行质量检测；对于问题数据以邮件、短信方式通知数据使用者。

该监测平台的实施包括如下步骤：

1)定义spring应用服务器中的平台框架与数据接入插件、数据检查插件的接口以及spring应用服务器中的平台程序结构，平台框架与每个接入和检查插件之间具有统一的接口定义，减少开发各类的插件接口或平台接口的时间，从而缩短插件化软件平台系统的开发时间，提高开发效率；

2)采用spring应用服务器，加载交通行业各种数据接入和质量监测插件Bean到容器的进程上下文中，平台自身不需要管理java Bean的初始化，都由spring来管理其生命周期；

3)通过GPS数据接入插件、刷卡数据接入插件、路面监测器数据接入插件等接入路面监测器、AFC刷卡数据、公交GPS、出租GPS数据，对接入的实时数据进行预处理；

4)数据接入插件和数据质量检查插件之间可通过异步消息方式进行通信，当数据接入成功后，接入插件会发送异步消息通知数据质量检查插件对接入的数据进行质量检查；

通过消息中间件进行点对点的异步消息的分发，监测平台上的接入和检查插件实例都可以接收到消息，并执行相应的业务流程操作。

5)配置数据质量监测流程，选取数据检查插件，根据交通行业数据业务要求，配置相应的数据检查流程，此平台提供了内置的极值、趋势变化、数据到达情况等检查插件。

本发明提供一种基于插件方式的交通行业数据质量监测平台。该数据质量监测平台基于平台+功能插件的模式来实现对交通行业实时数据质量监测的需求。其中功能监测插件均为java插件，并且各插件统一接口，以供平台调用。功能插件自定义监测优先级，能够解决数据质量监测的顺序问题。平台在启动时，通过动态加载spring上下文加载检查插件到容器中，由异步消息驱动进行数据质量监测。

本发明首先定义平台的框架与插件接口以及程序结构，然后按所述接口和程序结构分别开发平台框架和插件，从而平台框架和每个插件具有统一的接口，能够减少开发多种种类的插件接口或平台接口的时间，从而缩短插件化平台的开发时间。

根据本发明的上述基于插件方式的数据质量监测平台，此平台可灵活扩展数据接入和数据监测功能，只需根据行业数据的特殊需求开发设计相关的数据接入和质量监测插件，大大提高了开发效率和业务灵活处置能力。

附图说明

图1为基于插件的交通行业数据质量监测平台框架流程图。

图2为java插件的基本结构图。

图3为基于插件的交通行业数据质量监测平台框架结构图。

图4为交通行业数据接入流程图

具体实施方式

一种基于插件方式的交通行业数据质量监测平台，本方法一般包括如下步骤：

图1为基于插件的交通行业数据质量监测平台框架流程图，整个数据质量监测平台包含了交通行业数据接入和数据质量监测功能。如图1所示，软件开发人员根据交通行业数据业务的实际需求开发数据接入插件和质量监测插件，将交通各个业务领域的数据通过数据集接入插件接入到数据质量监测平台后，通过异步消息机制通知质量监测插件执行数据质量检查。

1)定义平台框架与插件的接口以及程序结构

图2为java插件的基本结构图，如图3所示，定义了示例性接口：

2)将所开发的交通行业数据监测插件应用容器spring启动，加载各种数据接入和质量监测插件Bean到容器上下文中；

a.配置数据接入及检查插件

b.数据接入插件实例初始化

c.质量检查插件实例初始化

d.数据接入消息驱动服务启动

e.质量检查消息驱动服务启动

3)实时接入路面监测器、AFC刷卡数据、公交GPS、出租GPS等实时数据，对接入的实时数据预处理；

如图4所示，依照此流程将行业数据接入到数据质量监测平台中，流程如下：

a.数据接入消息服务启动，通过quartz定时任务轮询；

b.数据源获取消息命令发送消息到消息中间件；

c.解析命令消息，获取消息时间点内的数据；

d.如果数据接入正常，销毁消息；

e.数据接入不正常，比对是否达到报警时间；

f.如果报警时间达到，则发送消息异常，销毁消息；

g.否则发送到延误数据消息队列；

h.消息驱动服务从延误数据消息队列接收消息放入到延误数据消息池中；

i.定时从延误数据消息池中获取消息发送到命令消息队列中。

在对业务数据进行预处理时，要去除唯一属性、重复属性及可忽略字段，通过填补遗漏数据、消除异常数据、平滑噪声数据，以及纠正不一致数据，去掉数据中的噪音、填充空值、丢失值和处理不一致数据。

4)选取数据检查插件，根据交通行业数据业务要求，配置相应的数据检查流程，此平台提供了内置的极值、趋势变化、数据到达情况等检查插件。

驱动数据检查插件对数据的合法性和有效性进行检验。该数据检查引擎订阅了消息队列中的数据检查消息，由JMS消息驱动加载已配置的相应的数据检查插件。

在该数据质量监测平台上，各个插件都会以微服务的形式对外提供接入和质量检查服务，为了提高平台数据接入和质量检查效率，数据接入插件和质量检查插件可分布式部署到多个服务器中，各服务之间通过异步消息进行同步与通信。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。