专利名称：一种城市级数据共享交换平台技术的方法
技术领域：
本发明涉及一种城市级数据共享交换平台技术的方法，特别涉及一种能无缝接入跨地域或跨部门系统并接收内外部数据进行数据处理的数据共享交换平台技术的方法。
背景技术：
“十五”期间电子政务出现的最为严重的问题，就是许多部门电子政务系统自成体系的现象严重，跨部门应用系统设计成了部门内的系统，完整的电子政务体系被隔离成一个个独立的“孤岛”。很多跨部门的重点业务系统被牵头部门设计成了部门内的系统，政务信息资源共建、共享模式无法达成共识，自建、自用和自成体系的电子政务建设模式在蔓延，潜在的“信息孤岛”风险突出，政务协同能力受到极大牵制。《国家电子政务总体框架》(国信[2006]2号)中，明确提出:“统筹规划、分级建设覆盖全国的政务信息资源目录体系与交换体系”。2007年9月正式发布国家标准《政务信息资源交换体系》GB/T21062-2007,2008年3月开始实施。但多数产品缺少必要的扩展性，并且缺少轻量级客户端支持，特别是在跨地域或跨部门系统应用上产品更显不足。在技术架构上，不同的产品使用的编程语言不同，需要重新编译，结构复杂，难掌握，易维护性、易用性差，用户需要做大量的编程工作。产品基于开源软件封装，稳定性差、适配性能弱。产品缺乏区域拓展，具有很大的局限性，应用面受到制约等问题尤为突出。
城市级数据共享交换平台技术克服以上缺点，解决方案标准体系符合《政务信息资源交换体系》(GB/T 21062-2007)，《政务信息资源目录体系》(GB/T 21063-2007)等国家颁布的信息交换标准，提高交换平台的互联互通能力。发明内容
本发明是为了解决电子政务信息资源存在无法共建、共享及信息无法达成共识的技术问题，而提出一种城市级数据共享与交换技术的方法。
本发明的目的是通过下述技术方案实现的。
一种城市级数据共享交换平台技术的方法，简称“数据交换平台”，其特征包括:
步骤1:前置子系统:又称之为前置交换节点，是数据共交换平台的重要组成部分。前置子系统部署在与各种应用系统相衔接的前置机上，前置子系统是数据交换平台同各应用系统交互的技术通道，它负责提供各类技术协议适配器来支持同各种应用系统的底层衔接，实现同各应用系统进行数据交换的顺利衔接，并完成数据转换、数据封装和从中心交换子系统的消息监听、消息处理、数据交换服务控制及前置交换节点信息监控管理等功倉泛。
步骤11:前置子系统的接入功能:
A.前置子系统通过接入适配器提供给应用系统接入方式有四大类:
I)文件方式:应用系统通过与文本(定长、CSV)、EXCEL、XML等文件格式交互接入数据交换平台。
2)标准WEB服务调用:应用系统通过基于XML的SOAP报文与数据交换平台交互接入。
3)非标准服务调用:应用系统通过 JMS、WMQ、TLQ、EJB、HTTP、REST、TCP Socket 等方式与数据交换平台交互接入。
4)数据库方式:应用系统通过向平台开放数据库访问接口方式，编程实现接入数据交换平台。
适配器从技术角度分为技术协议适配和数据适配两个概念层次，从数据共享交换平台角度分为通用适配器和业务系统适配器。通用适配器是数据交换平台本身提供的，以支持业界常用技术协议及各类系统的连接服务组件，业务系统专用适配器是基于通用交换适配器之上做的适应特定业务系统的连接服务组件。
I)技术协议适配:是对接入和接出提供业界各类标准技术协议的适配，协议适配分为接入协议适配和接出协议适配。接入协议适配负责建立与不同系统的接入通信，适配各种的技术协议。采用的实现方式是提供不同协议的统一接入，接入协议适配支持同步和异步接入。接出协议适配负责建立与不同系统的接出通信，适配各种接出技术协议。
2)数据库适配:是数据交换平台和一个数据库的连接方法。数据库适配器对业界主流数据库都支持,并支持数据库POOL、Cluster等高级特性。
3)文件适配:文件适配组件，对于常见的文件格式，只要通过可视化配置的方式，就可以实现应用系统通过与文本(定长、CSV)、EXCEL、XML等文件格式与前置子系统的交互。
4)数据适配:是对报文内容的处理。对接入的报文进行消息规格化，解码或编码、报文格式转换等。数据适配通过配置组合交换总线容器中基础服务，针对不同的接入或接出服务，每个接入和接出都有自己的数据适配器实例。
5)大数据量文件适配:大于等于5兆的采用离线报送方式，使用移动硬盘或FTP/SFTP等方式进行数据报送。对于FTP/SFTP等报送方式，数据交换平台提供了数据文件完整性校验、数据文件重发、数据文件加密/解密、数据文件压缩/解压缩等功能以提供传输可靠性、安全性、高性能保证。小于5兆的数据，采用在线报送，对文件进行加密、打包，形成消息发送；到达目的节点后，解包、解密，恢复成原来的文件。对于在线报送方式，数据交换平台提供了数据拆包/拼包、断点续传、消息包的顺序处理、消除重复包、消息包完整性校验、消息包重发、消息包加密/解密、消息包压缩/解压缩等功能以提供传输可靠性、安全性、高性能保证。
B.前置子系统对外提供了 Web Services、WMQ、TLQ、JMS、SMTP、FTP、文件等桥接服务，在这些服务中，可以分为被动桥接方式和主动桥接方式两种类型:
I)被动桥接方式:即前置子系统被动的接受业务应用系统的交换请求，其中Web361^化68、丽0、1'1^、厕5、510\ 1 、文件及中间库是属于被动桥接方式。
2)主动桥接方式:即前置子系统主动探测业务应用系统数据的变化，并主动发起数据交换的流程。
C.增量数据的抽取，数据交换平台的前置子系统提供了基于业务标识、变化日志等多种解决方案:
I)基于业务标识:根据业务系统数据的特性，如交换日期、交换标识等，从而识别出本次所需要交换的增量数据。
2)基于变化日志:通过生成建立触发器方式将业务系统发生的变化记录在日志表中。每个业务表对应一个日志表，日志表除包括业务表全部字段外，有二个交换用字段:序号、操作状态(表明数据变化状态，I/U/D)。
3)触发器:触发器处理要区分数据变化是由业务系统引发还是由数据交换平台引发，通过一个备用的业务字段区分。每次交换时，数据交换平台查询出上一次抽取的最大序号之后的增量数据，打包成交换消息，通过通讯传输系统发往目的地。
增量数据抽取后按交换标准打包成交换消息包，通过通讯传输子系统传输到目的地。
D.数据转换处理，这一层定义了应用系统之间进行交换数据的格式标准，该格式标准将遵循通行的工业标准XML，利用XML来定义和描述各应用系统之间以及应用系统和底层架构之间的交互信息。
I)消息转换技术:可以将消息转换为应用程序所需的新格式。该技术检查每个消息字段，并且允许增加、修改或检查新的消息格式和字段，这些功能并不需要修改源程序和目标程序。
2)基于XML的交换数据格式:交换数据的接口和数据描述采用XML标准，提高系统平台的扩展性和开放性。
3)基于标准的数据转换:利用XSLT来转换XML文档，可以在具有多个方言的XML之间翻译数据元素
步骤12:前置子系统的节点管理功能:
A.节点管理是前置子系统提供的基于WEB的管理模块，可对交换节点的状态、运行配置进行管理监控。
I)节点状态管理用于查看当前的前置节点的运行状态及基本信息。
2)流程管理:用来管理数据在多个交换节点之间的流转。在一个交换中心上，流转表现为任务执行的先后顺序，如一个接收任务执行成功后，会触发指定的发送任务，将收到的数据发送到其他服务器上。主要包括流程管理、流程流向路由管理、流程节点管理、流程查询等。
3)任务管理:数据交换平台根据需要提供不同的数据传输调度机制，主要分为定时和实时两种任务调度模式
4)节点日志:用来管理服务器中的日志，提供可视化的人机交互管理环境，监测和查看系统运行时产生的状态信息以及其他各种输出信息。
5)用户及权限管理:对管理控制台登录账号的维护管理以及权限控制。每一种类型的账号对应着一组可访问的资源。
配置管理器用于管理交换中心的相关配置，包括性能限制、用户选项等。
步骤2:中心交换子系统:又称之为中心交换节点，中心子系统在数据交换平台架构框架中包括交换层、服务层、管理层，是整个数据交换平台的核心。中心交换子系统按照应用层次的划分由接入层、内容处理层、数据存储层构成。各业务系统通过接入层接入数据交换平台，待交换数据在接入层经过简单加工处理后发送到交换层；交换层根据交换路由信息通过消息中间件的可靠传输到达目的地，调用数据交换平台基础服务层完成对数据的解压、解密、报文检验、数据处理操作后，根据业务服务路由数据经与接收业务系统相连接的接入层发送给接收业务系统。整个数据交换平台从逻辑划分为五个层次:应用层:涵盖各地域或各部门的业务应用系统。接入层:实现各地域或各部门业务数据的交换接入。实现不同应用系统的接入和不同数据格式的转换。交换层:实现中心交换节点与交换中心之间、中心交换节点与前置交换节点之间、前置交换节点与前置交换节点之间的数据交换。服务层:包括基础服务和业务服务。其中基础服务实现报文检验、消息包的压缩解压、加密解密、安全认证等功能。管理层:对交换中心、交换总线、交换节点进行管理和监控。从整体上来看，平台主要是在JCA国际规范基础之上，结合XML、J2EE、Web Services和JMS等技术，采用集中式的交换应用服务器和多种数据传输方式、面向服务的框架结构体系(SOA)，实现对各业务应用系统的有机整合。
步骤21:中心交换子系统按层次的划分:
A.接入层:使用基于消息服务的消息队列技术，其主要功能是以多种方式负责共享数据的通讯传递，在功能上类型上可以分为JMS服务、HTTP服务、SOAP服务、TCP服务、FTP服务和Web Service服务等。
B.内容处理层:主要负责对通讯消息的处理和通讯文件的处理，其主要功能是在系统根据数据请求指令，通过数据处理服务进行相应数据库操作获得相应业务数据后，生成相应的通讯消息或通讯文件，供系统进行通讯传输，即通讯内容的创建提供。同时，分析获取的通讯内容，包括通讯消息或通讯文件，提取相应业务数据，分发给数据存储层的数据处理服务并进行相应数据库操作。
步骤22:中心交换子系统的平台管理:
平台管理是中心子系统提供的基于WEB的管理模块，集中对交换平台、交换节点、资源统一管理，是交换体系的控制中枢。
A.前置交换节点注册管理:在数据交换平台上注册各级的前置交换节点，然后进行前置交换节点的部署。
B.前置交换节点部署管理:只有拥有安装注册号才能进行前置交换节点的安装。安装注册号与前置交换节点前置机MAC地址绑定，有且只能安装在指定前置交换节点服务器上。
C.前置交换节点运行监控管理:对前置交换节点的运行进行远程控制，主要包括启动、终止、挂起、关闭服务。对前置交换节点的运行状态进行查询。提供当前前置交换节点下所有连接(包括应用客户端连接类型和消息中间件连接类型)状态、消息输入输出流量的查询，并对查询结果进行分析。
I)前置交换节点网络拓扑图:通过节点网络拓扑图功能，可直观的查看注册在交换平台的各级交换节点以及其状态。
2)节点状态监控:节点状态监控功能可以查看各个交换节点的信息和状态，并可控制对交换节点的起动、停止、挂起、恢复。
3)节点运行状态监控:对每个交换节点，可以查看该节点机器运行负载情况，包括CPU、内存、swap空间、运行线程数、垃圾回收运行情况等。
4)交换流程运行状态监控:任务和转换是通过数据交换平台的可视化开发工具开发出来参与交换的流程和转换。监控管理对这两种对象的监控管理包括:查看任务/转换的定义信息；查看任务的运行状态信息；查看任务的历史任务信息；查看任务的实时任务信息；查看任务的日志、运行情况信息；手工或自动启动任务。
5)交换消息包监控:对交换过程的消息包监控，可以查看消息包发送的批次、消息包内容，对于未成功交换到目的地的消息包，可以选择手工重发。对于每个消息包，可在线查看其内容和数据，也可以将原始消息包下载到本地查看。
D.故障监测及事件告警:当出现网络故障、服务器故障、交换故障、系统资源超过警戒值时监控系统能及时发出告警信息，以邮件、短信、任务提醒等方式即时通知系统管理员，达到快速跟踪、解决问题的目的。
E.业务监控催办:数据的催办管理分为催办跟踪、被催办跟踪及催办配置。
I)催办跟踪:记录了所有对数据发送节点的催办记录，在该记录列表中，显示了催办的前置节点名称、指标名称、责任人、催办方式和催办日期。
2)被催办跟踪:记录了所有被催办的记录，在该记录列表中，显示了催办的指标、催办方式、催办方、催办时间及处理状态。
3)催办配置:用于配置被催办方的责任人信息、催办方式及不同催办方式的子配置。
F.交换统计分析:交换统计报表通过列表的形式，展示各类交换统计报表，包括总的数据交换统计和按照发送方和接收方进行分类的数据交换统计。交换累计统计以直观的柱状图形式，展示历年交换累计量的趋势、历年各月交换累计量的趋势和当年各月交换累计量的趋势。统计排名提供多种查询条件，可以根据不同统计指标进行排名。
G.平台日志:实现对平台运行日志的查询、浏览、导出、清空。可以查询中心总控服务器在运行过程中产生的输出日志和错误日志。监控消息中间件，记载每一条消息记录，作为消息日志，以备查询。实现对监控日志和服务日志的查询、浏览、导出、清空。对平台应用管理系统的用户登录和操作等日志进行审计。
H.安全管理:安全管理主要包括安全级别、身份认证与授权、权限控制、访问规则的配置和定义。权限控制包括交换中心、交换节点的权限管理，主要对注册的交换中心、交换节点的权限进行管理。
1.资源目录管理:数据交换平台的信息资源目录子系统是遵循国家电子政务信息资源目录体系标准的应用模块，在国家环境信息与统计能力建设项目中，可通过构建覆盖中央、省、市、县的多级政务信息资源目录体系，形成政务信息资源物理分散、逻辑集中的信息共享模式，提供全国范围内跨部门、跨地区的普遍信息共享，方便用户发现、定位和共享多种形态的政务信息资源。
J.配置管理:在中心子系统中可以对所有的交换节点进行远程控制，可远程修改前置交换节点的配置参数，由于前置交换节点的配置参数实现了热加载，因此当远程修改交换平台配置参数时，可即时生效。步骤23:中心交换子系统数据交换管理:
A.队列管理:即消息服务器，负责队列管理以及消息的存储和转发。
B.消息发送和接收:中心交换子系统/前置交换节点通过交换层来访问队列和消肩、O
C.消息格式转换:不同应用程序的数据存储格式和数据表示格式不同，数据交换平台提供消息格式转换服务来实现不同应用之间消息的转换。
D.桥接流程引擎:桥接流程的建模工具通过图形拖拽的方式进行业务流程定义，通过设置元素的属性实现业务的复杂逻辑。经过可视化的操作生成BPEL文件，然后打成符合特定引擎的包进行部署，流程引擎负责解释执行流程逻辑。
E.传输管理:传输管理模块负责前置子系统与中心交换子系统间传递消息的处理工作。
步骤3:资源库:用于存储数据交换节点的交换任务及交换数据。共享信息库:用于存储各数据交换节点交换的数据信息，在共享信息库进行数据挖掘，形成信息资源目录，并可以发布订阅。
步骤4:城市级数据共享交换平台技术，
步骤41:中心交换子系统通过手动或自动功能注册各前置子系统和交换协议。定义各前置交换节点交换流程、交换策略和路由信息，并下发至各前置子系统。各前置子系统的数据也可由中心交换子系统进行转发或由中心交换子系统与中心交换子系统进行数据的传输。
步骤42:前置子系统在源数据端从各种应用系统中抽取源数据，把抽取的需要共享的数据转换成约定的格式，通过中心交换子系统下发的安全信息、路由信息进行路由设置，将共享的源数据进行加密、压缩、打包处理，并将处理后的数据存储到资源库，等待数据交换引擎的调度。
步骤43:前置子系统的数据交换引擎根据中心交换子系统下发的交换流程的调度信息(手动启动、周期启动、定时启动)来调度前置子系统源数据端交换流程的执行。
步骤44:前置子系统在接收端从消息服务器获取本节点数据包，该数据接收模块根据源端对数据包的加密压缩方式进行相应的解包、解密，然后将解出来的文件中的源数据结构转化成目标数据结构，对抽取的源数据进行进行合法性和完整性校验，如校验通过再对数据进行加工、清洗、转换后，将目标数据写入目标位置；如校验不通过则通知源前置交换子系统进行重发。
步骤45、各前置子系统将发送和接收的数据信息上传到中心交换子系统，中心交换子系统对各交换流程的正确与否进行自动对账或通过人工进行手动对账。确保数据在传输过程中的完整性。
图1为本发明方法的示意其中:1-业务系统、2_前置子系统、3-中心子系统、4_策略配置、5-管理监控、6-服务注册。
图2为本发明项的示意其中:1_业务系统(应用层)、2_接入层、3-交换层、4-适配器、5-消息接口连接协议、6-桥接管理、7-桥接流程引擎、8-数据处理、9-交换信息库、10-传输管理、11-http/s 协议、12-S0AP 协议、13-JMS、14-P0P3、15-FTP、16-MQ、17-SMTP、18-FILE、19-定制、20-交换总线、21-消息中间件、22-可靠传输、23-路由服务、24-队列管理、25-消息发送、26-消息接收、27-管理层、28-服务层、29-数据存储、30-报文检验、31-报文收发、32-报文转换、33-任务管理、34-大文件传输、35-断点续传、36-压缩解压、37-加密解密、38-数据路由、39-认证、40-授权、41-身份、42-消息安全、43-信息资源目录、44-节点管理、45-协议管理、46-报文交换、47-报文对账、48-故障管理、49-部署管理、50-日志管理、51-系统配置。
图3为本发明实施部署架构的示意其中1-中央级交换节点、2-省级交换节点、3-地市级交换节点、4-中央级数据库、5-中央级应用系统、6-省级数据库、7-省级应用系统、8-地市级应用系统、9-中央级中心子系统、10-适配器、11-节点管理、12-平台管理、13-配置管理、14-节点日志、15-任务管理、16-总线管理、17流转管理、18-适配器管理、19-用户权限管理、20-中央直属单位交换节点、21-消息中间件、22-队列管理、23-消息发送、24-消息接收、25-中央直属单位应用系统、26-中央级交换总线、27-路由管理、28-省级中心交换子系统、29-省级交换总线、30-地市级交换节点。
图4为本发明实施例一的示意其中:1_中心交换子系统、2-前置子系统(数据交换发起端)、3_前置子系统(数据交换接收端)、4_控制信息、5-日志信息、6-交换的数据。
图5为本发明实施例二的示意其中:1_中心交换子系统、2-前置子系统(数据交换发起端)、3_前置子系统(数据交换接收端)、4_控制信息、5-日志信息、6-交换的数据。
图6为本发明实施例三的示意其中:1_中央级前置子系统、2-省级前置子系统、3-地市级前置子系统、4-中央级中心交换子系统、5-省级中心交换子系统。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
数据交换平台的部署基于“分布部署，集中管理”的原则进行部署，逻辑集中即所有信息交换的业务系统和业务信息库都需要与交换中心建立直接或间接的连接，进而接入到数据交换总线中。适度分布就是各接口管理组件可以根据具体的系统条件和需要进行分布式部署。
采用“前置交换节点与中心交换子系统进行交换”、“通过中心交换子系统进行交换”、“中心交换子系统与中心交换子系统进行交换”相结合的方式实施多级交换体系。采用“前置交换节点到中心交换子系统的交换”实现地市到省级交换，采用“中心交换子系统到中心交换子系统的交换”实现省级到中央级的交换。
实施例1
地市级前置交换节点之间直接数据交换模式:
交换节点间数据交换可采用点到点的分布式交换模式，数据由一个交换节点直接传输给另一个交换节点。其步骤如下:
步骤1:省级中心交换子系统通过手动或自动功能注册各地市级前置子系统和交换协议。定义各地市级前置交换节点交换流程、交换策略和路由信息，并下发至各地市级前置子系统。
步骤2:地市级前置子系统(数据交换发起端)在本节点从各种应用系统中抽取源数据，把抽取的需要共享的数据转换成约定的格式，通过省级中心交换子系统下发的安全信息、路由信息进行路由设置，将共享的源数据进行加密、压缩、打包处理，并将处理后的数据存储到资源库，等待数据交换引擎的调度。
步骤3:地市级前置子系统的数据交换引擎根据省级中心交换子系统下发的交换流程的调度信息(手动启动、周期启动、定时启动)来调度地市级前置子系统交换流程的执行。
步骤4:地市级前置子系统(数据交换接收端)从消息服务器获取本节点数据包，该数据接收模块根据源端对数据包的加密压缩方式进行相应的解包、解密，然后将解出来的文件中的源数据结构转化成目标数据结构，对抽取的源数据进行进行合法性和完整性校验，如校验通过再对数据进行加工、清洗、转换后，将目标数据写入目标位置；如校验不通过则通知发起端的地市级前置交换子系统进行重发。
步骤5、地市级前置子系统将发送和接收的数据信息上传到省级中心交换子系统，省级中心交换子系统对各交换流程的正确与否进行自动对账或通过人工进行手动对账，确保数据在传输过程中的完整性。
实施例2
通过省级中心交换子系统交换的数据交换模式:
交换节点间数据交换可采用中心交换模式，数据由一个交换节点传输到交换中心后，由交换中心再传输给另一个交换节点，所有交换数据可根据需要存储在数据交换中心，即存储到共享信息库。其步骤如下:
步骤1:省级中心交换子系统通过手动或自动功能注册各地市级前置子系统和交换协议。定义各地市级前置交换节点交换流程、交换策略和路由信息，并下发至各地市级前置子系统。
步骤2:地市级前置子系统(数据交换发起端)在本节点从各种应用系统中抽取源数据，把抽取的需要共享的数据转换成约定的格式，通过省级中心交换子系统下发的安全信息、路由信息进行路由设置，将共享的源数据进行加密、压缩、打包处理，并将处理后的数据存储到资源库，等待数据交换引擎的调度。
步骤3:地市级前置子系统的数据交换引擎根据省级中心交换子系统下发的交换流程的调度信息(手动启动、周期启动、定时启动)来调度地市级前置子系统交换流程的执行，通过数据交换总线将报文发到省级中心交换子系统。省级中心交换子系统根据交换策略，将地市级前置子系统上传的报文进行落地或不落地(即报文是否存储共享信息库)，再通过路由信息将报文转发给地市级前置子系统(数据交换接收端)。
步骤4:地市级前置子系统(数据交换接收端)从消息服务器获取本节点数据包，该数据接收模块根据数据包的加密压缩方式进行相应的解包、解密，然后将解出来的文件中的结构转化成目标数据结构，对抽取的源数据进行进行合法性和完整性校验，如校验通过再对数据进行加工、清洗、转换后，将目标数据写入目标位置；如校验不通过则通知省级中心交换子系统，省级中心交换子系统再将信息重新发往地市级前置子系统(数据交换接收端)。
步骤5、地市级前置子系统将发送和接收的数据的完整性信息上传到省级中心交换子系统，省级中心交换子系统对各交换流程的正确与否进行自动对账或通过人工进行手动对账，确保数据在传输过程中的完整性。
实施例3
通过省级中心交换子系统到中央级中心交换子系统的数据交换模式:
交换中心之间可以通过中心交换子系统与中心交换子系统的方式交换数据。所有交换数据可根据需要存储在各数据交换中心，即存储到共享信息库。其步骤如下:
步骤1:中央级中心交换子系统通过手动或自动功能注册各省级中心交换子系统和交换协议。省级中心交换子系统通过手动或自动功注册各地市级前置子系统和交换协议。定义各地市级前置交换节点交换流程、交换策略和路由信息，并下发至各地市级前置子系统。
步骤2:省级中心交换子系统将本级节点各地市级前置子系统交换上来的数据转换成约定的格式，将共享的源数据进行加密、压缩、打包处理，并将处理后的数据存储到资源库，等待数据交换引擎的调度。
步骤3:省级中心交换子系统的数据交换引擎根据本节点的交换流程的调度信息(手动启动、周期启动、定时启动)来调度省级中心交换子系统的交换流程的来执行交换，通过数据交换总线将报文发到中央级中心交换子系统的消息服务器中。中央级中心交换子系统从消息服务器中取出数据，该数据接收模块根据数据包的加密压缩方式进行相应的解包、解密，然后将解出来的数据结构转化成目标数据结构，对抽取的源数据进行进行合法性和完整性校验，如校验通过再对数据进行加工、清洗、转换后，将目标数据写入共享信息库；如校验不通过则通知省级中心交换子系统进行重发。中央级中心交换子系统根据报文的内容选择是否通过路由信息将报文转发给中央级直属单位的前置子系统。
步骤5、省级中心子系统和中央级直属单位的前置子系统将发送或接收的数据的完整性彳目息上传到中央级中心交换子系统，中央级中心交换子系统对各交换流程的正确与否进行自动对账或通过人工进行手动对账，确保数据在传输过程中的完整性。
上述的技术方案实施时，达到数据交换平台的部署为两级交换中心、三级交换节点。两级交换中心包括中央交换中心、省交换中心；三级交换节点包括中央级交换节点、省级交换节点、地市交换节点。三级交换节点从横向体现与各自级别的应用系统对接，从纵向体现数据的逐级上报。
最后所应说明的是，以上实施例仅用以说明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或者等同地替换；而一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。
权利要求
1.一种城市级数据共享交换平台技术的方法，其特征包括: 前置子系统:又称之为前置交换节点，是数据共交换平台的重要组成部分。前置子系统部署在与各种应用系统相衔接的前置机上，前置子系统是数据交换平台同各应用系统交互的技术通道，它负责提供各类技术协议适配器来支持同各种应用系统的底层衔接，实现同各应用系统进行数据交换的顺利衔接，并完成数据转换、数据封装和从中心交换子系统的消息监听、消息处理、数据交换服务控制及前置交换节点信息监控管理等功能。
中心交换子系统:又称之为中心交换节点，中心子系统在数据交换平台架构框架中包括交换层、服务层、管理层，是整个数据交换平台的核心。中心交换子系统按照应用层次的划分由接入层、内容处理层、数据存储层构成。各业务系统通过接入层接入数据交换平台，待交换数据在接入层经过简单加工处理后发送到交换层；交换层根据交换路由信息通过消息中间件的可靠传输到达目的地，调用数据交换平台基础服务层完成对数据的解压、解密、报文检验、数据处理操作后，根据业务服务路由数据经与接收业务系统相连接的接入层发送给接收业务系统。整个数据交换平台从逻辑划分为五个层次:应用层:涵盖各地域或各部门的业务应用系统。接入层:实现各地域或各部门业务数据的交换接入。实现不同应用系统的接入和不同数据格式的转换。交换层:实现中心交换节点与交换中心之间、中心交换节点与前置交换节点之间、前置交换节点与前置交换节点之间的数据交换。服务层:包括基础服务和业务服务。其中基础服务实现报文检验、消息包的压缩解压、加密解密、安全认证等功能。管理层:对交换中心、交换总线、交换节点进行管理和监控。从整体上来看，平台主要是在JCA国际规范基础之上，结合XML、J2EE、Web Services和JMS等技术，采用集中式的交换应用服务器和多种数据传输方式、面向服务的框架结构体系(SOA)，实现对各业务应用系统的有机整合。
资源库:用于存储数据交换节点的交换任务及交换数据。
共享信息库:用于存储各数据交 换节点交换的数据信息，在共享信息库进行数据挖掘，形成信息资源目录，并可以发布订阅。
2.如权利要求1所述的城市级数据共享交换平台技术，其特征还包括前置子系统的接入功能: A.前置子系统通过接入适配器提供给应用系统接入方式有四大类: 1)文件方式:应用系统通过与文本(定长、CSV)、EXCEL、XML等文件格式交互接入数据交换平台。
2)标准WEB服务调用:应用系统通过基于XML的SOAP报文与数据交换平台交互接入。
3)非标准服务调用:应用系统通过JMS、WMQ、TLQ、EJB、HTTP、REST、TCPSocket等方式与数据交换平台交互接入。
4)数据库方式:应用系统通过向平台开放数据库访问接口方式，编程实现接入数据交换平台。
适配器从技术角度分为技术协议适配和数据适配两个概念层次，从数据共享交换平台角度分为通用适配器和业务系统适配器。通用适配器是数据交换平台本身提供的，以支持业界常用技术协议及各类系统的连接服务组件，业务系统专用适配器是基于通用交换适配器之上做的适应特定业务系统的连接服务组件。
I)技术协议适配:是对接入和接出提供业界各类标准技术协议的适配，协议适配分为接入协议适配和接出协议适配。接入协议适配负责建立与不同系统的接入通信，适配各种的技术协议。采用的实现方式是提供不同协议的统一接入，接入协议适配支持同步和异步接入。接出协议适配负责建立与不同系统的接出通信，适配各种接出技术协议。
2)数据库适配:是数据交换平台和一个数据库的连接方法。数据库适配器对业界主流数据库都支持，并支持数据库POOL、Cluster等高级特性。
3)文件适配:文件适配组件，对于常见的文件格式，只要通过可视化配置的方式，就可以实现应用系统通过与文本(定长、CSV)、EXCEL、XML等文件格式与前置子系统的交互。
4)数据适配:是对报文内容的处理。对接入的报文进行消息规格化，解码或编码、报文格式转换等。数据适配通过配置组合交换总线容器中基础服务，针对不同的接入或接出服务，每个接入和接出都有自己的数据适配器实例。
5)大数据量文件适配:大于等于5兆的采用离线报送方式，使用移动硬盘或FTP/SFTP等方式进行数据报送。对于FTP/SFTP等报送方式，数据交换平台提供了数据文件完整性校验、数据文件重发、数据文件加密/解密、数据文件压缩/解压缩等功能以提供传输可靠性、安全性、高性能保证。小于5兆的数据，采用在线报送，对文件进行加密、打包，形成消息发送；到达目的节点 后，解包、解密，恢复成原来的文件。对于在线报送方式，数据交换平台提供了数据拆包/拼包、断点续传、消息包的顺序处理、消除重复包、消息包完整性校验、消息包重发、消息包加密/解密、消息包压缩/解压缩等功能以提供传输可靠性、安全性、高性能保证。
B.前置子系统对外提供了Web 361^化68、丽0、1'1^、厕3、3101\ 了 、文件等桥接服务，在这些服务中，可以分为被动桥接方式和主动桥接方式两种类型: 1)被动桥接方式:即前置子系统被动的接受业务应用系统的交换请求，其中WebServices、WMQ, TLQ、JMS、SMTP、FTP、文件及中间库是属于被动桥接方式。
2)主动桥接方式:即前置子系统主动探测业务应用系统数据的变化，并主动发起数据交换的流程。
C.增量数据的抽取，数据交换平台的前置子系统提供了基于业务标识、变化日志等多种解决方案: 1)基于业务标识:根据业务系统数据的特性，如交换日期、交换标识等，从而识别出本次所需要交换的增量数据。
2)基于变化日志:通过生成建立触发器方式将业务系统发生的变化记录在日志表中。每个业务表对应一个日志表，日志表除包括业务表全部字段外，有二个交换用字段:序号、操作状态(表明数据变化状态，I/U/D)。
3)触发器:触发器处理要区分数据变化是由业务系统引发还是由数据交换平台引发，通过一个备用的业务字段区分。每次交换时，数据交换平台查询出上一次抽取的最大序号之后的增量数据，打包成交换消息， 通过通讯传输系统发往目的地。
增量数据抽取后按交换标准打包成交换消息包，通过通讯传输子系统传输到目的地。
D.数据转换处理，这一层定义了应用系统之间进行交换数据的格式标准，该格式标准将遵循通行的工业标准XML，利用XML来定义和描述各应用系统之间以及应用系统和底层架构之间的交互信息。1)消息转换技术:可以将消息转换为应用程序所需的新格式。该技术检查每个消息字段，并且允许增加、修改或检查新的消息格式和字段，这些功能并不需要修改源程序和目标程序。
2)基于XML的交换数据格式:交换数据的接口和数据描述采用XML标准，提高系统平台的扩展性和开放性。
3)基于标准的数据转换:利用XSLT来转换XML文档，可以在具有多个方言的XML之间翻译数据元素。
3.如权利要求2所述的城市级数据共享交换平台技术，其特征还包括前置子系统的节点管理功能: A.节点管理是前置子系统提供的基于WEB的管理模块，可对交换节点的状态、运行配置进行管理监控。
1)节点状态管理用于查看当前的前置节点的运行状态及基本信息。
2)流程管理:用来管理数据在多个交换节点之间的流转。在一个交换中心上，流转表现为任务执行的先后顺序，如一个接收任务执行成功后，会触发指定的发送任务，将收到的数据发送到其他服务器上。主要包括流程管理、流程流向路由管理、流程节点管理、流程查询等。
3)任务管理:数据交换平台根据需要提供不同的数据传输调度机制，主要分为定时和实时两种任务调度模式 4)节点日志:用来管理服务器中的日志，提供可视化的人机交互管理环境，监测和查看系统运行时产生的状态信息以及其他各种输出信息。
5)用户及权限管理:对管理控制台登录账号的维护管理以及权限控制。每一种类型的账号对应着一组可访问的资源。
6)配置管理器用于管理交换中心的相关配置，包括性能限制、用户选项等。
4.如权利要求1或2或3所述的城市级数据共享交换平台技术，其特征还包括中心交换子系统按层次的划分: A.接入层:使用基于消息服务的消息队列技术，其主要功能是以多种方式负责共享数据的通讯传递，在功能上类型上可以分为JMS服务、HTTP服务、SOAP服务、TCP服务、FTP服务和Web Service服务等。
B.内容处理层:主要负责对通讯消息的处理和通讯文件的处理，其主要功能是在系统根据数据请求指令，通过数据处理服务进行相应数据库操作获得相应业务数据后，生成相应的通讯消息或通讯文件，供系统进行通讯传输，即通讯内容的创建提供。同时，分析获取的通讯内容，包括通讯消息或通讯文件，提取相应业务数据，分发给数据存储层的数据处理服务并进行相应数据库操作。
5.如权利要求1或2或3或4所述的城市级数据共享交换平台技术,其特征还包括中心交换子系统的平台管理: 平台管理是中心子系统提供的基于WEB的管理模块，集中对交换平台、交换节点、资源统一管理，是交换体系的控制中枢。
A.前置交换节点注册管理:在数据交换平台上注册各级的前置交换节点，然后进行前置交换节点的部署。B.前置交换节点部署管理:只有拥有安装注册号才能进行前置交换节点的安装。安装注册号与前置交换节点前置机MAC地址绑定，有且只能安装在指定前置交换节点服务器上。
C.前置交换节点运行监控管理:对前置交换节点的运行进行远程控制，主要包括启动、终止、挂起、关闭服务。对前置交换节点的运行状态进行查询。提供当前前置交换节点下所有连接(包括应用客户端连接类型和消息中间件连接类型)状态、消息输入输出流量的查询，并对查询结果进行分析。
1)前置交换节点网络拓扑图:通过节点网络拓扑图功能，可直观的查看注册在交换平台的各级交换节点以及其状态。
2)节点状态监控:节点状态监控功能可以查看各个交换节点的信息和状态，并可控制对交换节点的起动、停止、挂起、恢复。
3)节点运行状态监控:对每个交换节点，可以查看该节点机器运行负载情况，包括CPU、内存、swap空间、运行线程数、垃圾回收运行情况等。
4)交换流程运行状态监控:任务和转换是通过数据交换平台的可视化开发工具开发出来参与交换的流程和转换。监控管理对这两种对象的监控管理包括:查看任务/转换的定义信息；查看任务的运行状态信息；查看任务的历史任务信息；查看任务的实时任务信息；查看任务的日志、运行情况信息；手工或自动启动任务。
5)交换消息包监控:对交换过程的消息包监控，可以查看消息包发送的批次、消息包内容，对于未成功交换到目的地的消息包，可以选择手工重发。对于每个消息包，可在线查看其内容和数据，也可以将原始消息包下载到本地查看。
D.故障监测及事件告警:当出现网络故障、服务器故障、交换故障、系统资源超过警戒值时监控系统能及时发出告警信息，以邮件、短信、任务提醒等方式即时通知系统管理员，达到快速跟踪、解决问题的目的。
E.业务监控催办:数据的催办管理分为催办跟踪、被催办跟踪及催办配置。
1)催办跟踪:记录了所有对数据发送节点的催办记录，在该记录列表中，显示了催办的前置节点 名称、指标名称、责任人、催办方式和催办日期。
2)被催办跟踪:记录了所有被催办的记录，在该记录列表中，显示了催办的指标、催办方式、催办方、催办时间及处理状态。
3)催办配置:用于配置被催办方的责任人信息、催办方式及不同催办方式的子配置。
F.交换统计分析:交换统计报表通过列表的形式，展示各类交换统计报表，包括总的数据交换统计和按照发送方和接收方进行分类的数据交换统计。交换累计统计以直观的柱状图形式，展示历年交换累计量的趋势、历年各月交换累计量的趋势和当年各月交换累计量的趋势。统计排名提供多种查询条件，可以根据不同统计指标进行排名。
G.平台日志:实现对平台运行日志的查询、浏览、导出、清空。可以查询中心总控服务器在运行过程中产生的输出日志和错误日志。监控消息中间件，记载每一条消息记录，作为消息日志，以备查询。实现对监控日志和服务日志的查询、浏览、导出、清空。对平台应用管理系统的用户登录和操作等日志进行审计。
H.安全管理:安全管理主要包括安全级别、身份认证与授权、权限控制、访问规则的配置和定义。权限控制包括交换中心、交换节点的权限管理，主要对注册的交换中心、交换节点的权限进行管理。
I.资源目录管理:数据交换平台的信息资源目录子系统是遵循国家电子政务信息资源目录体系标准的应用模块，在国家环境信息与统计能力建设项目中，可通过构建覆盖中央、省、市、县的多级政务信息资源目录体系，形成政务信息资源物理分散、逻辑集中的信息共享模式，提供全国范围内跨部门、跨地区的普遍信息共享，方便用户发现、定位和共享多种形态的政务信息资源。
J.配置管理:在中心子系统中可以对所有的交换节点进行远程控制，可远程修改前置交换节点的配置参数，由于前置交换节点的配置参数实现了热加载，因此当远程修改交换平台配置参数时，可即时生效。
6.如权利要求1或2或3或4或5所述的城市级数据共享交换平台技术,其特征还包括中心交换子系统数据交换管理: A.队列管理:即消息服务器，负责队列管理以及消息的存储和转发。
B.消息发送和接收:中心交换子系统/前置交换节点通过交换层来访问队列和消息。
C.消息格式转换:不同应用程序的数据存储格式和数据表示格式不同，数据交换平台提供消息格式转换服务来实现不同应用之间消息的转换。
D.桥接流程引擎:桥接流程的建模工具通过图形拖拽的方式进行业务流程定义，通过设置元素的属性实现业务的复杂逻辑。经过可视化的操作生成BPEL文件，然后打成符合特定引擎的包进行部署，流程引擎负责解释执行流程逻辑。
E.传输管理:传输管理模块负责前置子系统与中心交换子系统间传递消息的处理工作。
7.如权利要求1或2或3或4或5或6所述的城市级数据共享交换平台,其特征还包括以下步骤: 步骤1:中心交换子系统通过手动或自动功能注册各前置子系统和交换协议。定义各前置交换节点交换流程、交换策略和路由信息，并下发至各前置子系统。各前置子系统的数据也可由中心交换子系统进行转发或由中心交换子系统与中心交换子系统进行数据的传输。
步骤2:前置子系统在源数据端从各种应用系统中抽取源数据，把抽取的需要共享的数据转换成约定的格式，通过中心交换子系统下发的安全信息、路由信息进行路由设置，将共享的源数据进行加密、压缩、打包处理，并将处理后的数据存储到资源库，等待数据交换引擎的调度。
步骤3:前置子系统的数据交换引擎根据中心交换子系统下发的交换流程的调度信息(手动启动、周期启动、定时启动)来调度前置子系统源数据端交换流程的执行。
步骤4:前置子系统在接收端从消息服务器获取本节点数据包，该数据接收模块根据源端对数据包的加密压缩方式进行相应的解包、解密，然后将解出来的文件中的源数据结构转化成目标数据结构，对抽取的源数据进行进行合法性和完整性校验，如校验通过再对数据进行加工、清洗、转换后，将目标数据写入目标位置；如校验不通过则通知源前置交换子系统进行重发。
步骤5、各前置子系统将发送和接收的数据信息上传到中心交换子系统，中心交换子系统对各交换流程的正确与否进行自动对账或通过人工进行手动对账。确保数据在传输过程中的完 整性。
全文摘要
一种城市级数据共享交换平台技术的方法，其特征包括前置子系统，中心交换子系统，资源库，共享信息库。本发明解决了电子政务信息资源存在无法共建、共享及信息无法达成共识的技术问题，而提出一种城市级数据共享与交换技术的方法。
文档编号H04L29/06GK103139251SQ20111038767
公开日2013年6月5日 申请日期2011年11月29日 优先权日2011年11月29日
发明者徐长志, 刘晶荣, 林文雄, 杨兴猛 申请人:神州数码信息系统有限公司