专利名称：面向服务的松耦合信息交换系统及方法
技术领域：
本发明涉及一种面向服务的松耦合信息交换系统及方法，尤其涉及一种应用于网络技术领域的面向服务的松耦合信息交换系统及方法。
背景技术：
目前各地存在多种现场管理系统负荷管理系统、变电站远抄系统、配变管理系 统、小区集抄系统、地方电厂上网电量监测系统等。这些系统归属不同部门管理，系统之间 不能进行数据交互，数据孤岛现象严重；与营销技术支持系统的集成度不高，数据共享困 难；基础档案信息管理维护困难，存在不一致现象，使主站系统发挥的线损计算、需求侧管 理、负荷预测及管理分析作用大打折扣。系统需要与营销管理系统、客户服务系统、调度系统接口 ；需要与保留的现场管理 系统接口 ；需要保持信息的实时同步和业务协同。系统之间实现两两接口，代价大、复杂程 度高、维护困难。需要采取接口总线的方式解决众多系统之间的应用集成问题。本方案中的数据集成服务解决了上述问题，采用面向服务的技术架构，以松耦合 的服务方式，满足了多个分布的、异构的数据源及应用系统的集成，并支持系统接口的动态 扩展以及热部署，从而保证了系统的灵活配置及扩展性需求。
发明内容
本发明为了克服上述技术问题的缺点，提供了一种支持不同文件格式的系统间数 据交换的面向服务的松耦合信息交换系统及方法。为实现上述目的，本发明采用了如下技术方案本发明的面向服务的松耦合信息交换系统，包括产生待交换数据的若干数据源系 统和用于连接各数据源系统的网络总线，其特别之处在于所述的数据源系统通过相应的 接口适配器连接到网络总线上，所述的网络总线上还连接有用于与前述若干数据源系统进 行数据交换并处理交换数据的一特定系统。所述的特定系统包括本系统及对本系统和数据 源系统的数据进行交互处理的各处理模块。本发明的面向服务的松耦合信息交换系统，所述的特定系统包括对收发数据进行 加密和验证的SSL单元、对不同格式的数据转化为标准格式的ETL引擎模块、设置于SSL单 元与ETL引擎之间的并发处理器模块和负载均衡器模块、任务调度器模块。本发明的面向服务的松耦合信息交换系统，所述的特定系统还包括检测并发处理 器模块、负载均衡器模块、ETL引擎模块、任务调度器模块工作的规则引擎模块，所述的特定 系统包括检测SSL单元、并发处理器模块和负载均衡器模块、ETL引擎模块、任务调度器模 块工作的异常检测引擎模块。本发明的面向服务的松耦合信息交换系统，所述的特定系统还包括检测并发处理 器模块、负载均衡器模块、ETL引擎模块、任务调度器模块工作的规则引擎模块，所述的特定 系统包括检测SSL单元、并发处理器模块和负载均衡器模块、ETL引擎模块、任务调度器模块工作的异常检测引擎模块。本发明的面向服务的松耦合信息交换系统，所述的数据源系统包括四个系统，所述的四个系统分别通过标准Web服务、标准中间库、标准文件、扩展接口适配器连接到总线上。本发明的面向服务的松耦合信息交换方法，其特征在于包括如下步骤a.将需要 实现数据交换的若干数据源系统和所述的特定系统连接到网络总线上；b.若由一个或若 干数据源系统产生待交互的数据，将进行如下步骤中c至e的操作c.将产生的待交互数 据进行加密和认证，以保证数据源接入安全和数据传输安全；d.加密和认证后的数据在规 则引擎模块的提供的并发规则下通过并发处理器模块判断是否需要开启多个处理线程，负 载均衡器模块根据规则引擎模块提供的负载均衡规则来实现将处理的任务分配到不同的 服务器；e. ETL引擎模块在规则引擎提供的规则下对数据进行处理，把数据转化为一个标 准的格式，并传递到本系统中，实现数据由数据源系统到本系统的传递；f.若由本系统产 生待交换的数据，将进行如下步骤中至的操作g.任务调度器模块根据规则引擎模块提供 的调度规则，对ETL引擎模块进行任务调度；h. ETL引擎模块根据从规则引擎模块获取的相 应规则，执行数据抽取请求或者数据传送；i.被传输的数据进行加密和认证，保证数据安 全；j.进行加密和认证后的数据经由不同类型的借口适配器发送给相应的系统。本发明的面向服务的松耦合信息交换方法，所述步骤c和步骤i中所述的加密和 认证由SSL模块来实现。本发明的面向服务的松耦合信息交换方法，所述步骤C、步骤d、步骤e、步骤g、步 骤h、步骤i中均包括一由异常检测模块来实现的数据异常检测步骤。本发明的实现系统间数据资源共享系统的方法，所述步骤a中所述的数据源系统 通过不同种类的接口适配器连接到总线上的。各功能模块的作用任务调度模块任务调度模块将一系列的转换操作汇总成为一个数据操作序列，并在序列中增加 必要的验证及日志记录，该数据操作序列称之为任务。任务调度模块可以按在业务系统中 配置的任务的执行时间及频率，确定各个任务的执行计划。ETL引擎模块ETL是指从源系统中提取数据，转换数据到一个标准的格式，加载数据到目标数据 存储区的过程。依据传输方式的差异，ETL引擎分为Web服务数据抽取引擎、文件数据抽取 引擎、中间库数据抽取引擎等，并支持进一步的扩展。ETL引擎模块针对不同的数据传输方式，通过可视化的配置界面进行拖拽操作及 简单配置操作完成各种数据源的配置操作及数据关系映射，并且ETL过程描述可以保存为 国际化标准的XML文件格式。并发处理器模块不同数据源或同一数据源的不同类型数据抽取过程，被描述为独立的转换操作。 并发处理器将每个转换操作可以作为独立的线程执行，使得ETL抽取过程可并发执行，提 高数据抽取的执行效率。负载均衡器模块
负载均衡设计使用动态反馈负载均衡算法。该算法考虑服务器的实时负载和响应 情况，不断调整服务器间处理请求的比例，在并行进行数据交互工作时负载均衡能够有效 的平衡各个服务器之间的负载压力，有效的提升采集效率。接口适配器接口适配器由数据映射器和通信方式转换器组成。依据传输方式的不同，接口适 配器分为Web服务接口适配器、文件接口适配器、中间库接口适配器等，并支持进一步的扩 展。接口适配器完成了从数据库到符合CIM模型的标准通信规约对象的转换，并将转换完 成的数据根据接口定义进行格式化处理，使之能够通过其对应的接口方式进行传输SSL加密和认证(SSL单元)以认证及SSL加密传输技术作为技术实现手段，设计一套全面的认证与加密传输 方案，以保证数据源接入安全和数据传输安全。通过与通信协议绑定的实现技术，SSL可以 与抽取引擎同步进行功能扩展，并且对于同一类传输协议的抽取引擎也支持配置是否需要 进行认证加密传输，从而保证能够匹配外部数据接口适配器。规则引擎规则引擎由推理引擎发展而来，是一种嵌入在应用程序中的组件，实现了将业务 决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策，接受数据输入， 解释业务规则，并根据业务规则做出业务决策。规则引擎为任务调度模块、ETL引擎、并发 处理器和负载均衡器提供规则支持。在任务调度过程、数据抽取等过程中，对应的功能模块 从规则引擎获取规则支持，并依据规则引擎提供的规则进行工作。规则引擎可以依据配置 或分析数据动态的调整规则。异常监测引擎异常监测引擎在整个数据抽取过程中的各个环节对数据质量进行监测，并在发生 数据异常行为时对异常进行记录、分析和处理。异常监测引擎实现内容包括数据的完整性 校验，包括残缺记录的校验和数据项空缺的校验；检验上传数据中代码型数据项是否符合 统一标准编码要求；检验数据对应关系和统计汇总加和关系的逻辑合理性验证等。本发明的有益效果是采用Web Service方式，完成实时性要求比较高的数据交 互和业务协同，并且可完成数据量比较大的数据传递；面向服务的架构可以方便的接入第 三方服务，第三方系统只要开发相应的绑定组件部署到系统中，就可以接入到服务总线上， 还能实现第三方系统在本系统的即插即用。
图1为本发明结构原理示意图；图2为本发明的具体实施例的原理示意图。图中1数据源系统，2网络总线，3异常检测模块，4本系统，5任务调度器模块，6 并发处理器模块，7规则引擎模块，8SSL单元，9负载均衡器模块，10ETL引擎模块。
具体实施例方式下面结合附图与实施例对本发明作进一步说明。如图1所示，系统1、系统2、系统3、系统4分别经过标准Web服务接口适配器、标准中间库接口适配器、标准文件接口适配器、扩展接口适配器连接到网络总线2上，所述的 各种接口适配器可实现数据源系统1中的文件格式到其他格式的转换，图1中给出了 4各 数据源系统，但其数量不限；本系统4经过如图1所示的一系列数据处理模块之后连接到 网络总线2上，用于实现本系统4中的数据与图中所示的各个数据源系统1的数据之间的 交互，所示的SSL单元以认证及SSL加密传输技术用于实现数据源接入安全和数据传输安 全；所示的并发处理器模块的功能是当不同数据源或同一数据源的不同类型数据抽取时， 可使得ETL抽取过程并发执行，负载均衡器模块9可平衡不同服务器之间的负载压力，以优 化利用各个服务器，有效的提升数据的采集处理效率；ETL引擎模块用于实现数据格式到 同一的标准格式的转化，且还可以保存为国际化标准的XML文件格式，所示的任务调度器 模块5用于实现把一系列的操作转化为任务，然后任务调度器模块5根据不同任务的执行 时间及频率来确定各个任务的执行计划；图中所示的规则引擎模块7用于给任务调度器模 块5、ETL引擎模块、并发处理器模块、负载均衡器模块的工作提供规则支持，以便使得上述 各模块按照规则进行工作，异常检测模块3在整个的数据处理过程中用于对数据质量进行 检测，其检测的内容包括数据的完整性校验，残缺记录的校验和数据项空缺的校验；检验上 传数据中代码型数据项是否符合统一标准编码要求；检验数据对应关系和统计汇总加和关 系的逻辑合理性验证等。
本发明采用JSR-208技术规范的JBI总线标准。支持Web Service、中间数据库、 文件接口方式，系统接口原则上应使用Web Service方式、中间表方式以及异步消息机制， 一般的原则为对于营销管理系统提供的各种对象的基础档案信息(除居民用户)、以及每日的 变更信息、限电/购电信息、有序用电计划等都使用Web Service方式。的居民用户和每月 执行的全档案同步使用中间库方式。对于电能信息系统提供的当先客户的电量数据/负荷数据、每天接入电表的变更 信息使用Web Service方式。向客户传送历史数据使用中间数据库方式。对于系统间的告警信息传递、跨系统间流程传递使用异步消息机制。异步消息机 制不会阻塞用户进程，对于广播、通知等不需要立即等待回复的情况，更为灵活、高效。下面详细说明图2中所示的各接口功能营销管理系统本系统与营销管理系统的接口集中在档案共享和同步变更、获取抄表数据、实时 电能量以及异常信息，同时通过主站系统执行欠费停电、预购电控制等控制操作。档案同步 是指本发明中档案与营销管理系统的档案很多是重叠的，为满足整个营销支持系统的协调 一致，两个系统在档案方面完成共享。系统对共享的档案提供档案的同步机制，包括更新同 步和全同步，并且在同步过程中应完成变更状态的数据统计与监管，使双方系统的相关人 员能够及时得到变更的信息并确认变更内容，对发现有问题的变更能够进行变更否认。系 统对变更过程的监管操作能够通过日志形式存入数据库并提供同步信息的历史查询和统 计功能。抄表投运传递与抄表数据上传是指系统可以将终端接入的电能表自动抄表情况传 递给营销管理系统，营销管理系统根据电表是否具备自动抄表的条件设置是否采用自动抄 表；营销管理系统将具备自动抄表条件的电能表下达自动抄表任务给本系统，不再执行人 工抄表，系统根据每日下达的抄表电能表将抄表数据传递给营销管理系统进行结算。异常工况传递系统可以将共享的设备运行工况传递给营销管理系统，特别是电能表、计量异常。营销管理系统根据现场设备运行工况安排检修计划。电量数据传递系统可以根据营销管理 系统的需要，对大客户、台区的电能量数据及其月汇总数据传递给营销管理系统。图2中所 示的数据源系统还包括控制执行系统，该系统提供给营销管理系统执行控制的接口，营销 通过接口传递控制所需条件数据后，执行控制操作，并通过控制效果查询功能分析控制后 的效果。向营销管理系统提供的接口包括催费控、营业报停控、购电控、省公司关口电能量 采集系统接口。在省公司侧，统一接入省公司关口电能量采集系统，采用DL476-92规约，然后通 过电能信息系统专用网络信道转发给地区电能信息实时采集与监控系统。调度系统提供的接口，从调度自动化系统获取地区总加及线路实时负荷，以便计 算限电效果。从调度自动化系统获取电厂发电机实时负荷，用来计算热电比。从调度自动 化系统获取其它相关信息(如旁路替代信息等)。自动化系统接口，配网自动化系统从主站获取相关负荷信息，并把配电线路信息 传给主站系统。
权利要求
一种面向服务的松耦合信息交换系统，包括产生待交换数据的若干数据源系统(1)和用于连接各数据源系统的网络总线(2)，其特征在于所述的数据源系统通过相应的接口适配器连接到网络总线上，所述的网络总线上还连接有用于与前述若干数据源系统进行数据交换并处理交换数据的一特定系统。
2.根据权利要求1所述的面向服务的松耦合信息交换系统，其特征在于所述的特定 系统包括对收发数据进行加密和验证的SSL单元(8)、对不同格式的数据转化为标准格式 的ETL引擎模块(10)、设置于SSL单元与ETL引擎之间的并发处理器模块(6)和负载均衡 器模块(9)、任务调度器模块(5)。
3.根据权利要求2所述的面向服务的松耦合信息交换系统，其特征在于所述的特定 系统还包括检测并发处理器模块(6)、负载均衡器模块(9)、ETL引擎模块(10)、任务调度器 模块(5)工作的规则引擎模块(7)，所述的特定系统包括检测SSL单元(8)、并发处理器模 块(6)和负载均衡器模块(9)、ETL引擎模块(10)、任务调度器模块(5)工作的异常检测引 擎模块。
4.根据权利要求2所述的面向服务的松耦合信息交换系统，其特征在于所述的数据 源系统(1)包括四个系统，所述的四个系统分别通过标准Web服务、标准中间库、标准文件、 扩展接口适配器连接到总线上。
5.根据权利要求2所述的面向服务的松耦合信息交换系统，其特征在于所述的ETL 引擎模块包括Web服务数据抽取、中间库数据抽取、文件数据抽取、扩展数据抽取模块。
6.一种实现如权利要求1所述的面向服务的松耦合信息交换系统的方法，其特征在于 包括如下步骤a.将需要实现数据交换的若干数据源系统(1)和所述的特定系统连接到网络总线(2)上；b.若由一个或若干数据源系统(1)产生待交互的数据，将进行如下步骤中c至e的操作c.将产生的待交互数据进行加密和认证，以保证数据源接入安全和数据传输安全；d.加密和认证后的数据在规则引擎模块(7)的提供的并发规则下通过并发处理器模 块(6)判断是否需要开启多个处理线程，负载均衡器模块(9)根据规则引擎模块(7)提供 的负载均衡规则来实现将处理的任务分配到不同的服务器；e.ETL引擎模块(10)在规则引擎(7)提供的规则下对数据进行处理，把数据转化为一 个标准的格式，并传递到本系统⑷中，实现数据由数据源系统⑴到本系统⑷的传递；f.若由本系统(4)产生待交换的数据，将进行如下步骤中g至j的操作g.任务调度器模块(5)根据规则引擎模块(7)提供的调度规则，对ETL引擎模块进行 任务调度；h.ETL引擎模块根据从规则引擎模块(7)获取的相应规则，执行数据抽取请求或者数 据传送；i.被传输的数据进行加密和认证，保证数据安全；j.进行加密和认证后的数据经由不同类型的借口适配器发送给相应的系统。
7.如权利要求6所述的面向服务的松耦合信息交换系统的方法，其特征在于所述步 骤c和步骤i中所述的加密和认证由SSL模块来实现。
8.如权利要求6所述的面向服务的松耦合信息交换系统的方法，其特征在于所述步 骤C、步骤d、步骤e、步骤g、步骤h、步骤i中均包括一由异常检测模块(3)来实现的数据异 常检测步骤。
9.如权利要求6所述的面向服务的松耦合信息交换系统的方法，其特征在于所述步 骤a中所述的数据源系统(1)通过不同种类的接口适配器连接到总线上的。
全文摘要
本发明的面向服务的松耦合信息交换系统，包括若干数据源系统和用于连接各数据源系统的网络总线，数据源系统通过相应的接口适配器连接到网络总线上，所述的网络总线上还连接有用于与前述若干数据源系统进行数据交换并处理交换数据的一特定系统。本发明的面向服务的松耦合信息交换方法，包括以下主要步骤a.将需要实现数据交换的若干数据源系统和所述的特定系统连接到网络总线上；d.并通过发处理器模块判断是否需要开启多个处理线程，通过负载均衡器模块实现将处理的任务分配到不同的服务器；e.ETL引擎模块把数据转化为一个标准的格式，并传递到本系统中。本发明的面向服务的松耦合信息交换系统及方法，可应用于电力系统的营销和管理系统。
文档编号H04L29/06GK101800739SQ201010011868
公开日2010年8月11日 申请日期2010年1月15日 优先权日2010年1月15日
发明者刘继东, 孙林檀, 张虓, 朱伟义, 李军田, 王志伟, 王相伟, 谢季川 申请人:山东电力集团公司