专利名称：一种多源数据转换服务装置的制作方法
技术领域：
本实用新型涉及一种高级应用系统(如决策支持、数据挖掘、报表统计等系 统)与基本业务系统(如进、销、存系统，管理信息系统，办公自动化系统)之间 的数据交换技术，尤其涉及电力、电信、金融、航空、零售等行业系统信息化 管理中用以提高数据转换的效率、降低高级应用系统的开发维护成本、节约硬 件和网络资源的多源数据转换服务装置。
背景技术：
当前，电力系统的调度通信中心，已建立了以能量管理系统EMS(Energy Management System)、调度信息管理系统DMIS(Dispatching Management Information System)、电力市场运营系统等为代表的基本业务系统。除了这些基本业务系统， 电力系统的调度通信中心(简称电力调度中心)各个部门为了满足具体的工作需 要，还需在以上基本业务系统的基础上，针对特定需求建立一些较为高级的应用系 统，如可视化监视系统、模拟仿真系统、数据分析系统、报表系统、数据挖掘系统 等。这些高级应用系统所需的数据，往往源自一个或多个基本业务系统。因此，在 建立高级应用系统的过程中，如何从多个基本业务系统采集、清洗、转换数据，即 数据集成工作，是一个必须解决的问题。参见图1， 一方面，如前所述的基本业务系统，是针对不同部门的业务需 求，如，能量管理系统、调度信息系统、电力市场运营系统和其它业务系统， 均由不同的开发单位独立研制建立的。因此，各系统数据库系统的类型、数据 表的格式、数据采集的周期等均不相同。这一情况，给高级应用系统的数据集 成工作，造成了困难，例如1) 多个数据源之间数据格式不统一，增加高级应用系统的开发难度；2) 高级应用系统服务器需要配置适用于不同数据库类型的数据驱动程序，占用 系统资源，增加系统负担；3) 应用程序的数据导入工作，占用系统资源，影响系统运行效率；4) 多个数据源中，均不同程度的存在数据遗漏和坏数据问题，降低了高级应用 程序的运行稳定性。参见图2，另一方面，由于各个高级应用系统也是由各个业务部门根据实际需要先后提出并独立开发的，因此，每个高级应用系统均独立进行多数据源的数据导 入、清洗和转换工作。对于高级应用系统的开发和运行存在以下问题1) 每一个高级应用程序都需要准备各类数据源的数据驱动程序，数据驱动的安 装、更新和维护工作必须由高级应用系统负责。驱动程序本身的安装会占用系统服 务器的资源，驱动程序的运行和版本冲突，会对降低高级应用程序的运行稳定性。2) 每一个高级应用程序在开发时都需要收集并理解各个业务系统的数据库结 构，数据表格式，甚至各个原始参数的含义，以便读懂该业务数据库并导出所需数 据，增加了高级应用程序的开发工作量。3) 每一个高级应用程序都需要对各个业务数据的坏数据进行清理和转换，坏数据往往是在极特殊条件下出现的，实际中，高级应用系统往往没有足够的预算和精 力专门对各个业务系统的坏数据进行专门的研究并建立对策，因此难以避免受到坏 数据的影响而降低系统运行的稳定性。如果专门深入的研究并处理各个业务系统的 坏数据，又会大大增加高级应用系统的开发成本。由于各基本业务系统和各高级应用系统都是分别、独立进行设计、开发，分别负责各自的,更新、升级和维护工作，没有统一的协调管理，还会带来以下的问题1) 重复开发问题每一个高级应用系统，为了获取各个业务系统的数据，都需要进行完整的数据 导入、清洗和整理工作。在实际中，这些数据处理工作往往在高级应用系统开发周 期中占有很大比例，增加了开发成本。不同的高级应用程序，都先后完成同一类型 的工作，这些重复性的劳动本身并不简单，如果不投入足够成本，则无法保证质量， 投入成本则造成资源浪费。2) 资源浪费和运行效率问题在实际中，各个高级应用程序都是独立立项、独立预算的。假如高级应用系统 本身需要运行在l台服务器上，如果不额外增加预算，那么数据集成工作也需在同一台服务器下运行。高级应用系统的运行势必收到数据集成工作的影响而降低效 率。如果额外配置另一台服务器，则会造成较大的资源浪费。3)维护成本的增加在现有方案下，当基本业务系统进行更新改造时，如果涉及到数据库的变化， 局域网的变化，哪怕是很小的变化，都会对基于该业务系统数据的高级应用系统造 成严重的影响，所有高级应用系统都需要进行相应的改造。从另一个角度看，假如 某一高级应用系统，用到了5个基本业务系统的数据，那么这5个业务系统任何一个 进行更新，高级应用系统都不得不进行相应的修改，频繁的系统升级改造，会影响 高级应用系统的正常连续运行，也会带来维护成本的增加。因此，为解决以上数据集成问题，即将各基本业务系统中不同数据库系统、不同格式的数据，分别进行数据导入、数据清洗和数据转换，并以重新设计的统一 的数据格式进行存储，为各个高级应用程序提供统一格式的单一数据平台，本申请 人力求通过设计一个独立的多数据源数据清洗与转换的数据转换服务装置，来承担 全部的数据采集、转换和集成工作，将数据采集与高级应用系统分开，以避免各个 高级应用系统的重复开发、减少日常数据的重复导入，节约系统资源、减少错误几 率、提高系统稳定性。实用新型内容本实用新型旨在提供一种独立的多源数据转换服务装置，将数据转换与应 用系统分离，实现对包括电力信息系统的多个不同类型的分布数据源的数据导 入、清洗和转换工作，提高数据转换的效率，提高应用系统的运行稳定性。本实用新型所提供的一种多源数据转换服务装置，包括局域网，其特征在于-它还包括设置在局域网中的相互连接的数据存储服务器和数据导出服务器，以及分 别与所述的数据存储服务器和数据导出服务器相连接的数据转换调度服务器，数据转换调度服务器，用于运行数据转换服务的调度程序，负责实时发布数据转换调度命令，指挥数据存储服务器和数据导出服务器的运行；数据存储服务器，用于负责接受数据转换调度命令，根据要求从各业务数据库 导入所需数据；数据导出服务器，用于负责接受数据转换调度命令，根据要求从数据存储服务器中读取所需数据，并发布给需要数据的高级应用系统。上述的多源数据转换服务装置，还外接各基本业务系统服务器，并与各高级应 用系统服务器连接。本实用新型与现有技术相比所具有的优点或积极效果1. 用独立的装置专门负责如电力调度中心中的各类高级应用系统与各类基本 业务系统的数据交换工作，提高数据转换的效率，保证数据转换的正确性和及时性；2. 各高级应用系统只需从数据转换服务装置中获取数据，省去了复杂的数据 转换工作量，节省了开发成本、维护成本；3. 将高级应用系统与数据转换分离，节约了硬件资源，提高了应用系统的运 行效率和运行稳定性
图l是两类系统即基本业务系统和高级应用系统间的数据交换示意图；图2是现有的基本业务系统和高级应用系统间数据流程的示意图；图3是本实用新型多源数据转换服务装置硬件结构示意图。
具体实施方式
本实用新型的基本思路1) 多源数据转换服务装置独立于各个基本业务系统，也独立于各个高级应用 系统；2) 多源数据转换服务装置对各个髙级应用系统提供的公共的数据服务；3) 多源数据转换服务装置以各基本业务系统为数据源；4) 多源数据转换服务装置面向各高级应用系统，提供数据服务，满足所需的 数据要求。如图3所示，本实用新型多源数据转换服务装置的硬件配置，包括设置在局域 网中的数据转换调度服务器l、数据存储服务器2、数据导出服务器3。数据转换调度服务器h选取一台高配置CPU、高内存容量的PC服务器，运行 数据转换服务的调度程序，负责实时发布数据转换调度命令，指挥数据存储服务器 和数据导出服务器的运行；数据存储服务器2:选取一台具有大容量硬盘的PC服务器，负责接受数据转换调度命令，根据要求从各业务数据库导入所需数据；数据导出服务器3:选取一台高配置CPS、高内存容量的PC服务器，负责接受 数据转换调度命令，根据要求从数据存储服务器中读取所需数据，并发布给需要数 据的高级应用系统。数据转换服务装置应运行在企业局域网中，并保证a. 与各基本业务系统服务器的连接；b. 与各高级应用系统服务的连接； C.足够的网络带宽(100M)。本实用新型通过设计一个独立的多数据源数据清洗与转换的数据转换服务装 置，来承担全部的数据采集、转换和集成工作，将数据采集与高级应用系统分开， 以避免各个高级应用系统的重复开发、减少日常数据的重复导入，节约系统资源、 减少错误几率、提高系统稳定性。本实用新型不仅仅可用于电力系统信息化的改造中。目前，电信、金融、航空、 零售等很多行业都实现了比较全面的信息化管理。信息化的进一步发展将由当前的 业务管理转向高级的智能分析和决策。在这一过程中，高级应用系统(如决策支持、 数据挖掘、报表统计等系统)与基本业务系统(如进、销、存系统，管理信息系统， 办公自动化系统)之间的数据交换，是一个比较普遍的问题。将本实用新型推广应 用的到这些领域，将数据转换与高级应用相分离，将数据转换独立为一个专门的装 置，将会大大提高数据转换的效率，降低高级应用系统的开发维护成本，节约硬件 和网络资源。以上结合附图实施例对本实用新型进行了详细说明，本领域中普通技术人 员可根据上述说明对本实用新型做出种种变化例。因而，实施例中的某些细节 不应构成对本实用新型的限定，本实用新型将以所附权利要求书界定的范围作 为本实用新型的保护范围。
权利要求1.一种多源数据转换服务装置，包括局域网，其特征在于它还包括设置在局域网中的相互连接的数据存储服务器和数据导出服务器，以及分别与所述的数据存储服务器和数据导出服务器相连接的数据转换调度服务器，数据转换调度服务器，用于运行数据转换服务的调度程序，负责实时发布数据转换调度命令，指挥数据存储服务器和数据导出服务器的运行；数据存储服务器，用于负责接受数据转换调度命令，根据要求从各业务数据库导入所需数据；数据导出服务器，用于负责接受数据转换调度命令，根据要求从数据存储服务器中读取所需数据，并发布给需要数据的高级应用系统。
2. 根据权利要求l所述的多源数据转换服务装置，其特征在于它外接各基本 业务系统服务器，并与各高级应用系统服务器连接。
专利摘要本实用新型涉及一种多源数据转换服务装置，包括局域网，其特征在于它还包括设置在局域网中的相互连接的数据存储服务器和数据导出服务器，以及分别与所述的数据存储服务器和数据导出服务器相连接的数据转换调度服务器。本实用新型的优点是1)用独立的装置专门负责各类高级应用系统与各类基本业务系统的数据交换工作，提高数据转换的效率，保证数据转换的正确性和及时性；2)各高级应用系统只需从多源数据转换服务装置中获取数据，省去了复杂的数据转换工作量，节省了开发成本、维护成本；3)将高级应用系统与数据转换分离，节约了硬件资源，提高了应用系统的运行效率和运行稳定性。
文档编号G06F17/30GK201117007SQ20072019873
公开日2008年9月17日 申请日期2007年11月30日 优先权日2007年11月30日
发明者何光宇, 刘敦楠, 李瑞庆, 王治华, 陈雪青 申请人:上海市电力公司;清华大学