专利名称：一种高安全性的自动数据交换装置的制作方法
技术领域：
本实用新型涉及一种自动数据交换装置，特别涉及一种适用于计算机信 息安全领域的高安全性的自动数据交换装置。
背景技术：
随着电子政务、电子商务等业务的发展，信息在不同的网络、系统和数 据源之间实现自动、快速、安全的交换，即"数据交换"成为电子政务、电 子商务信息共享和信息互联互通的主要问题，而数据是数据交换过程中最重 要的元素，保证数据交换过程中数据的质量、安全性、 一致性及保密性等， 对数据进行安全性检查，是数据交换必须解决的核心问题。
但是，在现有的数据交换过程中，可信网络与非可信网络之间，异构系 统、异构数据源之间的数据交换都比较困难，实现比较复杂；同时，无法保 证数据交换过程中数据的质量、安全性、 一致性及保密性等，对数据进行安 全性检查。
因此，特别需要一种高安全性的自动数据交换装置，针对电子政务、电 子商务数据交换对数据安全性的深层次需求，充分考虑了数据交换业务的复 杂性和需求不断变化的突出特点，对交换的数据进行检査，达到迅速开展业 务和最大限度减轻用户工作量的目的。
实用新型内容
本实用新型所要解决的技术问题在于提供一种高安全性的自动数据交换 装置，在数据交换过程中采用工作流方式，可自动触发数据交换工作流程， 并对数据综合运用木马防病毒过滤，文件格式等检查方法，保证数据交换过 程的安全性，保证数据的安全性，实现资源整合、信息安全共享，保证各类 网络化业务的顺利开展。本实用新型所要解决的技术问题可以通过以下技术方案来实现 一种高安全性的自动数据交换装置，其特征在于，它包括将数据从数 据源中抽取出来并传输给所述数据处理单元的数据抽取单元、对所述数据抽 取单元抽取的数据进行各种处理的数据处理单元及将所述数据处理单元处理 的数据加载到数据库中的数据加载单元，所述数据抽取单元、数据处理单元 及数据加载单元之间通过数据管路连接。 '
所述数据处理单元包括数据连接、数据过滤、病毒木马处理和文件格式 检査等功能模块。
所述数据抽取单元、数据处理单元及数据加载单元之间通过工作流的方 式进行数据交换。
所述数据抽取单元、数据处理单元及数据加载单元之间通过工作流的方 式对每一个数据交换过程进行描述和交换流程控制。
所述数据抽取单元、数据处理单元及数据加载单元之间通过时间和消息 的方式进行数据交换的触发。
本实用新型的高安全性的自动数据交换装置，通过数据抽取单元、数据 处理单元和数据加载单元来进行数据交换，并用工作流来描述一个完整数据 交换过程，采用具备优先级的工作流触发机制实现多个数据交换过程并发进 行，并在工作流中嵌入数据综合检查等安全措施实现高安全性的数据交换， 实现本实用新型的目的。
图1为本实用新型的高安全性的自动数据交换装置的系统框图。 具体实施方法
为了使本实用新型实现的技术手段、创作特征、达成目的与功效易于明 白了解，下面结合具体图示，进一步阐述本实用新型。
如图1所示， 一种高安全性的自动数据交换装置，它包括数据抽取单 元l、数据处理单元2和数据加载单元3，由数据抽取单元l、数据处理单元 2和数据加载单元3构成一个数据交换工作流；所谓工作流是由一组功能单 元按照业务流程顺序通过数据管道(DataPipe)串接在一起实现的。一个基本的数据交换工作流由一个源业单元、 一个目标业务单元和一套 交换规则组成， 一个复杂的数据交换工作流实际上可以拆分为若干组基本的 数据交换工作流，基本的数据交换工作流的构成元素是最基础的数据交换基 本单元，包括抽取对象类型及可配置的抽取单元、加载目标类型及可配置的 加载单元和可配置的转换单元，根据晷体业务对象的要求，通过选择、配置 这些基本单元，形成一个完整的数据交换工作流。
在本实施例中，数据抽取单元1作为抽取单元，从数据源中抽取数据出 来并传输给数据处理单元2;数据处理单元2作为转换单元，对数据抽取单 元1抽取的数据进行各种处理；数据加载单元3作为加载单元，将经过数据 处理单元2处理的数据加载到数据库中，数据抽取单元1、数据处理单元2 及数据加载单元3之间通过数据管路连接，构成一个完整的数据交换工作流。
在本实用新型的数据交换工作流中，数据抽取(Extract)单元1 一般有 两个，分别从数据库和文本文件中提取数据；通过两个数据管道(Datapipe) 通过数据处理单元2传递给下一个连接节点(Join)，连接节点按照事先设计 的连接条件，将两个管道中的数据进行类似数据库系统中的join操作，将数 据进行横向合并；在数据处理单元2中通过一个数据管道(Datapipe)传递 给下一个清洗节点(Clean),对传入的数据进行清洗；清洗之后的数据被发 送到转换节点(Tmnsformation),对数据格式和内容进行转换和影射；转换 后的数据被分发到数据加载单元3的加载节点(Load)及聚合节点 (Aggregation),聚合后的汇总数据也被传送到数据加载单元3的加载节点 (Load);加载节点(Load)负责将最终产生的明细数据和汇总数据保存到 目标数据库、数据仓库、文件、目标应用系统中。
本实用新型的高安全性的自动数据交换装置的数据交换规则的定制和编 写，包括数据转换规则和数据交换运行规则，数据转换规则负责数据的转换 过程定义；数据交换运行规则负责连接源数据和目标数据，实现数据转换过 程的调度。
数据抽取单元1具有如下类型的功能单元
DBReader:从DBMS数据源中读取数据，支持增量数据抽取； FileReader:从外部文件中读取数据； FTP:从FTP服务器中读取数据；HTTP/WEB SERVICES:发送WEB请求到服务器，然后从WEB服务器 返回的数据流中读取数据；
SMTP (简单的邮件传送协议)访问电子邮件服务器，从指定的电子邮 箱中读取数据；
JMS:从JMS消息总线中读取数据；
企业级别JAVABEANS (EJB):调用EJB接口，从返回的数据流中读取 数据。
数据处理单元2具有如下类型的功能单元
Joiner:实现两个数据集的Join操作，包括数据库中常见的连接类型， 及数据库中未提供的部分连接类型。禾U用Joiner组件，还可以实现不同数据 源的Join操作；
Filter:根据指定的条件过滤数据；
Switcher:根据数据的某些特征值，往不同的数据管道输出数据； Duplicator:复制输入管道的数据，往多个数据管道输出； Sorter:对数据进行排序；
Aggregator:对数据进行累计运算，例如Sum、 Count、 Max、 Min等聚
合运算；
Converter:对数据进行各种各样的转化，包括类型转换、数据计算、代 码缺失检测替换等。DataConflux提供了大量的转化函数，并且开发人员可以 根据需要自行设计、添加所需的函数。
Antivirus:对数据进行病毒木马査杀。
数据加载单元3具有如下类型的功能单元
DBWriter:以SQL语句的方式更新目标数据库中的数据；
DBLoader:以外部文件批量装载的方式装载数据到目标数据库中，例如
Sybase ASE中的Bulk Copy, Sybase IQ的Load;
FileWriter:将数据导出到外部文本文件，支持本地文本文件、FTP远程文件。
DataConflux:包含了 ETL产品中常用的功能组件和转换函数，并且增加了一些数据质量检测、清洗的函数以及主键转换函数，例如，Check函数可 以检测某个代值是否为标准代码表中的代码值，否则将其清洗为某特定代码 值。
在本实用新型的高安全性的自动数据交换装置中，数据抽取单元1、数 据处理单元2和数据加载单元3之间通过时间和消息的方式进行数据交换的 触发。
基于时间的数据交换的触发，工作流的优先级基于系统优先级，每次时 间的任务调度根据优先级进行。
基于定时器消息的数据交换的触发，每次调度基于消息机制，消息可以 采用定时器消息和事件消息两种。
本实用新型的高安全性的自动数据交换装置支持按固定时间点触发流 程，通过类似Crontab的配置方式定义调度周期；支持按固定时间周期触发 流程，如每3分钟、每1秒等。最小间隔0.1秒；或者通过各种接口，实时 触发。
数据处理单元2中的数据综合检查包括数据过滤、病毒木马处理、文件 格式检査等高安全性数据检查方法，并基于工作流的方式综合运用上述检査 方法。使用防病毒软件对病毒木马处理，具有数据文件格式检查、数据流量 动态检查双重检查功能，所有处理在内存中以接近线速的处理速度完成。文 件格式检査，根据需要对文件分类，如文本文件、图片、声音、视频等，检 査文件格式是否符合需要传输的格式，如果是将文件交换，如果是文本文件， 对文本文件的内容进行初步的过滤。基于工作流的数据综合检查方法。为了 实现数据交换过程中数据高安全性检査，将上述几种数据检査方法按照业务 活动依时序或逻辑关系相互连接构成业务流程。在业务开展过程中，数据依 据检査方法和组织规范进行传递、处理或执行，实现了自动化、综合的数据 检査。
参见图l，数据处理单元2对数据进行病毒木马检査时，采用工作流的 数据处理单元2的antivirus功能模块完成，即每一个木马病毒过滤检查任务 (Job)由若干独立的功能单元按照一定的逻辑顺序通过数据管道连接而成这 是一个典型的数据检查流程。木马病毒过滤检査首先是数据抽取单元1，分 别从数据库和文本文件提取数据；通过两个数据管道传递给读取过滤规则节点，再通过数据管道传递到按照规则检査节点，防病毒木马程序启动，按照 规则对数据查杀毒和査木马，接着通过一个数据管道传递给处理节点进行处 理，如果发现有病毒或者木马，数据被抛弃，否则，将最终产生的检査完成 的明细数据和汇总数据保存到目标数据库、数据仓库、文件、目标应用系统 中，根据需要木马病毒检査方法之前可以加入防火墙数据过滤及其他检査方 法节点。
数据格式及内容检査主要是针对文件类型的数据，采用工作流的处理模 式，文件格式及数据内容检查首先是数据抽取单元1，从从数据库和文本文
件提取数据；通过数据管道传递给读取规则节点，在通过数据管道传递到按 照文件格式规则检査节点，此时程序首先检查规则的第一项文件类型，通过 配置，可以将文件类型分成黑名单和白名单两种，符合白名单的文件则传递 到下一个功能单元，符合黑名单的数据则抛弃，然后再遍历规则的其他项， 以便检查文件的内容，最后通过一个数据管道传递给处理节点进行处理，格 式及内容正确的数据进行交换，将最终产生的检查完成的明细数据和汇总数 据保存到目标数据库、数据仓库、文件、目标应用系统中。根据需要文件检 査方法之前可以加入防火墙数据过滤及其他检查方法节点。
以上显示和描述了本实用新型的基本原理和主要特征及其优点。本行业 的技术人员应该了解，本实用新型不受上述实施例的限制，上述实施例和说 明书中描述的只是说明本实用新型的原理，在不脱离本实用新型精神和范围 的前提下，本实用新型还会有各种变化和改进，这些变化和改进都落入要求 保护的本实用新型范围内。本实用新型要求保护范围由所附的权利要求书及 其等效物界定。
权利要求1、一种高安全性的自动数据交换装置，其特征在于，它包括将数据从数据源中抽取出来并传输给所述数据处理单元的数据抽取单元、对所述数据抽取单元抽取的数据进行各种处理的数据处理单元及将所述数据处理单元处理的数据加载到数据库中的数据加载单元，所述数据抽取单元、数据处理单元及数据加载单元之间通过数据管路连接。
2、 如权利要求1所述的自动数据交换装置，其特征在于，所述数据处理 单元包括数据连接、数据过滤、病毒木马处理和文件格式检查等功能模块。
3、 如权利要求l所述的自动数据交换装置，其特征在于，所述数据抽取 单元、数据处理单元及数据加载单元之间通过工作流的方式进行数据交换。
4、 如权利要求l所述的自动数据交换装置，其特征在于，所述数据抽取单元、数据处理单元及数据加载单元之间通过工作流的方式对每一个数据交 换过程进行描述和交换流程控制。
5、 如权利要求l所述的自动数据交换装置，其特征在于，所述数据抽取 单元、数据处理单元及数据加载单元之间通过时间和消息的方式进行数据交 换的触发。
专利摘要本实用新型公开一种高安全性的自动数据交换装置，它包括将数据从数据源中抽取出来并传输给所述数据处理单元的数据抽取单元、对所述数据抽取单元抽取的数据进行各种处理的数据处理单元及将所述数据处理单元处理的数据加载到数据库中的数据加载单元，所述数据抽取单元、数据处理单元及数据加载单元之间通过数据管路连接；通过数据抽取单元、数据处理单元和数据加载单元来进行数据交换，并用工作流来描述一个完整数据交换过程，采用具备优先级的工作流触发机制实现多个数据交换过程并发进行，并在工作流中嵌入数据综合检查等安全措施实现高安全性的数据交换，实现本实用新型的目的。
文档编号H04L29/06GK201252571SQ200820152759
公开日2009年6月3日 申请日期2008年9月5日 优先权日2008年9月5日
发明者吴旭东, 周国勇, 欣 李, 欧阳满, 沈寒辉, 刚 王, 福 王, 袁艺芳, 翔 邹 申请人:公安部第三研究所