专利名称：对等网络中逻辑异构系统数据整合方法
技术领域：
本发明属于一种基于P2P(对等网络)建设信息系统的方法，提供了消息应答机制，定义了有关消息、回应的数据结构与数据内容，提出了一种对于数据结构自动测试、建模与自动适应技术，特别是一种对等网络中基于信息熵的分布、获取、传送、协同与使用的逻辑异构系统数据整合方法。
背景技术：
目前电子政务系统一般停留在机关内办公自动化系统、网上审批系统、门户网站这样一些内容组合上，但显然不是电子政务的核心内容，政府的职能是多样化的，它是一个权力机构，主要任务是决策与监督执行，保证行为规范协调，领导动作等，这需要社会上极为众多点的信息支持及这些点上各有特色的信息分布，这是一个门户网站所无法承担的。目前在我国除北京、上海等少数城市外，该系统都按C/B/S模式设计，在政府中心建立大型服务器，要求各部门将信息上报到该服务器处理，有些甚至要求重新布设光缆，重新整合数据。实际上，目前省、市一级政府与大型企事业单位，都已经普遍建立了自己的MIS系统，这些系统中的数据是不断改变与流动的，如果如上面方式重建一个居于上层的系统，没有充分发挥地方资源的作用，不能获得地方实时信息，也没有建立中心与地方动态、有机的联系。如果类似系统都如此建设，将产生极大的浪费，成本极高，而且会产生数不清的数据冗余，基层重复采集数据、重复输入，管理部门信息不对称，难以支撑属地化管理。只有利用P2P技术才能较好地解决上述问题。作为电子政务系统有别于基本P2P系统通信对象有明确目标、具体内容、及时更新；从各局部系统或下一级系统调集数据，物理可以无分层无等级，但应用有分层有等级；文件有主动提供、搜索发现的不同需求；可能是定时交互，也需要适应突发要求；可以批量处理，也要准备单件应答；数据到目的地前有的需要组合，有的需要拆卸，需要解决逻辑异构问题。在例如办公自动化、工作流、审批业务等类工作中要求有协同工作、快速交互的功能。需要有上下协调与同步的功能，例如对上下级工作流(例如市级工作由市级工作流控制，如果工作涉及或转区一级，成为区的工作，要接区系统工作流)等控制信息有传递、转发、配合等方面问题。通常与GIS系统、与邮电通信系统等一些复杂系统存在密切联系。例如政府财政、税收、教育等纵向系统；行业间横向系统将分别需要构成覆盖网络，网络纵横交错，每一节点都可能和许多网络发生联系。数据类型繁多，这些数据来源、去向清楚，功能明确，划分较细，结构差别很大。在处理数据共享时，CPU、通信时间、文件类型、操作系统、语言等方面异构问题是目前已解决的问题，但数据结构、数据意义、数据处理方式、数据内容等方面的异构问题被突显出来，必需要解决功能整合、数据整合的问题。涉及到数据库和许多非纯文本文件涉及更细粒度的内部数据的共享问题。特别强调数据安全性、完整性与一致性问题、关注并发操作问题等。需要考虑远程驱动与分布处理的问题，不论是加入一个系统或是多个系统，都必须关注网上发来的要求，如果另一节点要求提供某一数据，如果是自己节点有的，应当设法提取出来，放到指定位置供对方取用；如果是需要自己节点运行某一预先准备好的程序，对信息进行处理与加工的，应当触发有关处理程序加工生成数据提交给所需要节点。所来要求应当标明自己的身份，需求原因或用途(类别)，指明所需要的数据内容、结构、意义，有些内容要按预先准备的规范解释；收到消息的节点要尽量满足其格式要求。必须有一个协议协调各方面行为。
因此，目前要建立一个高效率的电子政务系统一方面需要适度分布，(与文件共享系统不同，节点加入退出一般有策划，有控制，且节点高度自治)，需要有效解决服务规模与异构、并行等问题，要特别关注安全性问题，在具体设计时还要考虑数据整合问题，一般需要有分层中央控制与建设的体系结构。
目前基于B/S模式的电子商务系统系统已经具有规模，一般是由商家分布商品信息，客户通过对分布信息的搜索，发现商品情况与各方面地址信息，再通过网上交易完成交互过程。大型电子商务系统以商家自身的管理信息系统为主要支持，基于服务器、数据库与网站技术。用户对象无固定地址，可以遍布全球。这里没有反映客观世界这样一个现实在实际社会中，大家都是消费者，也都是商家，都需要将自己的产品推向世界。显然目前的B/S模式无法满足这样的需要，而P2P的思想倒是与之吻合。需要有简单、方便、容易提供商务信息的方式，需要有简单、可靠、准确获得商品信息的手段，需要集市化讨价还价的环境，需要多种多样的支付方式，需要包括以物易物这样的多种多样的交易方式。这些给P2P系统提出了极高要求，需要有大型电子商务系统与网上集市的管理方式和政策规范，包括信息存放地点、信息分布规范、有关检查方法、相应财税政策、交易的政策性问题等。从技术上讲，有些是和文件共享系统类似的问题，如是否需要覆盖网络，覆盖网络的构成，维护的手段，网上搜索与数据挖掘，解决异构问题，安全性问题等等。但有些要求更高，例如解决异构问题不仅仅是文件、处理、环境等的异构问题，还有数据的意义、表示等的异构问题。关于安全性的要求更高。另外还更强调数据完整性与一致性问题、并发操作问题等。
随着企业规模的不断扩大，IT技术的不断进步，许多企业不断充实了管理信息系统，ERP系统，OA系统，CRM系统，而许多系统都是在企业发展的不同阶段根据不同的需求发展起来的。对于这些不同系统，如果想使用其他系统的数据，常常要从一个系统中打印出数据，再采用人工录入的方式录入到另一个系统中。我们需要做的是构建一个通用的服务平台，使其上任何一个系统都能和其他系统共享数据资源，一方面所需的数据如果在另外的系统中已经存放，就需要提供一种通用的中间件实现自动传送，将另外的系统中已经存放的数据传送到需要数据的系统中，免于手工录入从而实现两个系统的协同工作，在此基础上进一步优化全系统，达到系统间整合的目标，发挥整体的最大作用。这一通用的服务平台首要要解决的是任意二个独立系统之间的整合问题。
综上所述，如果P2P网络应用再向决策系统、电子商务、电子政务、大型多媒体应用等信息处理方面发展，无论从安全性、效率、操作与设计方面，还是从实际应用系统的历史构成与应用需要哪个角度考虑，网络都必须是严密的结构化的，可以设想，在系统中对服务器的需要绝不会只一个，也不是简单分层那样简单，要考虑逻辑上具有不同功能的服务器对系统进行维护的，提供目录与路由的，对等点管理的，对对象索引的，为达到代理目的或为分流需要提供缓存的……等等，再考虑可靠性的需要，防止某些服务器因故障、关机、退出等影响系统稳定，还要考虑服务器及某些设施备份或冗余的问题，必须研究对不同应用需要给出不同配置的问题。
发明内容
本发明的目的是提供一种在现有信息系统基础上组建或扩展新系统，关键是完成对等网络中逻辑异构系统数据整合方法，以克服上述的不足。
为了实现上述目的，本发明的具体步骤如下第一步骤对节点工作情况分析，组建P2P网络，确定分簇结构；第二步骤确定维护器、索引器、安检器、数据集散器等角色；第三步骤由维护器发送需求消息；第四步骤由普通节点分析数据，自动填写接口参数表、字典表，存放到系统数据集散器角色节点中；第五步骤人工修改接口参数表、字典表；第六步骤系统开始运营，当系统需要数据时，首先发出第三步骤中规定的消息，节点收到消息后，导出根据接口参数表、字典表从数据库导出数据并变换成系统所需数据通过安检后以XML文件形式传送到系统数据集散器中；第七步骤系统数据集散器中的导入部件将数据导入数据库，供系统使用。
上述第三步骤中由维护器发送需求消息的主消息结构包括消息名称、覆盖网络名称、传递到目的地的方式、生成消息的对等点GUID、传递消息的对等点GUID、接收消息的对等点GUID、主机名、主机地址、用户名称、密码、所需文件名称、文件存放目录、修改类型、需求日期、数据库名称、数据表名称、密钥；主消息还包括消息子表文件，其消息子表文件域名结构包括字段名称、数据类型、关键字标识、相关表名、外关键字标识、字典表名称、接口参数文件名称。
上述第四步骤中接口参数表的结构包括部件名称，菜单项名称，数据表名称，选用字段号表，选用按钮号表，选用列表框字段号表，上二级表名称，上一级表名称，联系字段1，联系字段2，字典表名称；上述字典表的结构包括系统1名称、系统1表名、表1字段名、系统2名称、系统2表名、表2字段名、意义、最大值、最小值、限取值值集、约束条件表达式、是否允许重复值、是否需要代码变换、代码表名称、组合公式、变换程序名称。
上述第六步骤中方法实施过程当系统需要数据时，首先发出第三步骤中规定的消息；节点收到消息后，导出根据第四步骤中接口参数表、字典表从数据库导出数据并变换成系统所需数据通过安检后以XML文件形式传送到系统数据集散器中，系统数据集散器中导入部件将数据导入数据库，供系统使用。
本发明基于P2P系统，解决逻辑异构系统数据交互、自动导入与导出、数据集成使用中的一些困难问题，可以应用于电子政务、电子商务、决策系统，有助于降低这些系统的开发成本，加强系统功能，在信息系统领域将起重要的作用。
图1为本发明的系统结构示意图。
图2为本发明整合平台之数据变换程序流程图。
图3为本发明导出数据格式变换程序流程图。
图4为本发明导入数据格式变换程序流程图具体实施方式
下面结合附图和实施例对本发明作进一步的描述，但该实施例不应理解为对本发明的限制。
本发明系统结构如图1所示。
本发明第三步骤中由维护器发送需求消息的主消息结构包括消息名称、定义相关的覆盖网络名称、定义消息传递到目的地的方式、生成消息的对等点GUID、传递消息的对等点GUID、接收消息的对等点GUID、存活时间(可选)、经过的对等点列表(可选)、主机名、主机地址、用户名称、密码、所需文件名称、文件存放目录、修改类型、需求日期、数据库名称、数据表名称、密钥(见表1)；主消息还包括消息子表文件，其消息子表文件域名结构包括字段名称、数据类型、关键字标识、相关表名、外关键字标识、字典表名称、接口参数文件名称(见表2)。
其中“主机名、主机地址、用户名称、密码、所需文件名称、文件存放目录”指对方回应文件发往目的地有关参数。“修改类型”包括添加、覆盖、修改、添加+修改、删除、查询等。“添加”方式指在文件尾部添加送来的新数据。“覆盖”指先删除原有数据再在文件中填入送来的新数据。“修改”指对送来的新数据先分析其关键字，当另一个系统的当前表中有关键字相符的记录时，用传来文件中数据根据关键字更新另一个系统数据表中数据。“添加+修改”方式要求导出用文件中保存从上次完成导入到当前时间的数据，当当前表没有关键字相符的记录时，将该文件中数据完全导入到数据表中；当当前表中有关键字相符的记录时，用该文件中数据根据关键字更新该系统数据表中数据。
消息中如果规定了密钥，应先解密再导入。
如果作了关键字标识或填入了相关表名并作了外关键字标识，要求在导入时对数据作实体完整性检查或参照完整性检查。
本发明第四步骤中接口参数表的结构包括部件名称，菜单项名称，数据表名称，选用字段号表，选用按钮号表，选用列表框字段号表，上二级表名称，上一级表名称，联系字段1，联系字段2，字典表名称(见表3)；字典表的结构包括系统1名称、系统1表名、表1字段名、系统2名称、系统2表名、表2字段名、意义、最大值、最小值、限取值值集、约束条件表达式、是否允许重复值、是否需要代码变换、代码表名称、组合公式、变换程序名称(见表4)。
考虑到一个导出表中数据可能是导入表中的部分数据，也可能是多个表中部分数据。要设计出通用的通信接口，就必须完成导入、导出文件结构变换，这一变换程序要能适应任意系统的需要。这一工作借助一个字典表，再设计通用翻译程序完成导出、导入文件结构变换。考虑到实际数据不完全性(通常一个系统导出用文件的一条记录的数据只是导入表一条记录的部分数据)，规定在字典表中填写了“表1字段名”，但没有填写“表2字段名”的，转换时去掉该数据相关语句。在字典表中填写了“表2字段名”，但没有填写“表1字段名”的，转换时允许空值的改用空值填充其数据，否则根据数据类型用空格或0填充。如果填入了最大值、最小值、所属值集、约束条件等内容，要求在导入时对数据作域完整性检查。其中“约束条件表达式”用字段名加关系符加表达式构成。约定有一个特殊的约束条件表达式用”c”$“A-Z“表示值只由字符构成，或”c”$“0-9“表示值只由数字、小数点、正负号构成，变换程序中有专门的方法，当查到这类约束条件时，调用专门的方法进行检验。如果填入了代码表名称，要求在导入时对数据按代码表内容转换。
管理信息系统大量数据采用代码表示，或者利用代码进行统计，在进行整合时如果能要求采用统一代码体系自然容易整合，但在很多情况下，这个要求不具备操作性，因此要求接口程序解决代码变换问题。需要设计一个“代码变换表”，结构为(系统1名称、系统1代码、系统1代码内容、系统2名称、系统2代码、系统2代码内容)。其中代码内容指代码所代表的意义，例如用代码“X20020101”表示一款床旁移动X光机“100KHZ型30KW功率Compact移动式X光机”，将来在“系统1代码”一栏中填“X20020101”，在“系统1代码内容”一栏中填“100KHZ型30KW功率Compact移动式X光机”，系统2代码与系统2代码内容中则填同一型号规格的同一产品在第二系统中的代码与名称。
在接口程序中应当先看字典表中“是否需要代码变换”字段中是否标志为“是”，如果标志为是，就查看“代码变换表”，利用该表实现二个代码数据的变换。在变换时，导入的数据可能是多个导入数据的组合，或者只是其组成的一部分。如果这种组合或分解可以用一个公式计算实现，需要在字典表中写入计算公式，在变换时按公式进行组合或分解。该计算公式由数据导出方的若干字段经连接符连接而成。变换程序中应当有专门的方法，当查到这类计算公式时，调用专门的方法进行处理后再导入。如果不能用简单的公式表示变换规则，需要另外设计非标准件程序，在“变换程序名称”中填入该程序名称，通用导入导出部件将调用该程序完成变换处理。
以上设计的系统程序结构如图2所示。
该系统采取端对端通信方式，包括如下部件①数据变换程序其功能是读取各导出的数据文件，根据消息表及每一组变换依据的字典表对数据重组，生成供另一个系统导入的文件，并发到指点位置去。消息表引导数据变换程序作所有导入导出操作。
②对数据集散器中数据表、字典表、代码表与消息表进行维护(录入、修改、删除、查询)的通用部件。
在完成设计用于具体系统之前，需要做如下工作①确定二方数据的数据结构，确定所需对方数据的内容。
②模拟新系统数据情况，运行自动分析程序比较双方数据结构，自动填写字典表。
③研究原系统安全性与完整性要求，修改字典表内容。
④确定代码体系，填写代码变换表。
⑤确定数据发送与导入时机及其控制方式，填写数据登记表。
导出数据格式变换程序流程图如图3所示，导入数据格式变换程序流程图如图4所示。
使用上述部件需要建立“接口参数表”，其结构为(部件名称，菜单项名称，数据表名称，选用字段号表，选用按钮号表，选用列表框字段号表，上二级表名称，上一级表名称，联系字段1，联系字段2，字典表名称，菜单列号)每一行数据对应一次调用，实际相当于一般系统的一个模块。
各接口参数的意义①“菜单项名称”系统根据“调用接口参数表”生成控制菜单的下一级菜单，每个“菜单项名称”对应一个菜单项，“菜单项名称”中填入内容是该菜单项的标签。
②每行“部件名称”中具体填入本行菜单项被选中时所欲调用与执行的部件的名称。本设计中将使用如下6个部件单记录数据维护部件，分层多表数据维护部件，表格式数据维护部件，单条件查询部件，组合查询部件，XML文件导入部件。
③部件的每次调用都要具体实施对数据库中某个表的操作(添加数据、修改数据、查询数据……等，“数据库名称，数据表名称”中填该次调用时欲操作的数据库的名字与表的名字。
④当修改数据或执行删除操作时需要根据“关键字”来查找数据。“关键字”一栏用于填所操作的表的关键字，如果由多个字段组成，彼此间要用逗号分隔。
⑤部件每次调用时可以根据所选择的字段自动排版建立界面，“选用字段号表”用来决定视图，该栏中可以填入所欲选择的字段的排列序号，序号间用逗号分隔。使用字段号而不使用字段名，可以加强数据独立性。
⑥为减少部件文件数量，也便于进行功能组合，每个部件都集成了多个功能，每个按钮就代表一个功能，通过“选用按钮号表”参数选用按钮可以实现不同的应用。
⑦为方便操作或为了规范化输入，有些数据要求通过鼠标点选完成，这可以使用列表框组件进行。“选用列表框字段号表”用于表示那些字段的输入要求采用下拉列表框操作。
⑧“分层多表数据维护部件”与“组合查询部件”都可以针对多个数据表操作。“上二级表名称，上一级表名称，联系字段1，联系字段2”中填写除代码表之外其它表的名字，它们和主表通过联系字段进行连接。“分层多表数据维护部件”采用“树”控件选择上二级的表，例如，如果将管理扩展到产品的部件或零件一级，可以用树的根表示销售订单号，用第二级表示订单体中产品代码，第三级代表一个产品的部件或零件，当选择某个部件或零件时，右边以单记录界面形式列出该部件或零件的视图，方便对该部件或零件的数据的操作。对应这一应用，要求在“上二级表名称”一栏中填写销售订单数据表名，“上一级表名称”中填销售订单子表数据表名，“数据表名称”中填存放部件或零件的数据的表的名字。“联系字段1”填“上二级表”与“上一级表”之间联系的字段名称，“联系字段2”填“上一级表”与“数据表”之间联系的字段名称。
⑨“菜单列号”填入本行对应的菜单项的列号。
有些数据标签的内容需要作名称的变化(例如根据英文字段名确定中文标签内容)，有些字段需要联系某个代码表完成输入或进行数据变换，还有些字段在输入时要进行数据完整性控制，可以通过“字典表”定义上述内容。“字典表”结构为字段名、标签名、代码表名、代码表代码字段名、代码表内容字段名(以上二个名字必须有一个和数据表中某一个字段名相同)、最大值、最小值、限取值值集、约束条件表达式、计算公式。
在实际应用中的数据中可能有某些数据是派生数据，在操作时其值自动生成且只供显示。字典表中的“计算公式”一栏用于填写计算派生数据的数据值，其公式由字段名与运算符构成。部件程序中有这样的设计每当公式中某个字段的数据改变时，都会自动按公式进行一次计算，并用计算结果更新字典表中登记该公式的记录中的“字段名”中填写的字段的数据。如果不填写“计算公式”数据，程序将不作该项操作。在字典表中还可以列入对某些字段的控件关于几何尺寸控制、位置控制、颜色或语音表示等有关参数。
在进行数据维护与数据导入导出时，常要求提供数据安全保护或对不同用户提供不同视图，例如对于某些用户只能作查询操作、某些用户可以作录入操作……等；对某些用户要规定不让看到某些字段的内容等。为此，将上述内容集中在一起，设计接口参数表的结构为用户名表、操作权限、隐蔽字段名表。其中，用户名表中每行可以填写多个用户的名称，彼此间用逗号分隔。操作权限中填i，u，d，s，分别表示添加、修改、删除、查询权限，可以是其中某一权限，也可以是多个权限的组合。隐蔽字段名表中填对该组用户不予展现的字段的名称，一行可以填写多个字段名，彼此间用逗号分隔。要求所有数据维护与数据导入导出部件在调用前需要说明接口参数表名称，如果不填入名称，表示当次调用不需要作以上控制。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
表1
表2
表3
表4
权利要求
1.一种对等网络中逻辑异构系统数据整合方法，其具体步骤是第一步骤对节点工作情况分析，组建P2P网络，确定分簇结构；第二步骤确定维护器、索引器、安检器、数据集散器等角色；第三步骤由维护器发送需求消息；第四步骤由普通节点分析数据，自动填写接口参数表、字典表，存放到系统数据集散器角色节点中；第五步骤人工修改接口参数表、字典表；第六步骤系统开始运营，当系统需要数据时，首先发出第三步骤中规定的消息，节点收到消息后，导出根据接口参数表、字典表从数据库导出数据并变换成系统所需数据通过安检后以XML文件形式传送到系统数据集散器中；第七步骤系统数据集散器中的导入部件将数据导入数据库，供系统使用。
2.如权利要求1所述的对等网络中逻辑异构系统数据整合方法，其特征在于第三步骤中由维护器发送需求消息的主消息结构包括消息名称、覆盖网络名称、传递到目的地的方式、生成消息的对等点GUID、传递消息的对等点GUID、接收消息的对等点GUID、主机名、主机地址、用户名称、密码、所需文件名称、文件存放目录、修改类型、需求日期、数据库名称、数据表名称、密钥；主消息还包括消息子表文件，其消息子表文件域名结构包括字段名称、数据类型、关键字标识、相关表名、外关键字标识、字典表名称、接口参数文件名称。
3.如权利要求1所述的对等网络中逻辑异构系统数据整合方法，其特征在于第四步骤中接口参数表的结构包括部件名称，菜单项名称，数据表名称，选用字段号表，选用按钮号表，选用列表框字段号表，上二级表名称，上一级表名称，联系字段1，联系字段2，字典表名称；
4.如权利要求1所述的对等网络中逻辑异构系统数据整合方法，其特征在于第四步骤中字典表的结构包括系统1名称、系统1表名、表1字段名、系统2名称、系统2表名、表2字段名、意义、最大值、最小值、限取值值集、约束条件表达式、是否允许重复值、是否需要代码变换、代码表名称、组合公式、变换程序名称。
5.如权利要求1所述的对等网络中逻辑异构系统数据整合方法，其特征在于第六步骤中方法实施过程当系统需要数据时，首先发出第三步骤中规定的消息；节点收到消息后，导出根据第四步骤中接口参数表、字典表从数据库导出数据并变换成系统所需数据通过安检后以XML文件形式传送到系统数据集散器中，系统数据集散器中导入部件将数据导入数据库，供系统使用。
全文摘要
本发明涉及一种对等网络中逻辑异构系统数据整合方法，其步骤是第一步组建P2P网络，确定分簇结构；第二步确定维护器、索引器、安检器、数据集散器等角色；第三步由维护器发送需求消息；第四步由普通节点分析数据，填写接口参数表、字典表，存放到系统数据集散器角色节点中；第五步人工修改接口参数表、字典表；第六步系统开始运营；第七步系统数据集散器中的导入部件将数据导入数据库，供系统使用。本发明基于P2P系统，解决逻辑异构系统数据交互、自动导入与导出、数据集成使用中的一些困难问题，可以应用于电子政务、电子商务、决策系统，有助于降低这些系统的开发成本，加强系统功能。
文档编号H04L29/06GK1988475SQ20061012485
公开日2007年6月27日 申请日期2006年10月26日 优先权日2006年10月26日
发明者李腊元, 程传慧, 李春林 申请人:武汉理工大学