数据集成方法和系统的制作方法
【专利摘要】本发明公开了一种数据集成方法。所述方法包括：目标系统服务器配置数据集成规则，并根据所述数据集成规则创建客户端所要执行的指令集；所述客户端获取所述指令集，并根据所述指令集从源系统数据表中获取数据进行处理得到中间数据；所述客户端将所述中间数据传输至所述目标系统服务器；所述目标系统服务器将所述中间数据转换为目标数据，并保存在目标系统数据表中。本发明还相应公开了一种数据集成系统。应用本发明技术方案，能够降低部署和配置的复杂度，降低数据集成的实施成本和维护成本。
【专利说明】数据集成方法和系统【技术领域】
[0001]本发明涉及计算机【技术领域】，特别是涉及一种数据集成方法和系统。
【背景技术】
[0002]随着计算机技术的迅猛发展和信息化的推进，使得人类社会所累积的数据量超过了过去数千年的总和，数据的采集、存储、处理和传播的数量也与日俱增。
[0003]目前在企业平台中，由于开发时间或开发部分的不同，往往有多个异构的、运行在不同软硬件平台上的信息系统同时运行，这些信息系统的数据彼此独立、相互封闭，形成“信息孤岛”，使得数据难以在这些信息系统之间进行交流、共享和融合。为解决这一问题，人们开始研究数据集成。数据集成就是把不同来源、不同格式、不同特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在数据集成中，提供数据的信息系统称为源系统。在数据集成中，接收数据的信息系统称之为目标系统。
[0004]传统技术中，数据集成有Web service 技术、FTP (File Transfer Protocol,文件传输协议)文件、消息队列(MQ, Message queen)等实施方式。然而这些技术需要在服务端和客户端进行复杂部署和配置，对操作人员要求也比较高，因此传统技术实施成本和维护成本比较高。
【发明内容】
[0005]基于此，有必要提供一种数据集成方法和系统，应用本方法和系统，能够降低部署和配置的复杂度，降低数据集成的实施成本和维护成本。
[0006]一种数据集成方法，包括: [0007]目标系统服务器配置数据集成规则，并根据所述数据集成规则创建客户端所要执行的指令集；
[0008]所述客户端获取所述指令集，并根据所述指令集从源系统数据表中获取数据进行处理得到中间数据；
[0009]所述客户端将所述中间数据传输至所述目标系统服务器；
[0010]所述目标系统服务器将所述中间数据转换为目标数据，并保存在目标系统数据表中。
[0011]在其中一个实施例中，在所述客户端获取所述指令集的步骤之前，所述方法还包括:
[0012]所述客户端接收代理配置信息进行配置，所述代理配置信息包括源系统信息和目标系统信息。
[0013]在其中一个实施例中，所述目标系统服务器配置数据集成规则，包括:
[0014]所述目标系统服务器设置所述源系统的关联数据表信息；
[0015]所述目标系统服务器设置源系统基础数据与目标系统基础数据的映射关系；
[0016]所述目标系统服务器设置源系统业务数据与目标系统业务数据的映射关系；[0017]所述目标系统服务器设置所述中间数据与所述目标数据转换规则；
[0018]所述目标系统服务器设置调度策略，所述调度策略包括所述客户端从所述目标系统服务器获取所述指令集的第一频率，以及所述目标系统服务器将所述中间数据转换为所述目标数据的第二频率。
[0019]在其中一个实施例中，所述客户端获取所述指令集，并根据所述指令集从源系统数据表中获取数据进行处理得到中间数据，包括:
[0020]所述客户端根据所述调度策略，按照第一频率从所述目标系统服务器获取所述指令集；
[0021]所述客户端根据所述源系统的关联数据表信息，将所述源系统中的多个基础数据表或业务数据表进行关联；
[0022]所述客户端从所述多个基础数据表或业务数据表取数据，并根据所述源系统基础数据与目标系统基础数据的映射关系，以及源系统业务数据与目标系统业务数据的映射关系，对所取的数据进行处理得到中间数据。
[0023]在其中一个实施例中，所述客户端从所述多个基础数据表或业务数据表中取数据，包括:
[0024]所述客户端创建增量表，在所述增量表中记录所取数据的数据标识。
[0025]在其中一个实施例中，所述目标系统服务器将所述中间数据转换为目标数据，包括:
[0026]所述目标系统服务器根据所述中间数据与所述目标数据转换规则，按照所述第二频率将所述中间数据转换为目标数据。
[0027]—种数据集成系统，包括:源系统和目标系统；所述源系统包括客户端、源系统数据库；所述目标系统包括目标系统服务器、目标系统数据库；
[0028]所述目标系统服务器，用于配置数据集成规则，并根据所述数据集成规则创建客户端所要执行的指令集；
[0029]所述客户端，用于获取所述指令集，并根据所述指令集从所述源系统数据库中获取数据进行处理得到中间数据；
[0030]所述客户端，还用于将所述中间数据传输至所述目标系统服务器；
[0031]所述目标系统服务器，还用于将所述中间数据转换为目标数据，并保存在所述目标系统数据库中。
[0032]在其中一个实施例中，所述客户端还用于接收代理配置信息进行配置，所述代理配置信息包括源系统信息和目标系统信息。
[0033]在其中一个实施例中，所述目标系统服务器用于设置所述源系统的关联数据表信息、源系统基础数据与目标系统基础数据的映射关系、源系统业务数据与目标系统业务数据的映射关系、调度策略，所述调度策略包括所述客户端从所述目标系统服务器获取所述指令集的第一频率，以及所述目标系统服务器将所述中间数据转换为所述目标数据的第二频率。
[0034]在其中一个实施例中，所述客户端用于根据所述调度策略，按照第一频率从所述目标系统服务器获取所述指令集，以及根据所述源系统的关联数据表信息，将所述源系统数据库中的多个基础数据表或业务数据表进行关联，以及从所述多个基础数据表或业务数据表取数据，并根据所述源系统基础数据与目标系统基础数据的映射关系，以及源系统业务数据与目标系统业务数据的映射关系，对所取的数据进行处理得到中间数据。
[0035]在其中一个实施例中，所述客户端还用于创建增量表，在所述增量表中记录所取数据的数据标识。
[0036]在其中一个实施例中，所述目标系统服务器用于根据所述中间数据与所述目标数据转换规则，按照所述第二频率将所述中间数据转换为目标数据，并保存在所述目标系统数据库中。
[0037]上述数据集成方法和数据集成系统，在目标系统服务器端配置数据集成规则，自动生成客户端所要执行的指令集。客户端获取指令集从源系统数据表获取数据进行处理得到中间数据，并将中间数据发送到目标系统服务器。目标系统服务器将中间数据转换为目标数据，保存在目标系统数据库中，相比于传统技术中的web service、FTP、MQ等技术,降低了数据集成的实施成本和维护成本。
【专利附图】
【附图说明】
[0038]图1为一个实施例中提供的数据集成方法的流程示意图；
[0039]图2为一个实施例中提供的数据集成方法的流程示意图；
[0040]图3为一个实施例中提供的数据集成系统的结构示意图。
【具体实施方式】
[0041]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0042]参见图1，在一个实施例中提供了一种数据集成方法。该数据集成方法可以实现将源系统数据库中的数据经过处理集成到目标系统的数据库中，从而能够使目标系统的客户端能够共享数据。该方法尤其可以使用于目标系统无法直接访问源系统数据库的应用场景。本实施例所提供的数据集成方法，其流程包括:
[0043]步骤102，目标系统服务器配置数据集成规则，并根据数据集成规则创建客户端所要执行的指令集。
[0044]具体的，根据数据集成的源系统和目标系统的数据类型、性质，在目标系统服务器端配置数据集成规则，例如可以在目标系统服务器设置需要从源系统的数据库中哪些数据表获取数据，这些数据表可以包括基础数据表和业务数据表，其中业务数据表为引用至少一个基础数据表的数据表。目标系统服务器还可以设置源系统基础数据与目标系统基础数据的映射关系，包括类型和值的映射关系，例如在源系统中基础数据以人民币结算，目标系统基础数据以美元结算，在目标系统数据库设置人民币与美元的映射关系。目标系统服务器还可以设置源系统业务数据与目标系统业务数据的映射关系以及调度策略，其中调度策略包括客户端轮循访问目标系统服务器的频率等。在本实施例中，客户端可以设置在源系统中，也可以设置在非源系统中，只要客户端可以访问源系统的数据库，并且可以通过广域网等方式连接目标系统服务器。目标系统在完成数据集成规则配置后，创建客户端所要执行的指令集。[0045]步骤104，客户端获取指令集，并根据指令集从源系统数据表中获取数据进行处理得到中间数据。
[0046]具体的，客户端可以通过广域网从目标系统服务器获取指令集，并在客户端进行执行，访问源系统数据库中的数据表获取数据进行处理，得到中间数据。中间数据相对于源系统的原始数据，已经根据目标系统服务器配置的数据集成规则，进行了格式和值的转换。
[0047]步骤106，客户端将中间数据传输到目标系统服务器。
[0048]具体的，客户端通过广域网将数据传输给目标系统服务器。目标系统服务器创建中间数据表，保存中间数据。
[0049]步骤108，目标系统服务器将中间数据转换为目标数据，并保存在目标系统数据表中。
[0050]具体的，目标系统服务器接收到中间数据后，为实现目标系统的客户端能够共享数据，目标系统服务器可以将中间数据实时或定期转换为目标系统能够直接识别和应用的目标数据，并保存在目标系统数据库的数据表中。
[0051]参见图2，在另一个实施例中，提供了一种数据集成方法。该方法包括:
[0052]步骤202，客户端接收代理配置信息进行配置。
[0053]具体的，在本实施例中，客户端选择设置在源系统的计算机中，由此客户端可以访问源系统的数据库并获取数据。同时为了使客户端能够连接到目标系统服务器，将代理文件复制到客户端，由客户端接收代理配置信息进行配置。代理配置信息包括源系统信息和目标系统信息。源系统信息包括客户端的网络地址、源系统数据库名称和地址、访问源系统数据库的用户名和密码等。目标系统信息包括登录目标系统服务器的用户名和密码，其中该用户名和密码与客户端唯一对应，目标系统信息还包括客户端连接目标系统服务器的协议类型(如http等)、目标系统服务器地址、目标系统数据库名称和地址等。
[0054]步骤204，目标系统服务器配置数据集成规则，并根据数据集成规则创建客户端所要执行的指令集。
[0055]具体的，在本实施例中，目标系统服务器配置数据集成规则包括:目标系统服务器设置源系统的关联数据表信息，其中关联的数据表可以是多个基础数据表或业务数据表；目标系统服务器设置源系统基础数据与目标系统基础数据的映射关系，包括类型和值的映射；目标系统服务器设置源系统业务数据与目标系统业务数据的映射关系；目标系统服务器设置、中间数据与、目标数据转换规则，例如动态会计规则等；目标系统服务器设置调度策略，其中调度策略包括客户端从目标系统服务器获取指令集的第一频率，例如每180秒获取一次，以及目标系统服务器将中间数据转换为目标数据的第二频率，例如可以定期设置为每4小时转换一次等。目标系统服务器完成上述配置，创建客户端所要执行的指令集。
[0056]步骤206，客户端获取指令集，并根据指令集从源系统数据表获取数据进行处理得到中间数据。
[0057]具体的，客户端根据调度策略，按照第一频率从目标系统服务器获取指令集，将源系统中的多个基础数据表或业务数据表进行关联，从关联的多个基础数据表或业务数据表取数据，并对所取的数据进行处理得到中间数据。在本实施例中，客户端在取数的过程中，创建增量表，记录所取数据的数据标识，防止重复取数，在取数完成后，客户端删除增量表。
[0058]步骤208，客户端将中间数据传输至目标系统服务器。[0059]客户端得到中间数据后，按照客户端与目标系统服务器连接的协议类型，将中间数据传输到目标系统服务器。目标系统服务器创建中间数据表保存中间数据。
[0060]步骤210，目标系统服务器将中间数据转换为目标数据，并保存在目标系统数据表中。
[0061]具体的，目标系统服务器按照预设的第二频率，定期将中间数据转换为目标数据。
[0062]上述数据集成方法和数据集成系统，在目标系统服务器端配置数据集成规则，自动生成客户端所要执行的指令集。客户端获取指令集从源系统数据表获取数据进行处理得到中间数据，并将中间数据发送到目标系统服务器。目标系统服务器将中间数据转换为目标数据，保存在目标系统数据库中，相比于传统技术中的web service、FTP、MQ等技术,降低了数据集成的实施成本和维护成本。
[0063]参见图3，在一个实施例中提供了一种数据集成系统。该数据集成系统包括源系统和目标系统。目标系统包括目标系统服务器301、目标系统数据库303、目标系统客户端(如305、307等)，目标系统服务器301、目标系统客户端305、目标系统客户端307之间通过网络2相连接，其中网络2可以是局域网。源系统包括客户端302、客户端304、源系统服务器306、源系统数据库308，客户端302、客户端304、源系统服务器306之间通过网络I相连接，网络I可以但不限于是局域网。在本实施例中，目标系统服务器301无法直接访问源系统服务器308。客户端304可以通过网络3与目标系统服务器301建立连接，网络3可以是广域网。
[0064]本实施例提供的数据集成系统，其工作原理如下:
[0065]将代理文件复制到源系统中客户端(以客户单304为例)，由客户端304接收用户输入的代理配置信息进行配置。代理配置信息包括源系统信息和目标系统信息。源系统信息包括客户端304的网络地址、源系统数据库308名称和地址、访问源系统数据库308的用户名和密码等。目标系统信息包括登录目标系统服务器301的用户名和密码、客户端304连接目标系统服务器301的协议类型(如http等)、目标系统服务器301地址、目标系统数据库303名称和地址等。配置完成后，客户端304既可以通过网络I向源系统服务器306请求访问源系统数据库308，也可以通过网络3与目标系统服务器301进行交互。
[0066]目标系统服务器301配置数据集成规则，如目标系统服务器301可以设置源系统的关联数据表信息，其中关联的数据表可以是源系统数据库308中的多个基础数据表或业务数据表。目标系统服务器301还需要设置源系统基础数据与目标系统基础数据的映射关系，包括类型和值的映射。以及设置源系统业务数据与目标系统业务数据的映射关系、中间数据与目标数据转换规则(如动态会计规则等)、调度策略等，其中调度策略包括客户端从目标系统服务器获取指令集的第一频率，以及目标系统服务器将中间数据转换为目标数据的第二频率。目标系统服务器完成上述配置，创建客户端所要执行的指令集。
[0067]客户端304按照第一频率，通过网络3从目标系统服务器301获取指令进行执行，将源系统数据库308中的多个基础数据表或业务数据表进行关联，从关联的多个基础数据表或业务数据表取数据，并对所取的数据进行处理得到中间数据。客户端304在取数的过程中，创建增量表，记录所取数据的标识(ID)，避免重复取数。
[0068]客户端304将中间数据传输到目标系统服务器301中，由目标系统服务器创建中间数据表进行保存。[0069]目标系统服务器301按照第二频率定期将中间数据转换为目标数据，并保存在目标系统数据库303中。从而，目标系统客户端305和307等可以通过网络2访问目标系统数据库303，实现了将源系统中的数据集成到目标系统中。
[0070]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(Random AccessMemory, RAM)等。
[0071]以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【权利要求】
1.一种数据集成方法，其特征在于，所述方法包括: 目标系统服务器配置数据集成规则，并根据所述数据集成规则创建客户端所要执行的指令集； 所述客户端获取所述指令集，并根据所述指令集从源系统数据表中获取数据进行处理得到中间数据； 所述客户端将所述中间数据传输至所述目标系统服务器； 所述目标系统服务器将所述中间数据转换为目标数据，并保存在目标系统数据表中。
2.根据权利要求1所述的方法，其特征在于，在所述客户端获取所述指令集的步骤之前，所述方法还包括: 所述客户端接收代理配置信息进行配置，所述代理配置信息包括源系统信息和目标系统信息。
3.根据权利要求1或2任一项所述的方法，其特征在于，所述目标系统服务器配置数据集成规则，包括: 所述目标系统服务器设置所述源系统的关联数据表信息； 所述目标系统服务器设置源系统基础数据与目标系统基础数据的映射关系； 所述目标系统服务器设置源系统业务数据与目标系统业务数据的映射关系； 所述目标系统服务器设置所述中间数据与所述目标数据转换规则； 所述目标系统服务器设 置调度策略，所述调度策略包括所述客户端从所述目标系统服务器获取所述指令集的第一频率，以及所述目标系统服务器将所述中间数据转换为所述目标数据的第二频率。
4.根据权利要求3所述的方法，其特征在于，所述客户端获取所述指令集，并根据所述指令集从源系统数据表中获取数据进行处理得到中间数据，包括: 所述客户端根据所述调度策略，按照第一频率从所述目标系统服务器获取所述指令集; 所述客户端根据所述源系统的关联数据表信息，将所述源系统中的多个基础数据表或业务数据表进行关联； 所述客户端从所述多个基础数据表或业务数据表取数据，并根据所述源系统基础数据与目标系统基础数据的映射关系，以及源系统业务数据与目标系统业务数据的映射关系，对所取的数据进行处理得到中间数据。
5.根据权利要求4所述方法，其特征在于，所述客户端从所述多个基础数据表或业务数据表中取数据，包括: 所述客户端创建增量表，在所述增量表中记录所取数据的数据标识。
6.根据权利要求3所述的方法，其特征在于，所述目标系统服务器将所述中间数据转换为目标数据，包括: 所述目标系统服务器根据所述中间数据与所述目标数据转换规则，按照所述第二频率将所述中间数据转换为目标数据。
7.一种数据集成系统，其特征在于，所述数据集成系统包括:源系统和目标系统；所述源系统包括客户端、源系统数据库；所述目标系统包括目标系统服务器、目标系统数据库； 所述目标系统服务器，用于配置数据集成规则，并根据所述数据集成规则创建客户端所要执行的指令集； 所述客户端，用于获取所述指令集，并根据所述指令集从所述源系统数据库中获取数据进行处理得到中间数据； 所述客户端，还用于将所述中间数据传输至所述目标系统服务器； 所述目标系统服务器，还用于将所述中间数据转换为目标数据，并保存在所述目标系统数据库中。
8.根据权利要求7所述的数据集成系统，其特征在于，所述客户端还用于接收代理配置信息进行配置，所述代理配置信息包括源系统信息和目标系统信息。
9.根据权利要求7或8所述的数据集成系统，其特征在于，所述目标系统服务器用于设置所述源系统的关联数据表信息、源系统基础数据与目标系统基础数据的映射关系、源系统业务数据与目标系统业务数据的映射关系、调度策略，所述调度策略包括所述客户端从所述目标系统服务器获取所述指令集的第一频率，以及所述目标系统服务器将所述中间数据转换为所述目标数据的第二频率。
10.根据权利要求9所述的数据集成系统，其特征在于，所述客户端用于根据所述调度策略，按照第一频率从所述目标系统服务器获取所述指令集，以及根据所述源系统的关联数据表信息，将所述源系统数据库中的多个基础数据表或业务数据表进行关联，以及从所述多个基础数据表或业务数据表取数据，并根据所述源系统基础数据与目标系统基础数据的映射关系，以及源系统业务数据与目标系统业务数据的映射关系，对所取的数据进行处理得到中间数据。
11.根据权利要求10所述的数据集成系统，其特征在于，所述客户端还用于创建增量表，在所述增量表中记录所取数据的数据标识。
12.根据权利要求 9所述的数据集成系统，其特征在于，所述目标系统服务器用于根据所述中间数据与所述目标数据转换规则，按照所述第二频率将所述中间数据转换为目标数据，并保存在所述目标系统数据库中。
【文档编号】G06F17/30GK103744949SQ201310754726
【公开日】2014年4月23日 申请日期:2013年12月31日 优先权日:2013年12月31日
【发明者】唐静, 谷泉, 陈建波, 赵俊峰 申请人:金蝶软件（中国）有限公司