一种数据集成系统及方法与流程

本发明实施例涉及数据处理技术领域，尤其涉及一种数据集成系统及方法。

背景技术：

在企业中，由于开发时间或开发部门的不同，往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行，这些系统的数据源彼此独立、相互封闭。在实施数据共享的过程当中，由于数据可能来自不同的途径，其数据内容、数据格式和数据质量千差万别，有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等问题，严重阻碍了数据在各部门和各软件系统中的流动与共享。

为了将这些分布的、异构的数据信息进行整合，需要进行数据集成。现有的数据集成方案，一般是有开发基础的实施人员，根据业务需要，进行软件编码，实现数据库和软件系统之间的数据同步等数据集成工作。然而，目前的数据集成方法对实施人员要求高，会造成交付的标准不统一。数据集成的质量和后期维护难以保证，导致资源投入较大。

因此，现在亟需一种数据集成系统及方法来解决上述问题。

技术实现要素：

针对现有技术存在的问题，本发明实施例提供一种数据集成系统及方法。

第一方面，本发明实施例提供了一种数据集成系统，包括：数据集成任务模块、执行模块和控制模块，其中：

所述数据集成任务模块，基于eclipsercp平台构建得到，连接多个数据源，根据所述控制模块发送的数据集成指令，从多个数据源中提取待处理数据，并生成对应的数据集成任务，以供所述执行模块对所述待处理数据进行处理；

所述执行模块，用于执行所述数据集成任务，对所述待处理数据进行分析处理，将符合预设条件的目标数据集成到目标数据库，以供用户终端调取所述目标数据；

所述控制模块，用于发送所述数据集成指令到所述数据集成任务模块，并对所述执行模块进行调度控制，将所述目标数据发送到所述用户终端。

第二方面，本发明实施例提供了一种基于第一方面所述的数据集成系统的数据集成方法，包括：

获取用户终端发送的数据集成请求；

根据所述数据集成请求从多个数据源中提取待处理数据，并生成对应的数据集成任务；

对所述数据集成任务的待处理数据进行分析处理，将符合预设条件的目标数据集成到目标数据库，以供用户终端调取所述目标数据。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第二方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第二方面所提供的方法的步骤。

本发明实施例提供的一种数据集成系统和方法，通过基于eclipsercp平台构建得到的数据集成任务模块为非专业编程人员提供可视化操作，并将数据集成需求自动生成相应的数据集成任务，通过执行模块完成数据集成工作，避免复杂的编程语法，降低终端用户的使用难度，保证了数据集成方案的交付标准统一，减轻了后续维护工作量，提高了数据集成的质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据集成系统的结构示意图；

图2为本发明实施例提供的数据集成方法的流程示意图；

图3为本发明实施例提供的电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

不断发展的计算机技术趋势数据集成系统的规模和复杂性日益增加，信息量的迅猛增长，对系统的性能、可扩展性和易维护性等要求也越来越高。然而，在对异构数据源进行集成时，一般需要通过数据汇聚的语言，对于无编程经验的用户，如果需要学习一系列的指令或者脚本，才能实现数据的集成，并消除集成数据之间的异构性和自治性的问题，保证数据的权限，是十分困然的，而且需要长时间的学习，更多的用户更愿意使用一些简单的鼠标拖拽就可以完成符合要求的数据集成或者查询语句。

图1为本发明实施例提供的数据集成系统的结构示意图，如图1所示，本发明实施例提供了一种数据集成系统，包括：数据集成任务模块101、执行模块102和控制模块103，其中：

所述数据集成任务模块101，基于eclipsercp平台构建得到，连接多个数据源，根据所述控制模块103发送的数据集成指令，从多个数据源中提取待处理数据，并生成对应的数据集成任务，以供所述执行模块102对所述待处理数据进行处理；

所述执行模块102，用于执行所述数据集成任务，对所述待处理数据进行分析处理，将符合预设条件的目标数据集成到目标数据库，以供用户终端调取所述目标数据；

所述控制模块103，用于发送所述数据集成指令到所述数据集成任务模块101，并对所述执行模块102进行调度控制，将所述目标数据发送到所述用户终端。

在本发明实施例中，数据集成任务模块101基于eclipsercp平台进行构建，将用户界面和业务逻辑分离，数据集成任务模块101中设置有多种数据源，每个数据源组件负责对接一种数据源，包括机系统、关系数据库、可扩展标记语言、应用程序和电子数据表等。用户可以通过控制模块103上的显示单元上进行可视化操作，通过输入简单的数据类型信息，将对应的数据集成指令发送到数据集成任务模块101，从而生成对应的数据集成任务。在此过程中，无需用户对数据集成任务进行编程处理，只需要将所需的数据相关信息输入到可视化窗口，即可通过数据集成任务模块101自动生成数据集成的计划任务。然后，数据集成任务模块101将自动生成的数据集成任务发送到执行模块102，同时从多个数据源中提取和数据集成任务相关的数据，执行模块102对这些待处理数据进行分析处理，根据预设的数据执行标准，对具有潜在质量问题的数据进行标记，并将错误或者重复的数据进行删除，以保证数据的质量、准确性和完整性，最后将这些处理后的目标数据集成到目标数据库，用户可以通过可视化窗口对这些数据进行调度或者查询。

本发明实施例通过基于eclipsercp平台构建得到数据集成任务模块101为非专业编程人员提供可视化操作，并将数据集成需求自动生成相应的数据集成任务，通过执行模块102完成数据集成工作，避免复杂的编程语法，降低终端用户的使用难度，保证了数据集成方案的交付标准统一，减轻了后续维护工作量，提高了数据集成的质量。

在上述实施例的基础上，所述多个数据源包括：主机系统、关系数据库、可扩展标记语言、应用程序和电子数据表。

在上述实施例的基础上，所述控制模块103还用于获取所述执行模块102的状态日志，以对所述执行模块102进行数据同步监控。

在本发明实施例中，当数据源进行更新或者删除时，执行模块102对目标数据库进行数据同步，控制模块103实时监控执行模块102的状态日志，并通过可视化窗口显示相应的同步信息。

在上述实施例的基础上，所述控制模块103包括：

指令输入单元，用于提供应用程序编程接口，以得到数据集成的任务指令；

显示单元，用于对数据集成的执行情况进行可视化显示。

图2为本发明实施例提供的数据集成方法的流程示意图，如图2所示，本发明实施例提供了一种基于上述数据集成系统的数据集成方法，包括：

步骤201，获取用户终端发送的数据集成请求；

步骤202，根据所述数据集成请求从多个数据源中提取待处理数据，并生成对应的数据集成任务；

步骤203，对所述数据集成任务的待处理数据进行分析处理，将符合预设条件的目标数据集成到目标数据库，以供用户终端调取所述目标数据。

在本发明实施例中，首先，通过步骤201，获取用户终端发送的数据集成请求。需要说明的是，本发明实施例可以对企业内部提供数据集成服务，也可以通过saasapps为业务合作伙伴提供数据集成服务，用户基于可视化窗口，对数据集成制定计划。在获取到数据集成请求之后，通过步骤202，根据所述数据集成请求从多个数据源中提取待处理数据，并生成对应的数据集成任务。根据用户的数据集成需求，从主机系统、关系数据库、可扩展标记语言、应用程序和电子数据表等数据源中提取待处理的数据，并为这些待处理的数据生成相应的数据集成任务。

最后，通过步骤203，对所述数据集成任务的待处理数据进行分析处理，将符合预设条件的目标数据集成到目标数据库，以供用户终端调取所述目标数据。在本发明实施例中，对这些待处理数据进行分析处理，根据预设的数据执行标准，对具有潜在质量问题的数据进行标记，并将错误或者重复的数据进行删除，以保证数据的质量、准确性和完整性，最后将这些处理后的目标数据集成到目标数据库，用户可以通过可视化窗口对这些数据进行调度或者查询。

本发明实施例通过为非专业编程人员提供可视化操作，并将数据集成需求自动生成相应的数据集成任务，从而完成数据集成工作，避免复杂的编程语法，降低终端用户的使用难度，保证了数据集成方案的交付标准统一，减轻了后续维护工作量，提高了数据集成的质量。

在上述实施例的基础上，在所述对所述数据集成任务的待处理数据进行分析处理，将符合预设条件的目标数据集成到目标数据库，以供用户终端调取所述目标数据之后，所述方法还包括：

对所述目标数据库进行数据监控，根据数据源中对应数据的更新状态，对所述目标数据库进行同步。

图3为本发明实施例提供的电子设备结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(communicationsinterface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行如下方法：获取用户终端发送的数据集成请求；根据所述数据集成请求从多个数据源中提取待处理数据，并生成对应的数据集成任务；对所述数据集成任务的待处理数据进行分析处理，将符合预设条件的目标数据集成到目标数据库，以供用户终端调取所述目标数据。

此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取用户终端发送的数据集成请求；根据所述数据集成请求从多个数据源中提取待处理数据，并生成对应的数据集成任务；对所述数据集成任务的待处理数据进行分析处理，将符合预设条件的目标数据集成到目标数据库，以供用户终端调取所述目标数据。

本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述实施例所提供的数据集成方法，例如包括：获取用户终端发送的数据集成请求；根据所述数据集成请求从多个数据源中提取待处理数据，并生成对应的数据集成任务；对所述数据集成任务的待处理数据进行分析处理，将符合预设条件的目标数据集成到目标数据库，以供用户终端调取所述目标数据。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。