多源数据处理方法、装置、电子设备及可读存储介质与流程

1.本技术涉及数据处理技术领域，尤其涉及一种多源数据处理方法、装置、电子设备及可读存储介质。


背景技术：

2.随着计算机技术的不断发展，各行各业都迎来了数字化的浪潮，对于软件系统生产厂商而言，在数字化转型的过程中也迎来了新的挑战，大多数企业的不同部门会设置有不同的数据系统，各数据系统的数据库相互独立导致企业内部数据互不相通，与此同时，企业面向的用户群体数据繁多且复杂，进而导致企业内跨数据库的多源数据处理成为亟待解决的问题，目前，数据工程师通常通过数据平台一一筛选来自于企业不同数据库中的数据，进而在提取数据后进行数据处理，以实现企业内部的数据处理需求，但是，由于海量数据的采集工作量之大和高质量数据标准模糊等原因，导致数据工程师通常需耗费大量时间进行数据处理需求的配置，所以，当前进行多源数据处理的处理效率低。


技术实现要素：

3.本技术的主要目的在于提供一种多源数据处理方法、装置、电子设备及可读存储介质，旨在解决现有技术中进行多源数据处理的处理效率低的技术问题。
4.为实现上述目的，本技术提供一种多源数据处理方法，所述多源数据处理方法包括：通过任务配置界面获取用户针对于待处理任务输入的数据源信息；依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据；将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据；通过所述任务配置界面获取所述待处理任务的任务执行参数，依据所述任务执行参数，执行所述待处理任务，以处理所述待处理多源数据。
5.为实现上述目的，本技术还提供一种多源数据处理装置，所述多源数据处理装置包括：获取模块，用于通过任务配置界面获取用户针对于待处理任务输入的数据源信息；更新模块，用于依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据；拉取模块，用于将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据；执行模块，用于通过所述任务配置界面获取所述待处理任务的任务执行参数，依据所述任务执行参数，执行所述待处理任务，以处理所述待处理多源数据。
6.本技术还提供一种电子设备，所述电子设备包括：存储器、处理器以及存储在所述
存储器上并可在所述处理器上运行的所述多源数据处理方法的程序，所述多源数据处理方法的程序被处理器执行时可实现如上述的多源数据处理方法的步骤。
7.本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现多源数据处理方法的程序，所述多源数据处理方法的程序被处理器执行时实现如上述的多源数据处理方法的步骤。
8.本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的多源数据处理方法的步骤。
9.本技术提供了一种多源数据处理方法、装置、电子设备及可读存储介质，也即，通过任务配置界面获取用户针对于待处理任务输入的数据源信息；进而依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据，也即，实现了基于简单的人机交互，交互式获取待处理任务对应的至少一个待拉取任务数据的目的；进而将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据；进而通过所述任务配置界面获取所述待处理任务的任务执行参数，依据所述任务执行参数，执行所述待处理任务，以处理所述待处理多源数据。由于待拉取任务数据是通过在任务配置界面进行简单人机交互，交互式导入的数据源信息和预设数据更新方式即可确定的，而非在获取待处理多源数据时，需通过数据平台一一筛选来自于企业不同数据库中的海量数据，进而在提取等待进行数据处理的相关数据后进行数据处理，所以克服了由于海量数据的采集工作量之大和高质量数据标准模糊等原因，导致通常需耗费大量时间进行数据处理需求的配置的技术缺陷，所以，提升了进行多源数据处理的处理效率。
附图说明
10.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
11.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
12.图1为本技术多源数据处理方法第一实施例的流程示意图；图2为本技术多源数据处理方法第二实施例的流程示意图；图3为本技术多源数据处理方法告警规则的设置界面示意图；图4为本技术多源数据处理装置实施例的示意图；图5为本技术实施例中多源数据处理方法涉及的硬件运行环境的设备结构示意图。
13.本技术目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
14.为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技
术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
15.实施例一首先，应当理解的是，在企业进行数据处理的过程中，通常会存在需对不同的数据库的数据进行整合后再进行数据处理的应用场景，例如，假设数据库a存储有数据、数据和数据，数据库b存储有数据、和，倘若用户需通过数据和数据整合为数据，进而再对数据进行数据处理，此时通常需通过专业的数据工程师遍历采集所有数据库的数据，在查询到数据和数据再进行符合数据处理需求的数据处理参数配置，以实现对数据的数据处理，但是，企业面向的用户群体通常较为复杂，与此同时，由于企业内部数据库相互独立，导致数据库中的用户群体数据繁杂、冗余且缺乏统一的定义标准，进而衍生出一系列亟待解决的问题，例如，如何根据需求快速迭代处理不同服务对象的应用数据，以获取高质量数据辅助决策，以及如何在众多数据处理任务中，快速指定并执行任务以满足数据处理需求等，而各问题之间存在同一通病，也即，由于进行处理的数据来源于不同数据库，进而使得符合数据处理需求的多源数据的数据整合周期过长，最终导致多源数据处理的过程通常将耗费大量时间，所以，目前亟需一种提升多源数据处理的处理效率的方法。
16.本技术实施例提供一种多源数据处理方法，在本技术多源数据处理方法的第一实施例中，参照图1，所述多源数据处理方法包括：步骤s10，通过任务配置界面获取用户针对于待处理任务输入的数据源信息；步骤s20，依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据；在本实施例中，需要说明的是，所述待处理任务用于表征跨数据库的多源数据的数据处理需求，也即，执行所述待处理任务是为了对所述多源数据进行数据处理，所述多源数据为待处理任务对应的任务数据整合而成的数据，其中，任务数据用于表征所述待处理任务对应的原始数据，具体为某一数据源对应的原始数据，两个及两个以上不同数据源对应的原始数据即可组成所述多源数据，也即，所述多源数据为多数据源对应的原始数据整合而成的数据，多源数据的数据处理过程也即需跨数据库获取不同数据源对应的原始数据，进而将各原始数据整合成多源数据，进而依据数据处理需求进行数据处理的过程，所以，所述目标数据库用于表征存储有所述任务数据的数据库，所述目标数据库可以为两个及以上，具体可以为不同服务对象的同一业务数据对应的数据库，或者同一服务对象的不同业务数据对应的数据库，所述业务数据具体可以为业务应用数据、业务工单数据、业务告警数据、业务监控数据以及业务系统设置数据等，所述数据处理需求由用户决定，用于进行自定义数据的获取、生成、修改以及分析等，所述待处理任务由所述数据处理需求决定，具体可以为获取多个不同服务对象的同一业务数据，也可以为同一服务对象的多个业务数据等，例如，在一种可实施的方式中，假设所述服务对象为租户，存储租户服务数据的数据库共有1000个，所述多源数据的数据处理需求为通过获取涵盖地区e和地区f的1000个租户的租户服务数据生成自定义数据，由于各数据库相互独立，则需通过遍历存储地区e和地区f共同对应的1000个数据库，即可获取到存储于1000个数据库中的任务数据，进而通过分别对1000个任务数据进行更新得到多源数据，进而对多源数据进行数据处理，生成自定义数
据。
17.另外地，需要说明的是，所述多源数据处理方法应用于多源数据处理系统，所述多源数据处理系统设置于具备数据处理功能的智能显示终端，所述智能显示终端具体可以为电脑以及个人pc等，所述智能显示终端设置有任务配置界面，所述任务配置界面为配置所述待处理任务的可视化人机交互界面，所述任务配置界面可接收用户通过文本命令或语音命令输入的人机交互指令，所述人机交互指令用于实现所述待处理任务相关的人机交互配置，例如所述任务数据的数据源配置、所述多源数据数据的存储数据库配置以及所述任务数据的数据处理方式配置，所述数据源信息用于表征所述待处理任务的任务数据对应的数据源，所述数据源为连接到数据库的一类路径，具体包括但不限于数据库地址、端口、数据库名称、数据库用户名、数据库密码等，也即，所述数据源信用于定位所述待处理任务对应的各任务数据，例如，在一种可实施的方式中，所述服务对象为租户，所述任务配置界面包括租户获取方式、数据库地址、端口、数据库名称、数据库用户名以及数据库密码，当用户在任务配置界面输入相应信息后，所述多源数据处理系统即可获取所述数据源信息，并根据所述数据源信息提取所述待处理任务对应的原始数据，其中，所述原始数据也可称之为“源数据”。
18.另外地，需要说明的是，所述待拉取任务数据用于表征等待拉取至预设多源数据库的任务数据，所述待处理多源数据用于表征等待进行数据处理任务数据，具体为进行更新后且已拉取至预设多源数据库的各任务数据，由于不同的任务数据来自于不同数据库，而不同数据库的业务数据通常没有统一的标准，为了整合任务数据，可借助数据仓库的能力统一数据模型、统一采集以及统一技术架构，所以，所述待处理任务可以为基于数据仓库的待处理任务，所述预设数据更新方式用于表征所述待处理任务对应的各任务数据的数据更新方式，所述数据更新方式用于更新各所述任务数据，具体可以为对所述各任务数据进行数据清洗，其中，任一所述数据更新方式均采用先删后插的更新方式，所述数据更新方式具体可包括增量更新模式、全量更新模式以及拉链更新模式，其中，所述更新处理模式为每隔预设周期获取前一预设周期产生的任务数据并插入对应数据库的目标数据表，所述全量更新模式为每隔预设周期全量更新目标数据表的全部数据，所述拉链处理模式为每隔预设周期仅更新目标数据表中没有或已经发生改变的数据，其中，所述预设周期可以为一日或两日等，所述目标数据表为各所述目标数据库中存储所述任务数据的数据表，例如，在一种可实施的方式中，假设所述待处理任务为基于数据仓库的待处理任务，则用户可根据数据处理需求在任务配置界面配置具体的预设数据更新方式，进而得到待拉取任务数据。
19.作为一种示例，步骤s10至步骤s20包括：在任务配置界面的数据源配置区域获取用户针对于待处理任务输入的数据源信息，其中，所述待处理任务用于表征跨数据库的多源数据的数据处理需求，所述数据源配置区域用于配置所述待处理任务对应的任务数据的数据源；在所述任务配置界面的清洗模式配置区域获取用户针对于所述待处理任务选取的预设数据更新方式，依据所述预设数据更新方式，对所述任务数据进行更新，得到待拉取任务数据，其中，所述清洗模式配置区域用于配置数据清洗模式，所述数据清洗模式用于对所述任务数据进行清洗。
20.其中，所述通过任务配置界面获取用户针对于待处理任务输入的数据源信息的步骤包括：
步骤a10，通过所述任务配置界面获取用户针对于待处理任务输入数据源基础信息；或步骤a20，通过所述任务配置界面获取用户针对于待处理任务输入的数据源表信息和数据源基础信息。
21.在本实施例中，需要说明的是，由于数据处理需求的不同，将导致获取的任务数据的类型不同，其中，所述任务数据包括第一任务数据和第二任务数据，所述第一任务数据用于表征以单数据库形式存在的任务数据，所述第二任务数据用于表征以多数据库形式存在的任务数据，当所述任务数据为第一任务数据时，需根据数据处理需求，在多个数据库中找到存储所述待处理任务对应的第一任务数据的预设数量的数据库，进而在所述预设数量的数据库中提取所述第一任务数据，当所述任务数据为第二任务数据时，仅根据数据处理需求，配置连接该独立数据库的数据源基础信息，即可提取所述第二任务数据，例如，在一种可实施的方式，假设所述第一任务数据为业务服务数据，且存储服务对象对应的业务服务数据的数据库包括100个，所述待处理任务对应的第一任务数据包括、和，其中，存储于数据库x，存储于数据库y，存储于数据库z，则需通过配置数据源表信息，在100个数据库中筛选出x、y和z，进而通过数据源基础信息在数据库x、y和z内提取服务对象标识对应的第一任务数据、和，假设所述第二任务数据包括业务工单数据和业务告警数据，存储业务工单数据和业务告警数据的数据库均只有一个，其中，业务工单数据对应的数据库为m，业务告警数据对应的数据库为n，所述待处理任务对应的第一任务数据包括和，存储于数据库m，存储于数据库n，则通过配置数据源基础信息直接在数据库m和n中提取相应的第二任务数据，也即，提取第一任务数据相较于提取第二任务数据的过程存在数据库的筛选过程，而筛选数据库的依据为服务对象标识，所述服务对象标识用于区别标识服务对象。
22.另外地，需要说明的是，所述数据源基础信息用于表征存储所述待处理任务对应的任务数据的数据库源，所述数据源表信息用于表征存储所述待处理任务对应的任务数据的数据库中的数据源，也即，基于所述数据源基础信息可获取存储所述任务数据的数据库，基于所述数据源表信息可在存储所述任务数据的数据库中获取所述任务数据，例如，在一种可实施的方式中，所述任务配置界面包括租户获取方式、数据库地址、端口、数据库名称、数据库用户名、数据库密码以及数据表配置输入框，其中，所述租户获取方式、数据库地址、端口、数据库名称、数据库用户名和数据库密码共同作为基础信息输入框，所述基础信息输入框供用户输入所述数据源基础信息，所述数据表配置输入框用于供用户输入数据源表信息。
23.作为一种示例，步骤a10至步骤a20包括：在所述数据源配置区域的基础信息输入框获取用户针对于所述待处理任务输入的数据源基础信息；或在所述数据源配置区域的基础信息输入框获取用户针对于所述待处理任务输入的数据源基础信息，以及在所述数据源配置区域的数据表配置输入框获取用户针对于所述待处理任务输入的数据源表信息。
24.其中，所述通过所述任务配置界面获取用户针对于待处理任务输入的数据源表信
息和数据源基础信息的步骤包括：步骤b10，通过所述任务配置界面获取用户针对于待处理任务输入的数据源基础信息；步骤b20，检测所述任务配置界面对应的数据源表选项中是否存在用户针对于待处理任务配置的数据源表标识；步骤b30，若是，则依据所述数据源表标识，确定数据源表信息；步骤b40，若否，则通过任务配置界面获取用户针对于待处理任务输入的预设数量的任务标识信息，并将各所述任务标识信息共同作为所述数据源表信息。
25.在本实施例中，需要说明的是，由于不同的数据处理需求可能存在提取重复的任务数据，进而在每进行一次数据源基础信息的输入时，均可在后台数据库进行存储，进而当数据处理需求对应的任务数据为过往数据处理需求对应的任务数据时，无需再次通过简单的人机交互，进行相关数据源表信息的配置，也即，在进行多源数据处理前，可由技术人员预先配置部分数据源表信息，例如，在一种可实施的方式中，可在任务配置界面设置数据源表选项，所述数据源表选项用于拉取所述数据源表信息对应的数据源表标识，所述数据源表标识由用户自行设置，与所述数据源表信息一一对应，当用户通过某一标识选取指令选取数据源表标识后，即可由数据源表标识查询到对应的数据源表信息，其中，所述标识选取指令用于选取数据源表标识，其中，所述数据源表标识包括、、以及，其中，用于标识所有所述第一任务数据对应的数据源表信息，、和分别标识部分所述第一任务数据对应的数据源表信息，当所述数据源表选项不存在数据处理需求对应的数据源表标识时，则通过上述实施例的方法进行数据源表信息的配置。
26.作为一种示例，步骤b10至步骤b40包括：在所述数据源配置区域的基础信息输入框获取用户针对于所述待处理任务输入的数据源基础信息；检测用户是否通过所述任务配置界面对应的数据源表选项输入标识选取指令；若是，则所述任务配置界面对应的数据源表选项中存在用户针对于待处理任务配置的数据源表标识，进而以所述目标数据源表标识为索引，在预设映射表中获取所述数据源表信息，其中，所述目标数据源表标识用于标识所述待处理任务对应的数据源表信息，所述目标数据源表标识可以为所述数据源表选项中的任一数据源表标识，所述预设映射表用于存储所述数据源表信息与所述数据源表标识之间的映射关系。
27.其中，所述依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据的步骤包括：步骤c10，若所述待处理任务为所述第一待处理任务，则依据所述数据源信息，在至少一个第一目标数据库中确定所述待处理任务对应的第一任务数据；步骤c20，将所述第一待处理任务裂变为各所述第一任务数据一一对应的待处理子任务；步骤c30，依据所述预设数据更新方式和各所述待处理子任务分别对应的数据更新时间，对各所述第一任务数据进行更新，得到所述待拉取任务数据；步骤c40，若所述待处理任务为所述第二待处理任务，则依据所述数据源信息对应的第一数据存储路径，在至少一个所述第二目标数据库中确定所述第二待处理任务对应的
第二任务数据；步骤c50，依据所述预设数据更新方式，对所述第二任务数据进行更新，得到所述待拉取任务数据。
28.在本实施例中，需要说明的是，所述第一待处理任务和所述第二待处理任务可由用户在任务配置界面的任务类型选项进行选取，所述第一待处理任务用于表征由所述第一任务数据整合而成的多源数据的数据处理任务，例如多租户的多源数据处理任务等，所述第二待处理任务用于表征由所述第二任务数据整合而成的多源数据的数据处理任务，例如非多租户的交叉数据处理任务等，其中，所述第一任务数据为所述第一待处理任务的任务数据，所述第二任务数据为所述第二待处理任务的任务数据，所述交叉数据用于表征所述第二任务数据来自于不同的独立数据库，当所述待处理任务为所述第一待处理任务时，可根据目标数据源表标识，对所述待处理任务进行裂变，例如，在一种可实施的方式中，假设所述服务对象为租户，所述目标数据源表标识用于标识位于地区p的100个租户的数据源表信息，进而可根据所述目标数据源表标识和数据源基础信息，获取该100个租户对应的100个任务数据（待处理任务对应的原始数据），由于该100个任务数据隶属于100个数据库，进而可通过裂变更新加快获取待拉取任务数据的效率，也即，将100个第一任务数据对应的待处理任务裂变为100个待处理子任务，进而在预设时间段内完成更新，最终得到所述待拉取任务数据，其中，待处理子任务和所述第一任务数据一一对应，所以，所述待处理子任务的数量由所述待处理任务对应的第一任务数据的数量决定。
29.另外地，需要说明的是，所述第一待处理任务可裂变的原因在于执行所述第一任务数据的获取步骤的sql执行语句在各数据库中均可以执行，进而无需在获取第一任务数据时进行sql语句的重复编写，并且，当所述第一待处理任务进行裂变时，可通过所述第一待处理任务指定各待处理子任务的执行时间，且各所述待处理子任务可相互独立执行，当某一待处理子任务执行失败时不影响其它子任务的执行。
30.另外地，需要说明的是，所述目标数据库用于表征存储所述任务数据的数据库，具体包括第一目标数据库和第二目标数据库，所述第一目标数据库用于表征存储所述第一任务数据的数据库，当所述待处理任务为第一待处理任务时，只需遍历所有源表数据库，以查询到所述第二目标数据库，其中，所述源数据库为存储源数据的数据库，所述源表数据库为存储与所述第一任务数据的数据类型相同的源数据的数据库，当用户通过任务配置界面配置所述数据源信息后，则系统开始遍历至少一个所述源表数据库，其中遍历过程相互独立且互不影响，进而可实现在处理第一待处理任务时，提高查询所述第一任务的效率的目的，并且，由于源表数据库为同一类型的数据库，进而每个源表数据库中的数据表结构均一致，故当用户配置数据源表信息时无需重复配置，即可一次性读取所有源表数据库中的数据表，所述第二目标数据库用于表征存储所述第二任务数据的数据库，当所述待处理任务为第二待处理任务时，则通过遍历数据仓库的所有源数据库，以查询到所述第二目标数据库，进而在所述第二目标数据库的任务数据表查询到所述第二任务数据，其中，所述第一目标数据库或第二目标数据库的任务数据表用于表征不同数据库存储所述待处理任务对应的第一任务数据的数据表，各所述目标数据库存储的第一任务数据共同组成所述待拉取任务数据，所述待拉取任务数据经过预设数据更新方式更新并拉取后为所述多源数据，所述数据更新时间可由用户进行设定，不同待处理任务数据的数据更新时间可以相同或不同，当
不同第一任务数据的数据更新时间不同时，不同第一任务数据之间的时间差不超过预设时间阈值，所述预设时间阈值可依据数据量设置为1s、2s或3s，所述第一数据存储路径用于表征所述第二任务数据在单数据库的具体存储位置，具体形式为数据库实例/数据库用户名/数据库数据表/，由于在配置数据源信息时就已然输入数据库用户名，进而在获取所述待处理任务对应的数据库实例和数据表后，便能提取所述任务数据，通过数据源确认所述第一任务数据相较于所述第一数据存储路径的具体形式，增加了服务对象标识。
31.作为一种示例，步骤c10至步骤c50包括：若所述待处理任务为所述第一待处理任务，则依据所述数据源信息，在至少一个第一目标数据库中确定所述待处理任务对应的第一任务数据；将所述第一待处理任务裂变为各所述第一任务数据一一对应的待处理子任务；依据所述预设数据更新方式和各所述待处理子任务分别对应的数据更新时间，对各所述第一任务数据进行更新，得到所述待拉取任务数据；若所述待处理任务为所述第二待处理任务，则依据所述数据源信息对应的数据库用户名，确定所述第一数据存储路径，并在所述第一数据存储路径对应的数据存储空间确定所述第二任务数据；依据所述预设数据更新方式，对所述任务数据进行更新，得到所述待拉取任务数据。
32.步骤s30，将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据；步骤s40，通过所述任务配置界面获取所述待处理任务的任务执行参数，依据所述任务执行参数，执行所述待处理任务，以处理所述待处理多源数据。
33.在本实施例中，需要说明的是，当所述任务数据更新为待拉取任务数据后，需通过自主设置数据库拉取存储所述待拉取任务数据，进而当待拉取任务数据拉取至自主设置的数据库成功后，则认定所述待拉取任务数据为所述多源数据，所以，所述预设多源数据库用于存储所述待处理任务对应的多源数据，具体可以为一个，所述待处理任务的执行也即处理所述待处理多源数据，处理的方式可以为数据预览或数据生成等。
34.作为一种示例，步骤s30至步骤s40包括：将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据；在所述任务配置界面获取用户针对于所述待处理任务输入的任务执行参数，依据所述任务执行参数，执行所述待处理任务，以处理所述待处理多源数据。
35.其中，在所述将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据的步骤之前，所述多源数据处理方法还包括：步骤d10，在所述任务配置界面获取所述待拉取任务数据对应的第二数据存储路径；步骤d20，在预设多源数据库检测所述第二数据存储路径对应的数据存储空间是否存在多源数据；步骤d30，若是，则生成数据重复告警信息，并将所述数据重复告警信息在预设显示界面进行显示；步骤d40，若否，则将所述待拉取任务数据拉取至所述预设多源数据库。
36.在本实施例中，需要说明的是，所述预设多源数据库包括预设数量的多源数据表，对于所述第一任务数据整合而成的多源数据，其对应的多源数据表在创建时相较于第二任务数据整合而成的多源数据对应的多源数据表，多创建一服务对象标识字段，用于区分不
同的服务对象，所述预设多源数据库可存储于数据仓库的任一位置，所述第二存储路径用于表征所述待拉取任务数据在预设多源数据库的具体存储位置，所述第二存储路径对应的路径信息包括具体的目标库信息、多源数据表以及具体的主键，其中，主键大都是联合主键，为了避免预设多源数据库中的多源数据的准确性，在所述多源数据落库前将对所述多源数据进行重复性检测，以确保重复的多源数据不重复入库。
37.作为一种示例，步骤d10至步骤d40包括：在所述任务配置界面获取所述待拉取任务数据对应的第二数据存储路径；在预设多源数据库检测所述第二数据存储路径对应的数据存储空间是否存在多源数据；若在所述预设多源数据库检测到所述第二数据存储路径对应的数据存储空间存在多源数据，则生成数据告警信息，并将所述数据重复告警信息在预设显示界面进行显示，其中，所述数据告警信息用于告警用户所述待拉取任务数据存储重复拉取，所述预设显示界面设置于信息接收设备，所述信息接收设备可以为部署多源数据处理装置的智能终端，也可以为与部署多源数据处理装置的智能终端正常通信连接的智能显示终端，例如，在一种可实施的方式中，所述部署多远数据处理装置的智能终端为电脑，所述信息接收终端为手机，当电脑生成数据重复告警信息后，通过预设通信通道将所述数据重复告警信息发送至所述信息接收设备，以供用户通过所述信息接收设备的预设显示界面接收所述数据重复告警信息。
38.其中，所述任务执行参数包括第一任务执行参数和第二任务执行参数，所述依据所述任务执行参数，执行所述待处理任务，包括：步骤e10，在所述任务配置界面获取任务处理命令，其中，所述任务处理命令包括任务预览命令和任务执行命令；步骤e20，若所述任务处理命令为所述任务预览命令，则在所述任务配置界面显示所述第一任务执行参数对应的参数表达式；步骤e30，若所述任务处理命令为所述任务执行命令，则获取所述待处理任务对应的第二任务执行参数和对应的任务执行时间；步骤e40，依据所述第一任务执行参数、所述第二任务执行参数和所述任务执行时间，执行所述待处理任务。
39.在本实施例中，需要说明的是，当待拉取任务数据存储至预设多源数据库后，需进行任务执行参数的配置，所述任务执行参数包括第一任务执行参数和第二任务执行参数，所述第一任务执行参数用于表征所述待处理任务对应的多源数据的数据配置参数，具体包括所述待拉取任务数据的数据库处理方式、数据库地址以及数据表等，所述第二任务执行参数用于表征待处理任务对应的多源数据的数据处理参数，具体包括任务执行间隔以及任务执行优先级等，例如，在一种可实施的方式中，可在任务配置界面设置任务参数配置区域，所述任务参数配置界面设置有三个任务处理选择项，所述任务处理选择项具体为任务参数预览选取项、任务立即执行选取项以及任务定时执行选取项，当用户单击任务参数预览选取项，则在参数配置区域的参数显示框内显示参数表达式，当用户在参数配置区域输入所述第二任务参数执行参数后，方可单击任务立即执行选取项或任务定时执行选取项触发执行待处理任务，其中，当用户单击任务立即执行选取项后，所述待处理任务立即执行，当用户单击任务定时执行选取项后，弹出任务执行时间输入框，所述任务执行时间输入框用于供用户输入执行所述待处理任务的具体时间，当用户配置完数据源、sql语句以及目标
数据库后，在所述参数显示框内显示由数据源、目标库以及数据处理方式共同组成的具体参数，在一些应用场景下，倘若涉及第一任务执行参数或第二执行参数的修改，用户可通过所述任务配置界面进行简单的人机交互，交互式修改对应参数，以形成新的待处理任务，且该待处理任务按照修改后的任务执行参数进行执行。
40.作为一种示例，步骤e10至步骤e40包括：在所述任务配置界面的参数配置区域获取用户针对于所述待处理任务输入的任务处理命令，其中，所述任务处理命令包括任务预览命令和任务执行命令，所述任务预览命令用于预览所述待处理任务对应的参数表达式，所述任务执行命令用于执行所述待处理任务；若所述任务处理命令为所述任务预览命令，则在所述参数配置区域的参数显示框显示所述第一任务执行参数对应的参数表达式；若所述任务处理命令为所述任务执行命令，则在所述参数配置区域获取所述待处理任务对应的第二任务执行参数和对应的任务执行时间，其中，所述任务执行时间用于表征执行所述待处理任务的具体时间，具体可以为当前时间以及预设执行时间；依据所述第一任务执行参数、所述第二任务执行参数和所述任务执行时间，执行所述待处理任务。
41.本技术实施例提供了一种多源数据处理方法，也即，通过任务配置界面获取用户针对于待处理任务输入的数据源信息；进而依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据，也即，实现了基于简单的人机交互，交互式获取待处理任务对应的至少一个待拉取任务数据的目的；进而将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据；进而通过所述任务配置界面获取所述待处理任务的任务执行参数，依据所述任务执行参数，执行所述待处理任务，以处理所述待处理多源数据。由于待拉取任务数据是通过在任务配置界面进行简单人机交互，交互式导入的数据源信息和预设数据更新方式即可确定的，而非在获取待处理多源数据时，需通过数据平台一一筛选来自于企业不同数据库中的海量数据，进而在提取等待进行数据处理的相关数据后进行数据处理，所以克服了由于海量数据的采集工作量之大和高质量数据标准模糊等原因，导致通常需耗费大量时间进行数据处理需求的配置的技术缺陷，所以，提升了进行多源数据处理的处理效率。
42.实施例二进一步地，参照图2，在本技术另一实施例中，与上述实施例一相同或相似的内容，可以参考上文介绍，后续不再赘述。在此基础上，在所述通过所述任务配置界面获取所述待处理任务的任务执行参数，依据所述任务执行参数，执行所述待处理任务的步骤之后，所述多源数据处理方法还包括：步骤f10，检测所述待处理任务对应的任务执行过程是否满足预设告警条件；步骤f20，若是，则依据预设告警规则，生成任务告警信息，并将所述任务告警信息在预设显示界面进行显示。
43.在本实施例中，需要说明的是，在所述待处理任务的执行过程中，将对所述待处理任务的任务执行过程进行实时监控，当所述待处理任务对应的任务执行过程满足预设告警条件时，会在所述信息接收设备的预设显示界面显示任务告警信息，所述任务告警信息用于告警用户所述待处理任务的任务执行问题点，其中，所述预设告警条件由用户预先设置的告警规则触发，所述任务告警信息可以在任务执行失败时生成，也可以在任务执行成功时生成，具体取决于所述告警规则的规则参数，所述规则参数包括但不限于严重等级、告警
维度以及告警约束等，例如当所述待处理任务为第一待处理任务时，当出现所述待处理子任务执行失败时，可通过告警机器人推送所述任务告警信息，当所述待处理任务为第二待处理任务时，当任务执行时长超过预设执行时长阈值时，可通过告警机器人推送所述任务告警信息，所述执行市场阈值可以为150s、160s或180s等，设置的告警规则可存储至告警规则数据库，当任一告警规则触发时，均认为所述待处理任务的任务执行过程满足预设告警条件，参照图3，图3为表示告警规则的设置界面示意图，所述告警规则界面包括告警规则名称、告警维度、告警项、告警条件、严重等级、影响维度以及影响描述等规则定义项，其中，预设告警条件可以为通过量化的告警阈值进行检测，也可以为通过任务执行过程约束（时间）进行检测。
44.作为一种示例，步骤f10至步骤f30包括：实时监控所述待处理任务对应的任务执行过程，并检测所述任务执行过程对应的任务执行阈值是否大于预设任务执行阈值以及对应的任务执行过程约束是否满足，其中，所述任务执行阈值具体可以为待处理子任务的成功执行量；若所述任务执行阈值小于预设执行阈值或所述任务执行过程约束满足，则依据预设告警规则，生成任务告警信息，并将所述任务告警信息在预设显示界面进行显示。
45.本技术实施例提供了一种任务执行告警方法，也即，检测所述待处理任务对应的任务执行过程是否满足预设告警条件；若是，则依据预设告警规则，生成任务告警信息，并将所述任务告警信息在预设显示界面进行显示。相比于仅在数据库后台执行待处理任务的任务执行方式，本技术实施例实时监控待处理任务的任务执行过程，并通过预设告警规则，生成任务告警信息，并将任务告警信息在预设显示界面进行显示，实现了用户通过与预设显示界面之间简单的人机交互，交互式知悉任务执行过程中的问题点的目的，进而规避了当待处理任务执行出现问题后，用户无法无法定位任务执行过程中的具问题点，导致在任务执行的问题点排查上耗费大量的人力成本，所以，为提升多源数据处理的数据处理效率奠定了基础。
46.实施例三本技术实施例还提供一种多源数据处理装置，参照图4，所述多源数据处理装置包括：获取模块101，用于通过任务配置界面获取用户针对于待处理任务输入的数据源信息；更新模块102，用于依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据；拉取模块103，用于将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据；执行模块104，用于通过所述任务配置界面获取所述待处理任务的任务执行参数，依据所述任务执行参数，执行所述待处理任务，以处理所述待处理多源数据。
47.可选地，所述获取模块101还用于：通过所述任务配置界面获取用户针对于待处理任务输入数据源基础信息；或通过所述任务配置界面获取用户针对于待处理任务输入的数据源表信息和数据源基础信息。
48.可选地，所述获取模块101还用于：
通过所述任务配置界面获取用户针对于待处理任务输入的数据源基础信息；检测所述任务配置界面对应的数据源表选项中是否存在用户针对于待处理任务配置的数据源表标识；若是，则依据所述数据源表标识，确定数据源表信息；若否，则通过任务配置界面获取用户针对于待处理任务输入的预设数量的任务标识信息，并将各所述任务标识信息共同作为所述数据源表信息。
49.可选地，所述待处理任务包括第一待处理任务和第二待处理任务，所述目标数据库包括第一目标数据库和第二目标数据库，所述更新模块102还用于：若所述待处理任务为所述第一待处理任务，则依据所述数据源信息，在至少一个第一目标数据库中确定所述待处理任务对应的第一任务数据；将所述第一待处理任务裂变为各所述第一任务数据一一对应的待处理子任务；依据所述预设数据更新方式和各所述待处理子任务分别对应的数据更新时间，对各所述第一任务数据进行更新，得到所述待拉取任务数据；若所述待处理任务为所述第二待处理任务，则依据所述数据源信息对应的第一数据存储路径，在至少一个所述第二目标数据库中确定所述第二待处理任务对应的第二任务数据；依据所述预设数据更新方式，对所述第二任务数据进行更新，得到所述待拉取任务数据。
50.可选地，所述多源数据处理装置还用于：在所述任务配置界面获取所述待拉取任务数据对应的第二数据存储路径；在预设多源数据库检测所述第二数据存储路径对应的数据存储空间是否存在多源数据；若是，则生成数据重复告警信息，并将所述数据重复告警信息在预设显示界面进行显示；若否，则将所述待拉取任务数据拉取至所述预设多源数据库。
51.可选地，所述任务执行参数包括第一任务执行参数和第二任务执行参数，所述执行模块104还用于：在所述任务配置界面获取任务处理命令，其中，所述任务处理命令包括任务预览命令和任务执行命令；若所述任务处理命令为所述任务预览命令，则在所述任务配置界面显示所述第一任务执行参数对应的参数表达式；若所述任务处理命令为所述任务执行命令，则获取所述待处理任务对应的第二任务执行参数和对应的任务执行时间；依据所述第一任务执行参数、所述第二任务执行参数和所述任务执行时间，执行所述待处理任务。
52.可选地，所述多源数据处理装置还用于：检测所述待处理任务对应的任务执行过程是否满足预设告警条件；若是，则依据预设告警规则，生成任务告警信息，并将所述任务告警信息在预设显示界面进行显示。
53.本发明提供的多源数据处理装置，采用上述实施例中的多源数据处理方法，解决了进行多源数据处理的处理效率低的技术问题。与现有技术相比，本发明实施例提供的多源数据处理装置的有益效果与上述实施例提供的多源数据处理方法的有益效果相同，且该多源数据处理装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
54.实施例四本发明实施例提供一种电子设备，电子设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例一中的多源数据处理方法。
55.下面参考图5，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda（个人数字助理）、pad（平板电脑）、pmp（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
56.如图5所示，电子设备可以包括处理装置1001（例如中央处理器、图形处理器等），其可以根据存储在只读存储器（rom）1002中的程序或者从存储装置1003加载到随机访问存储器（ram）1004中的程序而执行各种适当的动作和处理。在ram1004中，还存储有电子设备操作所需的各种程序和数据。处理装置1001、rom1002以及ram1004通过总线1005彼此相连。输入/输出（i/o）接口1006也连接至总线。
57.通常，以下系统可以连接至i/o接口1006：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置1007；包括例如液晶显示器（lcd）、扬声器、振动器等的输出装置1008；包括例如磁带、硬盘等的存储装置1003；以及通信装置1009。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备，但是应理解的是，并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
58.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1009从网络上被下载和安装，或者从存储装置1003被安装，或者从rom1002被安装。在该计算机程序被处理装置1001执行时，执行本公开实施例的方法中限定的上述功能。
59.本发明提供的电子设备，采用上述实施例中的多源数据处理方法，解决了进行多源数据处理的处理效率低的技术问题。与现有技术相比，本发明实施例提供的电子设备的有益效果与上述实施例提供的多源数据处理方法的有益效果相同，且该电子设备中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
60.应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
61.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何
熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
62.实施例五本实施例提供一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，计算机可读程序指令用于执行上述实施例中的多源数据处理方法。
63.本发明实施例提供的计算机可读存储介质例如可以是u盘，但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑磁盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf（射频）等等，或者上述的任意合适的组合。
64.上述计算机可读存储介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。
65.上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被电子设备执行时，使得电子设备：通过任务配置界面获取用户针对于待处理任务输入的数据源信息；依据预设数据更新方式，在所述数据源信息定位的至少一个目标数据库中更新所述待处理任务对应的任务数据，得到至少一个待拉取任务数据；将各所述待拉取任务数据拉取至预设多源数据库，得到待处理多源数据；通过所述任务配置界面获取所述待处理任务的任务执行参数，依据所述任务执行参数，执行所述待处理任务，以处理所述待处理多源数据。
66.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
67.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令
的组合来实现。
68.描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单元本身的限定。
69.本发明提供的计算机可读存储介质，存储有用于执行上述多源数据处理方法的计算机可读程序指令，解决了进行多源数据处理的处理效率低的技术问题。与现有技术相比，本发明实施例提供的计算机可读存储介质的有益效果与上述实施例提供的多源数据处理方法的有益效果相同，在此不做赘述。
70.实施例六本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的多源数据处理方法的步骤。
71.本技术提供的计算机程序产品解决了进行多源数据处理的处理效率低的技术问题。与现有技术相比，本发明实施例提供的计算机程序产品的有益效果与上述实施例提供的多源数据处理方法的有益效果相同，在此不做赘述。
72.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利处理范围内。