一种数据集成、处理任务的分配方法、装置以及电子设备与流程

1.本技术涉及计算机技术领域，具体涉及一种数据集成任务的分配方法。本技术同时涉及一种数据集成任务的分配装置、一种数据处理任务的分配方法、一种数据处理任务的分配装置、一种电子设备、一种存储介质以及一种计算机程序产品。


背景技术：

2.为了融合企业不同系统的系统数据，打通不同系统的系统数据之间的隔阂，以使企业员工、客户以及伙伴能够方便地应用不同系统的系统数据，往往需要对企业不同系统的系统数据执行数据汇聚整合、数据提纯加工、数据服务可视化以及数据价值变现等数据处理操作。现如今，对企业不同系统的系统数据实施数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现等数据处理操作，一般可以通过数据中台来实施。但是，在通过数据中台对企业不同系统的系统数据实施数据汇聚整合时，对于一个系统来说，往往需要该系统先在数据库中对其自身的多个系统数据进行数据集成，再同步至数据中台。
3.由于数据库对于系统运行非常重要，本身负载已经很高，因此，何时执行数据集成任务成为数据库执行数据集成时不得不面临的问题。另外，由于数据库中需要执行的数据集成任务往往不止一个，因此，如何对不同数据集成任务进行任务进行合理分配也成为数据库执行数据集成时不得不面临的问题。
4.另外，在其他情境下，如：在融合不同企业间的系统的系统数据，打通不同企业间的系统的不同系统数据之间的隔阂等情境下，也可能存在如何对不同数据集成任务进行任务进行合理分配的问题。


技术实现要素：

5.本技术提供一种数据集成任务的分配方法、一种数据集成任务的分配装置、一种数据处理任务的分配方法、一种数据处理任务的分配装置、一种电子设备、一种存储介质以及一种计算机程序产品，以解决对不同数据集成任务进行任务进行合理分配的问题。
6.本技术提供一种数据集成任务的分配方法，包括：
7.获得需要在目标数据库中执行的至少一个数据集成任务；
8.根据所述目标数据库的数据库性能信息和所述至少一个数据集成任务的数据特征信息，获得所述至少一个数据集成任务的数据集成预估时长；
9.根据所述数据集成预估时长，为所述至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源。
10.可选的，本技术提供一种数据集成任务的分配方法，还包括：
11.获得所述目标数据库的标识信息；
12.根据所述目标数据库的标识信息以及标识信息与数据库性能信息之间的第一对应关系，获得所述目标数据库的数据库性能信息。
13.可选的，所述获得需要在目标数据库中执行的至少一个数据集成任务，包括：
14.根据所述目标数据库的标识信息以及标识信息与数据集成任务列表之间的第二对应关系，获得所述目标数据库对应的目标数据集成任务列表；
15.根据所述目标数据集成任务列表，获得所述至少一个数据集成任务。
16.可选的，所述根据所述目标数据集成任务列表，获得所述至少一个数据集成任务，包括：根据所述目标数据集成任务列表，获得所述至少一个数据集成任务以及所述至少一个数据集成任务的数据特征信息。
17.可选的，所述目标数据库的数据库性能信息中包括所述目标数据库的带宽信息，所述至少一个数据集成任务的数据特征信息包括所述至少一个数据集成任务的数据容量信息；
18.所述根据所述目标数据库的数据库性能信息和所述至少一个数据集成任务的数据特征信息，获得所述至少一个数据集成任务的数据集成预估时长，包括：根据所述目标数据库的带宽信息以及所述至少一个数据集成任务的数据容量信息，获得所述至少一个数据集成任务的数据集成预估时长。
19.可选的，所述根据所述目标数据库的带宽信息以及所述至少一个数据集成任务的数据容量信息，获得所述至少一个数据集成任务的数据集成预估时长，包括：
20.获得所述目标数据库的带宽信息对应的带宽；
21.获得所述至少一个数据集成任务的数据容量信息对应的数据容量；
22.根据所述至少一个数据集成任务的数据容量信息对应的数据容量与所述目标数据库的带宽信息对应的带宽之间的比值，获得所述至少一个数据集成任务的数据集成预估时长。
23.可选的，所述根据所述数据集成预估时长，为所述至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源，包括：
24.创建用于对用于执行数据集成任务的数据库资源提供资源负载管理服务的目标资源池；
25.将所述至少一个数据集成任务关联到所述目标资源池；
26.根据所述数据集成预估时长，通过所述目标资源池为所述至少一个数据集成任务分配所述目标数据库资源。
27.可选的，所述根据所述数据集成预估时长，通过所述目标资源池为所述至少一个数据集成任务分配所述目标数据库资源，包括：按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中为所述至少一个数据集成任务分配所述目标数据库资源。
28.可选的，所述按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中为所述至少一个数据集成任务分配所述目标数据库资源，包括：
29.获得所述目标资源池对应的数据库资源的可用时间区间；
30.判断在所述可用时间区间内所述目标资源池对应的数据库资源是否能够以串行方式完成所述至少一个数据集成任务；
31.若是，则按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中以串行方式依次为所述至少一个数据集成任务分配所述目标数据库资源。
32.可选的，所述按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对
应的数据库资源中依次为所述至少一个数据集成任务分配所述目标数据库资源，包括：在所述可用时间区间内，按照所述数据集成预估时长从小到大的顺序依次，在所述目标资源池对应的数据库资源中根据所述数据集成预估时长，以串行方式依次为所述至少一个数据集成任务分配所述目标数据库资源。
33.可选的，还包括：若在所述可用时间区间内所述目标资源池对应的数据库资源不能以串行方式完成所述至少一个数据集成任务，则按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中以并发方式依次为所述至少一个数据集成任务分配所述目标数据库资源。
34.可选的，所述按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中以并发方式依次为所述至少一个数据集成任务分配所述目标数据库资源，包括：
35.获得所述至少一个数据集成任务中的第一类数据集成任务，以及所述至少一个数据集成任务中的第二类数据集成任务，所述第一类数据集成任务为数据集成预估时长信息对应的时长未达到时长阈值的数据集成任务，所述第二类数据集成任务为数据集成预估时长信息对应的时长达到时长阈值的数据集成任务；
36.按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中以并发方式依次为所述第一类数据集成任务分配所述目标数据库资源；
37.为所述第一类数据集成任务分配所述目标数据库资源后，将按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中以并发方式依次为所述第二类数据集成任务分配所述目标数据库资源。
38.可选的，所述创建用于对用于执行数据集成任务的数据库资源提供资源负载管理服务的目标资源池，包括：
39.获得所述目标数据库的数据库性能信息中的所述目标数据库的历史数据库性能信息；
40.根据所述目标数据库的历史数据库性能信息，确定所述目标数据库的历史数据库性能满足预设性能阈值的目标历史时间区间；
41.在与所述目标历史时间区间相同的时间区间下的目标数据库的数据库资源中划分出所述用于执行数据集成任务的数据库资源；
42.针对所述用于执行数据集成任务的数据库资源，创建所述目标资源池。
43.可选的，所述目标数据库的历史数据库性能信息至少包括所述目标数据库的剩余内存信息以及所述目标数据库的数据库服务器的利用率；
44.所述根据所述目标数据库的历史数据库性能信息，确定所述目标数据库的历史数据库性能满足预设性能阈值的目标历史时间区间，包括：根据所述剩余内存信息和所述目标数据库的数据库服务器的利用率，确定所述剩余内存信息对应的内存超出第一预设性能阈值、所述目标数据库的数据库服务器的利用率低于所述第二预设性能阈值时的历史时间区间作为所述目标历史时间区间。
45.本技术另一方面，还提供一种数据集成任务的分配装置，包括：
46.数据集成任务获得单元，用于获得需要在目标数据库中执行的至少一个数据集成任务；
47.数据集成预估时长获得单元，用于根据所述目标数据库的数据库性能信息和所述至少一个数据集成任务的数据特征信息，获得所述至少一个数据集成任务的数据集成预估时长；
48.数据集成任务分配单元，用于根据所述数据集成预估时长，为所述至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源。
49.本技术另一方面，还提供一种数据处理任务的分配方法，包括：
50.获得需要在目标数据库中执行的至少一个数据处理任务；
51.根据所述目标数据库的数据库性能信息和所述至少一个数据处理任务的数据特征信息，获得所述至少一个数据处理任务的数据处理预估时长；
52.根据所述数据处理预估时长，为所述至少一个数据处理任务分配用于执行数据处理任务的目标数据库资源。
53.可选的，所述目标数据库的数据库性能信息中包括所述目标数据库的带宽信息，所述至少一个数据处理任务的数据特征信息包括所述至少一个数据处理任务的数据容量信息；
54.所述根据所述目标数据库的数据库性能信息和所述至少一个数据处理任务的数据特征信息，获得所述至少一个数据处理任务的数据处理预估时长，包括：根据所述目标数据库的带宽信息以及所述至少一个数据处理任务的数据容量信息，获得所述至少一个数据处理任务的数据处理预估时长。
55.可选的，所述根据所述目标数据库的带宽信息以及所述至少一个数据处理任务的数据容量信息，获得所述至少一个数据处理任务的数据处理预估时长，包括：
56.获得所述目标数据库的带宽信息对应的带宽；
57.获得所述至少一个数据处理任务的数据容量信息对应的数据容量；
58.根据所述至少一个数据处理任务的数据容量信息对应的数据容量与所述目标数据库的带宽信息对应的带宽之间的比值，获得所述至少一个数据处理任务的数据处理预估时长。
59.可选的，所述根据所述数据处理预估时长，为所述至少一个数据处理任务分配用于执行数据处理任务的目标数据库资源，包括：
60.创建用于对用于执行数据处理任务的数据库资源提供资源负载管理服务的目标资源池；
61.将所述至少一个数据处理任务关联到所述目标资源池；
62.根据所述数据处理预估时长，通过所述目标资源池为所述至少一个数据处理任务分配所述目标数据库资源。
63.可选的，所述根据所述数据处理预估时长，通过所述目标资源池为所述至少一个数据处理任务分配所述目标数据库资源，包括：按照所述数据处理预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中为所述至少一个数据处理任务分配所述目标数据库资源。
64.可选的，所述按照所述数据处理预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中为所述至少一个数据处理任务分配所述目标数据库资源，包括：
65.获得所述目标资源池对应的数据库资源的可用时间区间；
66.判断在所述可用时间区间内所述目标资源池对应的数据库资源是否能够以串行方式完成所述至少一个数据处理任务；
67.若是，则按照所述数据处理预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中以串行方式依次为所述至少一个数据处理任务分配所述目标数据库资源。
68.可选的，所述按照所述数据处理预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中依次为所述至少一个数据处理任务分配所述目标数据库资源，包括：在所述可用时间区间内，按照所述数据处理预估时长从小到大的顺序依次，在所述目标资源池对应的数据库资源中根据所述数据处理预估时长，以串行方式依次为所述至少一个数据处理任务分配所述目标数据库资源。
69.可选的，还包括：若在所述可用时间区间内所述目标资源池对应的数据库资源不能以串行方式完成所述至少一个数据处理任务，则按照所述数据处理预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中以并发方式依次为所述至少一个数据处理任务分配所述目标数据库资源。
70.可选的，所述数据处理任务至少包括数据集成任务。
71.本技术另一方面，还提供一种数据处理任务的分配装置，其特征在于，包括：
72.数据处理任务获得单元，用于获得需要在目标数据库中执行的至少一个数据处理任务；
73.数据处理预估时长获得单元，用于根据所述目标数据库的数据库性能信息和所述至少一个数据处理任务的数据特征信息，获得所述至少一个数据处理任务的数据处理预估时长；
74.数据处理任务分配单元，根据所述数据处理预估时长，为所述至少一个数据处理任务分配用于执行数据处理任务的目标数据库资源。
75.本技术另一方面，还提供一种电子设备，包括：
76.处理器；
77.以及存储器，用于存储计算机程序，该计算机程序被处理器运行，执行本技术提供的任意一项数据集成任务的分配方法和数据处理任务的分配方法。
78.本技术另一方面，还提供一种存储介质，所述存储介质存储有计算机程序，该计算机程序被处理器运行，执行本技术提供的任意一项数据集成任务的分配方法和数据处理任务的分配方法。
79.本技术另一方面，还提供一种计算机程序产品，包括非易失性计算机可读存储介质，所述非易失性计算机可读存储介质包含用于执行本技术提供的任意一项数据集成任务的分配方法和数据处理任务的分配方法的计算机程序代码。
80.与现有技术相比，本技术具有如下优点：
81.本技术提供一种数据集成任务的分配方法，首先，获得需要在目标数据库中执行的至少一个数据集成任务；然后，根据目标数据库的数据库性能信息和至少一个数据集成任务的数据特征信息，获得至少一个数据集成任务的数据集成预估时长；最后，根据数据集成预估时长，为至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源。该数据集成任务的分配方法，基于数据集成预估时长为至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源，能够提高目标数据库资源的利用率。
82.本技术提供一种数据处理任务的分配方法，首先，获得需要在目标数据库中执行的至少一个数据处理任务；然后，根据目标数据库的数据库性能信息和至少一个数据处理任务的数据特征信息，获得至少一个数据处理任务的数据处理预估时长；最后，根据数据处理预估时长，为至少一个数据处理任务分配用于执行数据处理任务的目标数据库资源。该数据处理任务的分配方法，基于数据处理预估时长为至少一个数据处理任务分配用于执行数据处理任务的目标数据库资源，能够提高目标数据库资源的利用率。
附图说明
83.图1本技术第一实施例中提供的用于实现数据集成任务的分配方法的应用的示意图。
84.图2为本技术第一实施例中提供的一种数据集成任务的分配方法的流程图。
85.图3为本技术第一实施例中提供的数据集成任务的第一分配示意图。
86.图4为本技术第一实施例中提供的数据集成任务的第二分配示意图。
87.图5为本技术第一实施例中提供的第一数据比对应用模块的示意图。
88.图6为本技术第一实施例中提供的第二数据比对应用模块的示意图。
89.图7为本技术第二实施例中提供的一种数据集成任务的分配装置的示意图。
90.图8为本技术第三实施例提供的一种数据处理方法的流程图。
91.图9为本技术第四实施例中提供的一种数据处理任务的分配装置的示意图。
92.图10为本技术实施例中提供的一种电子设备的示意图。
具体实施方式
93.在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本技术内涵的情况下做类似推广，因此本技术不受下面公开的具体实施的限制。
94.第一实施例
95.为了更清楚地展示本技术第一实施例中提供的数据集成任务的分配方法，首先介绍一下本技术第一实施例中提供的数据集成任务的分配方法的应用场景。本技术第一实施例中提供的数据集成任务的分配方法，可以基于安装在企业数据中台、用于实现数据集成任务的分配方法的应用或者软件来实现，此时，本技术第一实施例中提供的数据集成任务的分配方法针对的目标数据库至少为一个，即，同一企业数据平台管理下的不同数据库。另外，本技术第一实施例中提供的数据集成任务的分配方法，还可以基于安装在数据库服务器、用于实现数据集成任务的分配方法的应用或者软件来实现，此时，本技术第一实施例中提供的数据集成任务的分配方法针对的目标数据库为指定的数据库。
96.所谓数据集成任务是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享的数据处理任务。所谓不同来源是指不同的待集成数据可以来源于不同系统的数据库。
97.本技术第一实施例中，不对数据集成任务的分配方法的执行主体做具体限定，只要能够用于实现该数据集成任务的分配方法即可。以下具体以基于安装在企业数据中台、用于实现数据集成任务的分配方法的应用来实现本技术第一实施例中提供的数据集成任
务的分配方法为例，对本技术第一实施例中提供的数据集成任务的分配方法进行详细地说明。
98.当基于安装在企业数据中台、用于实现数据集成任务的分配方法的应用来实现本技术第一实施例中提供的数据集成任务的分配方法时，目标数据库的数量至少为一个，由于对于不同目标数据，该数据集成任务的分配方法的工作原理相同，在以基于安装在企业数据中台、用于实现数据集成任务的分配方法的应用来实现本技术第一实施例中提供的数据集成任务的分配方法的相关步骤时，仅以一个目标数据库为例进行详细的阐述。
99.所谓目标数据库一般为mysql(mysql datas，开放源代码的关系型)数据库，也可以为其他类型的数据库，本技术第一实施例中，对目标数据库的数据库类型不做具体限定。
100.所谓企业数据中台为用于融合企业不同系统的系统数据，打通不同系统的系统数据之间的隔阂，以使企业员工、客户以及伙伴能够方便地应用不同系统的系统数据的数据处理平台，该数据处理平台具体用于对企业不同系统的系统数据执行数据汇聚整合、数据提纯加工、数据服务可视化以及数据价值变现等数据处理操作。相应的，所谓数据集成任务针对的数据为系统数据，本技术第一实施例中，系统数据包括当不限于企业系统中的应用数据、平台或者系统运行数据、用户历史行为数据、设备运行数据以及企业经营数据等。
101.请参照图1，其为本技术第一实施例中提供的用于实现数据集成任务的分配方法的应用的示意图。该用于实现数据集成任务的分配方法的应用，包括：数据集成任务管理模块101、数据源信息获取模块102以及数据集成任务规划模块103。所谓数据集成任务管理模块101用于管理数据集成任务，包括创建数据集成任务，修改数据集成任务的时间等。所谓数据源信息获取模块102用于获取目标数据库的数据库性能信息。所谓数据集成任务规划模块103用于获取至少一个数据集成任务的数据集成预估时长，并根据数据集成预估时长，为至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源。
102.本技术第一实施例中，在基于安装在企业数据中台、用于实现数据集成任务的分配方法的应用来实现本技术第一实施例中提供的数据集成任务的分配方法的过程如下：首先，通过数据集成任务管理模块101获得需要在目标数据库中执行的至少一个数据集成任务；然后，基于数据源信息获取模块102获得目标数据库的数据库性能信息；最后，基于数据集成任务规划模块103获得至少一个数据集成任务的数据特征信息；根据至少一个数据集成任务的数据特征信息，以及基于数据源信息获取模块102获得的目标数据库的数据库性能信息，获得至少一个数据集成任务的数据集成预估时长；根据数据集成预估时长，为至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源。具体的过程，请参照图2，其为本技术第一实施例中提供的一种数据集成任务的分配方法的流程图。
103.在步骤s201中，获得需要在目标数据库中执行的至少一个数据集成任务。
104.所谓数据集成任务为针对目标数据库中的待集成数据创建的任务。所谓待集成数据包括当不限于数据库中存储的应用数据、平台或者系统运行数据、用户历史行为数据、设备运行数据以及企业经营数据等中的一种或者多种。
105.获得需要在目标数据库中执行的至少一个数据集成任务的具体实现方式为：首先，根据目标数据库的标识信息以及标识信息与数据集成任务列表之间的第二对应关系，获得目标数据库对应的目标数据集成任务列表；然后，根据目标数据集成任务列表，获得至少一个数据集成任务。具体的，在根据目标数据集成任务列表，获得至少一个数据集成任务
时，可以同时获得至少一个数据集成任务的数据特征信息。
106.所谓目标数据库的标识信息为能够唯一标识该目标数据库的标识信息，通过该标识信息能够唯一链接到目标数据库。该标识信息包括但不限于该目标数据库的ip(internet protocol，网络之间互连的协议)地址信息、目标数据库的端口信息以及目标数据库的用户名信息等。
107.在步骤s202中，根据目标数据库的数据库性能信息和至少一个数据集成任务的数据特征信息，获得至少一个数据集成任务的数据集成预估时长。
108.所谓目标数据库的数据库性能信息包括目标数据库的当前数据库性能信息以及目标数据库的历史数据库性能信息，具体的，目标数据库的数据库性能信息包括但不限于目标数据库的带宽信息、目标数据库的内存信息以及目标数库的数据库服务器的利用率等。其中，所谓目标数据库的内存信息通常包括：目标数据库的已使用内存的内存信息、目标数据库的剩余内存的内存信息。
109.在使用目标数据库的数据库性能信息之前，需要先获得目标数据库的数据库性能信息，具体的实现方式一般为：首先，获得目标数据库的标识信息；然后，根据目标数据库的标识信息以及标识信息与数据库性能信息之间的第一对应关系，获得目标数据库的数据库性能信息。
110.所谓目标数据库的数据库性能信息为从预先创建的、用于存储的数据库性能信息的数据库性能视图中的数据库性能信息。在本技术第一实施例中，对获得目标数据库的数据库性能信息的具体实施方式不做具体限定，只要能够实现目标数据库的数据库性能信息获得即可。
111.本技术第一实施例中，目标数据库的数据库性能信息中包括目标数据库的带宽信息，至少一个数据集成任务的数据特征信息包括至少一个数据集成任务的数据容量信息。根据目标数据库的数据库性能信息和至少一个数据集成任务的数据特征信息，获得至少一个数据集成任务的数据集成预估时长的实施方式为：根据目标数据库的带宽信息以及至少一个数据集成任务的数据容量信息，获得至少一个数据集成任务的数据集成预估时长。具体的实现过程为：首先，获得目标数据库的带宽信息对应的带宽；获得至少一个数据集成任务的数据容量信息对应的数据容量；根据至少一个数据集成任务的数据容量信息对应的数据容量与目标数据库的带宽信息对应的带宽之间的比值，获得至少一个数据集成任务的数据集成预估时长，相应的公式为：数据集成预估时长＝数据容量/带宽。
112.在步骤s203中，根据数据集成预估时长，为至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源。
113.本技术第一实施例中，为至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源的具体实现方式为：首先，创建用于对用于执行数据集成任务的数据库资源提供资源负载管理服务的目标资源池；然后，将至少一个数据集成任务关联到目标资源池；最后，根据数据集成预估时长，通过目标资源池为至少一个数据集成任务分配目标数据库资源。以下对上述步骤的实现过程进行详细的阐述：
114.对于创建用于对用于执行数据集成任务的数据库资源提供资源负载管理服务的目标资源池，本技术第一实施例中，采用如下方式来实现：第一、获得目标数据库的数据库性能信息中的目标数据库的历史数据库性能信息；第二、根据目标数据库的历史数据库性
能信息，确定目标数据库的历史数据库性能满足预设性能阈值的目标历史时间区间；第三、将与目标历史时间区间相同的时间区间下的目标数据库的数据库资源作为用于执行数据集成任务的数据库资源；第四、针对用于执行数据集成任务的数据库资源，创建目标资源池。
115.所谓目标数据库的历史数据库性能信息至少包括目标数据库的剩余内存信息以及目标数据库的数据库服务器的利用率。此时，根据目标数据库的历史数据库性能信息，确定目标数据库的历史数据库性能满足预设性能阈值的目标历史时间区间的过程为：根据剩余内存信息和目标数据库的数据库服务器的利用率，确定剩余内存超出第一预设性能阈值、目标数据库的数据库服务器的利用率低于第二预设性能阈值时的历史时间区间作为目标历史时间区间。
116.所谓目标数据库的历史数据库性能信息可以为该目标数据库一天前的数据库性能信息，也可以为一周内的数据库性能信息，还可以为一月内的数据库性能信息等。具体以目标数据库的历史数据库性能信息为该目标数据库一天前的数据库性能信息为例，在根据剩余内存信息和目标数据库的数据库服务器的利用率，确定剩余内存信息对应的内存超出第一预设性能阈值、目标数据库的数据库服务器的利用率低于第二预设性能阈值时的历史时间区间作为目标历史时间区间时，可以分别前一天24时内每一小时的剩余内存信息和目标数据库的数据库服务器的利用率，即，0时-1时、1时-2时
…
23时-24时这24个时间区间内的剩余内存信息和目标数据库的数据库服务器的利用率。如果：0时-5时、10时-11时以及15时-16时三个历史区间内的剩余内存信息对应的内存超出第一预设性能阈值、目标数据库的数据库服务器的利用率低于第二预设性能阈值，则将0时-5时、10时-11时以及15时-16时三个历史区间作为目标历史时间区间。
117.所谓在与目标历史时间区间相同的时间区间下的目标数据库的数据库资源中划分出用于执行数据集成任务的数据库资源为：在0时-5时、10时-11时以及15时-16时这个三时间区间下的目标数据库的数据库资源中划分出用于执行数据集成任务的数据库资源。在划分出用于执行数据集成任务的数据库资源后，针对用于执行数据集成任务的数据库资源，创建目标资源池，即，第一目标资源池(0时-5时)、第二目标资源池(10时-11时)以及第二目标资源池(15时-16时)。
118.对于根据数据集成预估时长，通过目标资源池为至少一个数据集成任务分配目标数据库资源，本技术第一实施例中，采用如下方式来实现：按照数据集成预估时长从小到大的顺序，在目标资源池对应的数据库资源中为至少一个数据集成任务分配目标数据库资源。具体的，首先，获得目标资源池对应的数据库资源的可用时间区间；其次，判断在可用时间区间内目标资源池对应的数据库资源是否能够以串行方式完成至少一个数据集成任务；再次，若是，则按照数据集成预估时长从小到大的顺序，在目标资源池对应的数据库资源中以串行方式依次为至少一个数据集成任务分配目标数据库资源。最后，若在可用时间区间内目标资源池对应的数据库资源不能以串行方式完成至少一个数据集成任务，则按照数据集成预估时长从小到大的顺序，在目标资源池对应的数据库资源中以并发方式依次为至少一个数据集成任务分配目标数据库资源。
119.所谓按照数据集成预估时长从小到大的顺序，在目标资源池对应的数据库资源中依次为至少一个数据集成任务分配目标数据库资源的具体实现过程为：在可用时间区间
内，按照数据集成预估时长从小到大的顺序依次，在目标资源池对应的数据库资源中根据数据集成预估时长，以串行方式依次为至少一个数据集成任务分配目标数据库资源。具体的，如果共有一百个数据集成任务，按照数据集成预估时长从大到小的顺序依次排序分别为：第一数据集成任务(数据集成预估时长为1分钟)、第二数据集成任务(数据集成预估时长为2分钟)、第三数据集成任务(数据集成预估时长为4分钟)
…
第一百数据集成任务(数据集成预估时长为60分钟)。
120.如图3所示，如果这一百个数据集成任务对应的数据集成预估时长不超过第一目标资源池、第二目标资源池以及第二目标资源池可用时间，那么，则在第一目标资源池对应的数据库资源中为第一数据集成任务分配目标数据库资源，该目标数据库资源为第一目标资源池为第一目标资源池对应的数据库资源中第0-1分钟时间区内的可使用数据库资源；在第一目标资源池对应的数据库资源中为第二数据集成任务分配目标数据库资源，该目标数据库资源为第一目标资源池为第二目标资源池对应的数据库资源中第2-4分钟时间区内的可使用数据库资源；在第一目标资源池对应的数据库资源中为第三数据集成任务分配目标数据库资源，该目标数据库资源为第一目标资源池为第三目标资源池对应的数据库资源中第4-8分钟时间区内的可使用数据库资源
…
以此类推直至完成在第一目标资源池、第二目标资源池以及第三目标资源池对应的数据库资源中为至少一个数据集成任务分配目标数据库资源。
121.所谓按照数据集成预估时长从小到大的顺序，在目标资源池对应的数据库资源中以并发方式依次为至少一个数据集成任务分配目标数据库资源的具体实现过程为：首先，获得至少一个数据集成任务中的第一类数据集成任务，以及至少一个数据集成任务中的第二类数据集成任务，第一类数据集成任务为数据集成预估时长信息对应的时长未达到时长阈值的数据集成任务，第二类数据集成任务为数据集成预估时长信息对应的时长达到时长阈值的数据集成任务；然后，按照数据集成预估时长从小到大的顺序，在目标资源池对应的数据库资源中以并发方式依次为第一类数据集成任务分配目标数据库资源；最后，为第一类数据集成任务分配目标数据库资源后，将按照数据集成预估时长从小到大的顺序，在目标资源池对应的数据库资源中以并发方式依次为第二类数据集成任务分配目标数据库资源。
122.需要说明的是，获得第一类数据集成任务以及第二类数据集成任务的方法为：确定用于获得第一类数据集成任务以及第二类数据集成任务的换算值以及数据集成任务划分阈值，获得至少一个数据集成任务的数据集成预估时长与换算值的比值；将至少一个数据集成任务的数据集成预估时长与换算值的比值以及数据集成任务划分阈值进行比较，若数据集成任务的数据集成预估时长与换算值的比值未超出数据集成任务划分阈值，则将该数据集成任务作为第一类数据集成任务，否则则将该数据集成任务作为第二类数据集成任务。所谓换算值以及数据集成任务划分阈值一般为经验数值。
123.如图4所示，先按照数据集成预估时长从小到大的顺序，在目标资源池对应的数据库资源中以并发方式依次为第一类数据集成任务分配目标数据库资源，再为第一类数据集成任务分配目标数据库资源后，将按照数据集成预估时长从小到大的顺序，在目标资源池对应的数据库资源中以并发方式依次为第二类数据集成任务分配目标数据库资源。在目标资源池对应的数据库资源中以并发方式依次为至少一个数据集成任务分配目标数据库资
源时，需要确保不能超出数据库资源的并发度。
124.本技术第一实施例中，在为至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源后，目标数据库资源会针对根据分配到数据集成任务来数据集成，并且在完成数据集成任务后，会进一步将集成完成后的数据存储到企业数据中台中。在将集成完成后的数据同步到数据中台的过程中，会涉及到大量的数据，为了确保目标数据库中的数据与同步至数据中台中的数据的一致性，需要对目标数据库中的数据与同步至数据中台中的数据进行比对。因此，本技术第一实施例中，提供了如下两种数据比对方法：
125.第一种数据比对方法基于如图5所示的数据比对应用模块来实现，该数据比对应用模块包括比对数据获取模块501，用于获取待比对数据；抽样模块502，用于对带比对数据进行分层抽样，从待比对数据中获取比对样本；比对模块503，用于进行数据比，获得数据比对结果；结果写入模块504，用于将数据比对结果写入本地文件等进行存储。数据比对应用模块的工作流程如下：将同步至数据中台中的数据映射为hive数据表，查询hive数据表中的分区数据；获得分区数据的记录数cnt(count，计数器)获取主键list，并排序；按照步长cnt/20，从主键list获取20条数据作为第一待比对数据(本技术第一实施例中，对步长以及获取的数据条数不做具体限定)；根据20个主键，查询目标数据库中的数据所在的数据表，获得第二待比对数据；将第一待比对数据以及第二待比对数据中每一条数据全部字段转化成字符串，对每一条数据的字符串进行拼接后，通过md5(message-digest algorithm，息摘要算法)信息摘要算法获得第一待比对数据以及第二待比对数据的散列值；比较第一待比对数据以及第二待比对数据的散列值，获得比对结果，并将比对结果写入hive数据表。需要说明的是，使用分层抽样的方式来替代全量比对，可以极大的节省数据比对工作的时间，并且能够最大限度的保证抽样的合理性。另外，采用字段拼接+md5信息摘要算法来完成数据，能够提高比对效率。
126.第二种数据比对方法基于如图6所示的数据比对应用模块来实现，该数据比对应用模块包括比对数据获取模块601，用于获取待比对数据；结构化查询语言(structured query language，sql)构造下发模块602，用于构造数据比对使用的sql，并下发；比对模块603，用于进行数据比，获得数据比对结果；结果写入模块604，用于将数据比对结果写入本地文件等进行存储。数据比对应用模块的工作流程如下：将同步至数据中台中的数据映射为hive数据表，并构造hive sql；下发hive sql，从同步至数据中台中的数据中获得第一待比对数据；获得目标数据库中的数据所在的数据表，构造目标数据库中的数据所在的数据表检查sql，在构造目标数据库中的数据所在的数据表检查sql的过程中，关键指标的sum需要用绝对值；下发目标数据库中的数据所在的数据表检查sql，从目标数据库中的数据获得第二待比对数据；将第一待比对数据与第二待比对数据进行比对，获得比对结果，并将比对结果写入hive数据表。需要说明的是，关键指标的sum(sum function，数学和三角函数)需要用绝对值，可以防止正负相抵带来的误差。
127.本技术第一实施例中提供一种数据集成任务的分配方法，首先，获得需要在目标数据库中执行的至少一个数据集成任务；然后，根据目标数据库的数据库性能信息和至少一个数据集成任务的数据特征信息，获得至少一个数据集成任务的数据集成预估时长；最后，根据数据集成预估时长，为至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源。该数据集成任务的分配方法，基于数据集成预估时长为至少一个数据集成任
务分配用于执行数据集成任务的目标数据库资源，解决了对不同数据集成任务进行任务进行合理分配的问题，并且能够目标数据库资源的利用率。
128.第二实施例
129.与第一实施例提供的数据集成任务的分配方法相对应的，本技术第二实施例还提供了一种数据集成任务的分配方法。由于该装置实施例基本相似于第一实施例提供的数据集成任务的分配方法，所以描述得比较简单，相关之处请参照对第一实施例提供的数据集成任务的分配方法的部分说明即可。下述描述的装置实施例仅仅是示意性的。
130.请参照图7，其为本技术第二实施例中提供的一种数据集成任务的分配装置的示意图。
131.该数据集成任务的分配装置，包括：
132.数据集成任务获得单元701，用于获得需要在目标数据库中执行的至少一个数据集成任务；
133.数据集成预估时长获得单元702，用于根据所述目标数据库的数据库性能信息和所述至少一个数据集成任务的数据特征信息，获得所述至少一个数据集成任务的数据集成预估时长；
134.数据集成任务分配单元703，用于根据所述数据集成预估时长，为所述至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源。
135.本技术第二实施例提供的数据集成任务的分配装置，还包括：
136.标识信息获得模块，用于获得所述目标数据库的标识信息；
137.数据库性能信息获得模块，用于根据所述目标数据库的标识信息以及标识信息与数据库性能信息之间的第一对应关系，获得所述目标数据库的数据库性能信息。
138.可选的，所述数据集成任务获得单元701具体用于根据所述目标数据库的标识信息以及标识信息与数据集成任务列表之间的第二对应关系，获得所述目标数据库对应的目标数据集成任务列表；根据所述目标数据集成任务列表，获得所述至少一个数据集成任务。
139.可选的，所述根据所述目标数据集成任务列表，获得所述至少一个数据集成任务，包括：根据所述目标数据集成任务列表，获得所述至少一个数据集成任务以及所述至少一个数据集成任务的数据特征信息。
140.可选的，所述目标数据库的数据库性能信息中包括所述目标数据库的带宽信息，所述至少一个数据集成任务的数据特征信息包括所述至少一个数据集成任务的数据容量信息；
141.所述数据集成预估时长获得单元702具体用于根据所述目标数据库的带宽信息以及所述至少一个数据集成任务的数据容量信息，获得所述至少一个数据集成任务的数据集成预估时长。
142.可选的，所述根据所述目标数据库的带宽信息以及所述至少一个数据集成任务的数据容量信息，获得所述至少一个数据集成任务的数据集成预估时长，包括：
143.获得所述目标数据库的带宽信息对应的带宽；
144.获得所述至少一个数据集成任务的数据容量信息对应的数据容量；
145.根据所述至少一个数据集成任务的数据容量信息对应的数据容量与所述目标数据库的带宽信息对应的带宽之间的比值，获得所述至少一个数据集成任务的数据集成预估
时长。
146.可选的，所述数据集成任务分配单元703具体用于创建用于对用于执行数据集成任务的数据库资源提供资源负载管理服务的目标资源池；将所述至少一个数据集成任务关联到所述目标资源池；根据所述数据集成预估时长，通过所述目标资源池为所述至少一个数据集成任务分配所述目标数据库资源。
147.可选的，所述根据所述数据集成预估时长，通过所述目标资源池为所述至少一个数据集成任务分配所述目标数据库资源，包括：按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中为所述至少一个数据集成任务分配所述目标数据库资源。
148.可选的，所述按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中为所述至少一个数据集成任务分配所述目标数据库资源，包括：
149.获得所述目标资源池对应的数据库资源的可用时间区间；
150.判断在所述可用时间区间内所述目标资源池对应的数据库资源是否能够以串行方式完成所述至少一个数据集成任务；
151.若是，则按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中以串行方式依次为所述至少一个数据集成任务分配所述目标数据库资源。
152.可选的，所述按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中依次为所述至少一个数据集成任务分配所述目标数据库资源，包括：在所述可用时间区间内，按照所述数据集成预估时长从小到大的顺序依次，在所述目标资源池对应的数据库资源中根据所述数据集成预估时长，以串行方式依次为所述至少一个数据集成任务分配所述目标数据库资源。
153.可选的，还包括：若在所述可用时间区间内所述目标资源池对应的数据库资源不能以串行方式完成所述至少一个数据集成任务，则按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中以并发方式依次为所述至少一个数据集成任务分配所述目标数据库资源。
154.可选的，所述按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中以并发方式依次为所述至少一个数据集成任务分配所述目标数据库资源，包括：
155.获得所述至少一个数据集成任务中的第一类数据集成任务，以及所述至少一个数据集成任务中的第二类数据集成任务，所述第一类数据集成任务为数据集成预估时长信息对应的时长未达到时长阈值的数据集成任务，所述第二类数据集成任务为数据集成预估时长信息对应的时长达到时长阈值的数据集成任务；
156.按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中以并发方式依次为所述第一类数据集成任务分配所述目标数据库资源；
157.为所述第一类数据集成任务分配所述目标数据库资源后，将按照所述数据集成预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中以并发方式依次为所述第二类数据集成任务分配所述目标数据库资源。
158.可选的，所述创建用于对用于执行数据集成任务的数据库资源提供资源负载管理服务的目标资源池，包括：
159.获得所述目标数据库的数据库性能信息中的所述目标数据库的历史数据库性能信息；
160.根据所述目标数据库的历史数据库性能信息，确定所述目标数据库的历史数据库性能满足预设性能阈值的目标历史时间区间；
161.在与所述目标历史时间区间相同的时间区间下的目标数据库的数据库资源中划分出所述用于执行数据集成任务的数据库资源；
162.针对所述用于执行数据集成任务的数据库资源，创建所述目标资源池。
163.可选的，所述目标数据库的历史数据库性能信息至少包括所述目标数据库的剩余内存信息以及所述目标数据库的数据库服务器的利用率；
164.所述根据所述目标数据库的历史数据库性能信息，确定所述目标数据库的历史数据库性能满足预设性能阈值的目标历史时间区间，包括：根据所述剩余内存信息和所述目标数据库的数据库服务器的利用率，确定所述剩余内存信息对应的内存超出第一预设性能阈值、所述目标数据库的数据库服务器的利用率低于所述第二预设性能阈值时的历史时间区间作为所述目标历史时间区间。
165.第三实施例
166.与本技术第一实施例提供的数据集成任务的分配方法相对应的，本技术第三实施例还提供了一种数据处理任务的分配方法。由于第三实施例基本相似于本技术第一实施例提供的数据集成任务的分配方法，所以描述得比较简单，相关之处参见对本技术第一实施例提供的数据集成任务的分配方法的部分说明即可。下述描述的第三实施例仅仅是示意性的。
167.请参照图8，其为本技术第三实施例提供的一种数据处理方法的流程图。
168.在步骤s801中，获得需要在目标数据库中执行的至少一个数据处理任务。
169.本技术第三实施例中，所谓数据处理任务包括但不限于数据集成任务，即，数据处理任务至少包括数据集成任务。
170.所谓数据处理任务为针对目标数据库中的待处理数据创建的任务。所谓待处理数据包括当不限于数据库中存储的应用数据、平台或者系统运行数据、用户历史行为数据、设备运行数据以及企业经营数据等中的一种或者多种。
171.获得需要在目标数据库中执行的至少一个数据处理任务的具体实现方式为：首先，根据目标数据库的标识信息以及标识信息与数据处理任务列表之间的第二对应关系，获得目标数据库对应的目标数据处理任务列表；然后，根据目标数据处理任务列表，获得至少一个数据处理任务。具体的，在根据目标数据处理任务列表，获得至少一个数据处理任务时，可以同时获得至少一个数据处理任务的数据特征信息。
172.所谓目标数据库的标识信息为能够唯一标识该目标数据库的标识信息，通过该标识信息能够唯一链接到目标数据库。该标识信息包括但不限于该目标数据库的ip地址信息、目标数据库的端口信息以及目标数据库的用户名信息等。
173.在步骤s802中，根据目标数据库的数据库性能信息和至少一个数据处理任务的数据特征信息，获得至少一个数据处理任务的数据处理预估时长。
174.所谓目标数据库的数据库性能信息包括目标数据库的当前数据库性能信息以及目标数据库的历史数据库性能信息，具体的，目标数据库的数据库性能信息包括但不限于
目标数据库的带宽信息、目标数据库的内存信息以及目标数库的数据库服务器的利用率等。其中，所谓目标数据库的内存信息通常包括：目标数据库的已使用内存的内存信息、目标数据库的剩余内存的内存信息。
175.在使用目标数据库的数据库性能信息之前，需要先获得目标数据库的数据库性能信息，具体的实现方式一般为：首先，获得目标数据库的标识信息；然后，根据目标数据库的标识信息以及标识信息与数据库性能信息之间的第一对应关系，获得目标数据库的数据库性能信息。
176.所谓目标数据库的数据库性能信息为从预先创建的、用于存储的数据库性能信息的数据库性能视图中的数据库性能信息。在本技术第三实施例中，对获得目标数据库的数据库性能信息的具体实施方式不做具体限定，只要能够实现目标数据库的数据库性能信息获得即可。
177.本技术第三实施例中，目标数据库的数据库性能信息中包括目标数据库的带宽信息，至少一个数据处理任务的数据特征信息包括至少一个数据处理任务的数据容量信息。根据目标数据库的数据库性能信息和至少一个数据处理任务的数据特征信息，获得至少一个数据处理任务的数据处理预估时长的实施方式为：根据目标数据库的带宽信息以及至少一个数据处理任务的数据容量信息，获得至少一个数据处理任务的数据处理预估时长。具体的实现过程为：首先，获得目标数据库的带宽信息对应的带宽；获得至少一个数据处理任务的数据容量信息对应的数据容量；根据至少一个数据处理任务的数据容量信息对应的数据容量与目标数据库的带宽信息对应的带宽之间的比值，获得至少一个数据处理任务的数据处理预估时长，相应的公式为：数据处理预估时长＝数据容量/带宽。
178.在步骤s803中，根据数据处理预估时长，为至少一个数据处理任务分配用于执行数据处理任务的目标数据库资源。
179.本技术第三实施例中，为至少一个数据处理任务分配用于执行数据处理任务的目标数据库资源的具体实现方式为：首先，创建用于对用于执行数据处理任务的数据库资源提供资源负载管理服务的目标资源池；然后，将至少一个数据处理任务关联到目标资源池；最后，根据数据处理预估时长，通过目标资源池为至少一个数据处理任务分配目标数据库资源。以下对上述步骤的实现过程进行详细的阐述：
180.对于创建用于对用于执行数据处理任务的数据库资源提供资源负载管理服务的目标资源池，本技术第三实施例中，采用如下方式来实现：第一、获得目标数据库的数据库性能信息中的目标数据库的历史数据库性能信息；第二、根据目标数据库的历史数据库性能信息，确定目标数据库的历史数据库性能满足预设性能阈值的目标历史时间区间；第三、将与目标历史时间区间相同的时间区间下的目标数据库的数据库资源作为用于执行数据处理任务的数据库资源；第四、针对用于执行数据处理任务的数据库资源，创建目标资源池。
181.所谓目标数据库的历史数据库性能信息至少包括目标数据库的剩余内存信息以及目标数据库的数据库服务器的利用率。此时，根据目标数据库的历史数据库性能信息，确定目标数据库的历史数据库性能满足预设性能阈值的目标历史时间区间的过程为：根据剩余内存信息和目标数据库的数据库服务器的利用率，确定剩余内存超出第一预设性能阈值、目标数据库的数据库服务器的利用率低于第二预设性能阈值时的历史时间区间作为目
标历史时间区间。
182.所谓目标数据库的历史数据库性能信息可以为该目标数据库一天前的数据库性能信息，也可以为一周内的数据库性能信息，还可以为一月内的数据库性能信息等。
183.对于根据数据处理预估时长，通过目标资源池为至少一个数据处理任务分配目标数据库资源，本技术第三实施例中，采用如下方式来实现：按照数据处理预估时长从小到大的顺序，在目标资源池对应的数据库资源中为至少一个数据处理任务分配目标数据库资源。具体的，首先，获得目标资源池对应的数据库资源的可用时间区间；其次，判断在可用时间区间内目标资源池对应的数据库资源是否能够以串行方式完成至少一个数据处理任务；再次，若是，则按照数据处理预估时长从小到大的顺序，在目标资源池对应的数据库资源中以串行方式依次为至少一个数据处理任务分配目标数据库资源。最后，若在可用时间区间内目标资源池对应的数据库资源不能以串行方式完成至少一个数据处理任务，则按照数据处理预估时长从小到大的顺序，在目标资源池对应的数据库资源中以并发方式依次为至少一个数据处理任务分配目标数据库资源。
184.所谓按照数据处理预估时长从小到大的顺序，在目标资源池对应的数据库资源中依次为至少一个数据处理任务分配目标数据库资源的具体实现过程为：在可用时间区间内，按照数据处理预估时长从小到大的顺序依次，在目标资源池对应的数据库资源中根据数据处理预估时长，以串行方式依次为至少一个数据处理任务分配目标数据库资源。
185.所谓按照数据处理预估时长从小到大的顺序，在目标资源池对应的数据库资源中以并发方式依次为至少一个数据处理任务分配目标数据库资源的具体实现过程为：首先，获得至少一个数据处理任务中的第一类数据处理任务，以及至少一个数据处理任务中的第二类数据处理任务，第一类数据处理任务为数据处理预估时长信息对应的时长未达到时长阈值的数据处理任务，第二类数据处理任务为数据处理预估时长信息对应的时长达到时长阈值的数据处理任务；然后，按照数据处理预估时长从小到大的顺序，在目标资源池对应的数据库资源中以并发方式依次为第一类数据处理任务分配目标数据库资源；最后，为第一类数据处理任务分配目标数据库资源后，将按照数据处理预估时长从小到大的顺序，在目标资源池对应的数据库资源中以并发方式依次为第二类数据处理任务分配目标数据库资源。
186.需要说明的是，获得第一类数据处理任务以及第二类数据处理任务的方法为：确定用于获得第一类数据处理任务以及第二类数据处理任务的换算值以及数据处理任务划分阈值，获得至少一个数据处理任务的数据处理预估时长与换算值的比值；将至少一个数据处理任务的数据处理预估时长与换算值的比值以及数据处理任务划分阈值进行比较，若数据处理任务的数据处理预估时长与换算值的比值未超出数据处理任务划分阈值，则将该数据处理任务作为第一类数据处理任务，否则则将该数据处理任务作为第二类数据处理任务。所谓换算值以及数据处理任务划分阈值一般为经验数值。
187.本技术第三实施例中提供一种数据处理任务的分配方法，首先，获得需要在目标数据库中执行的至少一个数据处理任务；然后，根据目标数据库的数据库性能信息和至少一个数据处理任务的数据特征信息，获得至少一个数据处理任务的数据处理预估时长；最后，根据数据处理预估时长，为至少一个数据处理任务分配用于执行数据处理任务的目标数据库资源。该数据处理任务的分配方法，基于数据处理预估时长为至少一个数据处理任
务分配用于执行数据处理任务的目标数据库资源，解决了对不同数据处理任务进行任务进行合理分配的问题，并且能够目标数据库资源的利用率。
188.第四实施例
189.与第三实施例提供的数据处理任务的分配方法相对应的，本技术第四实施例还提供了一种数据处理任务的分配方法。由于该装置实施例基本相似于第三实施例提供的数据处理任务的分配方法，所以描述得比较简单，相关之处请参照对第三实施例提供的数据处理任务的分配方法的部分说明即可。下述描述的装置实施例仅仅是示意性的。
190.请参照图9，其为本技术第四实施例中提供的一种数据处理任务的分配装置的示意图。
191.该数据处理任务的分配装置，包括：
192.数据处理任务获得单元901，用于获得需要在目标数据库中执行的至少一个数据处理任务；
193.数据处理预估时长获得单元902，用于根据所述目标数据库的数据库性能信息和所述至少一个数据处理任务的数据特征信息，获得所述至少一个数据处理任务的数据处理预估时长；
194.数据处理任务分配单元903，用于根据所述数据处理预估时长，为所述至少一个数据处理任务分配用于执行数据处理任务的目标数据库资源。
195.可选的，所述目标数据库的数据库性能信息中包括所述目标数据库的带宽信息，所述至少一个数据处理任务的数据特征信息包括所述至少一个数据处理任务的数据容量信息；
196.所述数据处理预估时长获得单元902具体用于根据所述目标数据库的带宽信息以及所述至少一个数据处理任务的数据容量信息，获得所述至少一个数据处理任务的数据处理预估时长。
197.可选的，所述根据所述目标数据库的带宽信息以及所述至少一个数据处理任务的数据容量信息，获得所述至少一个数据处理任务的数据处理预估时长，包括：
198.获得所述目标数据库的带宽信息对应的带宽；
199.获得所述至少一个数据处理任务的数据容量信息对应的数据容量；
200.根据所述至少一个数据处理任务的数据容量信息对应的数据容量与所述目标数据库的带宽信息对应的带宽之间的比值，获得所述至少一个数据处理任务的数据处理预估时长。
201.可选的，所述数据处理任务分配单元903具体用于创建用于对用于执行数据处理任务的数据库资源提供资源负载管理服务的目标资源池；将所述至少一个数据处理任务关联到所述目标资源池；根据所述数据处理预估时长，通过所述目标资源池为所述至少一个数据处理任务分配所述目标数据库资源。
202.可选的，所述根据所述数据处理预估时长，通过所述目标资源池为所述至少一个数据处理任务分配所述目标数据库资源，包括：按照所述数据处理预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中为所述至少一个数据处理任务分配所述目标数据库资源。
203.可选的，所述按照所述数据处理预估时长从小到大的顺序，在所述目标资源池对
应的数据库资源中为所述至少一个数据处理任务分配所述目标数据库资源，包括：
204.获得所述目标资源池对应的数据库资源的可用时间区间；
205.判断在所述可用时间区间内所述目标资源池对应的数据库资源是否能够以串行方式完成所述至少一个数据处理任务；
206.若是，则按照所述数据处理预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中以串行方式依次为所述至少一个数据处理任务分配所述目标数据库资源。
207.可选的，还包括：若在所述可用时间区间内所述目标资源池对应的数据库资源不能以串行方式完成所述至少一个数据处理任务，则按照所述数据处理预估时长从小到大的顺序，在所述目标资源池对应的数据库资源中以并发方式依次为所述至少一个数据处理任务分配所述目标数据库资源。
208.可选的，所述数据处理任务至少包括数据集成任务。
209.第五实施例
210.与本技术第一实施例提供的数据集成任务的分配方法以及第三实施例提供的数据处理任务的分配方法相对应的，本技术第五实施例还提供了一种电子设备。由于第五实施例基本相似于本技术第一实施例提供的数据集成任务的分配方法以及第三实施例提供的数据处理任务的分配方法，所以描述得比较简单，相关之处参见对本技术第一实施例提供的数据集成任务的分配方法以及第三实施例提供的数据处理任务的分配方法的部分说明即可。下述描述的第五实施例仅仅是示意性的。
211.请参照图10，其为本技术实施例中提供的一种电子设备的示意图。
212.该电子设备，包括：处理器1001；
213.以及存储器1002，用于存储计算机程序，该计算机程序被处理器运行，执行本技术第一实施例提供的数据集成任务的分配方法和/或本技术第一实施例提供的数据处理任务的分配方法。
214.需要说明的是，本技术第五实施例提供的电子设备的详细描述，可以参考对本技术第一实施例提供的数据集成任务的分配方法以及第三实施例提供的数据处理任务的分配方法的相关描述，这里不再赘述。
215.第六实施例
216.与本技术第一实施例提供的数据集成任务的分配方法以及第三实施例提供的数据处理任务的分配方法相对应的，本技术第六实施例还提供了一种存储介质。由于第六实施例基本相似于本技术第一实施例提供的数据集成任务的分配方法以及第三实施例提供的数据处理任务的分配方法，所以描述得比较简单，相关之处参见对本技术第一实施例提供的数据集成任务的分配方法以及第三实施例提供的数据处理任务的分配方法的部分说明即可。下述描述的装置实施例仅仅是示意性的。
217.所述存储介质存储有计算机程序，该计算机程序被处理器运行，执行本技术第一实施例提供的数据集成任务的分配方法和/或本技术第一实施例提供的数据处理任务的分配方法。
218.需要说明的是，本技术第六实施例提供的存储介质的详细描述，可以参考对本技术第一实施例提供的数据集成任务的分配方法以及第三实施例提供的数据处理任务的分配方法的相关描述，这里不再赘述。
219.第七实施例
220.与本技术第一实施例提供的数据集成任务的分配方法以及第三实施例提供的数据处理任务的分配方法相对应的，本技术第七实施例还提供了一种计算机程序产品。由于第七实施例基本相似于本技术第一实施例提供的数据集成任务的分配方法以及第三实施例提供的数据处理任务的分配方法，所以描述得比较简单，相关之处参见对本技术第一实施例提供的数据集成任务的分配方法以及第三实施例提供的数据处理任务的分配方法的部分说明即可。下述描述的装置实施例仅仅是示意性的。
221.该计算机程序产品，包括非易失性计算机可读存储介质，所述非易失性计算机可读存储介质包含用于执行本技术第一实施例提供的数据集成任务的分配方法以及第三实施例提供的数据处理任务的分配方法的计算机程序代码。
222.需要说明的是，本技术第七实施例提供的计算机程序产品的详细描述，可以参考本技术第一实施例提供的数据集成任务的分配方法以及第三实施例提供的数据处理任务的分配方法的相关描述，这里不再赘述。
223.本技术虽然以较佳实施例公开如上，但其并不是用来限定本技术，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本技术的保护范围应当以本技术权利要求所界定的范围为准。
224.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
225.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
226.1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他实体类别的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁待，磁待磁磁盘存储或其他磁性存储介质或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
227.2、本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。