一种数据调度的方法、装置、设备及可读存储介质与流程

1.本技术涉及数据调度领域，更具体的说，是涉及一种数据调度的方法、装置、设备及可读存储介质。


背景技术：

2.随着信息技术的发展，人们对数据的需求量日益增加，如人们需要通过获取图像和文本等去认识当下的世界。这些数据中难免会涉及到敏感信息，如无人驾驶中需要抓拍环境图像而抓拍到路人、车牌等敏感信息，又如招聘系统中获取的个人简历涉及到较多个人信息，需要对敏感数据进行脱敏处理，以去除敏感数据中的隐私信息。
3.由于待脱敏的数据量庞大，在数据脱敏的过程中，需要将待脱敏的数据逐批次地调度至脱敏系统进行脱敏，通过优化调度数据过程的效率可以提高数据脱敏的过程的效率。
4.目前常用的数据脱敏的调度方法为设置一个划分阈值，将海量图像划分为多个包，然后将各个包交给系统脱敏执行，由于系统的负载是在不断变化的，容易造成系统高负载对单个包长时间处理，使得阻塞了高优先级的包的处理，导致效率低下。
5.通过动态调整待调度数据的数据量，避免系统出现高负载的现象，对海量图像数据进行高效脱敏。


技术实现要素：

6.鉴于上述问题，提出了本技术以便提供一种数据调度的方法、装置、设备及可读存储介质，避免系统出现高负债的现象，对海量图像数据进行高效脱敏。
7.为了实现上述目的，现提出具体方案如下：
8.一种数据调度的方法，包括：
9.在接收到数据待调度信号时，获取当前批量数据进行脱敏处理的第一单位时长；
10.比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例；
11.按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，并对所述待调度批量数据进行调度。
12.可选的，所述批量数据规划调度记录的建立过程，包括：
13.根据本地的每一待分配数据的所属目录地址，将各待分配数据进行划分，得到若干批量数据，并确定每一批量数据的数据量；
14.确定所述若干批量数据中，每一批量数据的数据调度顺序；
15.根据若干批量数据中，每一批量数据的数据量以及每一批量数据的数据调度顺序，建立批量数据规划调度记录。
16.可选的，比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数
据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例，包括：
17.若所述第一单位时长，大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第一比例；
18.若所述第一单位时长，不大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第二比例。
19.可选的，按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，包括：
20.当所述下一批量数据对应的数据量调度比例为第一比例时，选取所述下一批量数据中的第一部分数据作为待调度批量数据，所述第一部分数据的数据量为所述下一批量数据的数据量与所述第一比例相乘的结果。
21.可选的，在选取所述下一批量数据中的第一部分数据作为待调度批量数据之后，还包括：
22.将所述下一批量数据中除所述第一部分数据外的数据确定为负载暂缓执行数据，所述负载暂缓执行数据为调度顺序在所述第一部分数据后的数据。
23.可选的，按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，包括：
24.当所述下一批量数据对应的数据量调度比例为第二比例时，选取所述下一批量数据中的第二部分数据作为待调度批量数据，所述第二部分数据的数据量为所述下一批量数据的数据量与所述第二比例相乘的结果。
25.可选的，对所述待调度批量数据进行调度，包括：
26.向已有的任务队列添加所述待调度批量数据，以供用于数据脱敏的数据脱敏处理器从所述任务队列中获取所述待调度批量数据。
27.可选的，获取当前批量数据进行脱敏处理的第一单位处理时长，包括：
28.获取当前批量数据进行脱敏处理的数据量以及处理总时间；
29.将所述处理总时间与所述数据量的比值，作为所述当前批量数据进行脱敏处理的第一单位时长。
30.可选的，将所述处理总时间与所述数据量的比值，作为所述当前批量数据进行脱敏处理的第一单位时长，包括：
31.确定所述处理总时间与所述数据量的比值；
32.对所述比值的千分位四舍五入，保留得到在所述比值的千分位之前的估计数值，并将所述估计数值对应的时长作为所述当前批量数据进行脱敏处理的第一单位时长。
33.一种数据调度的装置，包括：
34.单位时长获取单元，用于在接收到数据待调度信号时，获取当前批量数据进行脱敏处理的第一单位时长；
35.调度比例确定单元，用于比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录
中的，所述当前批量数据的下一批量数据的数据量调度比例；
36.待调度数据确定单元，用于按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据；
37.待调度数据调度单元，用于对所述待调度批量数据进行调度。
38.可选的，该装置还包括：
39.第一调度记录建立单元，用于根据本地的每一待分配数据的所属目录地址，将各待分配数据进行划分，得到若干批量数据，并确定每一批量数据的数据量；
40.第二调度记录建立单元，用于确定所述若干批量数据中，每一批量数据的数据调度顺序；
41.第三调度记录建立单元，用于根据若干批量数据中，每一批量数据的数据量以及每一批量数据的数据调度顺序，建立批量数据规划调度记录。
42.可选的，所述调度比例确定单元，包括：
43.第一比例确定单元，用于若所述第一单位时长，大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第一比例；
44.第二比例确定单元，用于若所述第一单位时长，不大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第二比例。
45.可选的，所述待调度数据确定单元，包括：
46.第一比例相乘单元，用于当所述下一批量数据对应的数据量调度比例为第一比例时，选取所述下一批量数据中的第一部分数据作为待调度批量数据，所述第一部分数据的数据量为所述下一批量数据的数据量与所述第一比例相乘的结果。
47.可选的，该装置还包括：
48.负载数据确定单元，用于将所述下一批量数据中除所述第一部分数据外的数据确定为负载暂缓执行数据，所述负载暂缓执行数据为调度顺序在所述第一部分数据后的数据。
49.可选的，所述待调度数据确定单元，包括：
50.第二比例相乘单元，用于当所述下一批量数据对应的数据量调度比例为第二比例时，选取所述下一批量数据中的第二部分数据作为待调度批量数据，所述第二部分数据的数据量为所述下一批量数据的数据量与所述第二比例相乘的结果。
51.可选的，所述待调度数据调度单元，包括：
52.队列数据添加单元，用于向已有的任务队列添加所述待调度批量数据，以供用于数据脱敏的数据脱敏处理器从所述任务队列中获取所述待调度批量数据。
53.可选的，所述单位时长获取单元，包括：
54.处理信息获取单元，用于获取当前批量数据进行脱敏处理的数据量以及处理总时间；
55.单位时长计算单元，用于将所述处理总时间与所述数据量的比值，作为所述当前批量数据进行脱敏处理的第一单位时长。
56.可选的，所述单位时长计算单元，包括：
57.时长结果确定单元，用于确定所述处理总时间与所述数据量的比值；
58.时长结果精简单元，用于对所述比值的千分位四舍五入，保留得到在所述比值的千分位之前的估计数值，并将所述估计数值对应的时长作为所述当前批量数据进行脱敏处理的第一单位时长。
59.一种数据调度的设备，包括存储器和处理器；
60.所述存储器，用于存储程序；
61.所述处理器，用于执行所述程序，实现如上述数据调度的方法的各个步骤。
62.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如上述数据调度的方法的各个步骤。
63.借由上述技术方案，本技术通过在接收到数据待调度信号时，获取当前批量数据进行脱敏处理的第一单位时长，比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例，按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，并对所述待调度批量数据进行调度。由此可见，根据当前处理批量数据的结果，并将其与最邻近一次处理批量数据的结果进行比较，控制下一批量数据的数据量，以避免数据脱敏系统的负载过高，最后将待调度批量数据调度给数据脱敏处理器，能够高效地对海量图像数据进行脱敏。
附图说明
64.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
65.图1为本技术实施例提供的一种数据调度的流程示意图；
66.图2为本技术实施例提供的一种数据调度系统的架构示意图；
67.图3为本技术实施例提供的一种数据调度的装置结构示意图；
68.图4为本技术实施例提供的一种数据调度设备的结构示意图。
具体实施方式
69.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
70.本技术方案可以基于具备数据处理能力的终端实现，该终端可以为数据调度器，终端的具体形式可以是电脑、服务器、云端等。
71.接下来，结合图1所述，本技术的数据调度的方法可以包括以下步骤：
72.步骤s110、在接收到数据待调度信号时，获取当前批量数据进行脱敏处理的第一单位时长。
73.具体的，数据待调度信号可以是在当前批量数据脱敏处理结束后接收到的。当前批量数据进行脱敏处理的第一单位时长可以表示当前批量数据中的每一数据进行脱敏处
理的平均时长，也可以表示脱敏处理当前批量数据所花费的总时长。
74.其中，终端可以在监督数据脱敏的模块中，获取当前批量数据进行脱敏处理的第一单位时长。
75.步骤s120、比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例。
76.具体的，批量数据规划调度记录可以是在调度各批量数据前预先建立的，各批量数据可以按照批量数据规划调度记录中的各批量数据的顺序调度的。
77.其中，上一批量数据可以表示调度顺序在当前批量数据的上一批的批量数据，下一批量数据可以表示调度顺序在当前批量数据的下一批的批量数据。
78.可以理解的是，第二单位时长变化至第一单位时长，可以表示系统的负载的变化，当第一单位时长不大于第二单位时长时，可以表示系统负载没有加重，当第一单位时长大于第二单位时长时，可以表示系统负载正在加重，可能存储负载过高的风险。基于此，可以确定在预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例。
79.步骤s130、按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，并对所述待调度批量数据进行调度。
80.具体的，所述下一批量数据可以是终端预先在本地临时存储的，也可以是根据预先建立的批量数据规划调度记录中的当前批量数据的下一批量数据的信息，从数据库中查询获取的。
81.可以理解的是，由于第一单位时长与第二单位时长的结果不同，因此基于下一批量数据对应的数据量调度比例，需要对下一批量数据以与该结果相应的数据量调度比例进行调整，示例如，当第一单位时长不大于第二单位时长时，表示系统的负载正常或不高，那么可以对下一批量数据进行小幅度减少或不减少的调整，当第一单位时长大于第二单位时长时，表示系统的负载有过高的风险，那么可以对下一批量数据进行大幅度减少的调整。
82.示例如图2，图2示出了一种数据调度系统的系统架构，该系统可以包括数据调度器、任务队列、数据脱敏处理器和静态队列。当数据脱敏处理器处理完当前批量数据后，可以向静态队列中发送脱敏处理当前批量数据的第一单位时长的信息，以及数据待调度信号，数据调度器可以从静态队列中接收到数据待调度信号，并获取第一单位时长，将第一单位时长与预先存储的第二单位时长比较，确定下一批量数据的数据量调度比例并对下一批量数据调整，最后将调整后的下一批量数据作为待调度批量数据，通过任务队列调度给数据脱敏处理器。
83.本实施例提供的数据调度的方法，通过在接收到数据待调度信号时，获取当前批量数据进行脱敏处理的第一单位时长，比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例，按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，并对所述待调度批量数据进行调度。由此可见，根据当前处理批量数据的结果，并将其与最邻近一次处理批量数据的结果进行比较，控制下一批量数据的数据量，以避免数据脱敏系统的负载过
高，最后将待调度批量数据调度给数据脱敏处理器，能够高效地对海量图像数据进行脱敏。
84.本技术的一些实施例中，对上述实施例提到的批量数据规划调度记录的建立过程进行介绍，该建立过程可以包括：
85.s1、根据本地的每一待分配数据的所属目录地址，将各待分配数据进行划分，得到若干批量数据，并确定每一批量数据的数据量。
86.具体的，所有待分配数据可以暂存于本地存储中，每一待分配数据可以具有其所属的目录地址，对相同的目录地址的待分配数据分类分批，可以得到若干批量数据，并可以确定每一批量数据中待分配数据的数量。
87.其中，目录地址可以是待分配数据在上传时所选择或所固定的目录地址。
88.s2、确定所述若干批量数据中，每一批量数据的数据调度顺序。
89.具体的，数据调度顺序可以为各批量数据的生成时间的时间顺序，也可以为各批量数据在上传时的上传时间顺序。
90.s3、根据若干批量数据中，每一批量数据的数据量以及每一批量数据的数据调度顺序，建立批量数据规划调度记录。
91.具体的，批量数据规划调度记录中可以包括每一批量数据的数据量以及每一批量数据的数据调度次序。
92.本实施例提供的数据调度的方法，通过对各待分配数据划分得到若干批量数据，并确定各批量数据的调度顺序，从而生成批量数据规划调度记录，以供数据调度器在调度批量数据时查询。
93.本技术的一些实施例中，对上述步骤s120、比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例的过程进行介绍，该过程可以分为以下两种情况：
94.第一种、若所述第一单位时长，大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第一比例。
95.具体的，当所述第一单位时长，大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长时，可以表示系统负载正在加重，可能存储负载过高的风险，所确定的第一比例可以为将下一批量数据进行大幅度减少调整的比例。
96.其中，第一比例可以自定义，示例如第一比例为50％。
97.在此情况下，对上述步骤s130、按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据的过程进行介绍，该过程可以包括：
98.当所述下一批量数据对应的数据量调度比例为第一比例时，选取所述下一批量数据中的第一部分数据作为待调度批量数据，所述第一部分数据的数据量为所述下一批量数据的数据量与所述第一比例相乘的结果。
99.具体的，在下一批量数据中选取第一部分数据可以为随机选取。
100.示例如，下一批量数据中含有100个数据，那么当第一比例为50％时，可以在下一批量数据的100个数据中随机选取100*50％＝50个数据作为待调度批量数据。
101.可以理解的是，当下一批量数据对应的数据量调度比例为第一比例时，表示由于
防止系统高负载而不能一次性地把下一批量数据的所有数据均调度给数据脱敏处理器，因此会在下一批量数据中剩下除第一部分数据的其他数据，如剩下100-50＝50个数据，那么可以将这些数据作为负载暂缓执行数据，可以在调度第一部分数据后安排调度，那么负载暂缓执行数据则可以作为第一部分数据的下一批量数据。
102.第二种、若所述第一单位时长，不大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第二比例。
103.具体的，当所述第一单位时长，大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长时，可以表示系统负载正常或不高，所确定的第一比例可以为将下一批量数据进行小幅度调整或不调整的比例。
104.其中，第二比例可以为自定义，第二比例可以大于第一比例，示例如第二比例为95％或100％。
105.在此情况下，对上述步骤s130、按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据的过程进行介绍，该过程可以包括：
106.当所述下一批量数据对应的数据量调度比例为第二比例时，选取所述下一批量数据中的第二部分数据作为待调度批量数据，所述第二部分数据的数据量为所述下一批量数据的数据量与所述第二比例相乘的结果。
107.具体的，在下一批量数据中选取第二部分数据可以为随机选取。
108.示例如，下一批量数据中含有100个数据，那么当第二比例为95％时，可以在下一批量数据的100个数据中随机选取100*95％＝95个数据作为待调度批量数据。
109.其中，所述下一批量数据中除第二部分数据的剩余数据可以作为调度顺序在第二部分数据之后的下一批量数据，也可以将其添加至当前批量数据的下二批量数据中，那么在调度所述下二批量数据时可以将该剩余数据一起调度。
110.又示例如，下一批量数据中含有100个数据，那么当第二比例为100％时，可以直接将下一批量数据的所有数据作为待调度批量数据。
111.本实施例提供的数据调度的方法，通过比较第一单位时长与第二单位时长的关系，分析系统当前负载是否存在负载过高的风险，若不存在则按照正常调度比例对批量数据进行调度，若存在则对原批量数据进行减半的方式进行调度，保证了整个系统的高效脱敏。
112.本技术的一些实施例中，对上述实施例提到的、对所述待调度批量数据进行调度的过程进行介绍，该过程可以包括：
113.向已有的任务队列添加所述待调度批量数据，以供用于数据脱敏的数据脱敏处理器从所述任务队列中获取所述待调度批量数据。
114.具体的，数据调度器与数据脱敏处理器之间可以通过任务队列来安排任务的调度，数据调度器可以将待调度批量数据添加至任务队列，数据脱敏处理器可以从任务队列中获取所需脱敏处理的待调度批量数据。
115.本实施例提供的数据调度的方法，通过将待调度批量数据添加至任务队列，使数据脱敏处理器能够访问任务队列，并获取需要脱敏处理的待调度批量数据，避免对数据调度器直接访问，从而提高了整个系统的运行效率。
116.本技术的一些实施例中，对上述实施例提到的、获取当前批量数据进行脱敏处理的第一单位处理时长的过程进行介绍，该过程可以包括：
117.s1、获取当前批量数据进行脱敏处理的数据量以及处理总时间。
118.具体的，可以从用于监控数据脱敏处理器的数据脱敏状态的静态队列中，获取当前批量数据进行脱敏处理的数据量以及处理总时间。
119.其中，数据脱敏处理器在结束处理每一批量数据时，可以将该批量数据的数据量信息以及处理总时间的信息添加至静态队列，以供数据调度器从静态队列中获取。
120.s2、将所述处理总时间与所述数据量的比值，作为所述当前批量数据进行脱敏处理的第一单位时长。
121.可以理解的是，第一单位时长表示的是处理当前批量数据的单位数据的平均时长，那么可以将所述处理总时间与所述数据量的比值，作为所述当前批量数据进行脱敏处理的第一单位时长。
122.具体的，考虑到处理总时间与数据量的比值可能是无限小数，不是精确时间值，需要进行估值处理，那么该步骤s2、将所述处理总时间与所述数据量的比值，作为所述当前批量数据进行脱敏处理的第一单位时长的过程可以包括：
123.s21、确定所述处理总时间与所述数据量的比值。
124.可以理解的是，所述处理总时间与所述数据量的比值可能为无限小数，那么可以将该比值保留预设长度的小数位，示例如保留十位小数。
125.s22、对所述比值的千分位四舍五入，保留得到在所述比值的千分位之前的估计数值，并将所述估计数值对应的时长作为所述当前批量数据进行脱敏处理的第一单位时长。
126.示例如，若处理总时间与数据量的比值为0.450023(s)，那么第一单位时长经千分位四舍五入后，可以为0.45(s)，若处理总时间与数据量的比值为0.455023(s)，那么第一单位时长经千分位四舍五入后，可以为0.46(s)。
127.除此之外，为保证第一单位时长对第二单位时长进行安全性比较，可以将第一单位时长估值为比实际值稍大点的数值。
128.具体的，在当比值的百分位之后的各分位中存在非0时，可以对第一单位时长的百分位加1并省略其百分位之后的各分位，得到最终的估计值为当前批量数据进行脱敏处理的第一单位时长。
129.示例如，第一单位时长为0.450023(s)，由于百分位(5)之后的各分位中存在非0，那么最终的第一单位时长为0.46(s)。
130.本实施例提供的数据调度的方法，通过计算当前批量数据进行脱敏的数据量与其处理总时间的比值，并将该比值进行四舍五入估计，或基于对第二单位时长分析的安全性进行处理，得到更加精确以及安全系数更高的第一单位时长。
131.下面对本技术实施例提供的实现数据调度的装置进行描述，下文描述的实现数据调度的装置与上文描述的实现数据调度的方法可相互对应参照。
132.参见图3，图3为本技术实施例公开的一种实现数据调度的装置结构示意图。
133.如图3所示，该装置可以包括：
134.单位时长获取单元11，用于在接收到数据待调度信号时，获取当前批量数据进行脱敏处理的第一单位时长；
135.调度比例确定单元12，用于比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例；
136.待调度数据确定单元13，用于按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据；
137.待调度数据调度单元14，用于对所述待调度批量数据进行调度。
138.可选的，该装置还包括：
139.第一调度记录建立单元，用于根据本地的每一待分配数据的所属目录地址，将各待分配数据进行划分，得到若干批量数据，并确定每一批量数据的数据量；
140.第二调度记录建立单元，用于确定所述若干批量数据中，每一批量数据的数据调度顺序；
141.第三调度记录建立单元，用于根据若干批量数据中，每一批量数据的数据量以及每一批量数据的数据调度顺序，建立批量数据规划调度记录。
142.可选的，所述调度比例确定单元12，包括：
143.第一比例确定单元，用于若所述第一单位时长，大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第一比例；
144.第二比例确定单元，用于若所述第一单位时长，不大于预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，则确定已有的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例为第二比例。
145.可选的，所述待调度数据确定单元13，包括：
146.第一比例相乘单元，用于当所述下一批量数据对应的数据量调度比例为第一比例时，选取所述下一批量数据中的第一部分数据作为待调度批量数据，所述第一部分数据的数据量为所述下一批量数据的数据量与所述第一比例相乘的结果。
147.可选的，该装置还包括：
148.负载数据确定单元，用于将所述下一批量数据中除所述第一部分数据外的数据确定为负载暂缓执行数据，所述负载暂缓执行数据为调度顺序在所述第一部分数据后的数据。
149.可选的，所述待调度数据确定单元13，包括：
150.第二比例相乘单元，用于当所述下一批量数据对应的数据量调度比例为第二比例时，选取所述下一批量数据中的第二部分数据作为待调度批量数据，所述第二部分数据的数据量为所述下一批量数据的数据量与所述第二比例相乘的结果。
151.可选的，所述待调度数据调度单元14，包括：
152.队列数据添加单元，用于向已有的任务队列添加所述待调度批量数据，以供用于数据脱敏的数据脱敏处理器从所述任务队列中获取所述待调度批量数据。
153.可选的，所述单位时长获取单元，包括：
154.处理信息获取单元，用于获取当前批量数据进行脱敏处理的数据量以及处理总时间；
155.单位时长计算单元，用于将所述处理总时间与所述数据量的比值，作为所述当前
批量数据进行脱敏处理的第一单位时长。
156.可选的，所述单位时长计算单元，包括：
157.时长结果确定单元，用于确定所述处理总时间与所述数据量的比值；
158.时长结果精简单元，用于对所述比值的千分位四舍五入，保留得到在所述比值的千分位之前的估计数值，并将所述估计数值对应的时长作为所述当前批量数据进行脱敏处理的第一单位时长。
159.本技术实施例提供的数据调度的装置可应用于数据调度设备，如终端：手机、电脑等。可选的，图4示出了数据调度设备的硬件结构框图，参照图4，数据调度设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
160.在本技术实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
161.处理器1可能是一个中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
162.存储器3可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；
163.其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
164.在接收到数据待调度信号时，获取当前批量数据进行脱敏处理的第一单位时长；
165.比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例；
166.按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，并对所述待调度批量数据进行调度。
167.可选的，所述程序的细化功能和扩展功能可参照上文描述。
168.本技术实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
169.在接收到数据待调度信号时，获取当前批量数据进行脱敏处理的第一单位时长；
170.比较所述第一单位时长，与预先存储的所述当前批量数据的上一批量数据进行脱敏处理的第二单位时长，确定预先建立的批量数据规划调度记录中的，所述当前批量数据的下一批量数据的数据量调度比例；
171.按照所述下一批量数据对应的数据量调度比例，对所述下一批量数据进行调整，得到待调度批量数据，并对所述待调度批量数据进行调度。
172.可选的，所述程序的细化功能和扩展功能可参照上文描述。
173.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者
设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
174.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
175.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。