分布式数据处理方法、装置、设备及存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种分布式数据处理方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着业务的增量发展，系统的数据量越来越多，系统定时器需要处理的数据量越来越多，在分布式集群的环境下，单机性能较差，存在无法充分利用现有的所有服务器资源，甚至部分机器内存溢出，宕机。现有技术方案有分布式job，xx-job，djss-job等，这些方案只能通知每台服务器去执行任务，无差别的传递任务参数，无法通知每个服务器所处理数据范围和处理失败后的补处理，也无法实现服务器数量变更的动态扩容。综上所述，现有技术中存在服务器资源无法充分利用，服务器无法明确任务处理范围，业务数据处理效率低以及处理可能不充分的问题。


技术实现要素：

3.本发明提供一种分布式数据处理方法、装置及计算机可读存储介质，其主要目的在于解决服务器资源利用率低，服务器无法明确任务处理范围而导致的业务数据处理效率低以及处理不充分的问题。
4.为实现上述目的，本发明提供的一种分布式数据处理方法，包括：
5.获取文件列表，根据所述文件列表提取业务数据，根据所述业务数据触发预设的键值数据库，所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任务列表；
6.从所述服务器集群中逐个选取其中一个服务器作为目标服务器，从所述分片式任务列表按顺序选取其中一个分片式任务作为目标分片式任务；
7.向所述目标服务器发布所述目标分片式任务，并判断所述目标服务器是否成功处理所述目标分片式任务；
8.若未成功处理所述目标分片式任务，则将所述目标分片式任务存储至失败任务列表；
9.若成功处理所述目标分片式任务，则判断所述分片式任务列表中是否存在未发布的分片式任务；
10.若存在未发布的分片式任务，则按预设顺序从所述未发布的分片式任务中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；
11.若不存在未发布的分片式任务，则判断所述失败任务列表中是否存在分片式任务；
12.若存在分片式任务，则从所述失败任务列表中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；
13.若不存在分片式任务，则所述目标服务器停止数据处理。
14.可选地，所述根据所述文件列表提取业务数据，包括：
15.提取所述文件列表中的文件名，获取所述文件名对应的存储路径；
16.将所述存储路径编译为路径参数，利用所述路径参数对预设的数据接口进行赋值，并利用赋值后的所述数据接口对所述文件名对应的业务数据进行调用。
17.可选地，所述根据所述业务数据触发预设的键值数据库，所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任务列表，包括：
18.在所述业务数据触发预设的键值数据库所对应的接口时，所述接口触发键值数据库的通知；
19.在接收到所述通知后，所述键值数据库调取所述业务数据；
20.获取预设的服务器集群中每台服务器的历史数据处理能力，并根据所述历史处理能力对所述业务数据进行分片，得到多个分片式任务；
21.将所述分片式任务按预设顺序填入预设列表中，得到分片式任务列表。
22.可选地，所述向所述目标服务器发布所述目标分片式任务，包括：
23.从所述键值数据库中反射调用所述目标分片式任务；
24.扫描所述目标服务器的接口，向所述接口发送所述目标分片式任务。
25.可选地，所述判断所述目标服务器是否成功处理所述目标分片式任务，包括：
26.动态监测所述目标分片式任务的处理状态；
27.当所述处理状态为停止时，获取所述目标服务器的处理日志；
28.检测所述处理日志中是否存在预设敏感字段；
29.若存在预设敏感字段，则判定所述目标服务器未成功处理所述目标分片式任务；
30.若不存在预设敏感字段，则判定所述目标服务器成功处理所述目标分片式任务。
31.可选地，所述判断所述失败任务列表中是否存在分片式任务，包括：
32.查看所述失败任务列表是否为空；
33.若失败任务列表为空，则判定失败任务列表中不存在分片式任务；
34.若失败任务列表不为空，则判定遍历所述失败任务列表中的每一个id所对应的处理属性是否为空；
35.若遍历到id所对应的处理属性为空，则判定所述失败任务列表中存在分片式任务；
36.若未遍历到id所对应的处理属性为空，则判定所述失败任务列表中不存在分片式任务。
37.可选地，所述获取文件列表，包括：
38.接收数据处理请求，并识别所述数据处理请求中的请求体；
39.提取所述请求体中的数据，得到文件列表。
40.为了解决上述问题，本发明还提供一种分布式数据处理装置，所述装置包括：
41.分片式任务列表构建模块，用于获取文件列表，根据所述文件列表提取业务数据，根据所述业务数据触发预设的键值数据库，所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任务列表；
42.目标分片式任务发布模块，用于从所述服务器集群中逐个选取其中一个服务器作为目标服务器，从所述分片式任务列表按顺序选取其中一个分片式任务作为目标分片式任
务；向所述目标服务器发布所述目标分片式任务；
43.目标服务器再处理模块，用于判断所述目标服务器是否成功处理所述目标分片式任务；若未成功处理所述目标分片式任务，则将所述目标分片式任务存储至失败任务列表；若成功处理所述目标分片式任务，则在所述分片式任务列表中存在未发布的分片式任务时，按预设顺序从所述未发布的分片式任务中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；
44.失败任务列表处理模块，用于在所述分片式任务列表中不存在未发布的分片式任务时，则判断所述失败任务列表中是否存在分片式任务；若存在分片式任务，则从所述失败任务列表中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；若不存在分片式任务，则所述目标服务器停止数据处理。
45.为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
46.至少一个处理器；以及，
47.与所述至少一个处理器通信连接的存储器；其中，
48.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的分布式数据处理方法。
49.为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的分布式数据处理方法。
50.本发明实施例通过业务数据触发预设的键值数据库，利用所述键值数据库根据所述业务数据构建分片式任务列表，从而实现将业务数据分发给各个服务器的目的，提高了服务器资源的整体利用率，也提高了数据处理的效率；通过根据服务器的任务处理是否成功，是否存在符合条件的未发布的分片式任务以及在失败任务列表中是否存在分片式任务，实现服务器对分片式任务列表中任务的充分处理，防止出现漏掉的数据未处理，也可以对处理失败的任务进行补充处理，实现了业务数据的全面处理，以及服务器的充分利用。因此本发明提出的分布式数据处理方法、装置、电子设备及计算机可读存储介质，可以解决服务器资源利用率低，服务器无法明确任务处理范围而导致的业务数据处理效率低以及处理不充分的问题。
附图说明
51.图1为本发明一实施例提供的分布式数据处理方法的流程示意图；
52.图2为本发明一实施例提供的构建分片式任务列表的流程示意图；
53.图3为本发明一实施例提供的判断目标服务器是否成功处理目标分片式任务的流程示意图；
54.图4为本发明一实施例提供的分布式数据处理装置的功能模块图；
55.图5为本发明一实施例提供的实现所述分布式数据处理方法的电子设备的结构示意图。
56.本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
57.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
58.本技术实施例提供一种分布式数据处理方法。所述分布式数据处理方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之，所述分布式数据处理方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
59.参照图1所示，为本发明一实施例提供的分布式数据处理方法的流程示意图。在本实施例中，所述分布式数据处理方法包括以下步骤s1-s9：
60.s1、获取文件列表，根据所述文件列表提取业务数据，根据所述业务数据触发预设的键值数据库，所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任务列表。
61.本发明实施例中，所述文件列表可以是外部系统发送的文件数据汇总表，其中每个文件列表中包含多多个文件名，每个文件名下对应有多条业务数据。例如，所述存在一个文件列表，文件列表中包含80个文件名，每个文件名对应的文件存储有5000条业务数据。
62.本发明实施例中，所述获取文件列表，包括：
63.接收数据处理请求，并识别所述数据处理请求中的请求体；
64.提取所述请求体中的数据，得到文件列表。
65.本发明实施例中，所述数据处理请求由请求行、请求头和请求头构成，其中所述请求体中包含实际发送的内容，即请求处理的文件列表，从而通过提取请求体中的数据能够实现获取文件列表的目的。
66.本发明实施例中，所述根据所述文件列表提取业务数据，包括：
67.提取所述文件列表中的文件名，获取所述文件名对应的存储路径；
68.将所述存储路径编译为路径参数，利用所述路径参数对预设的数据接口进行赋值，并利用赋值后的所述数据接口对所述文件名对应的业务数据进行调用。
69.具体地，可利用预设的编译器将所述存储路径编译为路径参数，并利用所述路径参数对预设的数据接口进行赋值，利用该数据接口可对所述存储路径下的数据进行调用，其中，所述编译器包括但不限于：microsoft visual studio、dev-c++、c++builder、emacs+gc。
70.本发明实施例中，利用数据接口获取文件名对应的业务数据，有利于快速获取数据，并且使得获取的数据更加安全及精确。
71.请参阅图2所示，本发明实施例中，所述根据所述业务数据触发预设的键值数据库，所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任务列表，包括以下步骤s21-s24：
72.s21、在所述业务数据触发预设的键值数据库所对应的接口时，所述接口触发键值数据库的通知；
73.s22、在接收到所述通知后，所述键值数据库调取所述业务数据；
74.s23、获取预设的服务器集群中每台服务器的历史数据处理能力，并根据所述历史处理能力对所述业务数据进行分片，得到多个分片式任务；
75.s24、将所述分片式任务按预设顺序填入预设列表中，得到分片式任务列表。
76.具体地，本发明实施例可以根据服务器的历史处理能力对分片式任务中的数据数量进行划分，例如，服务器a的历史处理能力为处理2000条数据，服务器b的历史处理能力为处理3000条数据，那么根据服务器a和服务器b的历史处理能力进行综合分析，可以将每个分片式任务的业务数据量设置为2000条，兼顾服务器a与服务器b。
77.本发明实施例中，所述分片式任务可以按生成的时间顺序填入预设列表中，在所述分片式任务列表中，每个分片式任务可以通过分片id的形式所表示。
78.s2、从所述服务器集群中逐个选取其中一个服务器作为目标服务器，从所述分片式任务列表按顺序选取其中一个分片式任务作为目标分片式任务。
79.本发明实施例中，所述服务器集群中存在着多个可以用于处理所述业务数据的服务器，这些服务器都可以执行业务数据的处理；所述分片式任务列表中存在着多个分片式任务，其中每个分片式任务中所包含的业务数据可以是相同的，例如，每个分片式任务中都包含有2000条业务数据。
80.s3、向所述目标服务器发布所述目标分片式任务，并判断所述目标服务器是否成功处理所述目标分片式任务。
81.本发明实施例可以根据服务器集群中服务器的分布顺序来发送所述目标分片式任务，并且在发布分片式任务之后，可以将目标服务器设置为所述目标分片式任务的id的处理属性，并且将目标服务器与目标分片式任务写入数据处理日志中，便于控制数据处理进程以及核对具体处理情况。
82.本发明实施例中，所述向所述目标服务器发布所述目标分片式任务，包括：
83.从所述键值数据库中反射调用所述目标分片式任务；
84.扫描所述目标服务器的接口，向所述接口发送所述目标分片式任务。
85.本发明实施例通过围绕键值数据库的sdk去成分片式处理逻辑，推进服务器实现业务逻辑，处理业务数据。
86.请参阅图3所示，本发明实施例中，所述判断所述目标服务器是否成功处理所述目标分片式任务，包括以下步骤s31-s35：
87.s31、动态监测所述目标分片式任务的处理状态；
88.s32、当所述处理状态为停止时，获取所述目标服务器的处理日志；
89.s33、检测所述处理日志中是否存在预设敏感字段；
90.若存在预设敏感字段，则执行s34、判定所述目标服务器未成功处理所述目标分片式任务；
91.若不存在预设敏感字段，则执行s35、判定所述目标服务器成功处理所述目标分片式任务。
92.本发明实施例中，所述敏感字段可以为服务器在处理数据出现错误时自动生成的提示/警告字段。
93.若未成功处理所述目标分片式任务，则执行s4、将所述目标分片式任务存储至失
败任务列表。
94.本发明实施例中，由于服务器处理故障、运行问题等，可能会导致目标分片式任务处理失败，在未成功处理所述目标分片式任务时，可以通过将所述目标分片式任务存储至失败任务列表事所述目标分片式任务可以被后续其他的服务器重新处理，实现对处理失败的任务进行补充处理，进一步实现了业务数据的全面处理。
95.若成功处理所述目标分片式任务，则执行s5、判断所述分片式任务列表中是否存在未发布的分片式任务。
96.本发明实施例中，服务器成功处理目标分片式任务之后，在分片式任务列表中可能还存在为未发布的分片式任务需要服务器继续处理。
97.本发明实施例中，所述判断所述分片式任务列表中是否存在未发布的分片式任务，包括：
98.遍历所述分片式任务列表中的每一个id所对应的处理属性是否为空；
99.若遍历到id所对应的处理属性为空，则判定所述分片式任务列表中存在未发布的分片式任务；
100.若未遍历到id所对应的处理属性为空，则判定所述分片式任务列表中不存在未发布的分片式任务。
101.若存在未发布的分片式任务，则执行s6、按预设顺序从所述未发布的分片式任务中提取目标分片式任务，并返回s2。
102.本发明实施例中，在存在未发布的分片式任务时，则需要继续获取未发布的分片式任务作为新的目标分片式任务进行数据处理。
103.本发明实施例中，所述存在未发布的分片式任务时，所述方法还可以包括：判断所述未发布的分片式任务中是否为最后一个分布式任务，若为最后一个分布式任务，则将所述未发布的分片式任务作为目标分片式任务进行处理，并向所述键值数据库发送分片式任务列表处理结束指令。
104.具体地，可以通过判断所述未发布的分片式任务中业务数据的结尾是否存在终止符，也可以通过所述未发布的分片式任务中业务数据的数量是否与发布的分布式任务中业务数据的数量相同。
105.其中，若所述未发布的分片式任务中业务数据的结尾存在终止符，则说明业务数据的处理将处理结束；若所述未发布的分片式任务中业务数据的数量与发布的分布式任务中业务数据的数量不相同，则说明所述未发布的分片式任务中业务数据的数量不够，即说明业务数据的处理将处理结束。
106.若不存在未发布的分片式任务，则执行s7、判断所述失败任务列表中是否存在分片式任务。
107.本发明实施例中，所述判断所述失败任务列表中是否存在分片式任务，包括：
108.查看所述失败任务列表是否为空；
109.若失败任务列表为空，则判定失败任务列表中不存在分片式任务；
110.若失败任务列表不为空，则判定遍历所述失败任务列表中的每一个id所对应的处理属性是否为空；
111.若遍历到id所对应的处理属性为空，则判定所述失败任务列表中存在分片式任
务；
112.若未遍历到id所对应的处理属性为空，则判定所述失败任务列表中不存在分片式任务。
113.若存在分片式任务，则执行s8、从所述失败任务列表中提取目标分片式任务，并返回s2。
114.本发明实施例中，在失败任务列表中存在分片式任务时，则需要对其他服务器处理失败的分片式任务重新处理，保证业务数据处理的完整性，实现对处理流程中出现的问题的灵活处理。
115.若不存在分片式任务，则执行s9、所述目标服务器停止数据处理。
116.本发明实施例中，在不存在未发布的分片式任务并且失败任务列表中也不存在分片式任务，此时说明分片式任务列表中的所有分片式任务都已经处理完成，业务数据的处理流程结束，各个服务器在处理完当前分片式任务后将停止数据处理。
117.本发明实施例通过业务数据触发预设的键值数据库，利用所述键值数据库根据所述业务数据构建分片式任务列表，从而实现将业务数据分发给各个服务器的目的，提高了服务器资源的整体利用率，也提高了数据处理的效率；通过根据服务器的任务处理是否成功，是否存在符合条件的未发布的分片式任务以及在失败任务列表中是否存在分片式任务，实现服务器对分片式任务列表中任务的充分处理，防止出现漏掉的数据未处理，也可以对处理失败的任务进行补充处理，实现了业务数据的全面处理，以及服务器的充分利用。因此本发明提出的分布式数据处理方法，可以解决服务器资源利用率低，服务器无法明确任务处理范围而导致的业务数据处理效率低以及处理不充分的问题。
118.如图4所示，是本发明一实施例提供的分布式数据处理装置的功能模块图。
119.本发明所述分布式数据处理装置100可以安装于电子设备中。根据实现的功能，所述分布式数据处理装置100可以包括分片式任务列表构建模块101、目标分片式任务发布模块102、目标服务器再处理模块103及失败任务列表处理模块104。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
120.在本实施例中，关于各模块/单元的功能如下：
121.所述分片式任务列表构建模块101，用于获取文件列表，根据所述文件列表提取业务数据，根据所述业务数据触发预设的键值数据库，所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任务列表；
122.所述目标分片式任务发布模块102，用于从所述服务器集群中逐个选取其中一个服务器作为目标服务器，从所述分片式任务列表按顺序选取其中一个分片式任务作为目标分片式任务；向所述目标服务器发布所述目标分片式任务；
123.所述目标服务器再处理模块103，用于判断所述目标服务器是否成功处理所述目标分片式任务；若未成功处理所述目标分片式任务，则将所述目标分片式任务存储至失败任务列表；若成功处理所述目标分片式任务，则在所述分片式任务列表中存在未发布的分片式任务时，按预设顺序从所述未发布的分片式任务中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；
124.所述失败任务列表处理模块104，用于在所述分片式任务列表中不存在未发布的
分片式任务时，则判断所述失败任务列表中是否存在分片式任务；若存在分片式任务，则从所述失败任务列表中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；若不存在分片式任务，则所述目标服务器停止数据处理。
125.详细地，本发明实施例中所述分布式数据处理装置100中所述的各模块在使用时采用与上述图1至图3中所述的分布式数据处理方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
126.如图5所示，是本发明一实施例提供的实现分布式数据处理方法的电子设备的结构示意图。
127.所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如分布式数据处理程序。
128.其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行分布式数据处理程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
129.所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如分布式数据处理程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
130.所述通信总线12可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
131.所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
132.图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
133.例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
134.应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
135.所述电子设备1中的所述存储器11存储的分布式数据处理程序是多个指令的组合，在所述处理器10中运行时，可以实现：
136.获取文件列表，根据所述文件列表提取业务数据，根据所述业务数据触发预设的键值数据库，所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任务列表；
137.从所述服务器集群中逐个选取其中一个服务器作为目标服务器，从所述分片式任务列表按顺序选取其中一个分片式任务作为目标分片式任务；
138.向所述目标服务器发布所述目标分片式任务，并判断所述目标服务器是否成功处理所述目标分片式任务；
139.若未成功处理所述目标分片式任务，则将所述目标分片式任务存储至失败任务列表；
140.若成功处理所述目标分片式任务，则判断所述分片式任务列表中是否存在未发布的分片式任务；
141.若存在未发布的分片式任务，则按预设顺序从所述未发布的分片式任务中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；
142.若不存在未发布的分片式任务，则判断所述失败任务列表中是否存在分片式任务；
143.若存在分片式任务，则从所述失败任务列表中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；
144.若不存在分片式任务，则所述目标服务器停止数据处理。
145.具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
146.进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
147.本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
148.获取文件列表，根据所述文件列表提取业务数据，根据所述业务数据触发预设的键值数据库，所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任务列表；
149.从所述服务器集群中逐个选取其中一个服务器作为目标服务器，从所述分片式任务列表按顺序选取其中一个分片式任务作为目标分片式任务；
150.向所述目标服务器发布所述目标分片式任务，并判断所述目标服务器是否成功处理所述目标分片式任务；
151.若未成功处理所述目标分片式任务，则将所述目标分片式任务存储至失败任务列表；
152.若成功处理所述目标分片式任务，则判断所述分片式任务列表中是否存在未发布的分片式任务；
153.若存在未发布的分片式任务，则按预设顺序从所述未发布的分片式任务中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；
154.若不存在未发布的分片式任务，则判断所述失败任务列表中是否存在分片式任务；
155.若存在分片式任务，则从所述失败任务列表中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；
156.若不存在分片式任务，则所述目标服务器停止数据处理。
157.在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
158.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
159.另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
160.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
161.因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
162.本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
163.此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
164.最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。