资源采集方法、资源采集装置、存储介质及电子设备与流程

1.本公开涉及计计算机技术领域，具体而言，涉及一种资源采集方法、资源采集装置、计算机可读存储介质及电子设备。


背景技术：

2.随着软硬件的快速发展，数据逐渐膨胀，各种各样的大数据平台也不断的被开发出来。大数据平台能够处理海量数据，对海量数据进行存储，计算及分析，例如可以对相关业务进行预测或者精准化定制。
3.在采用大数据平台对数据进行处理之前，需要先从相关的业务方采集数据。在现有的方案中，可以使用etl(数据仓库技术)采集方式采集数据，该种方案一般都具有采集时间限制，例如在每天的凌晨采集数据。
4.然而，现有的方案，使用定时采集方式，无法满足实时性要求，且在传输数据时，由于文件的大小不同，对数据平台的存储效率有较大影响，此外，集中采集数据时，由于数据量较大，对网络传输的压力也更大，难以控制传输速率。
5.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

6.本公开的目的在于提供一种资源采集方法及资源采集装置、计算机可读存储介质及电子设备，可以解决资源采集时延迟较高的问题。
7.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
8.根据本公开的第一方面，提供了一种资源采集方法，包括：实时扫描资源服务器得到待处理文件列表，根据所述待处理文件列表确定第一待下载文件列表；其中，所述第一待下载文件列表包括所述第一待下载文件列表中多个文件的规格信息；根据所述文件的规格信息将所述第一待下载文件列表中的多个文件划分为至少一个文件组；其中，所述文件组的规格信息符合预设文件块规格；采用流式框架下载所述至少一个文件组中的多个文件，并将所述文件组中的多个文件合并为文件块；将所述文件块存储至数据平台的存储区域中，以完成资源采集的过程。
9.可选的，所述实时扫描资源服务器得到待处理文件列表，包括：实时扫描资源服务器得到总文件列表，获取所述总文件列表中的多个文件以及所述文件对应的合规信息；根据所述文件对应的合规信息确定待处理文件列表。
10.可选的，所述实时扫描资源服务器得到待处理文件列表，包括：实时扫描资源服务器得到总文件列表，获取所述总文件列表中的多个文件以及所述文件对应的第一规格信息；将所述第一规格信息与上一次实时扫描得到的总文件列表中的多个文件以及所述文件对应的第二规格信息进行对比得到对比结果；根据所述对比结果确定待处理文件列表。
11.可选的，所述根据所述待处理文件列表确定第一待下载文件列表，包括：获取所述待处理文件列表中多个文件的下载状态；其中，所述下载状态包括下载中、下载完成、待下载；根据所述多个文件的下载状态确定第一待下载文件列表。
12.可选的，所述根据所述文件的规格信息将所述第一待下载文件列表中的多个文件划分为至少一个文件组，包括：获取所述第一待下载文件列表中多个文件对应的关联信息，根据所述文件对应的关联信息将所述多个文件划分为至少一个类型文件列表；根据所述文件的规格信息将所述类型文件列表中的多个文件划分为至少一个文件组。
13.可选的，所在述将所述文件组中的多个文件合并为文件块之后，所述方法还包括：生成所述文件块的校验数据；其中，所述校验数据包括所述文件组中的多个文件的校验规格信息以及所述文件块的校验规格信息。
14.可选的，将所述文件块存储至数据平台的存储区域中，包括：将所述文件块存储至数据平台的存储区域中，并将所述文件块对应的文件信息更新至数据平台对应的缓存目录中；根据所述文件块的校验数据对所述存储区域中的文件块进行校验；在所述存储区域中的文件块校验成功之后，将所述文件块对应的文件信息更新至数据平台对应的正式目录中。
15.可选的，所述根据所述文件块的校验数据对所述存储区域中的文件块进行校验，包括：获取所述存储区域中的文件块对应的规格信息；根据所述多个文件的校验规格信息以及所述存储区域中的文件块对应的规格信息对所述存储区域中的文件块进行校验。
16.可选的，在所述存储区域中的文件块校验失败之后，将所述数据平台对应的缓存目录的文件块的文件信息对应的校验状态更新为失败；根据所述校验状态生成第二待下载文件列表，根据所述第二待下载文件列表执行下载以及校验过程，直至第二待下载文件列表对应的文件块校验成功。
17.可选的，在所述存储区域中的文件块校验失败的次数超过预设阈值时，进行告警。
18.根据本公开的第二方面，提供了一种资源采集装置，包括：待下载文件确定模块，用于实时扫描资源服务器得到待处理文件列表，根据所述待处理文件列表确定第一待下载文件列表；其中，所述第一待下载文件列表包括所述第一待下载文件列表中多个文件的规格信息；文件组划分模块，用于根据所述文件的规格信息将所述第一待下载文件列表中的多个文件划分为至少一个文件组；其中，所述文件组的规格信息符合预设文件块规格；流式下载模块，用于采用流式框架下载所述至少一个文件组中的多个文件，并将所述文件组中的多个文件合并为文件块；资源存储模块，用于将所述文件块存储至数据平台的存储区域中，以完成资源采集的过程。
19.根据本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面所述的资源采集方法。
20.根据本公开的第四方面，提供了一种电子设备，包括：
21.一个或多个处理器；以及
22.存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的资源采集方法。
23.本公开实施例提供的技术方案可以包括以下有益效果：
24.本公开的一种实施例所述提供的资源采集方法中，可以实时获取下载列表，通过流式框架下载文件块，完成资源采集的过程。一方面，实时采集文件，并通过流式框架下载文件，可以满足实时性要求，避免现有技术中进行数据采集时高延迟的问题；另一方面，可以将资源下载的步骤分布到不同的时间点上，避免了现有技术中集中采集资源时网络压力较大的问题，能够较好的控制网络传输速率；再一方面，将文件按照预设文件块规格进行下载，提升了数据平台的存储效率，进而提升了数据平台的数据吞吐能力。
25.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
26.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
27.图1示意性示出本公开示例性实施例中资源采集方法的流程图；
28.图2示意性示出本公开示例性实施例中根据文件对应的合规信息确定待处理文件列表的流程图；
29.图3示意性示出本公开示例性实施例中根据对比结果确定待处理文件列表的流程图；
30.图4示意性示出本公开示例性实施例中根据多个文件的下载状态确定第一待下载文件列表的流程图；
31.图5示意性示出本公开示例性实施例中根据文件的规格信息将类型文件列表中的多个文件划分为至少一个文件组的流程图；
32.图6示意性示出本公开示例性实施例中将文件块对应的文件信息更新至数据平台对应的正式目录中的流程图；
33.图7示意性示出本公开示例性实施例中根据多个文件的校验规格信息以及存储区域中的文件块对应的规格信息对存储区域中的文件块进行校验的流程图；
34.图8示意性示出本公开示例性实施例中根据第二待下载文件列表执行下载以及校验过程，直至第二待下载文件列表对应的文件块校验成功的流程图；
35.图9示意性示出本公开示例性实施例中一种资源采集的示意图；
36.图10示意性示出本公开示例性实施例中一种资源采集装置的组成示意图；
37.图11示意性示出了适于用来实现本公开示例性实施例的电子设备的计算机系统的结构示意图。
具体实施方式
38.现在将参照附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。此外，所描述的特征、结构
或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。
39.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
40.随着软硬件的快速发展，数据逐渐膨胀，各种各样的大数据平台也不断的被开发出来。大数据平台能够处理海量数据，对海量数据进行存储，计算及分析，例如可以对相关业务进行预测或者精准化定制。
41.在采用大数据平台对数据进行处理之前，需要先从相关的业务方采集数据。在现有的方案中，可以使用etl(数据仓库技术)采集方式采集数据，该种方案一般都具有采集时间限制，例如在每天的凌晨采集数据。
42.然而，现有的方案，使用定时采集方式，无法满足实时性要求，且在传输数据时，由于文件的大小不同，对数据平台的存储效率有较大影响，此外，集中采集数据时，由于数据量较大，对网络传输的压力也更大，难以控制传输速率。
43.根据本示例性实施例中所提供的资源采集方法中，可以实时扫描资源服务器得到待处理文件列表，根据待处理文件列表确定第一待下载文件列表，根据文件的规格信息将第一待下载文件列表中的多个文件划分为至少一个文件组，采用流式框架下载至少一个文件组中的多个文件，并将文件组中的多个文件合并为文件块，将文件块存储至数据平台的存储区域中，以完成资源采集的过程。如图1所示，该资源采集方法可以包括以下步骤：
44.步骤s110，实时扫描资源服务器得到待处理文件列表，根据待处理文件列表确定第一待下载文件列表；其中，第一待下载文件列表包括第一待下载文件列表中多个文件的规格信息；
45.步骤s120，根据文件的规格信息将第一待下载文件列表中的多个文件划分为至少一个文件组；其中，文件组的规格信息符合预设文件块规格；
46.步骤s130，采用流式框架下载至少一个文件组中的多个文件，并将文件组中的多个文件合并为文件块；
47.步骤s140，将文件块存储至数据平台的存储区域中，以完成资源采集的过程。
48.本公开的一种实施例提供的资源采集方法中，可以实时获取下载列表，通过流式框架下载文件块，完成资源采集的过程。一方面，实时采集文件，并通过流式框架下载文件，可以满足实时性要求，避免现有技术中进行数据采集时高延迟的问题；另一方面，可以将资源下载的步骤分布到不同的时间点上，避免了现有技术中集中采集资源时网络压力较大的问题，能够较好的控制网络传输速率；再一方面，将文件按照预设文件块规格进行下载，提升了数据平台的存储效率，进而提升了数据平台的数据吞吐能力。
49.下面，将结合附图及实施例对本示例性实施例中的资源采集方法的步骤s110～s140进行更详细的说明。
50.步骤s110，实时扫描资源服务器得到待处理文件列表，根据待处理文件列表确定第一待下载文件列表；
51.在本公开的一种示例实施例中，可以实时扫描资源服务器得到待处理文件列表，根据待处理文件列表确定第一待下载文件列表。其中，资源服务器可以包括生产业务数据的服务器，可以通过扫描资源服务器获取待处理文件列表。例如，ftp(file transfer protocol，文件传输协议)服务器或sftp(secure file transfer protocol，文件加密传输协议)服务器。具体的，资源服务器中可以用于存储业务数据，可以通过扫描资源服务器获取该资源服务器中的文件，并根据这些文件得到待处理文件列表。具体的，待处理文件列表中可以包括资源服务器中的所有文件。
52.在得到待处理文件列表之后，可以根据待处理文件列表确定第一待下载文件列表。具体的，在待处理文件列表中，有一些文件可能存在异常或是已经下载过或是正在下载中等情况，此时，就需要将这些文件剔除，将剔除后的待处理文件列表作为第一待下载文件列表。需要说明的是，本公开对于根据待处理文件列表确定第一待下载文件列表的方式并不做特殊限定。
53.其中，第一待下载文件列表包括第一待下载文件列表中多个文件的规格信息。具体的，第一待下载文件列表可以包括多个文件，并且多个文件都具有对应的规格信息。文件的规格信息可以用于指示文件占用内存的数值信息。举例而言，可以包括文件的大小、行数、条数等。需要说明的是，本公开对于文件的规格信息的具体类型并不做特殊限定。
54.在本公开的一种示例实施例中，可以实时扫描资源服务器得到总文件列表，获取总文件列表中的多个文件以及文件对应的合规信息，并根据文件对应的合规信息确定待处理文件列表。参照图2所示，根据文件对应的合规信息确定待处理文件列表，可以包括以下步骤s210～s220：
55.步骤s210，实时扫描资源服务器得到总文件列表，获取总文件列表中的多个文件以及文件对应的合规信息；
56.在本公开的一种示例实施例中，可以实时扫描资源服务器得到总文件列表，获取总文件列表中的多个文件以及文件对应的合规信息。具体的，总文件列表是指包括资源服务器中所有文件的文件列表，且总文件列表中的文件具有对应的合规信息。具体的，文件的合规信息可以包括文件的格式、处理权限、文件名等。需要说明的是，本公开糴文件列表中文件对应的合规信息的具体类型并不做特殊限定。
57.步骤s220，根据文件对应的合规信息确定待处理文件列表。
58.在本公开的一种示例实施例中，在通过上述步骤得到总文件列表中的多个文件以及文件对应的合规信息之后，可以根据文件对应的合规信息确定待处理文件列表。具体的，可以将文件的合规信息不符合预设合规标准的文件剔除，将剔除后的总文件列表确定为待处理文件列表。
59.举例而言，总文件列表中的多个文件以及文件对应的合规信息为文件名，可以通过正则表达式确定文件名是否符合预设合规标准，若文件名不符合预设合规标准，则可以将该文件名对应的文件从总共文件列表中剔除，将剔除该文件的总文件列表作为待处理文件列表。再如，总文件列表中的多个文件以及文件对应的合规信息为格式，预设合规标准为tmp格式，则需要将总文件列表中的所有不是tmp格式的文件剔除，将剔除后的总文件列表
作为待处理文件列表。
60.需要说明的是，本公开对于根据文件对应的合规信息确定待处理文件列表的具体方式并不做特殊限定。
61.通过上述步骤s210～s220，可以实时扫描资源服务器得到总文件列表，获取总文件列表中的多个文件以及文件对应的合规信息，并根据文件对应的合规信息确定待处理文件列表。
62.在本公开的一种示例实施例中，可以实时扫描资源服务器得到总文件列表，获取总文件列表中的多个文件以及文件对应的第一规格信息，将第一规格信息与上一次实时扫描得到的总文件列表中的多个文件以及文件对应的第二规格信息进行对比得到对比结果，根据对比结果确定待处理文件列表。参照图3所示，根据对比结果确定待处理文件列表，可以包括以下步骤s310～s330：
63.步骤s310，实时扫描资源服务器得到总文件列表，获取总文件列表中的多个文件以及文件对应的第一规格信息；
64.在本公开的一种示例实施例中，可以实时扫描资源服务器得到总文件列表，获取总文件列表中的多个文件以及文件对应的第一规格信息。具体的，总文件列表是指包括资源服务器中所有文件的文件列表，且总文件列表中的文件具有对应的第一规格信息。文件的第一规格信息可以用于指示文件占用内存的数值信息。举例而言，可以包括文件的大小、行数、条数等。需要说明的是，本公开对于文件的第一规格信息的具体类型并不做特殊限定。
65.步骤s320，将第一规格信息与上一次实时扫描得到的总文件列表中的多个文件以及文件对应的第二规格信息进行对比得到对比结果；
66.步骤s330，根据对比结果确定待处理文件列表。
67.在本公开的一种示例实施例中，在通过上述步骤得到总文件列表中的多个文件以及文件对应的第一规格信息之后，可以获取上一次实时扫描得到的总文件列表中的多个文件以及文件对应的第二规格信息。具体的，在进行实时扫描时，具有一定的时间差，例如1秒，即上一次实时扫描的结果为1秒前进行实时扫描的结果，其包括多个文件以及文件对应的第二规格信息。
68.此时，可以将总文件列表中的多个文件以及文件对应的第一规格信息与总文件列表中的多个文件以及文件对应的第二规格信息进行对比得到对比结果。具体的，对比结果可以用于指示两次扫描之间的文件的规格信息的变化。可以根据对比结果确定待处理文件列表。
69.举例而言，文件的规格信息为文件大小，当前扫描得到的总文件列表中包括文件a、文件b、文件c，其对应的文件大小为文件a-50mb、文件b-70mb、文件c-80mb，上一次扫描得到的总文件列表中包括文件a、文件b、文件d，其对应的文件大小为文件a-45mb、文件b-50mb、文件d-90mb，可以将当前扫描的文件的第一规格信息与上一次扫描得到的第二规格信息进行对比得到文件a与文件b两次扫描的结果不同。即可以表示文件a与文件b正在上传中，此时可以忽略文件a与文件b，等待文件a与文件b上传完成之后，再对文件a与文件b进行下载，即此时可以将文件a与文件b在总文件列表中剔除，将剔除后的总文件列表作为待处理文件列表。需要说明的是，本公开对于根据对比结果确定待处理文件列表的方式并不做
455mb、文件e-344mb，设置的预设文件块规格为1gb，此时可以将文件a、文件b合并为一个文件组，将文件c、文件d、文件e合并为一个文件组。
80.或者，预设文件块规格可以为规格区间，在划分前的多个文件的总规格在预设文件块对应的规格区间时，文件组的规格信息也符合预设文件块规格。举例而言，第一待下载文件列表中包括文件a、文件b、文件c、文件d、文件e，其对应的文件大小为：文件a-280mb、文件b-700mb、文件c-200mb、文件d-435mb、文件e-350mb，设置的预设文件块规格对应的规格区间为950mb至1050mb，文件a、文件b的总规格为980mb，980mb位于上述规格区间，因此可以将文件a、文件b划分为一个文件组，文件c、文件d、文件e的总规格为985mb，985mb位于上述规格区间，因此可以将文件c、文件d、文件e划分为一个文件组。
81.在本公开的一种示例实施例中，可以获取第一待下载文件列表中多个文件对应的关联信息，根据文件对应的关联信息将多个文件划分为至少一个类型文件列表，根据文件的规格信息将类型文件列表中的多个文件划分为至少一个文件组。参照图5所示，根据文件的规格信息将类型文件列表中的多个文件划分为至少一个文件组，可以包括以下步骤s510～s520：
82.步骤s510，获取第一待下载文件列表中多个文件对应的关联信息，根据文件对应的关联信息将多个文件划分为至少一个类型文件列表；
83.在本公开的一种示例实施例中，可以获取第一待下载文件列表中多个文件对应的关联信息。具体的，第一待下载文件列表中的多个文件对应的关联信息可以用于指示文件的实际特征。举例而言，第一待下载文件列表中的多个文件对应的关联信息可以包括文件所属业务类型、文件所属地域、文件所属省份、文件日期等。需要说明的是，本公开对于第一待下载文件列表中多个文件对应的关联信息的具体类型并不做特殊限定。
84.在本公开的一种示例实施例中，在通过上述步骤得到第一待下载文件列表中多个文件对应的关联信息之后，可以根据文件对应的关联信息将多个文件划分为至少一个类型文件列表。具体的，可以按照关联信息将多个文件划分为不同的类别，每种类别对应的一个类型文件列表。举例而言，第一待下载文件列表中包括文件a、文件b、文件c，关联信息为文件日期，多个文件以及多个文件对应的关联信息为：文件a-2021.10.20、文件b-2021.10.20、文件c-2021.10.15，即此时可以将多个文件划分为两个类型文件列表，一个类型文件列表(2021.10.20)中包括文件a与文件b，另一个类型文件列表(2021.10.15)中包括文件c。需要说明的是，本公开对于根据文件对应的关联信息将多个文件划分为至少一个类型文件列表的具体方式并不做特殊限定。
85.步骤s520，根据文件的规格信息将类型文件列表中的多个文件划分为至少一个文件组。
86.在本公开的一种示例实施例中，在通过上述步骤得到文件的规格信息以及类型文件列表之后，可以根据文件的规格信息将类型文件列表中的多个文件划分为至少一个文件组。举例而言，通过上述步骤得到的类型文件列表(2021.10.20)中包括文件a、文件b、文件c、文件d，其对应的文件规格信息(文件大小)为：文件a-500mb、文件b-524mb、文件c-400mb、文件d-624mb，预设文件块规格为1gb，此时可以将类型文件列表(2021.10.20)中的文件a与文件b划分为文件组a，将将类型文件列表(2021.10.20)中的文件c与文件d划分为文件组b。需要说明的是，本公开对于根据文件的规格信息将类型文件列表中的多个文件划分为至少
一个文件组的具体方式并不做特殊限定。
87.通过上述步骤s510～s520，可以获取第一待下载文件列表中多个文件对应的关联信息，根据文件对应的关联信息将多个文件划分为至少一个类型文件列表，根据文件的规格信息将类型文件列表中的多个文件划分为至少一个文件组。
88.步骤s130，采用流式框架下载至少一个文件组中的多个文件，并将文件组中的多个文件合并为文件块；
89.在本公开的一种示例实施例中，在通过上述步骤得到至少一个文件组之后，可以采用流式框架下载文件组中的多个文件。具体的，流式框架可以对数据集进行连续不断的处理，并且能够大幅降低延迟。其具有高性能、高容错、状态管理、函数式原语等优点。可以采用如storm、spark streaming、samza和flink等流式框架，本公开对所采用的流式框架的具体类型并不做特殊限定。
90.在本公开的一种示例实施例中，通过流式框架下载文件组中的多个文件时，可以同时将多个文件组中的多个文件分别使用不同的下载节点进行下载，或者，也可以将一个文件组中的多个文件分别使用不同的下载节点进行下载，当该文件组中的多个文件下载完成之后，再下载下一个文件组中的多个文件。需要说明的是，本公开对于采用流式框架下载文件组中的多个文件的具体方式并不做特殊限定。
91.在本公开的一种示例实施例中，在通过上述步骤下载了至少一个文件组中的多个文件之后，可以将文件组中的多个文件合并为文件块。具体的，由于文件组是按照预设文件块规格进行划分的，因此可以直接将属于同一文件组的文件合并为文件块。此时，该文件块的规格符合预设文件块规格。需要说明的是，本公开对于将文件组中的多个文件合并为文件块的具体方式并不做特殊限定。
92.步骤s140，将文件块存储至数据平台的存储区域中，以完成资源采集的过程。
93.在本公开的一种示例实施例中，在通过上述步骤得到文件块之后，可以将文件块存储至数据平台的存储区域中，完成资源采集的过程。此外，在资源采集完成之后，可以将资源采集完成的消息通知下游业务方，下游业务方可以使用这些资源进行业务计算和业务分析。
94.需要说明的是，本公开对于将文件块存储至数据凭条的存储区域的方式并不做特殊限定。
95.在本公开的一种示例实施例中，在通过上述步骤将文件组中的多个文件合并为文件块之后，可以生成文件块的校验数据。其中，校验数据包括文件组中的多个文件的校验规格信息以及文件块的校验规格信息。在下载完成之后，需要将下载好的文件块存储到数据平台的存储区域中，可以通过文件的校验规格信息以及文件块的校验规格信息对下载完成的文件块在存储过程中是否发生错误进行校验。需要说明的是，本公开根据文件块的校验数据进行校验的方式并不做特殊限定。
96.在本公开的一种示例实施例中，可以将文件块存储至数据平台的存储区域中，并将文件块对应的文件信息更新至数据平台对应的缓存目录中，根据文件块的校验数据对存储区域中的文件块进行校验，在存储区域中的文件块校验成功之后，将文件块对应的文件信息更新至数据平台对应的正式目录中。参照图6所示，将文件块对应的文件信息更新至数据平台对应的正式目录中，可以包括以下步骤s610～s630：
97.步骤s610，将文件块存储至数据平台的存储区域中，并将文件块对应的文件信息更新至数据平台对应的缓存目录中；
98.在本公开的一种示例实施例中，在通过上述步骤下载文件块之后，可以将文件块存储至数据平台的存储区域中，并将文件块对应的文件信息更新至数据平台对应的缓存目录中。具体的，文件块对应的文件信息用于表示文件块中包括的多个文件的指示信息，举例而言，文件的指示信息可以包括文件名、文件id等。需要说明的是，本公开对于文件块对应的文件信息的具体形式并不做特殊限定。在将文件块存储在数据平台的存储区域之后，可以在数据平台对应的缓存目录中更新上述文件信息，即可以在数据平台的缓存目录中查看当前的缓存文件。
99.步骤s620，根据文件块的校验数据对存储区域中的文件块进行校验；
100.步骤s630，在存储区域中的文件块校验成功之后，将文件块对应的文件信息更新至数据平台对应的正式目录中。
101.在本公开的一种示例实施例中，在通过上述步骤得到文件块的校验数据之后，可以根据文件块的校验数据对存储在数据平台的存储区域中的文件块进行校验。举例而言，可以比较存储在数据平台的存储区域中的文件的规格信息与文件块的校验数据(文件块的校验规格信息)，当存储在数据平台的存储区域中的文件与文件块的校验数据(文件块的校验规格信息)相同时，表示文件在存储过程未出现错误，则此时确定存储区域中的文件块通过校验，可以将将文件块对应的文件信息更新至数据平台对应的正式目录中，表示文件块已经成功存储在数据平台的存储区域中。
102.需要说明的是，本公开对于根据文件块的校验数据对存储区域中的文件块进行校验的具体方式并不做特殊限定。
103.通过上述步骤s610～s630，可以将文件块存储至数据平台的存储区域中，并将文件块对应的文件信息更新至数据平台对应的缓存目录中，根据文件块的校验数据对存储区域中的文件块进行校验，在存储区域中的文件块校验成功之后，将文件块对应的文件信息更新至数据平台对应的正式目录中。
104.在本公开的一种示例实施例中，可以获取存储区域中的文件块对应的规格信息，并根据多个文件的校验规格信息以及存储区域中的文件块对应的规格信息对存储区域中的文件块进行校验。参照图7所示，根据多个文件的校验规格信息以及存储区域中的文件块对应的规格信息对存储区域中的文件块进行校验，可以包括以下步骤s710～s720：
105.步骤s710，获取存储区域中的文件块对应的规格信息；
106.在本公开的一种示例实施例中，可以获取存储区域中的文件块对应的规格信息。具体的，文件块对应的规格信息可以用于指示文件块占用内存的数值信息。举例而言，可以包括文件块的大小、行数、条数等。需要说明的是，本公开对于文件块的规格信息的具体类型并不做特殊限定。
107.步骤s720，根据多个文件的校验规格信息以及存储区域中的文件块对应的规格信息对存储区域中的文件块进行校验。
108.在本公开的一种示例实施例中，在通过上述步骤得到文件块对应的规格信息之后，可以根据多个文件的校验规格信息以及存储区域中的文件块对应的规格信息对存储区域中的文件块进行校验。具体的，文件块的校验数据中包括文件块对应的多个文件的校验
规格信息。其中，文件块对应的多个文件的校验规格信息可以包括该些文件的大小、行数、条数等。需要说明的是，本公开对于文件的校验规格信息的具体类型并不做特殊限定。
109.举例而言，文件的校验规格信息与文件块对应的规格信息为文件大小，此时可以将多个文件的校验规格信息(文件大小)相加得到总校验规格信息，再将总校验规格信息与存储区域中的文件块对应的规格信息(文件大小)进行比较，若总校验规格信息(文件大小)与存储区域中的文件块对应的规格信息(文件大小)相同，则存储区域中的文件块校验成功。需要说明的是，本公开对于根据多个文件的校验规格信息以及存储区域中的文件块对应的规格信息对存储区域中的文件块进行校验的方式并不做特殊限定。
110.通过上述步骤s710～s720，可以获取存储区域中的文件块对应的规格信息，并根据多个文件的校验规格信息以及存储区域中的文件块对应的规格信息对存储区域中的文件块进行校验。
111.在本公开的一种示例实施例中，在存储区域中的文件块校验失败之后，将数据平台对应的缓存目录的文件块的文件信息对应的校验状态更新为失败，并根据校验状态生成第二待下载文件列表，根据第二待下载文件列表执行下载以及校验过程，直至第二待下载文件列表对应的文件块校验成功。参照图8所示，根据第二待下载文件列表执行下载以及校验过程，直至第二待下载文件列表对应的文件块校验成功，可以包括以下步骤s810～s820：
112.步骤s810，在存储区域中的文件块校验失败之后，将数据平台对应的缓存目录的文件块的文件信息对应的校验状态更新为失败；
113.在本公开的一种示例实施例中，在对存储区域中的文件块进行校验时，可能存在校验失败的情况，例如，文件块的校验规格信息(文件大小)与存储区域中的文件块对应的规格信息(文件大小)不相同，则存储区域中的文件块校验失败。可以将数据平台对应的缓存目录的文件块的文件信息对应的校验状态更新为失败。具体的，在数据平台的缓存目标中，可以标出文件块的校验状态，校验状态可以包括校验中、成功、失败。在将数据平台对应的缓存目录的文件块的文件信息对应的校验状态更新为失败时，表示该文件块以及该文件块对应的多个文件校验失败，需要重新下载文件块中的多个文件。
114.步骤s820，根据校验状态生成第二待下载文件列表，根据第二待下载文件列表执行下载以及校验过程，直至第二待下载文件列表对应的文件块校验成功。
115.在本公开的一种示例实施例中，在通过上述步骤将校验失败的文件块的多个文件对应的文件信息的校验状态更新为校验失败之后，可以对数据平台对应的缓存目录进行扫描，并将校验状态为失败的文件汇总得到第二待下载文件列表，并按照本公开的方案再对第二待下载文件中得到文件进行分组，采用流式框架下载多个文件，并将多个文件合并为文件块，将文件块存储在数据平台的存储区域中，再将文件块对应的文件信息更新至数据平台对应的缓存目录中，执行上述校验过程，当校验成功之后，将文件块对应的文件信息更新至数据平台对应的正式目录中。
116.进一步的，在存储区域中的文件块校验失败的次数超过预设阈值时，进行告警。
117.通过上述步骤s810～s820，在存储区域中的文件块校验失败之后，将数据平台对应的缓存目录的文件块的文件信息对应的校验状态更新为失败，并根据校验状态生成第二待下载文件列表，根据第二待下载文件列表执行下载以及校验过程，直至第二待下载文件列表对应的文件块校验成功。
118.本公开的一种实施例提供的资源采集方法中，可以实时获取下载列表，通过流式框架下载文件块，完成资源采集的过程。一方面，实时采集文件，并通过流式框架下载文件，可以满足实时性要求，避免现有技术中进行数据采集时高延迟的问题；另一方面，可以将资源下载的步骤分布到不同的时间点上，避免了现有技术中集中采集资源时网络压力较大的问题，能够较好的控制网络传输速率；再一方面，将文件按照预设文件块规格进行下载，提升了数据平台的存储效率，进而提升了数据平台的数据吞吐能力。
119.在本公开的一种示例实施例中，如图9所示，可以通过待处理文件获取模块实时扫描ftp/sftp服务器得到待处理文件列表，在下载状态确定模块中根据待处理文件列表中多个文件的下载状态确定第一待下载文件列表，并将得到的第一待下载文件列表发送至文件分组模块，在文件分组模块中根据文件的规格信息将第一待下载文件列表中的多个文件划分为至少一个文件组，将至少一个文件组按组粒度写入消息队列中，流式下载模块在消息队列中获取至少一个文件组，并采用流式框架下载至少一个文件组中的多个文件，在文件合并模块中将至少一个文件组中的多个文件合并为文件块，将合并后的文件块存储在数据平台的存储区域中，将文件块的校验数据对应的校验消息写入消息队列中，并将文件块对应的文件信息更新至数据平台对应的缓存目录中，在消息队列中获取校验消息，在单个文件校验模块中对单个文件块进行校验，校验成功后，在整批文件校验模块中对本次扫描得到的多个文件块进行校验，校验成功后，将本次扫描得到的多个文件块对应的文件信息更新至数据平台对应的正式目录中。
120.需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
121.此外，在本公开的示例性实施方式中，还提供了一种资源采集装置。参照图10所示，一种资源采集装置1000包括：待下载文件确定模块1010，文件组划分模块1020、流式下载模块1030、资源存储模块1040。
122.其中，待下载文件确定模块，用于实时扫描资源服务器得到待处理文件列表，根据待处理文件列表确定第一待下载文件列表；其中，第一待下载文件列表包括第一待下载文件列表中多个文件的规格信息；文件组划分模块，用于根据文件的规格信息将第一待下载文件列表中的多个文件划分为至少一个文件组；其中，文件组的规格信息符合预设文件块规格；流式下载模块，用于采用流式框架下载至少一个文件组中的多个文件，并将文件组中的多个文件合并为文件块；资源存储模块，用于将文件块存储至数据平台的存储区域中，以完成资源采集的过程。
123.在本公开的一种示例性实施例中，基于前述方案，实时扫描资源服务器得到待处理文件列表，装置还包括：合规信息获取单元，用于实时扫描资源服务器得到总文件列表，获取总文件列表中的多个文件以及文件对应的合规信息；第一待处理文件列表确定单元，用于根据文件对应的合规信息确定待处理文件列表。
124.在本公开的一种示例性实施例中，基于前述方案，实时扫描资源服务器得到待处理文件列表，装置还包括：第一规格信息获取单元，用于实时扫描资源服务器得到总文件列表，获取总文件列表中的多个文件以及文件对应的第一规格信息；对比结果确定单元，用于将第一规格信息与上一次实时扫描得到的总文件列表中的多个文件以及文件对应的第二
规格信息进行对比得到对比结果；第二待处理文件列表确定单元，用于根据对比结果确定待处理文件列表。
125.在本公开的一种示例性实施例中，基于前述方案，根据待处理文件列表确定第一待下载文件列表，装置还包括：下载状态获取单元，用于获取待处理文件列表中多个文件的下载状态；其中，下载状态包括下载中、下载完成、待下载；第一待下载文件列表确定单元，用于根据多个文件的下载状态确定第一待下载文件列表。
126.在本公开的一种示例性实施例中，基于前述方案，根据文件的规格信息将第一待下载文件列表中的多个文件划分为至少一个文件组，装置还包括：类型文件列表确定单元，用于获取第一待下载文件列表中多个文件对应的关联信息，根据文件对应的关联信息将多个文件划分为至少一个类型文件列表；文件组划分单元，用于根据文件的规格信息将类型文件列表中的多个文件划分为至少一个文件组。
127.在本公开的一种示例性实施例中，基于前述方案，所在述将文件组中的多个文件合并为文件块之后，装置还包括：校验数据生成单元，用于生成文件块的校验数据；其中，校验数据包括文件组中的多个文件的校验规格信息以及文件块的校验规格信息。
128.在本公开的一种示例性实施例中，基于前述方案，将文件块存储至数据平台的存储区域中，装置还包括：缓存目录更新单元，用于将文件块存储至数据平台的存储区域中，并将文件块对应的文件信息更新至数据平台对应的缓存目录中；文件块校验单元，用于根据文件块的校验数据对存储区域中的文件块进行校验；正式目录更新单元，用于在存储区域中的文件块校验成功之后，将文件块对应的文件信息更新至数据平台对应的正式目录中。
129.在本公开的一种示例性实施例中，基于前述方案，根据文件块的校验数据对存储区域中的文件块进行校验，装置还包括：文件块规格获取单元，用于获取存储区域中的文件块对应的规格信息；文件块校验单元，用于根据多个文件的校验规格信息以及存储区域中的文件块对应的规格信息对存储区域中的文件块进行校验。
130.在本公开的一种示例性实施例中，基于前述方案，装置还包括：校验状态更新单元，用于在存储区域中的文件块校验失败之后，将数据平台对应的缓存目录的文件块的文件信息对应的校验状态更新为失败；重新校验单元，用于根据校验状态生成第二待下载文件列表，根据第二待下载文件列表执行下载以及校验过程，直至第二待下载文件列表对应的文件块校验成功。
131.在本公开的一种示例性实施例中，基于前述方案，装置还包括：告警单元，用于在存储区域中的文件块校验失败的次数超过预设阈值时，进行告警。
132.由于本公开的示例实施例的资源采集装置的各个功能模块与上述资源采集方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的资源采集方法的实施例。
133.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
134.此外，在本公开的示例性实施例中，还提供了一种能够实现上述资源采集方法的
电子设备。
135.所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。
136.下面参照图11来描述根据本公开的这种实施例的电子设备1100。图11显示的电子设备1100仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
137.如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130、显示单元1140。
138.其中，存储单元存储有程序代码，程序代码可以被处理单元1110执行，使得处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。例如，处理单元1110可以执行如图1中所示的步骤s110，实时扫描资源服务器得到待处理文件列表，根据待处理文件列表确定第一待下载文件列表；其中，第一待下载文件列表包括第一待下载文件列表中多个文件的规格信息；步骤s120，根据文件的规格信息将第一待下载文件列表中的多个文件划分为至少一个文件组；其中，文件组的规格信息符合预设文件块规格；步骤s130，采用流式框架下载至少一个文件组中的多个文件，并将文件组中的多个文件合并为文件块；步骤s140，将文件块存储至数据平台的存储区域中，以完成资源采集的过程。
139.又如，电子设备可以实现如图1所示的各个步骤。
140.存储单元1120可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)1121和/或高速缓存存储单元1122，还可以进一步包括只读存储单元(rom)1123。
141.存储单元1120还可以包括具有一组(至少一个)程序模块1125的程序/实用工具1124，这样的程序模块1125包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
142.总线1130可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
143.电子设备1100也可以与一个或多个外部设备1170(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1150进行。并且，电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
144.通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施
例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者设备等)执行根据本公开实施例的方法。
145.在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。
146.计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
147.可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
148.可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
149.此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
150.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。