一种文件采集方法及装置与流程

本技术涉及数据处理，具体而言，涉及一种文件采集方法及装置。

背景技术：

1、目前，在芯片测试过程中，测试机台会对每一次测试的结果都输出到文件中保留下来。大多数测试机台都会生成stdf二进制测试结果文件，即标准测试数据文件，但是也存在少部分测试机不会输出标准stdf文件，而是生成csv、txt、excel、log、map、bin、wat、summary等格式多样内容不一的文本类型的测试文件，且文件会使用zip、z、gz、7z、tar、分卷等多种压缩方式，测试文件的存储平台也各不相同，会使用ftp、sftp、本机等多种存储方式。在半导体测试过程中，为了保证测试结果的准确性、可靠性和全面性，需要对相关测试数据进行采集。目前对于半导体测试数据的采集仅限于对标准的stdf文件做采集，且采集方法不够灵活，无法适配多样的文件存储环境和目录，无法准确的判断需要采集的半导体测试文件，采集方法往往存在数据丢失、数据重复等问题，存在一定的局限性。可见，现有采集方法不够灵活，无法适配多样的文件存储环境和目录，且存在数据丢失、数据重复等问题。

技术实现思路

1、本技术实施例的目的在于提供一种文件采集方法及装置，能够灵活快速的进行文件数据采集，适配多样的文件存储环境和目录，且能够避免数据丢失、数据重复等问题。

2、本技术实施例第一方面提供了一种文件采集方法，包括：

3、根据预先配置的采集定时规则启动文件采集定时任务；

4、确定所述文件采集定时任务的文件采集时间段；

5、在所述文件采集定时任务下，根据预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合；

6、根据所述文件采集时间段对所述扫描文件集合进行时间段过滤，得到第一文件集合；

7、根据预设的文件类型筛选规则，对所述第一文件集合进行筛选处理，得到第二文件集合；

8、对所述第二文件集合进行转换解压处理，得到目标文件集合。

9、在上述实现过程中，该方法可以优先根据预先配置的采集定时规则启动文件采集定时任务；可见，该方法可以基于定时规则开始对数据进行采集，从而以此来实现数据的自动化采集。在启动文件采集定时任务之后，该方法可以确定文件采集定时任务的文件采集时间段；可见，该方法可以基于文件采集定时任务确定文件采集有效时长，从而以此来确定后续数据筛选基准。然后，该方法开始基于预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合，从而以此来获取到初步的扫描文件集合。并在之后，进一步根据文件采集时间段对扫描文件集合进行时间段过滤，得到第一文件集合；再根据预设的文件类型筛选规则，对第一文件集合进行筛选处理，得到第二文件集合；可见，该方法可以基于时间要求和文件类型要求对扫描得到的大量文件进行筛选，从而得到准确且有效的文件集合，记为第二文件集合。最后，该方法再对第二文件集合进行转换解压处理，得到目标文件集合；从而以此来完成文件的采集。综上可见，该方法能够在面对不同存储方式（包括ftp、sftp、本机等）时皆可完成文件适配采集，从而打破了文件存储方式对文件采集的桎梏；同时，通过时间和类型的限定还能够有效的提高文件采集的准确程度和可靠程度，从而有利于解决数据丢失和数据重复的问题。

10、进一步地，所述对所述第二文件集合进行转换解压处理，得到目标文件集合的步骤包括：

11、将所述第二文件集合中的文件下载到本地，得到本地文件集合；

12、将所述本地文件集合划分为非标准类型文件集合、压缩分卷文件集合以及其他文件集合；

13、对所述非标准类型文件集合进行格式转换处理，得到转换文件集合；

14、对所述压缩分卷文件集合进行分卷合并处理，得到合并文件集合；

15、汇总所述转换文件集合、所述其他文件集合和所述合并文件集合，得到待解压文件集合；

16、对所述待解压文件集合进行解压处理，得到解压文件集合；

17、根据所述文件类型筛选规则对所述解压文件集合进行筛选处理，得到目标文件集合。

18、进一步地，所述对所述非标准类型文件集合进行格式转换处理，得到转换文件集合的步骤包括：

19、将所述非标准类型文件集合中的文件转换成预设格式类型的文件，得到转换文件集合；其中，所述非标准类型包括summary类型、raw_data类型、log类型、map类型以及wat类型。

20、进一步地，所述对所述压缩分卷文件集合进行分卷合并处理，得到合并文件集合的步骤包括：

21、获取所述压缩分卷文件集合中的压缩分卷文件；

22、获取所述压缩分卷文件的文件路径和文件名前缀；

23、根据所述文件路径和所述文件名前缀获取所述压缩分卷文件对应的其他分卷文件；

24、按照文件名顺序将所述压缩分卷文件和所述其他分卷文件进行合并处理，得到完整压缩文件；

25、汇总所述完整压缩文件，得到合并文件集合。

26、进一步地，所述目标存储平台为ftp存储平台、sftp存储平台或者预先配置的本机存储平台。

27、进一步地，所述方法还包括：

28、判断所述文件采集定时任务需要处理的文件是否全部处理完成；

29、如果是，则获取所述文件采集定时任务处理成功的文件个数以及本次需要处理的文件个数；

30、根据所述处理成功的文件个数和所述本次需要处理的文件个数确定本次采集的起始时间；

31、结束所述文件采集定时任务。

32、本技术实施例第二方面提供了一种文件采集装置，所述文件采集装置包括：

33、启动单元，用于根据预先配置的采集定时规则启动文件采集定时任务；

34、第一确定单元，用于确定所述文件采集定时任务的文件采集时间段；

35、扫描单元，用于在所述文件采集定时任务下，根据预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合；

36、过滤单元，用于根据所述文件采集时间段对所述扫描文件集合进行时间段过滤，得到第一文件集合；

37、筛选单元，用于根据预设的文件类型筛选规则，对所述第一文件集合进行筛选处理，得到第二文件集合；

38、解压单元，用于对所述第二文件集合进行转换解压处理，得到采集到的目标文件集合。

39、在上述实现过程中，该装置可以通过启动单元来根据预先配置的采集定时规则启动文件采集定时任务；通过第一确定单元确定文件采集定时任务的文件采集时间段；通过扫描单元在文件采集定时任务下，根据预设的文件存储目录和预设的文件存储平台，对目标存储平台进行文件扫描，得到扫描文件集合；通过过滤单元来根据文件采集时间段对扫描文件集合进行时间段过滤，得到第一文件集合；通过筛选单元来根据预设的文件类型筛选规则，对第一文件集合进行筛选处理，得到第二文件集合；再通过解压单元对第二文件集合进行转换解压处理，得到采集到的目标文件集合。可见，该装置能够在面对不同存储方式（包括ftp、sftp、本机等）时皆可完成文件适配采集，从而打破了文件存储方式对文件采集的桎梏；同时，通过时间和类型的限定还能够有效的提高文件采集的准确程度和可靠程度，从而有利于解决数据丢失和数据重复的问题。

40、进一步地，所述解压单元包括：

41、下载子单元，用于将所述第二文件集合中的文件下载到本地，得到本地文件集合；

42、划分子单元，用于将所述本地文件集合划分为非标准类型文件集合、压缩分卷文件集合以及其他文件集合；

43、转换子单元，用于对所述非标准类型文件集合进行格式转换处理，得到转换文件集合；

44、分卷合并子单元，用于对所述压缩分卷文件集合进行分卷合并处理，得到合并文件集合；

45、汇总子单元，用于汇总所述转换文件集合、所述其他文件集合和所述合并文件集合，得到待解压文件集合；

46、解压子单元，用于对所述待解压文件集合进行解压处理，得到解压文件集合；

47、筛选子单元，用于根据所述文件类型筛选规则对所述解压文件集合进行筛选处理，得到目标文件集合。

48、进一步地，所述转换子单元，具体用于将所述非标准类型文件集合中的文件转换成预设格式类型的文件，得到转换文件集合；其中，所述非标准类型包括summary类型、raw_data类型、log类型、map类型以及wat类型。

49、进一步地，所述分卷合并子单元包括：

50、获取模块，用于获取所述压缩分卷文件集合中的压缩分卷文件；

51、所述获取模块，还用于获取所述压缩分卷文件的文件路径和文件名前缀；

52、所述获取模块，还用于根据所述文件路径和所述文件名前缀获取所述压缩分卷文件对应的其他分卷文件；

53、分卷合并模块，用于按照文件名顺序将所述压缩分卷文件和所述其他分卷文件进行合并处理，得到完整压缩文件；

54、汇总模块，用于汇总所述完整压缩文件，得到合并文件集合。

55、进一步地，所述目标存储平台为ftp存储平台、sftp存储平台或者预先配置的本机存储平台。

56、进一步地，所述文件采集装置还包括：

57、判断单元，用于判断所述文件采集定时任务需要处理的文件是否全部处理完成；

58、获取单元，用于在所述文件采集定时任务需要处理的文件全部处理完成时，获取所述文件采集定时任务处理成功的文件个数以及本次需要处理的文件个数；

59、第二确定单元，用于根据所述处理成功的文件个数和所述本次需要处理的文件个数确定本次采集的起始时间；

60、结束单元，用于结束所述文件采集定时任务。

61、本技术实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术实施例第一方面中任一项所述的文件采集方法。

62、本技术实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例第一方面中任一项所述的文件采集方法。