本公开涉及数据处理,尤其涉及一种文件处理方法、装置、设备以及存储介质。
背景技术:
1、基于文件存储的数据采集是常用的一种数据采集和处理方式。在采集到数据后,将采集的数据存放在文件中,然后再进行流式的文件处理。但是在这个过程中,由于各类原因(如文件未及时关闭、句柄异常引用、第三方程序占用等),文件可能一直无法完成移动,造成文件滞留。滞留文件问题可能会造成处理程序卡死,甚至造成数据处理重大错误而引发的数据严重损失事故。对于这类问题往往采取人工方式进行解决,无论是效率还是处理质量都有显著的问题。
2、针对上述数据采集和处理中对滞留文件采取人工方式解决,效率较低的技术问题,目前尚未提出有效的解决方案。
技术实现思路
1、本公开提供了一种文件处理方法、装置、设备以及存储介质。
2、根据本公开的第一方面,提供了一种文件处理方法。该方法包括:
3、从原始数据文件夹中获取待处理原始文件;
4、根据问题列表对待处理原始文件进行处理,其中,问题列表中记录有处理过程中出现异常的原始文件的处理信息;
5、在对待处理原始文件的处理出现异常的情况下,在问题列表中添加或更新待处理原始文件的处理信息。
6、如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,按照问题列表对待处理原始文件进行处理,包括:
7、在问题列表中不存在待处理原始文件的处理信息,或,在问题列表中存在待处理原始文件的处理信息且不符合预设停止条件的情况下,按照预设处理流程对待处理原始文件进行处理;
8、在问题列表中存在待处理原始文件的处理信息且符合预设停止条件的情况下,停止对待处理原始文件进行处理。
9、如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,预设处理流程,包括:
10、将原始文件转换为预设格式的目标文件;
11、在完成原始文件的转换操作的情况下,将原始文件复制到备份文件夹,并从原始数据文件夹中删除原始文件。
12、如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,处理信息包括尝试转换次数、尝试复制次数、尝试删除次数和当前文件状态,文件状态包括待转换状态、待复制状态、待删除状态、已完成状态;预设停止条件包括尝试转换次数不小于第一阈值,或,尝试复制次数不小于第二阈值,或,尝试删除次数不小于第三阈值,或,当前文件状态为已完成状态。
13、如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,在问题列表中存在待处理原始文件的处理信息且不符合预设停止条件的情况下,按照预设处理流程对待处理原始文件进行处理,包括:
14、按照当前文件状态和预设处理流程,确定出对待处理原始文件的当前处理流程;
15、按照当前处理流程对待处理原始文件进行处理。
16、如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,处理信息还包括首次操作时间和最后操作时间;预设停止条件还包括最后操作时间与首次操作时间之间的时间间隔不小于第一时长。
17、如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,在问题列表中存在待处理原始文件的处理信息且不符合预设停止条件的情况下,按照预设处理流程对待处理原始文件进行处理,包括:
18、在当前时间与最后操作时间之间的时间间隔不大于第二时长的情况下,暂停按照预设处理流程对待处理原始文件进行处理。
19、根据本公开的第二方面,提供了一种文件处理装置。该装置包括:
20、获取模块,用于从原始数据文件夹中获取待处理原始文件;
21、处理模块,用于根据问题列表对待处理原始文件进行处理,其中,问题列表中记录有处理过程中出现异常的原始文件的处理信息;
22、记录模块,用于在对待处理原始文件的处理出现异常的情况下,在问题列表中添加或更新待处理原始文件的处理信息。
23、根据本公开的第三方面,提供了一种电子设备。该电子设备包括:存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现如以上所述的方法。
24、根据本公开的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如根据本公开的第一方面的方法。
25、本公开通过在原始数据文件夹中,对于处理出现异常的文件自动在问题列表中记录处理信息,使得在后续再次处理时可以根据问题列表中的信息对文件进行自动处理,既能避免处理出现异常的文件长期滞留在文件夹中,又能节约人工处理成本,从而解决了数据采集和处理中对滞留文件采取人工方式解决导致效率较低的技术问题。
26、应当理解,
技术实现要素:
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
1.一种文件处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述根据问题列表对所述待处理原始文件进行处理,包括:
3.根据权利要求2所述的方法,其特征在于,所述预设处理流程,包括:
4.根据权利要求3所述的方法,其特征在于,
5.根据权利要求4所述的方法,其特征在于,在所述问题列表中存在所述待处理原始文件的处理信息且不符合预设停止条件的情况下,按照预设处理流程对所述待处理原始文件进行处理,包括:
6.根据权利要求4所述的方法,其特征在于,所述处理信息还包括首次操作时间和最后操作时间;
7.根据权利要求6所述的方法,其特征在于,在所述问题列表中存在所述待处理原始文件的处理信息且不符合预设停止条件的情况下,按照预设处理流程对所述待处理原始文件进行处理,包括:
8.一种文件处理装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1至7中任一权利要求所述的方法。