一种数据文件的处理方法、装置、存储介质及电子设备与流程

本发明实施例涉及智能终端技术领域，尤其涉及一种数据文件的处理方法、装置、存储介质及电子设备。

背景技术：

随着科技水平近些年来的飞速发展，人们生活中各种各样的数据量也开始急剧增加。数据量的增加，在满足人们生活需求的同时，也给数据处理和存储带来了很大的压力，在大数据时代，如何能够快速而准确的对数据进行处理，成文了本领域技术人员所面临的严峻考验。

技术实现要素：

本发明实施例提供一种数据文件的处理方法、装置、存储介质及电子设备，可以实现利用多线程对数据进行输入输出的同时，还能够快捷高效的对数据进行处理的目的。

第一方面，本发明实施例提供了一种数据文件的处理方法，该方法包括：

根据配置文件中的输入配置信息，确定所述输入配置信息的目标目录；

若监控所述目标目录存在待处理文件，则根据配置文件中的处理配置信息对所述待处理文件进行处理，得到数据处理结果；

根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中。

进一步的，所述处理配置信息包括压缩工具和/或格式转换工具；

相应的，所述根据配置文件中的处理配置信息对所述待处理文件进行处理包括：

利用压缩工具对待处理文件进行压缩、利用压缩工具对待处理文件进行解压以及利用格式转换数据对所述待处理文件进行格式转换中的至少一种。

进一步的，在所述根据配置文件中的处理配置信息对所述待处理文件进行处理之前，所述方法还包括：

获取用户对配置文件中的处理配置信息的配置操作；

根据所述配置操作，确定所述处理配置信息对所述待处理文件的处理方式。

进一步的，所述输出配置信息包括指定远程输出目录；

相应的，根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中，包括：

根据配置文件中的输出配置信息所指定的远程输出目录，将所述数据处理结果输出至所述远程输出目录中。

进一步的，在根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中之后，所述方法还包括：

将所述配置文件的配置信息以预设格式保存。

进一步的，在根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中之后，所述方法还包括：

若存在处理错误的信息，将所述处理错误的信息记录到错误日志中。

第二方面，本发明实施例还提供了一种数据文件的处理装置，该装置包括：

目标目录确定模块，用于根据配置文件中的输入配置信息，确定所述输入配置信息的目标目录；

数据处理模块，用于若监控所述目标目录存在待处理文件，则根据配置文件中的处理配置信息对所述待处理文件进行处理，得到数据处理结果；

处理结果输出模块，用于根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中。

进一步的，所述处理配置信息包括压缩工具和/或格式转换工具；

相应的，所述数据处理模块包括：

数据处理单元，用于利用压缩工具对待处理文件进行压缩、利用压缩工具对待处理文件进行解压以及利用格式转换数据对所述待处理文件进行格式转换中的至少一种。

进一步的，所述装置还包括：

配置操作获取模块，用于获取用户对配置文件中的处理配置信息的配置操作；

数据处理方式确定模块，用于根据所述配置操作，确定所述处理配置信息对所述待处理文件的处理方式。

进一步的，所述输出配置信息包括指定远程输出目录；

相应的，所述处理结果输出模块包括：

远程目录输出单元，用于根据配置文件中的输出配置信息所指定的远程输出目录，将所述数据处理结果输出至所述远程输出目录中。

进一步的，所述装置还包括：

配置信息保存模块，用于将所述配置文件的配置信息以预设格式保存。

进一步的，所述装置还包括：

错误信息记录模块，用于若存在处理错误的信息，将所述处理错误的信息记录到错误日志中。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的数据文件的处理方法。

第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的数据文件的处理方法。

本申请实施例所提供的技术方案，根据配置文件中的输入配置信息，确定所述输入配置信息的目标目录；若监控所述目标目录存在待处理文件，则根据配置文件中的处理配置信息对所述待处理文件进行处理，得到数据处理结果；根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中。通过执行本申请所提供的技术方案，可以实现利用多线程对数据进行输入输出的同时，还能够快捷高效的对数据进行处理的目的。

附图说明

图1是本发明实施例一提供的数据文件的处理方法的流程图；

图2是本发明实施例二提供的数据文件的处理方法的流程图；

图3是本发明实施例三提供的数据文件的处理装置的结构示意图；

图4是本申请实施例五提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1是本发明实施例一提供的数据文件的处理方法的流程图，本实施例可适用于多线程数据文件的处理情况，该方法可以由本发明实施例所提供的数据文件的处理装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于客户端、服务器以及智能终端等电子设备中。

如图1所示，所述数据文件的处理方法包括：

s110、根据配置文件中的输入配置信息，确定所述输入配置信息的目标目录。

其中，配置文件中可以包括输入配置信息，所述输入配置信息用户确定文件的输入路径，还可以确定文件的输入格式，例如对目录a中，只要有文件写入，就对该文件进行处理，还可以是对目录a中，只针对其中的.mp3格式的文件进行处理。其中，输入配置信息中确定的输入路径所针对的目录，即为目标目录。

s120、若监控所述目标目录存在待处理文件，则根据配置文件中的处理配置信息对所述待处理文件进行处理，得到数据处理结果。

其中，配置文件中可以包括处理配置信息，处理配置信息包括对于目标目录的待处理文件的处理方式的确定，例如，解压、格式转换以及其他任何数据处理方式。在本技术方案中，可以通过基于java语言的common-io的文件监控功能，对目标目录的待处理文件进行监控。若监控到目标目录中存在待处理文件，则创建数据输入线程和数据输出线程，对待处理文件进行输入、处理并输出至输出目录，这样设置的好处是可以在数据量巨大的情况下，可以依据配置文件中的配置信息，对数据文件进行多线程处理，提高数据处理速度。

s130、根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中。

其中，配置文件中可以包括输出配置信息，该输出配置信息可以确定对于数据处理结果的输出目录，并将对待处理文件的处理结果进行存储。

在本实施例中，可以采用阻塞队列的形式构建输入、输出多线程数据文件处理任务，其中，队列中包括的是各个对于数据文件进行转移或者处理的程序。首先，需要判断队列中是否已满，若是，则可以等待预设时长，例如可以是10秒，之后再将待处理的数据文件放入到队列中进行处理，处理完成后，通过输出线程对处理结果进行输出。对于输出线程来说，在输出之前，需要对队列是否为空进行判断，若队列为空，则可以等待预设时长，例如10秒，之后对处理结果进行输出。在将数据处理结果输出至输出目录之后，则可以根据配置文件或者根据用户的需求，确定是否对目标目录中的原始的数据文件进行删除、备份或者其他操作。

在本实施例中，可选的，所述输出配置信息包括指定远程输出目录；相应的，根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中，包括：根据配置文件中的输出配置信息所指定的远程输出目录，将所述数据处理结果输出至所述远程输出目录中。其中，远程输出目录可以是通过远程通信实现对数据处理结果进行远程传输的文件目录，具体的，可以在配置文件中，基于java语言的ftpclient，封装了从ftp(文件传输协议，filetransferprotocol)服务器存储和检索文件所需的所有功能，这样设置的好处是可以让整个数据文件的处理过程更加灵活，可以指向任何用户所需要的存储目录，无需再进行数据文件的转存等操作。

在本实施例中，可选的，在根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中之后，所述方法还包括：将所述配置文件的配置信息以预设格式保存。其中，在用户对配置文件的配置信息进行设置之后，可以采用特定的形式对配置文件的配置信息进行存储，例如可以以xml的格式保存下来，这样设置的好处是可以在用户需要重新采用该配置文件的配置信息进行数据文件的处理时，可以直接调用，而无需对配置文件的配置信息进行设置。

在本实施例中，可选的，在根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中之后，所述方法还包括：若存在处理错误的信息，将所述处理错误的信息记录到错误日志中。其中，对于待处理文件的处理方式可以是采用每一个数据行进行处理的方式，这样，可以将运行过程中数据处理出现错误的数据行进行记录，即将出错行保存。这样设置的好处是可以方便调试。

在本实施例中，还可以采用传统j2ee(一套全然不同于传统应用开发的技术架构，包含许多组件，主要可简化且规范应用系统的开发与部署，进而提高可移植性、安全与再用价值)模式javaweb项目发布，与关系型数据库连接。这样设置的好处是可以把一条一条的数据按照用户的需求可以插入到关系型数据库里面。

实施例二

图2是本发明实施例二提供的数据文件的处理方法的流程图。本实施例在上述实施例的基础上，具体优化为：所述处理配置信息包括压缩工具和/或格式转换工具；相应的，所述根据配置文件中的处理配置信息对所述待处理文件进行处理包括：利用压缩工具对待处理文件进行压缩、利用压缩工具对待处理文件进行解压以及利用格式转换数据对所述待处理文件进行格式转换中的至少一种。

如图2所示，所述数据文件的处理方法包括：

s210、根据配置文件中的输入配置信息，确定所述输入配置信息的目标目录。

s220、利用压缩工具对待处理文件进行压缩、利用压缩工具对待处理文件进行解压以及利用格式转换数据对所述待处理文件进行格式转换中的至少一种。

本技术方案中，处理配置信息包括压缩工具和/或格式转换工具。

其中，可以利用压缩工具对待处理文件进行压缩，还可以利用压缩工具对待处理文件进行解压，除此之外，还可以利用格式转换数据对所述待处理文件进行格式转换。

在本实施例中，具体的，可以采用基于java语言的文件压缩相关ziputils工具，对待处理文件进行压缩和解压的处理，还可以采用filereader读取数据内容，格式化输出数据。示例性的，如果用户想要12个字段，数据源有30个字段，可以把输出数据按照用户需求的格式输出，例如数据源中30个字段的前12个字段。这样设置的好处是可以在多线程对数据文件进行处理的同时，可以利用相关工具对数据文件进行加压、解压以及格式转化等处理，提高数据文件的数据处理效率，符合数据量激增的背景下对数据文件进行高效处理的需求。

s230、根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中。

本实施例在上述实施例的基础上，提供了一种在多线程数据处理的同时，对数据进行传输等功能，这样设置的好处是可以更加高效的对数据文件进行处理，提高数据处理效率。

在上述各实施例的基础上，可选的，在所述根据配置文件中的处理配置信息对所述待处理文件进行处理之前，所述方法还包括：获取用户对配置文件中的处理配置信息的配置操作；根据所述配置操作，确定所述处理配置信息对所述待处理文件的处理方式。其中，用户可以根据实际需求对配置文件中的配置信息进行更改，这样设置的好处是可以在基于一个配置文件的基础上，根据实际场景，对其中的配置信息进行设置，以符合不同的用户需求。

实施例三

图3是本发明实施例三提供的数据文件的处理装置的结构示意图。如图3所示，所述数据文件的处理装置，包括：

目标目录确定模块310，用于根据配置文件中的输入配置信息，确定所述输入配置信息的目标目录；

数据处理模块320，用于若监控所述目标目录存在待处理文件，则根据配置文件中的处理配置信息对所述待处理文件进行处理，得到数据处理结果；

处理结果输出模块330，用于根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中。

本申请实施例所提供的技术方案，根据配置文件中的输入配置信息，确定所述输入配置信息的目标目录；若监控所述目标目录存在待处理文件，则根据配置文件中的处理配置信息对所述待处理文件进行处理，得到数据处理结果；根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中。通过执行本申请所提供的技术方案，可以实现利用多线程对数据进行输入输出的同时，还能够快捷高效的对数据进行处理的目的。

在上述各技术方案中，可选的，所述处理配置信息包括压缩工具和/或格式转换工具；

相应的，所述数据处理模块包括：

数据处理单元，用于利用压缩工具对待处理文件进行压缩、利用压缩工具对待处理文件进行解压以及利用格式转换数据对所述待处理文件进行格式转换中的至少一种。

在上述各技术方案中，可选的，所述装置还包括：

配置操作获取模块，用于获取用户对配置文件中的处理配置信息的配置操作；

数据处理方式确定模块，用于根据所述配置操作，确定所述处理配置信息对所述待处理文件的处理方式。

在上述各技术方案中，可选的，所述输出配置信息包括指定远程输出目录；

相应的，所述处理结果输出模块包括：

远程目录输出单元，用于根据配置文件中的输出配置信息所指定的远程输出目录，将所述数据处理结果输出至所述远程输出目录中。

在上述各技术方案中，可选的，所述装置还包括：

配置信息保存模块，用于将所述配置文件的配置信息以预设格式保存。

在上述各技术方案中，可选的，所述装置还包括：

错误信息记录模块，用于若存在处理错误的信息，将所述处理错误的信息记录到错误日志中。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例四

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据文件的处理方法，该方法包括：

根据配置文件中的输入配置信息，确定所述输入配置信息的目标目录；

若监控所述目标目录存在待处理文件，则根据配置文件中的处理配置信息对所述待处理文件进行处理，得到数据处理结果；

根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddrram、sram、edoram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的电子设备的数据文件的处理操作，还可以执行本申请任意实施例所提供的数据文件的处理方法中的相关操作。

实施例五

本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的数据文件的处理装置。图4是本申请实施例五提供的一种电子设备的结构示意图。如图4所示，本实施例提供了一种电子设备400，其包括：一个或多个处理器420；存储装置410，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器420执行，使得所述一个或多个处理器420实现本发明实施例所提供的数据文件的处理方法，该方法包括：

根据配置文件中的输入配置信息，确定所述输入配置信息的目标目录；

若监控所述目标目录存在待处理文件，则根据配置文件中的处理配置信息对所述待处理文件进行处理，得到数据处理结果；

根据配置文件中的输出配置信息，将所述数据处理结果输出至所述输出配置信息的输出目录中。

当然，本领域技术人员可以理解，处理器420还可以实现本发明任意实施例所提供的数据文件的处理方法的技术方案。

图4显示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，该电子设备400包括处理器420、存储装置410、输入装置430和输出装置440；电子设备中处理器420的数量可以是一个或多个，图4中以一个处理器420为例；电子设备中的处理器420、存储装置410、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线450连接为例。

存储装置410作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据文件的处理方法对应的程序指令。

存储装置410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置410可进一步包括相对于处理器420远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置430可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏、耳机本体等设备。

本申请实施例提供的电子设备，可以实现利用多线程对数据进行输入输出的同时，还能够快捷高效的对数据进行处理的目的。

上述实施例中提供的数据文件的处理装置、存储介质及电子设备可执行本申请任意实施例所提供的数据文件的处理方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的数据文件的处理方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。