一种大数据批处理方法及装置与流程

本发明涉及大数据处理领域，特别是涉及一种大数据批处理方法及装置。

背景技术：

随着大数据时代的到来，大数据的批处理已被广泛的运用在企业运营的各个方面的数据处理中，企业对于大数据处理需求也越来越多样化。可见，大数据的批处理在企业的发展中起着至关重要的作用。

但是在现有技术下实现大数据的批处理，需要通过命令行的形式逐条输入操作命令以进行大数据的批处理操作，而且命令往往比较复杂，这对于不够了解命令所代表的功能或是不了解本领域技术的用户来说很难上手进行操作，进而增加了用户的操作要求。此外，对于本领域的技术人员来说，面对着枯燥的命令行界面并频繁的输入命令进行大数据的批处理操作不但降低了用户的体验感，而且输入繁杂的命令也增加了操作的时间开销，进而降低了操作的效率。

由此可见，提供一种大数据批处理方法，在降低大数据批处理时的用户操作要求的同时，提高用户体验感以及操作效率，是本领域技术人员亟待解决的问题。

技术实现要素：

本发明的目的是提供一种大数据批处理方法及装置，提高了用户的体验感，降低了对用户的操作要求并提高了大数据批处理操作的效率。

为解决上述技术问题，本发明提供一种大数据批处理方法，包括：

在图形界面中对大数据批处理任务的执行参数进行设置；

根据执行参数生成相应的任务xml文件；

通过大数据批处理框架读取任务xml文件，并根据xml文件的内容执行大数据批处理任务。

优选的，在根据xml文件的内容执行大数据批处理任务后，该方法进一步包括：

采集执行大数据批处理任务时产生的任务状态信息。

优选的，在采集执行大数据批处理任务时产生的任务状态信息后，该方法进一步包括：

判断任务状态信息是否异常；

如果是，则将状态信息写入日志文件。

优选的，该方法进一步包括：

对任务状态信息进行加工，并显示在图形界面中。

优选的，大数据批处理框架具体为springbatch大数据批处理框架。

优选的，图形界面具体包括：

大数据批处理的任务配置界面以及大数据批处理的状态信息监控界面。

此外，本发明还提供一种大数据批处理装置，包括：

参数设置模块，用于在图形界面中对大数据批处理任务的执行参数进行设置；

任务文件生成模块，用于根据执行参数生成相应的任务xml文件；

任务执行模块，用于通过大数据批处理框架读取任务xml文件，并根据xml文件的内容执行大数据批处理任务。

优选的，该装置进一步包括：

信息采集模块，用于采集执行大数据批处理任务时产生的任务状态信息。

优选的，该装置进一步包括：

判断模块，用于判断任务状态信息是否异常，如果是，则调用日志写入模块；

日志写入模块，用于将状态信息写入日志文件。

优选的，该装置进一步包括：

加工显示模块，用于对任务状态信息进行加工，并显示在图形界面中。

本发明所提供的大数据批处理方法，通过图形界面的方式对批处理任务进行参数设置，以此取代了用户在命令行中通过输入命令对批处理任务进行操作的步骤，而图形界面能够给用户更加友好的使用感觉，提高了用户的体验感，并且对于操作命令不了解的用户也能够进行操作，降低了对用户的操作要求。另外，在通过图形界面进行配置的批处理任务参数的情况下，后台根据任务参数生成任务文件并由大数据批处理框架进行处理，相当于省去了用户逐条输入命令以进行操作的时间开销，进而也提高了大数据批处理操作的效率。此外，本发明还提供一种大数据批处理装置，与上述的方法对应，有益效果如上所述。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种大数据批处理方法的流程图；

图2为本发明实施例提供的另一种大数据批处理方法的流程图；

图3为本发明实施例提供的一种大数据批处理装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

本发明的核心是提供一种大数据批处理方法及装置，提高了用户的体验感，降低了对用户的操作要求，进而也提高了大数据批处理操作的效率。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

实施例一

图1为本发明实施例提供的一种大数据批处理方法的流程图。请参考图1，大数据批处理方法的具体步骤包括：

步骤s10：在图形界面中对大数据批处理任务的执行参数进行设置。

需要说明的是，本发明中所指的大数据是指数量庞大并且种类多样的数据所构成的集合。可以理解的是，由于在当前技术下是采用逐条输入命令的方式实现大数据批处理任务，但是由于命令行环境过于枯燥，并且与用户之间的交互感较差。因此，在图形界面中操作大数据批处理任务的好处在于，用户的体验感更好，而不了解命令行命令的用户也可以直观的对大数据批处理任务进行设置，进而降低了对用户的操作要求。

步骤s11：根据执行参数生成相应的任务xml文件。

在本步骤中，根据用户在图形界面中设置的大数据批处理任务执行参数生成可以让后续大数据批处理框架读取并进行相应操作的任务文件。需要说明的是，本步骤中是将用户在图形界面的操作整合成为配置文件，因此，省去了用户需要在命令行环境中逐条输入命令操作大数据批处理任务的时间开销，进而提高了操作效率。

步骤s12：通过大数据批处理框架读取任务xml文件，并根据xml文件的内容执行大数据批处理任务。

本步骤的目的是，通过大数批处理框架读取任务文件并根据任务文件执行相关的大数据批处理任务，使用大数据批处理框架的好处在于通过框架能够解决进行大数据批处理时的普遍功能需求，简洁易用，并且能够减少编写相关程序的工作量，提高整体效率。

本发明所提供的大数据批处理方法，通过图形界面的方式对批处理任务进行参数设置，以此取代了用户在命令行中通过输入命令对批处理任务进行操作的步骤，而图形界面能够给用户更加友好的使用感觉，提高了用户的体验感，并且对于操作命令不了解的用户也能够进行操作，降低了对用户的操作要求。另外，在通过图形界面进行配置的批处理任务参数的情况下，后台根据任务参数生成任务文件并由大数据批处理框架进行处理，相当于省去了用户逐条输入命令以进行操作的时间开销，进而也提高了大数据批处理操作的效率。

实施例二

图2为本发明实施例提供的另一种大数据批处理方法的流程图。图2中步骤s10-s12与图1相同，在此不再赘述。

如图2所示，作为一种优选的实施方式，在根据xml文件的内容执行大数据批处理任务后，该方法进一步包括：

步骤s20：采集执行大数据批处理任务时产生的任务状态信息。

可以理解的是，当执行大数据批处理任务时会相应的产生一系列相关的任务执行情况以及任务执行结果等数据信息，这些信息能够帮助用户了解大数据批处理任务的进展情况。因此，采集执行大数据批处理任务时产生的任务状态信息的好处在于，为用户对任务执行的分析、优化以及异常排查等后续的一系列操作提供了在数据上的支持。

如图2所示，作为一种优选的实施方式，在采集执行大数据批处理任务时产生的任务状态信息后，该方法进一步包括：

步骤s21：判断任务状态信息是否异常；

如果是，则执行步骤s22。

步骤s22：将状态信息写入日志文件。

在执行大数据批处理任务时由于种种原因，可能会出现执行异常的情况，在这种情况下，为了保证任务的整体执行效率，就需要用户对异常进行快速解决。因此，可以在判断任务状态信息异常后将状态信息写入日志文件，进而用户可以在日志文件中系统的了解异常的状态信息，并能够快速的进行相应的异常处理，由于减少了异常恢复的时间开销，进而保证了任务的整体执行效率。

如图2所示，作为一种优选的实施方式，该方法进一步包括：

步骤s23：对任务状态信息进行加工，并显示在图形界面中。

可以理解的是，通过使用大数据批处理数据框架所获得的任务状态信息并不系统，如果将状态信息直接展示给用户，用户很难清晰的了解任务执行的整体情况。因此，可以将状态信息进行加工和整合，并且按类别先实现图形界面中。这样做的好处在于，用户能够更加清晰直观的了解状态信息的内容，并且能够进一步提高用户体验。需要说明的是，本步骤可以在采集到任务状态信息后的任意步骤前进行，也可以与采集到任务状态信息后的任意步骤同时进行，在此不做限定。

此外，在上述实施例的基础上，作为一种优选的实施方式，大数据批处理框架具体为springbatch大数据批处理框架。

由于springbatch大数据批处理框架为开源框架，所以用户能够在实现大数据批处理的基本功能的同时，还可以根据需要进行更深层次的功能定制，因此springbatch大数据批处理框架的整体扩展性更好。

此外，在上述实施例的基础上，作为一种优选的实施方式，图形界面具体包括：

大数据批处理的任务配置界面以及大数据批处理的状态信息监控界面。

为了给用户更好的体验感，可以将图形界面进行分部显示或是不同内容显示在不同的图形界面中。由于大数据批处理任务主要包括任务配置部分和执行大数据批处理所产生的状态信息两个部分，因此可以将两个部分作为任务配置界面以及状态信息监控界面以分别向用户呈现，能够更加清晰明了，进而使用户的体验感更好。

实施例三

在上文中对于大数据批处理方法的实施例进行了详细的描述，本发明还提供一种与该方法对应的大数据批处理装置，由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图3为本发明实施例提供的一种大数据批处理装置结构图。本发明实施例提供的大数据批处理装置，具体包括：

参数设置模块10，用于在图形界面中对大数据批处理任务的执行参数进行设置。

任务文件生成模块11，用于根据执行参数生成相应的任务xml文件。

任务执行模块12，用于通过大数据批处理框架读取任务xml文件，并根据xml文件的内容执行大数据批处理任务。

本发明所提供的大数据批处理装置，通过图形界面的方式对批处理任务进行参数设置，以此取代了用户在命令行中通过输入命令对批处理任务进行操作的步骤，而图形界面能够给用户更加友好的使用感觉，提高了用户的体验感，并且对于操作命令不了解的用户也能够进行操作，降低了对用户的操作要求。另外，在通过图形界面进行配置的批处理任务参数的情况下，后台根据任务参数生成任务文件并由大数据批处理框架进行处理，相当于省去了用户逐条输入命令以进行操作的时间开销，进而也提高了大数据批处理操作的效率。

在实施例三的基础上，该装置还包括：

信息采集模块，用于采集执行大数据批处理任务时产生的任务状态信息。

在实施例三的基础上，该装置还包括：

判断模块，用于判断任务状态信息是否异常，如果是，则调用日志写入模块。

日志写入模块，用于将状态信息写入日志文件。

在实施例三的基础上，该装置还包括：

加工显示模块，用于对任务状态信息进行加工，并显示在图形界面中。

以上对本发明所提供的一种大数据批处理方法及装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。