一种任务检测方法及装置与流程

本申请涉及计算机技术领域，尤其涉及一种任务检测方法及装置。

背景技术：

目前，分布式的业务系统得到了广泛应用，业务提供方(如：网站、在线平台等)基于分布式的业务系统，能够向用户提供丰富的业务。

分布式的业务系统中通常包含多个业务设备(如：服务器)，这些业务设备将共同协作完成相应的业务。具体而言，在业务运行的过程中，不同业务设备之间会进行任务调度。

现有技术中，分布式业务系统中不同的业务设备，可能采用不同的任务调度体系，具体来说，在一种任务调度体系中，使用任务调度中间件的方式，向相应的业务设备分配任务；而在另一种任务调度体系中，业务设备自身启动守护线程(如：java中的timer类)，自行执行任务。实际应用时，分布式业务系统中的不同业务设备可能会采用不同的任务调度体系。

在业务处理过程中，可能会出现某任务未完成的异常情况，进而导致整体业务无法完成。一旦任务出现异常，通常需要确定出异常任务所发生的环节，但是，对于现有技术中的任务调度方式，特别是使用任务调度中间件的任务调度体系而言，任务调度中间通常为多个业务设备分配大量任务，任务调度中间件为了保证处理性能，往往不会提供任务状态的查询功能，这就导致难以获知异常任务出现的环节所在。

技术实现要素：

本申请实施例提供一种任务检测方法及装置，用以解决在分布式的业务系统中难以准确确定出现异常的任务环节的问题。

本申请实施例提供的一种任务检测方法，包括：

获取各业务设备的任务日志；

在获取到的任务日志中，确定每一任务对应的处理状态标识；

根据每一任务的处理状态标识，检测处理状态出现异常的任务。

本申请实施例提供的一种业务处理装置，包括：

获取模块，获取各业务设备的任务日志；

确定模块，在获取到的任务日志中，确定每一任务对应的处理状态标识；

检测模块，根据每一任务的处理状态标识，检测处理状态出现异常的任务。

本申请实施例提供一种任务检测方法及装置，通过本方法：

对于分布式系统中各业务系统共同协作完成业务的场景下，为了在全局上检测出现异常的任务，则获取分布式系统中用以完成同一业务的各业务设备上的任务日志，这些任务日志中记录了完成同一业务所创建的各任务的详情信息，那么，通过任务日志，便可以确定出用以表示每一任务执行状态的处理状态标识，进而，可根据每一任务的处理状态标识，来确定出诸如未完成或未启动等异常的任务，实现对分布式系统中个业务设备上异常任务的检测。相较于现有技术中的方式而言，本申请实施例中的任务检测方式能够实现对异常任务的全局检测，能够较为准确地查找到发生异常的环节。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的任务检测方法所基于的架构示意图；

图2为本申请实施例提供的任务检测过程；

图3为本申请实施例提供的业务设备记录任务日志的示意图；

图4a和图4b为本申请实施例中在实际应用场景下的对日志信息的处理并确定异常任务的示意图；

图5为本申请实施例提供的任务检测装置结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如前所述，现有的业务提供方后台通常会采用分布式的业务系统，不同业务系统上运行有用于执行相应业务功能的程序，这里简称为：应用(应理解，本申请实施例中的应用，区别于运行在用户终端上的应用程序)。在不同应用运行时，会执行相应的任务，一项任务完成，便可实现一定的业务功能。在分布式业务系统中，通常会涉及任务调度，应理解地，任务调度可认为是任务调度设备(如：主机)按照业务流程的顺序，逐次执行相应的任务，具体而言，现有技术中的任务通常为定时任务，对定时任务的实现，通常分为两种：一种方式为，任务数据存储在数据库，业务端应用捞取数据来执行任务处理，另一种方式为，任务数据由中间件维护，定时将数据推送到业务端应用。然而，上述两种任务体系在实际应用时通常会混合使用，这样一来，难以同一检测出异常任务(即，未执行任务)

故在本申请实施例中，提供一种任务检测方法，通过获取各业务系统所生成的任务日志后，统计出任务日志中所记录的各条任务的处理状态，从而，基于这些任务的处理状态，便可以直观地确定出处理状态异常的任务。

需要说明的是，本申请实施例中所述的业务提供方，包括但不限于：能够提供组合式业务的网站、电信运营商、银行、数据中心等。其中，如图1所示，为本申请实施例中任务检测所基于的架构，从图1中可见，业务提供方后台的各业务设备(也即，业务系统)，均可以采用服务器或服务器集群的架构，以便适应于实际应用中大量的业务请求，同时，该架构中还包括任务检测设备，用于全局性检测各业务系统中处理状态出现异常的任务。这里需要说明的是，在实际应用中，任务检测设备可以是服务器、服务器集群、管理中心或具有任务检测功能的功能单元、应用软件等，这里并不构成对本申请的限定。

基于图1所示的架构，本申请实施例提供的任务检测过程如图2所示，该过程具体包括以下步骤：

s201：获取各应用的任务日志。

实际应用中，无论分布式的业务系统采用何种任务体系，执行任务的业务系统均会生成相应的任务日志，故在本申请实施例中，便可以获取执行相应业务的各业务系统所生成的任务日志。

需要说明的是，本申请实施例中的任务日志，可记录于日志文件中，其可为“.log”、“.evt”格式的日志文件，当然，任务日志中所记录的日志信息与任务相关，通常日志信息中会包含任务的名称、任务类型、创建时间、处理状态等信息，这里并不构成对本申请的限定。

s202：在获取到的任务日志中，确定每一任务对应的处理状态标识。

对于上述的任务体系而言，执行任务后，其生成的任务日志中的日志信息，通常均包含任务类型、任务编号、任务创建时间、任务结束时间、任务处理状态等信息。

基于此，通过相应的业务编号，可以确定出各个不同的任务，并且，针对每一任务，可以确定出其对应的处理状态。

需要说明的是，在本申请实施例中，任务日志中有关任务的处理状态，通常可以采用相应的字符进行表示，如：start、end等，换言之，这些字符便可作为上述的处理状态标识。当然，在实际应用中，不同任务体系所生成的任务日志中，处理状态标识所使用的字符类型、字符数量、字符格式上可能并不统一，但这不应理解为对本申请的限定。

s203：根据每一任务的处理状态标识，确定处理状态出现异常的任务。

在实际应用场景下，分布式系统中的各业务系统在执行相应的任务时，可能会出现任务执行异常的情况，其中，本申请实施例中所述的任务异常的情况，可包含任务未执行、任务执行但未在指定时间完成等情况。而正是由于前述过程中得到了每一任务的处理状态标识，那么，便可以基于任务的处理状态标识，来确定出异常情况的任务。

具体而言，作为本申请实施例中一种可行的任务检测方式，以未完成的任务为例，未完成的任务通常是已被创建的任务，但并未产生相应的处理结果，也就是说，未完成的任务在任务日志中，通常仅会记录其被创建的处理状态，由于未完成，便不会记录其结束的处理状态(即，未完成的任务将不具有表示任务结束的处理状态标识)，因此，基于表示任务结束的处理状态标识，来查找未完成的任务。

通过上述步骤，对于分布式系统中各业务系统共同协作完成业务的场景下，为了在全局上检测出现异常的任务，则获取分布式系统中用以完成同一业务的各业务设备上的任务日志，这些任务日志中记录了完成同一业务所创建的各任务的详情信息，那么，通过任务日志，便可以确定出用以表示每一任务执行状态的处理状态标识，进而，可根据每一任务的处理状态标识，来确定出诸如未完成或未启动等异常的任务，实现对分布式系统中个业务设备上异常任务的检测。相较于现有技术中的方式而言，本申请实施例中的任务检测方式能够实现对异常任务的全局检测，能够较为准确地查找到发生异常的环节。

结合如图1所示的架构，对于以上步骤，执行主体可以是任务检测设备，实际操作时，任务检测设备具备读取各业务设备任务日志的权限，这里并不构成对本申请的限定。

在实际应用场景下，任务检测设备获取各业务设备的任务日志的过程，可以使用相应的日志脚本或分布式系统中的日志采集功能实现，当然，任务检测设备可以按照设定的周期进行获取，这里并不构成对本申请的限定。

对于获取到的任务日志，这里需要说明的是，不同的业务设备对业务的处理，通常是运行在该业务设备上相应的应用程序所实现(这里为便于描述，以下将简称为：应用，当然，应理解的是，此处所述的应用不同于安装在用户终端侧的应用)，假设在包含业务设备1～3的分布式系统中，应用a～c分别运行在业务设备1～3上，并假设，应用a接收到某一业务操作后，创建了任务a，任务a的运行需要调用应用b，应用b被调用后将执行相应的业务处理并进一步调用应用c，对于此情况，应用a将等待应用b的响应才能够执行后续操作，而应用b需等待应用c的响应，显然，对于这种方式而言，特别是应用c是第三方外部应用的情况下，应用c可能由于硬件处理性能、稳定性等因素的影响，容易出现问题，从而导致应用b、应用a持续等待。

为了避免上述情况，故当任务a向应用b发起调用后，将在应用b上创建任务b，任务b可以立即向应用a反馈响应，并且，任务b作为异步的定时任务，可以在后续完成应用c的调用处理后，再向应用a反馈处理结果。

基于上述内容，如图3所示，对于应用a和应用b而言，其任务日志中分别记录了任务a和任务b的日志信息。当然，在图3中，日志信息的格式为：[时间信息][任务类型][任务id][处理状态标识]。

图3中有关任务日志中日志信息的格式仅是一种示例，并不应理解为对本申请的限定。

一旦获得了任务日志，则可以基于任务日志中的日志信息对异常任务进行检测，具体而言：在确定每一任务对应的处理状态标识之前，所述方法还包括：在获取到的每一业务应用的任务日志中，提取设定时间段内的各任务的日志信息。

例如：在每一任务日志中，提取20:00～20:02之间的所有日志信息，如图4a所示。

此后，所述处理状态标识包括：任务创建标识以及任务完成标识，进而，根据每一任务的处理状态标识，确定处理状态出现异常的任务，包括：统计所述任务日志中带有任务创建标识的各任务，形成第一日志集合，统计所述任务日志中带有任务完成标识的各任务，形成第二日志集合，根据第一日志集合及第二任务集合，确定处理状态标识出现异常的任务。

更为具体地，根据第一日志集合及第二任务集合，确定处理状态标识出现异常的任务，包括：统计出现在所述第一日志集合中且未出现在第二日志集合中的各任务，将统计出的各任务确定为处理状态异常的任务。

延续如图4a所示的示例，对于之前所提取出的在20:00～20:02之间的所有日志信息，其中日志信息包含的处理状态标识包括“start”和“end”，分别表示任务被创建以及任务完成。那么，便可以根据这两个业务处理标识对之前所提取的所有日志信息进行分类，形成相应的日志集合。具体如图4b所示，按照处理状态标识“start”和“end”，将提取出的各日志信息分为了第一日志集合和第二日志集合，进一步地，按照任务id，分别统计两个日志集合中的各任务，可见，任务id为222的任务仅出现在第一日志集合中，却未出现在第二日志集合中。那么，就表明该任务并未处理完成(即，处理状态标识仅为“start”，并没有处理状态标识“end”)。

经过上述内容，便可以确定出处理状态异常的任务。

以上为本申请实施例提供的任务检测方法，基于同样的思路，本申请实施例还提供一种业务处理装置，如图5所示。该装置包括：

获取模块501，获取各业务设备的任务日志；

确定模块502，在获取到的任务日志中，确定每一任务对应的处理状态标识；

检测模块503，根据每一任务的处理状态标识，检测处理状态出现异常的任务。

所述获取模块501，采用日志脚本或分布式日志采集功能，以设定的周期获取各业务设备所运行的业务应用的任务日志。

所述装置还包括：日志处理模块504，在确定模块确定每一任务对应的处理状态标识之前，在获取到的每一业务应用的任务日志中，提取设定时间段内的各任务的日志信息。

所述处理状态标识包括：任务创建标识以及任务完成标识；所述检测模块503，统计所述任务日志中带有任务创建标识的各任务，形成第一日志集合，统计所述任务日志中带有任务完成标识的各任务，形成第二日志集合，根据第一日志集合及第二任务集合，确定处理状态标识出现异常的任务。

所述检测模块503，统计出现在所述第一日志集合中且未出现在第二日志集合中的各任务，将统计出的各任务确定为处理状态异常的任务。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmablelogicdevice,pld)(例如现场可编程门阵列(fieldprogrammablegatearray，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logiccompiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardwaredescriptionlanguage，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advancedbooleanexpressionlanguage)、ahdl(alterahardwaredescriptionlanguage)、confluence、cupl(cornelluniversityprogramminglanguage)、hdcal、jhdl(javahardwaredescriptionlanguage)、lava、lola、myhdl、palasm、rhdl(rubyhardwaredescriptionlanguage)等，目前最普遍使用的是vhdl(very-high-speedintegratedcircuithardwaredescriptionlanguage)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(applicationspecificintegratedcircuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc625d、atmelat91sam、microchippic18f26k20以及siliconelabsc8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。