对复发处理的分析的制作方法

背景和相关技术

计算机和计算系统已经影响了现代生活的近乎每一个方面。计算机通常涉及工作、休闲、保健、运输、娱乐、家政管理等。

计算系统允许定义、调度和自动执行复发处理。复发处理是计算任务，包括许多计算操作(其可以包括用户代码和/或系统代码)，其根据一些用户定义的调度在不同时间实例化并执行。

许多生产系统依赖于以一致的节奏可用的数据。使用分布式系统和复发处理以规则间隔来处理数据是一种有用且简单的方法来促进这一点。但是，许多因素可能会影响一致的性能，从而导致从处理复发实例到复发处理实例的差异。调试这些差异和减速需要遍历，潜在地，大量的变量组合，诸如数据大小更改，数据分布更改，优化器成本影响，群集资源耗尽，代码错误等。

本文中所要求保护的主题不限于解决任何缺点或仅在诸如以上所描述的环境那样的环境中操作的各实施例。相反，提供本背景仅用于解说其中可实践本文中所描述的一些实施例的一个示例性技术领域。

简要概述

本文例示的一个实施例包括可在分布式计算环境中实现的方法。该方法包括用于比较复发处理的动作。该方法包括自动标识具有一个或多个共性的多个复发处理实例。该方法进一步包括在用户界面中向用户显示具有一个或多个共性的所述多个复发处理实例。该方法进一步包括在所述用户界面处接收从所述多个复发处理实例选择第一复发处理实例的用户输入。该方法进一步包括在所述用户界面处接收从所述多个复发处理实例选择第二复发处理实例的用户输入。该方法进一步包括自动标识第一和第二复发处理实例中的差异。该方法进一步包括在所述图形用户界面中向用户呈现所述差异。

提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用来帮助确定所要求保护的主题的范围。

附加特征和优点将在以下描述中提出，且部分会从描述中显而易见，或者可以通过实践此处的原理来获悉。本发明的特征和优点可以通过在所附权利要求书中特别指出的工具和组合来实现和获得。本发明的特征从以下描述和所附权利要求书中将更完全显而易见，或者可以通过如下文所述实践本发明而获悉。

附图简述

为了描述可获得以上记载的及其他优点和特征的方式，将参照各具体实施例呈现以上简述的主题的更具体描述，各具体实施例在附图中例示。理解这些附图仅描述典型的实施例，因此不应被视为限制本发明的范围，各实施例将通过使用附图以附加的具体性和细节来描述和解释，附图中：

图1例示出处理分析系统；

图2a例示出用户界面以及对第一处理实例的选择供比较；

图2b例示出对第二处理实例的选择供比较；

图2c例示出用户界面的概要比较窗口；

图2d例示出在用户界面中显示附加统计信息；

图2e例示出用户界面中的代码差异界面；

图2f例示出用户界面中的处理回放界面；

图2g例示出显示关键路径的用户界面；以及

图3例示出比较复发处理的方法。

详细描述

本文所例示的实施例包括用于自动标识复发处理的实例并然后在用户界面中向用户提供所标识出的复发处理的实例的聚集的过程。用户然后可从处理实例的聚集中选择两个或更多个不同处理实例进行更细致的细节比较。

一些实施例然后可在用户界面中为用户标识并突出强调一复发处理的各实例之间的差异。在一些实施例中，基于差异的程度，差异可被分类以及然后被标识给用户。例如，系统可标识出一复发处理的不同实例之间在该复发处理的某些方面没有差异。替代地或附加地，系统可标识出一复发处理的不同实例之间在该复发处理的某些方面有较小差异。替代地或附加地，系统可标识出一复发处理的不同实例之间在该复发处理的某些方面有重大差异。不同程度的差异可通过颜色、特征大小(诸如字体或图像大小)、动画(例如更快速或更显著的动画)、可听的警告(例如在所标识的特征上移过光标可造成一定量的声音)、触觉反馈(鼠标悬停在特征上方可造成鼠标以基于差异水平的强度来振动)等来被突出强调。

现参考图1，例示出了一示例。图1例示出处理分析系统100。处理分析系统100包括自动处理实例匹配引擎102。自动处理匹配引擎102被配置成标识同一复发处理的不同实例。具体来说，处理实例匹配引擎102自动标识具有一个或多个共性的多个复发处理实例。图1例示出实例匹配引擎102包括比较器104。比较器104被配置成比较复发处理的各种实例以标识同一复发处理的实例。比较器104例如可以是被配置成分析数据特征以确定它们的相似性或差异的数字系统。比较器104可具有确定数据项何时充分相似的某些阈值设置。

例如，复发处理的实例可被存储在数据存储106处。存储复发处理的实例可以包括存储信息因素，诸如实例名称，处理定义细节，执行细节(例如，执行处理实例的时间和地点)，提交处理的用户，处理提交时使用的帐户，用于提交处理的api和/或工具等。数据存储106还可存储执行细节，诸如复发处理何时完成执行、复发处理生成的数据、通过运行复发处理标识出的差错等。

比较器104访问数据存储106以检查因素来标识充分相似的复发处理的实例。例如，比较器104可标识具有相同或相似(在某一预定义阈值内)命名约定的复发处理的所有实例。比较器104可标识具有相同或非常相似的(在某一预定义阈值内)执行细节的复发处理的所有实例。比较器104可标识具有相同或非常相似的(在某一预定义阈值内)处理定义细节的复发处理的所有实例。等等。这些中的每一个可被单独或组合使用以确定一组复发处理的实例全部应被一起分组为属于相同的复发处理。例如，在某些实施例中，不同因素可指示出实例应当或不应当被分组在一起。可对相似性建立阈值。如果达到该阈值，则实例将被分组在一起。在某些实施例中，该阈值可以是一置信水平，该置信水平是用户可配置的以允许系统管理员人工地微调哪些复发处理的实例被分组在一起。在某些实施例中，用户或许能够选择考虑哪些因素来确定复发处理的实例应被一起分组在相同的复发处理中。在其他系统中，阈值和因素可由系统设置，且不能被用户配置。

比较器104可输出处理组108，其中每个处理组是由比较器104标识出的属于同一复发处理的处理实例的标识。处理组108可被存储在处理分析系统100处的数据存储110中，其中这样的信息可随后在用户界面112中被提供给用户。

现在例示出进一步的细节，用户界面112可从数据存储110获得处理组。处理组可在用户界面112处被显示给用户。针对一复发处理，用户可选择一处理组来进一步分析。用户然后可在用户界面112处选择该复发处理的个体实例进行比较。该复发处理的个体实例被提供给实例比较器114。

在下文所例示的示例中，实例比较器114能够确定一复发处理的两个不同实例之间的差异。具体来说，实例比较器114可比较一复发处理的不同实例的各种细节，以标识出属性中的差异，以及在一些实施例中，标识出一复发处理的不同实例之间属性中的差异水平。

例如，比较器可确定一复发处理的不同实例在以下的一个或多个中是否存在差异：处理持续时间；属性名；排队时间；资源(例如，存储器、cpu、i/o)分配(例如，总体可用资源的百分比分配)；处理分配；有用资源使用(例如，存储器、cpu和i/o)小时；奖励资源使用小时；有用cpu时间；丢弃的重复所浪费的资源小时；中间数据大小；调度效率；高优先级权标利用效率；高优先级权标利用质量；重复调度比率；重复调度效率；分配效率；执行密度；处理初始化；顶点初始化；低并发密度；拥塞控制影响；拥塞控制backoffdopinsidewindow(窗口内退避dop(面向数据的解析))计数；拥塞控制backoffdopoutsidewindow(窗口外退避dop)计数等等。

差异可具有不同的差异水平。例如，实例比较器114可标识在一复发处理的不同实例之间某些属性几乎没有或没有差异。实例比较器114可标识出在一复发处理的不同实例之间某些属性具有细微差异。实例比较器114可标识出在一复发处理的不同实例之间某些属性具有显著差异。而且在一些实施例中，实例比较器可标识出与一复发处理的另一个实例相比，一个实例中缺少属性。

一些实施例可将差异分组成类别(诸如无差异、较小差异、显著差异、或缺失)。各种上限和下限阈值可被使用以确定两个属性之间的比较落在哪一类别中。例如，0至1％的差异可被标识为属于‘无差异’类别。1至10％的差异可被标识为属于‘较小差异’类别。10至100％的差异可被标识为属于‘显著差异’类别。注意，这些值仅仅是举例，可使用不同的值，或者在一些实施例中，用户可选择自定义值。如将在下文示出的，每个类别中的差异数量可被标识，和/或个体差异可按类别被标识。

注意，尽管上文已经示出了相当粗略的粒度(即四个阈值类别)，应理解在其他实施例中，更细粒度或甚至实际上流体粒度可被实现。

各种不同的指标可被使用来在用户界面中为用户突出强调复发处理的实例之间的属性的差异水平。例如，在一些实施例中，不同的差异程度可按颜色来被突出强调。例如，显著差异可在用户界面中用红色被突出强调。较小的差异可在用户界面中用橙色或黄色被突出强调。无差异可在用户界面中用绿色来被突出强调(或者在下文示例中根本不被突出强调)。缺失的属性可在用户界面中用蓝色被突出强调。当然，本领域技术人员将认识到这些仅仅是示例，而其他颜色或颜色组合可被使用。

替代地，一些实施例可通过改变特征大小(诸如字体大小或图像大小)在用户界面中为用户突出强调复发处理的实例之间的属性的差异水平。例如，更大的字体可被用于标识更大的差异。

替代地，一些实施例可通过改变动画在用户界面中为用户突出强调复发处理的实例之间的属性的差异水平。例如，更快速或更显著的动画可标识属性中的更大差异。

替代地，一些实施例可通过改变可听的警告在用户界面中为用户突出强调复发处理的实例之间的属性的差异水平。例如，在一标识出的属性上移过光标可造成一定量的声音，对于属性之间的越大的差异就发出越大的声音。

替代地，一些实施例可通过改变触觉反馈在用户界面中为用户突出强调复发处理的实例之间的属性的差异水平。例如，在一属性上移过光标可造成诸如具有触觉反馈的鼠标之类的设备基于差异水平而振动。

尽管上文例示出一些示例，但是应理解，可使用其他模态来在用户界面中为用户突出强调复发处理的实例之间的属性的差异水平。

现在参考图2a至2g，例示出一示例用户界面，该用户界面示出本发明的某些实施例如何可被实现。图2a例示出用户界面200。用户界面200包括处理选择窗口202。在此，用户可选择一给定复发处理。一旦用户选择了一给定处理，该复发处理的实例的列表就被显示在处理实例窗口204中。

用户可从处理实例窗口204选择第一实例。在处理实例窗口204中选择第一实例造成处理概要信息被显示在处理概要窗口206中。

处理概要窗口206可显示关于一处理实例的各种细节，诸如处理结果(例如处理成功或失败)；该处理实例的总持续时间；该处理实例何时被提交；该处理实例的开始时间；该处理实例的结束时间；该处理实例的编译时间；该处理实例排队了多长时间；该处理实例运行了多长时间；产出(即，暂停支持具有更高优先级的处理)；该处理实例的作者；什么群集运行该处理实例；用于该处理实例的vc；该处理实例的运行时；该处理实例的优先级；该处理实例的根进程id；该处理实例的根进程节点；该处理实例的权标计数；该处理实例的有用资源使用小时；该处理实例的奖励资源使用小时；该处理实例的读取的字节数；该处理实例的写入的字节数；该处理实例的顶点数等等。

用户界面200可在处理图表窗口210中为该处理实例显示处理图表208，处理图表窗口210示出该处理实例的各种操作的图形表示。

图2a例示出用户可选择该处理实例作为用于比较的处理实例。具体来说，用户界面200允许用户选择该处理实例作为要比较的实例，如212处所例示。在该示例中，图2a中所选择的处理实例被选择为‘左’实例。

图2b例示出一不同实例被选择为‘右’实例供比较。

图2c例示出概要比较窗口214。概要比较窗口214总结差异数量和差异程度，如216处所例示。注意，颜色编码、动画或其他反馈可被使用来展示项目(诸如属性或统计)之间的差异程度。从而，红色文本可被用于示出显著差异，蓝色可被用于示出缺失的项目，而橙色可被用于示出略微不同的项目。

图2c在218处示出处理属性的详细比较。通过将来自不同处理实例的实际属性一起示出，用户可执行视觉检测以标识出属性之间的确切差异。在一些实施例中，属性可被颜色编码以标识差异的大小。从而例如属性可用红色文本打印以示出实例之间的显著差异，用黑色示出无差异，以及用橙色示出较小差异。当然，其他颜色方案可被使用。实际上，在一些实施例中，热图可被用于示出差异的相当流体的表示。例如，红色将表示较大的差异，而紫色将表示较小的差异。这些颜色之间的谱上的颜色将基于它们在谱中的位置表示变化的差异水平。类似地，大的字体大小表示大的差异，而小的字体大小表示几乎没有或没有差异。这些之间的字体大小可表示变化的差异。类似地功能可用不同的动画(大小、速度和/或频率)；触觉反馈；或其他反馈来被实现。

图2c进一步例示出可为两个实例示出统计细节，如220处所例示。

如222处所例示，用户可请求附加统计信息，附加统计信息被示于图2d中。

在图2e的224处，用户可选择‘文件差异’界面，该界面示出不同实例的代码中的差异。在所例示的示例中，当差异出现时，在同一行中以突出强调的差异示出，以允许用户容易地标识确切的差异。

如图2f中226处所例示，处理回放可被选择，致使处理回放的图形例示被例示出。

如图2g所示228处所例示的，‘关键路径’界面可被选择，该界面示出每个实例的关键路径的甘特图表。具体来说，云处理通常涉及耦合在一起的许多不同阶段。每个阶段包括一个或多个顶点。一阶段中的每个顶点执行给定一组操作。典型地，一阶段中的所有顶点执行相同一组操作，但是针对不同数据。从阶段到阶段，顶点之间存在父子关系。从而，例如，一个阶段中的一顶点将是一不同阶段中的一不同顶点的父或子。父子关系定义了操作和/或数据流。本文所例示的实施例可标识单父子序列操作路径。在一些实施例中，所述单父子序列路径可以是关键路径。关键路径被定义为处理的最长运行单路径父子顶点序列。单路径是这样一条路径，其中每个父仅具有单个子，且每个子仅具有单个父。随着该关键路径被标识，开发者能够快速地聚焦于改进所需要的区域。在一些实施例中，不同实例的关键路径可在用户界面中以甘特图表被图形地呈现给用户，使得用户能快速且高效地标识出不同的顶点。

从而，例如属于同一复发处理的复发处理例如使用相关联的处理或输入/输出文件的命名模式来首先被标识出。跨复发处理的多个实例的处理定义和执行历史然后作为一个集合被分析，并在组合的图形视图中被呈现。处理运行(即复发处理实例)的个体对然后可由用户在用户界面中标识用于细粒度比较和问题排查。视觉图案可标识出问题(相同数据量、较慢的执行等)，然后可通过与图形数据点有关的一对处理运行来分析问题。处理分析系统然后标识出值得开发者注意的显著差异。

这使得试图理解处理行为为什么改变的常见任务自动化且简化。例如，用户或许能够使用该用户界面来快速且高效地标识出为何处理比通常运行更慢。利用该功能，开发者寻找一复发处理并分析感兴趣的差异所花费的时间被极大地减少。许多复发处理具有完成的时间约束，使得对延迟和问题的标识成为高价值活动。

通过能够在所有变量的概要视图上观察、数据透视以及深入挖掘，对关键组份进行图形比较以及使用主要差异源的自动突出强调，‘复发处理分析工具’加速并促进了开发者寻找这些变化源的任务。全部该功能无需用户对他们的现有处理作出任何代码改变就能启用。

用于该特征的方法使用一致的处理模型，面向数据的匹配模型，与用于标识显著变化的公式一起，以及用于跨多个运行表示多个处理变量的可视框架。这导致非常快速且一致的处理分析，该分析考虑了特定于大数据处理的潜在处理问题。

下面的讨论现在涉及可被执行的多个方法和方法动作。尽管这些方法动作可以以特定次序被讨论或在流程图中被例示为以特定次序发生，但是除非特别指明否则不需要任何特定排序，或者因某一动作取决于在该动作被执行之前完成的另一个动作而要求特定排序。

现在参考图3，例示出方法300。方法300可在分布式计算环境中实施，并包括用于比较复发处理的动作。该方法包括自动标识具有一个或多个共性的多个复发处理实例(动作302)例如，方法300可被实践，其中自动标识具有一个或多个共性的多个复发处理实例包括跨复发处理的多个实例标识一个或多个相似处理定义；跨复发处理的多个实例标识相似命名约定；跨复发处理的多个实例标识相似执行历史和/或标识其他相似性。

例如，跨多个复发处理的实例标识类似处理定义可以包括标识类似信息因素，诸如实例名称，处理定义细节，执行细节(例如，执行处理实例的时间和地点)，提交处理实例的用户，处理实例提交时使用的帐户，用于提交处理实例的api和/或工具等。

例如，跨复发处理的多个实例标识相似命名约定可包括检查路径名、文件名相似性等。

例如，跨复发处理的多个实例标识类似的执行历史可以包括执行细节，诸如复发处理何时完成执行，由复发处理生成的数据，通过运行复发处理标识的错误等。

该方法进一步包括在用户界面中向用户显示具有一个或多个共性的所述多个复发处理实例(动作304)。其示例被例示出图2a中，图2a在处理实例窗口204中例示出相似处理实例的列表。

该方法进一步包括在所述用户界面处接收从所述多个复发处理实例选择第一复发处理实例的用户输入(动作306)。如图2a中212处所例示，用户可选择一复发处理实例供比较。

该方法进一步包括在所述用户界面处接收从所述多个复发处理实例选择第二复发处理实例的用户输入(动作308)。图2b例示出选择第二复发处理实例供比较。

该方法进一步包括自动标识第一和第二复发处理实例中的差异(动作310)。

该方法进一步包括在所述图形用户界面中向用户呈现所述差异(动作312)。例如，图2c、2d、2e和2f全部都示出在用户界面中向用户呈现差异的不同示例。

方法300可被实践，其中自动标识第一和第二复发处理实例中的差异包括标识复发处理实例签名中的差异。

方法300可被实践，其中自动标识第一和第二复发处理实例中的差异包括标识复发处理实例模式中的差异。

方法300可被实践，其中自动标识第一和第二复发处理实例中的差异包括标识不同复发处理实例所处理的数据量的差异。

方法300可被实践，其中自动标识第一和第二复发处理实例中的差异包括标识用于不同复发处理实例的执行的一天中的时间的差异。

方法300可被实践，其中自动标识第一和第二复发处理实例中的差异包括标识不同复发处理实例的执行代码的差异。

具体来说，如果不同复发处理实例被确定为相似，但仍然具有上述的不同特征，则用户可能感兴趣能够知晓这样的实例并具有调查这样的实例之间的差异的能力。

而且，各方法可由计算机系统实现，计算机系统包括一个或多个处理器以及诸如计算机存储器这样的计算机可读介质。特别是，计算机存储器可以存储计算机可执行指令，该计算机可执行指令在由一个或多个处理器执行时使各种功能得以被执行，诸如各实施例中记载的动作。

本发明的各实施例可以包括或使用包括计算机硬件的专用或通用计算机，如以下更详细讨论的。本发明范围内的各实施例也包括用于实现或存储计算机可执行指令和/或数据结构的实体及其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。承载计算机可执行指令的计算机可读介质是传输介质。由此，作为示例而非限制，本发明的各实施例可包括至少两种显著不同的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。

物理计算机存储介质包括ram、rom、eeprom、cd-rom或其他光盘存储(如cd、dvd等)、磁盘存储或其他磁存储设备、或可用于存储计算机可执行指令或数据结构形式的所需程序代码装置且可由通用或专用计算机访问的任何其他介质。

“网络”被定义为使得电子数据能够在计算机系统和/或模块和/或其它电子设备之间传输的一个或多个数据链路。当信息通过网络或另一个通信连接(硬连线、无线、或者硬连线或无线的组合)传输或提供给计算机时，该计算机将该连接适当地视为传输介质。传输介质可以包括可用于携带计算机可执行指令或数据结构形式的期望程序代码装置并可被通用或专用计算机访问的网络和/或数据链路。以上的组合也被包括在计算机可读介质的范围内。

此外，在到达各种计算机系统组件之后，计算机可执行指令或数据结构形式的程序代码装置可从传输计算机可读介质自动转移到物理计算机可读存储介质(或者相反)。例如，通过网络或数据链路接收到的计算机可执行指令或数据结构可被缓存在网络接口模块(例如，“nic”)内的ram中，并且然后最终被传输至计算机系统ram和/或计算机系统处的较不易失性的计算机可读物理存储介质。因此，计算机可读物理存储介质可以被包括在同样(或甚至主要)利用传输介质的计算机系统组件中。

计算机可执行指令包括例如使通用计算机、专用计算机或专用处理设备执行某一功能或一组功能的指令和数据。计算机可执行指令可以是例如二进制代码、诸如汇编语言之类的中间格式指令、或甚至源代码。尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述特征或动作。相反，上述特征和动作是作为实现权利要求的示例形式而公开的。

本领域的技术人员将理解，本发明可以在具有许多类型的计算机系统配置的网络计算环境中实践，这些计算机系统配置包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器的或可编程消费电子设备、网络pc、小型计算机、大型计算机、移动电话、pda、寻呼机、路由器、交换机等等。本发明也可在其中通过网络链接(或者通过硬连线数据链路、无线数据链路，或者通过硬连线和无线数据链路的组合)的本地和远程计算机系统两者都执行任务的分布式系统环境中实施。在分布式系统环境中，程序模块可以位于本地和远程存储器存储设备二者中。

作为替换或补充，本文所述的功能可至少部分地由一个或多个硬件逻辑组件来执行。例如、但非限制，可使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(fpga)、程序专用的集成电路(asic)、程序专用的标准产品(assp)、片上系统系统(soc)、复杂可编程逻辑器件(cpld)、等等。

本发明可以以其他具体形式来体现，而不背离其精神或特征。所描述的实施例在所有方面都应被认为仅是说明性而非限制性的。从而，本发明的范围由所附权利要求书而非前述描述指示。落入权利要求书的等效方案的含义和范围内的所有改变应被权利要求书的范围所涵盖。