对图形对象操作的记录和重放的制作方法
【专利说明】对图形对象操作的记录和重放
【背景技术】
[0001] 测试自动化软件可以记录并自动地重放用户与图形用户界面（"GUI"）的交互。GUI 开发者可以使用自动化软件以记录并重放鼠标输入(例如指向和点击)并且网络开发者可 以使用自动化软件以记录并重放网页导航。这些工具减轻了通常是费力和耗时的手动测 试。
【附图说明】
[0002] 图1是根据本公开特征方面的示例性系统。
[0003] 图2是根据本公开特征方面的示例性流程图。
[0004] 图3是根据本公开特征方面的工作示例。
[0005] 图4是根据本公开特征方面的进一步工作示例。
【具体实施方式】
[0006] 如上所述，GUI开发者可以使用测试自动化以记录用户操作并且自动地重放那些 操作如所需之多的次数。这些工具在质量保证和回归测试中节省了大量时间。一些测试自 动化工具使用基于代理的方案。在该方案中，代理模块可以被插入至测试下的应用程序 ("AUT"）中。代理在用户与图形对象交互时可以记录与图形对象相关联的信息并且在需要 时也可以重放那些用户交互。基于代理的方案的一个优点是在记录阶段期间可以捕捉图形 数据的精确度。代理可以捕捉与复杂图形用户界面相关联的详细数据，诸如图形树图和曰 历。然而，基于代理的方案具有一些缺点。例如，如果AUT远程地执行，则安全约束可以防止 代理插入至远程计算机中。此外，可能不得不对于每个平台开发定制的代理。例如，可能需 要对于Internet Explorer?的每个版本开发特定的代理。
[0007] 考虑到前述，在此所公开的各个示例提供了用于记录并重放用户操作的一种系 统、非暂时性计算机可读介质和方法。在一个方面中，可以记录图形对象的外观。在另一方 面中，可以确定所记录的外观是否不同于图形对象的当前外观。在另一示例中，可以记录图 形对象的特定图像、文本和像素测量结果(measurement)。因此，在此所公开的系统、非暂时 性计算机可读介质和方法可以基于显示在屏幕上的用户界面捕捉复杂图形对象的细节而 无需将代理插入至AUT中。在此所公开的技术捕捉与使用基于代理的方案所收集的细节相 应的所显示图形对象的精确细节。当参考示例的以下描述和附图考虑时将意识到本申请的 方面、特征和优点。以下描述并未限制本申请;相反，由所附权利要求及其等价形式限定本 申请的范围。
[0008] 图1呈现了包括示意性计算机设备100的示例性系统的示意图。图1描绘了根据本 公开的方面的各个部件。计算机设备100可以包括通常与计算机结合使用的所有部件。例 如，其可以具有键盘、鼠标和/或诸如输入笔、操纵杆、按钮、触摸屏等的各种其他类型的输 入装置、以及可以包括例如CRT、LCD、等离子屏幕监视器、TV、投影仪等的显示器。计算机设 备100还可以包括网络接口（未示出）以在使用传统协议(例如以太网、Wi-Fi、蓝牙等）的网 络之上与其他装置通信。计算机设备100还可以包含处理器110,其可以是任意数目的已知 处理器，诸如来自Intel?公司的处理器。在另一示例中，处理器110可以是专用集成电路 ("ASIC")。
[0009]非暂时性计算机可读介质（"CRM"）112可以存储可以由处理器110检索并执行的指 令，如以下将更详细讨论，指令可以包括记录模块114和重放模块116。非暂时性CRM 112可 以由可以从非暂时性CRM 112获取或获得逻辑并且执行其中所包含的指令的任何指令执行 系统所使用或者与其结合使用。
[0010]非暂时性CRM 112可以包括许多物理介质中的任意一种，诸如例如电子、磁性、光 学、电磁、或半导体介质。合适的非暂时性计算机可读介质的更具体示例包括但不限于，诸 如软盘或硬驱动的便携式磁性计算机磁盘、只读存储器（"ROM"）、可擦除可编程只读存储 器、便携式小型盘碟、或者可以直接地或间接地联接至计算机设备100的其他存储装置。备 选地，非暂时性CRM 112可以是随机存取存储器（"RAM"）装置，或者可以划分为编组为双列 直插式存储器模块（"DIMM"）的多个存储器区段。非暂时性CRM 112也可以包括前述和/或其 他装置中的一个或多个的任意组合。尽管图1中仅示出了一个处理器和一个非暂时性CRM， 计算机设备100可以实际上包括可以存储或不存储在相同物理外壳或位置内的额外的处理 器和存储器。
[0011 ]驻留在非暂时性CRM 112 (例如记录模块114和重放模块116)中的指令可以包括将 要由处理器110直接地(诸如机器码)或间接地(诸如脚本)执行的任何指令集。在这点上，术 语"指令"、"脚本"和"应用程序"可以在此可互换地使用。计算机可执行指令可以以任何计 算机语言或格式存储，诸如以对象代码或者源代码的模块。此外，应该理解的是，可以以硬 件、软件、或者硬件与软件的组合的形式而实施指令，并且在此的示例仅是示意性的。
[0012] 在一个示例中，记录模块114可以指示处理器110记录将图形对象的外观改变至目 标外观的至少一个用户操作，并记录目标外观。在另一示例中，重放模块116可以指示处理 器110确定图形对象的当前外观是否不同于所记录的目标外观，并将当前外观改变为目标 外观以便于重复至少一个用户操作。
[0013] 在图2 -图4中示出了系统、方法和非暂时性计算机可读介质的工作示例。特别地， 图2示出了用于记录并重放用户操作的进程的流程图。图3-图4示出了根据在此所公开的 技术的方面的示例性屏幕截图。以下将参照图2的流程图讨论图3-图4中所示的动作。 [0014] 如图2的方框202中所示，可以记录图形对象的外观。所记录的外观可以包括外观 的特征，诸如特定图像、文本和像素测量结果。外观可以是目标外观。在一个示例中，目标外 观可以定义为在由用户操作之后看到的最终外观。在另一示例中，还可以记录图形对象的 初始外观。在一个示例中，初始外观可以定义为在至少一个用户操作已改变图形对象的外 观之前的图形对象的外观。
[0015] 现在参照图3，示出了示例性树图300。图3示出了在用户与树图的交互开始之前的 树图300的初始外观。记录模块114可以记录初始外观的特征。如上所述，特征可以包括特定 的图像、文本和像素测量结果。例如，在图3中，记录模块114可以记录在图像304与文本306 之间的像素测量结果302。此外，记录模块114可以记录图像308以及图像304。现在参照图4， 在至少一个用户操作执行之后示出目标外观。在此，图像308已经改变为图像4