可用性测试的制作方法
【专利摘要】提供了用于可用性测试的方法、计算机可读介质以及系统。可用性测试可以包括经由测试工具来记录应用的用户的动作和用户与应用的交互102/104。可用性测试还可以包括经由测试工具来将用户的动作和交互与用于应用的动作的基线流程相比较106。可用性测试可以包括经由测试工具基于比较来识别伴随应用的可用性问题108。
【专利说明】可用性测试
【背景技术】
[0001]对于用户而言操作起来混淆或困难的计算机应用(例如，诸如软件的计算机可执行指令)可能导致用于采用该应用的企业的收入损失。例如，使用该应用的雇员可能是低效的和/或使用该应用的客户可能放弃交易并从竞争者购买。测试此类应用的某些方法可能已包括创建原型或工作应用、建立包括计算机和记录设备(例如，照相机和/或麦克风)的实验室、观察实验室中的应用的用户、使用户执行一组预定义步骤、记录实验室中的用户(例如，用照相机和/或麦克风)以及手动地分析所记录数据。可能已被记录的其他信息包括完成预定义步骤的时间和每个执行任务的点击次数。此信息的后续分析(例如，“点击链接1”、“点击按钮1”、“点击按钮2”)是手动完成的(例如，参考用户的视频以查看用户实际上正在做什么)。
【专利附图】
【附图说明】
[0002]图1图示出图示出根据本公开的用于可用性测试的方法的示例的流程图。
[0003]图2图示出根据本公开的用户流程与用于应用的基线流程的比较的示例的方框图。
[0004]图3图示出根据本公开的与用于可用性测试的处理器资源通信的机器可读介质的示例的方框图。
[0005]图4图示出根据本公开的用于可用性测试的系统的示例的方框图。
【具体实施方式】
[0006]提供了用于可用性测试的方法、计算机可读介质以及系统。可用性测试可以包括经由测试工具来记录应用的用户的动作和用户与应用的交互。可用性测试还可以包括经由测试工具来将用户的动作和交互与用于应用的动作的基线流程相比较。可用性测试可以包括经由测试工具基于比较来识别伴随应用的可用性问题。
[0007]应用可以被执行向用户呈现信息(例如，通过用户界面)的指令(例如，计算机程序)。例如，除其他应用之外，应用可以是网站或独立程序。可以向应用的用户将任务识别为由用户在应用中完成。特别地，此类任务的示例可以包括从卖方网站购买产品或在数据库中搜索特定信息片。测试工具可以被执行诸如计算机程序的指令，其与要测试的应用同时地运行。然而，本公开的示例不要求应用和测试工具在同一机器上运行。也不要求应用或测试工具在用户在物理上正在使用的机器上运行(例如，应用和/或测试工具能够远离用户正在使用的机器运行)。
[0008]除其他测量之外，通过有效性、效率和/或满意度能够测量应用的可用性。应用的有效性可以包括用户用来在特定环境中完成任务的准确度和完整性。效率可以包括相对于完成的任务的准确度和完整性所花费的资源。满意度可以包括系统、用户和受其使用所影响的其他人的工作的舒适度和可接受性。
[0009]不良应用可用性可能导致雇员效率低、由于被放弃的交易或客户转向竞争者而引起的收入损失、较低的转换速率(例如，浏览-购买)以及其中应用的用户停留在先前的应用或应用的先前版本并仅仅向新应用中输入数据的现象。本公开的示例通过识别具有应用可用性的问题并允许解决那些问题来帮助减少或消除不良应用可用性的这些负面效应。
[0010]此外，本公开的示例能够提供其中不要求物理观察者的可缩放用户测试。用户能够连接到应用，并且在对于用户而言方便时运行测试。能够在并排视图中将基线流程与实际用户流程相比较。能够计算并呈现用户与基线流程的偏离的统计以用于分析(例如，用于特定应用的不同用户的用来完成任务的动作和交互的比较，诸如“点击按钮、从列表中选择项目、鼠标在小工具上、选择日历中的日期等”和/或相对于应用的较旧版本而言用于应用的新版本的用来完成任务的动作和交互的比较)。根据本公开的某些示例，不需要保存用户测试的视频和/或音频记录，因为能够经由测试工具来记录用户的动作和交互两者。如果期望的话，能够重放实际用户流程(在测试期间没有媒体记录的情况下)以用于稍后的分析。然而，本公开的某些示例能够使用并保存用户测试的视频和/或音频记录来帮助稍后的分析。
[0011]对附图进行参考，在附图中以图示的方式示出了如何可以实施本公开的一个或多个示例。足够详细地描述这些示例是为了使得本领域的技术人员能够实施本公开的示例，并且应理解的是可以利用其他示例，并且在不脱离本公开的范围的情况下可以进行过程、电和/或结构改变。如在本文中所使用的，特别地参考图中的参考标号指示符“N”和“P”指示本公开的一个或多个实施例能够包括这样指定的许多特定特征。
[0012]附图遵循编号惯例，其中，第一数字对应于附图号码且其余数字识别图中的元件或部件。可以通过使用类似的数字来识别不同图之间的类似元件或部件。例如，324可以参考图3中的元件“24”，并且在图4中可以将类似元件参考为424。在各种图中示出的元件能够被添加、交换和/或消除，从而提供本公开的许多附加示例。另外，在图中提供的元件的比例和相对尺度意图图示出本公开的示例，并且不应以限制性意义来理解。
[0013]图1图示出图示出根据本公开的用于可用性测试的方法100的示例的流程图。方法100可以包括记录如在方框102处所示的应用的用户的动作。用户的动作可以包括经由机器的输入设备、特别地诸如鼠标或键盘到应用的主动输入。主动输入可以包括诸如用输入设备来选择应用中的各种对象(例如，点击图标)、用输入设备来输入文本以及其他主动输入的动作。
[0014]所述方法可以包括记录如在方框104处所示的用户与应用的交互。用户的交互可以包括经由输入设备到应用的被动输入。除其他被动输入之外，此类被动输入可以包括用输入设备悬停在对象上(例如，将鼠标悬停(mousing over)在图标上)、在不输入文本的情况下选择文本输入字段、在一段时间内停留在应用的特定部分上(例如，页面或字段)而不采取行动。例如，用户将鼠标悬停可以指示对话或工具提示的打开，其可以指示用户很困惑并正在尝试将其自己定位于应用的界面内。从可用性观点出发，除其他洞察力之外，记录此类交互能够允许有对用户如何感知应用和对应用内的潜在问题区域的更深洞察力。
[0015]记录用户与应用的动作和/或交互可以包括记录用户行动和/或进行交互的控制的名称和类型、动作和/或交互的性质、在动作和/或交互期间由用户提供了什么数据(如果有的话)和/或动作和/或交互的时间戳。例如，记录可以包括“11:09:05TYPE ‘test’ in ‘SEARCH’TEXTBOX”，其中，“TEXTBOX” 是控制类型，“SEARCH” 是其名称，“TYPE”是动作，并且“test”是值。
[0016]该方法可以包括如方框106处所示的将用户的动作和交互与用于应用的动作的基线流程相比较。相对于应用的可用性，流程可以包括随着用户使用应用(例如，以完成特定任务)的用户的动作和/或交互的顺序和/或时间性。可以根据应用的专家用户的动作和/或交互来定义基线流程。专家用户可以是应用的开发者或另一用户。在某些示例中，定义基线流程可以包括记录应用的专家用户用被用于其他用户的同一测试工具进行的动作。可以将专家用户的流程(例如，随着专家用户完成特定任务)保存为用于特定任务的基线流程。在某些示例中，可以在没有测试工具的情况下由专家用户来定义基线流程，其中，专家用户手动地输入包括用于特定任务的基线流程的一列动作和/或交互。在各种示例中，可以针对特定任务定义不止一个基线流程。某些先前的方法可能不包括能够用来以比仅仅是预期点击次数或用以完成给定任务的时间更详细的方式来确定用户的预期行为的基线流程。
[0017]可以根据应用的多个用户的聚合流程来定义基线流程。在此类示例中，将特定用户的动作和交互与基线流程相比较可以包括将用于特定用户的流程与应用的其他用户的聚合流程相比较。此类示例中的将特定用户的流程与基线流程相比较可以允许识别与规格化流程的偏差，其可以指示与聚合流程相比的特定用户的更加或不那么高效的流程，这又促进了应用存在的可用性问题的识别(例如，对于特定用户而言或对于其他用户的聚合而言)。
[0018]能够根据针对应用的先前版本定义的基线流程来定义该基线流程(例如，其中正在被特定用户测试的版本是应用的新版本)。可以如本文所述地定义用于应用的先前版本的基线流程(例如，除定义之外，根据专家使用或其他用户的聚合使用)。此类示例中的将特定用户的流程与基线流程相比较能够允许发现版本之间的可用性回归。例如，该比较可以显示新版本的流程比先前的版本花费更多的时间和/或更多输入，或者该比较可以显示先前补救的可用性问题在应用的新版本中已经重新露面。
[0019]该方法可以包括如方框108处所示的基于比较来识别伴随应用的可用性问题。特别地，可用性问题的示例可以包括用户的动作流程对完成所识别任务的无效、用户动作流程对完成任务的低效、用户对用户用以完成任务的动作流程的不满。
[0020]识别可用性问题可以包括将多个用户的所记录动作和/或交互聚合以识别导致用于超过所述多个用户的阈值的可用性问题的应用的一部分。例如，那部分应用可以是应用的特定控件、特征、小工具、模块、例程、图形用户界面或其他部分。所述多个用户的阈值可以是特定数目的用户或所述多个用户的百分比。可以由测试工具和/或应用的提供商来定义此类阈值，并且可以根据期望来进行修改。
[0021]在某些示例中，识别可用性问题可以包括将多个用户的所记录动作和/或交互聚合以识别针对多于所述多个用户的阈值发生的超过动作的基线流程的那些的动作和/或交互。相对于图2来更详细地描述识别此类可用性问题的示例。识别可用性问题的另一示例可以包括识别用于用户完成任务所花费的时间，其超过用于动作的基线流程的阈值时间。例如，如果动作的基线流程在X时间内完成，则可以将阈值t与X相加，其中，如果用户花费大于x+t的时间来完成任务，则能够指示可用性问题。可以由测试工具和/或应用的提供商来定义此类阈值，并根据期望来进行修改。[0022]在各种示例中，识别可用性问题可以包括根据伴随应用的最令人困惑的部分的问题的最大数目的用户将对多个用户的统计聚合以突出应用的该部分(例如，最令人困惑的控件)。测试工具可以识别最大数目的用户所使用的不相关控件。例如，测试工具可以显示10%的用户执行了 “点击找到”的不相关动作，23%的用户执行了 “鼠标悬停在商店上”的不相关交互，并且42%的用户执行了“鼠标悬停在手推车上”的不相关交互。本文所使用的不相关动作和/或交互是用户执行的未包括在用于特定任务的基线流程中的动作和/或交互。可以自动地提供此类识别而不要求分析员评论测试的记录，诸如日志文件和/或视频和/或音频记录。
[0023]特别地，其他统计可以包括流程时间，其中使用“帮助”、具有最大偏差的流程以及具有最长屏幕距离的流程。此类统计能够允许通过深入到应用中的哪些控件令人困惑的特定细节且通过包括由用户响应于应用和/或测试工具提出的问题而供应的信息来进行分析，如在本文中更详细地所述。
[0024]图2图示出根据本公开的用户流程212与用于应用的基线流程210的比较的示例的方框图。基线流程210可以包 括被定义成如本文所述的在应用中完成所识别任务的那些动作214-1、214-2、214-3、214-4、...214-N。在图2中所示的示例中，基线流程210包括第一动作214-1 (例如，“导航到网站”)、第二动作214-2 (例如，“键入姓名‘John’”)、第三动作214-3 (例如，“键入年份‘1999’ ”)、第四动作214-4 (例如，“点击搜索”)和第n动作214-N(例如，“点击购买”)。虽然在基线流程210中未具体地示出，但基线流程210还可以包括用户的交互，例如“鼠标悬停”。
[0025]用户流程212包括由测试工具记录的用户对应用进行的动作214和/或交互216。例如，除基线流程210所规定的动作之外，用户流程212在第四动作(例如，“点击搜索”)与第n动作(例如，“点击购买”)之间包括第一交互216-1 (例如，“鼠标悬停在商店上”)和第二交互216-2 (例如，“鼠标悬停在手推车上”)。在某些情况下，用户将采取比基线流程210所规定的更多的动作215。例如，在图2中，用户在第三动作214-3 (例如，“键入年份‘1999’”)与第四动作214-4 (例如，“点击搜索”)之间采取第一额外动作215-1 (例如，“点击找到”)和第二额外动作215-2 (例如，“点击帮助”)。
[0026]将用户流程212与基线流程210相比较可以包括显示用户的动作流程(例如，用户流程212)与基线流程210之间的差别218。例如，用户流程包括第一额外动作215-1 (例如，“点击找到”)、第二额外动作215-2 (例如，“点击帮助”)、第一交互216-1 (例如，“鼠标悬停在商店上”)和第二交互216-2 (例如，“鼠标悬停在手推车上”)，其全部未被包括在基线流程210中。相应地，在用户流程212与基线流程210之间的比较中显示出这些差异218。
[0027]虽然在图2中未具体地示出，但用户流程212与基线流程210之间的比较可以包括未被包括在用户流程212中的基线流程210的动作的识别。例如，用户可以不完成第四动作214-4 (例如，“点击搜索”)。在此类示例中，比较可以指示用户未完成该动作。
[0028]图3图示出根据本公开的与处理器资源328-l、328-2...328-P通信以用于可用性测试的机器可读介质(MRM) 322的示例的方框图320。机器可读介质322可以与具有处理器资源(例如，许多单独处理器328-l、328-2...328-P)的机器326 (例如，计算设备)通信。机器326可以与有形非临时MRM 322通信和/或接收有形非临时MRM 322，其存储可由处理器资源328-1，328-2…328-P执行的一组机器可读指令324，如本文所述。机器326可以包括存储器资源330，并且可以将处理器资源328-l、328-2...328-P耦合到存储器资源330。
[0029]处理器资源328-l、328-2...328-P能够执行存储在内部或外部非临时MRM 322上的机器可读指令324。本文所使用的非临时MRM (例如，MRM 322)可以包括易失性和/或非易失性存储器。易失性存储器可以包括取决于功率以存储信息的存储器，特别地，诸如各种类型的动态随机存取存储器(DRAM)。非易失性存储器可以存储不依赖于功率来存储信息的存储器。非易失性存储器的示例可以包括固态介质，诸如闪速存储器、EEPR0M、相变随机存取存储器(PCRAM)、磁性存储器，诸如硬盘、磁驱动器、软盘和/或磁带存储器、光盘、数字多功能磁盘(DVD)、蓝光磁盘(BD)、压缩磁盘(⑶)和/或固态驱动(SSD)、闪速存储器等以及其他类型的机器可读介质。
[0030]非临时MRM 322可以与计算设备成一整体或被以有线或无线方式通信耦合到计算设备。例如，非临时机器可读介质可以是内部存储器、便携式存储器、便携式磁盘或与另一计算设备相关联的存储器(例如，使得能够跨诸如因特网的网络传输和/或执行机器可读指令)。
[0031]MRM 322可以经由通信路径325与处理器资源328-l、328-2*"328-P通信。通信路径325可以在与处理器资源328-l、328-2?"328-P相关联的机器的本地或远处。本地通信路径325的示例可以包括在诸如计算机的机器内部的电子总线，其中，MRM 322是经由电子总线与处理器资源328-l、328-2-328-P通信的易失性、非易失性、固定和/或可移动存储介质中的一个。除其他类型的电子总线及其变体之外，此类电子总线的示例可以包括工业标准架构(ISA)、外围部件互连(PCI)、先进技术附接(ATA)、小型计算机系统接口(SCSI)、通用串行总线(USB)。
[0032]通信路径325可以使得MRM 322远离处理器资源，例如328_1、328_2…328-P，诸如在MRM 322与例如328-1、328-2…328-P的处理器资源之间的网络连接的示例中。也就是说，通信路径325可以是网络连接。特别地，此类网络连接的示例可以包括局域网(LAN)、广域网(WAN)、个域网(PAN)以及因特网。在此类示例中，MRM 322可以与第一计算设备相关联且处理器资源328-1、328- 2…328-P可以与第二计算设备相关联。
[0033]处理器资源328-l、328-2?"328-P可以识别用于用户在应用中完成的任务。该应用可以在处理器资源328-l、328-2...328-P或在被耦合到处理器资源328-1、328-2...328-P (例如，经由网络连接)的其他处理器资源上运行。处理器资源328-1、328-2-328-P还可以记录用户相对于应用的动作和交互。此外，处理器资源328-1、328-2…328-P可以将用户的动作和交互与针对应用定义的动作的基线流程相比较。可以将动作的基线流程存储在与设备326相关联的存储器资源330中或在被耦合到设备326 (例如，经由网络连接)的其他存储器资源中。处理器资源328-l、328-2?"328-P可以基于该比较来识别伴随应用的可用性问题，如本文所述。
[0034]图4图示出根据本公开的用于可用性测试的系统432的示例的方框图。然而,本公开的示例不限于特定系统(例如，计算系统)配置。此外，根据本公开，可以对可用性测试采用多个系统432的使用。例如，可以将许多系统432用于记录用户用被测试的应用进行的动作和/或交互，并且可以将相同或不同数目的系统432用于分析所记录信息。示例不限于特定数目的系统432。
[0035]系统432可以包括处理器资源428(例如，类似于图3中所示的处理器资源328_1、328-2、...328-P)以用于执行存储在有形非临时介质(例如，易失性存储器430-1、非易失性存储器430-2和/或MRM 422)中的指令。例如，处理器资源428可以包括诸如在并行处理系统中的一个或多个多个处理器。虽然未具体地示出，但系统432可以包括专用集成电路(ASIC)，其包括被配置成执行本公开的各种示例的逻辑。
[0036]处理器资源428能够控制系统432的总体操作。处理器资源428能够被连接到存储器控制器434，该存储器控制器434能够从和/或向易失性存储器430-1读取和/或写入数据。存储器控制器434可以包括具有其自己的存储器资源(例如，易失性和/或非易失性存储器)的ASIC和/或处理器。易失性存储器430-1可以包括一个或多个存储器模块(例如，芯片)。处理器资源428能够被连接到总线436以提供处理器资源428与系统432的其他部分之间的通信。非易失性存储器430-2能够为系统432提供持久性数据存储。
[0037]系统432可以包括诸如易失性存储器430-1、非易失性存储器430_2和/或MRM424的存储器资源。存储器资源或其某个部分可以存储针对应用定义的动作的基线流程，如本文所述。存储器资源可以存储用于应用的一个或多个用户的可用性测试的结果。存储器资源(例如，易失性存储器430-1、非易失性存储器430-2和/或MRM 424)与处理器资源428之间的连接可以是本地的和/或远程的(例如,经由网络连接)。
[0038]系统432可以包括和/或经由输入设备438来接收存储一组机器可读指令424(例如，软件)的有形非临时MRM 422 (例如，类似于图3中所示的MRM 322)。虽然未具体地示出，但除输入设备之外，系统432可以包括许多输入设备438，诸如键盘、鼠标、触摸屏显示器、存储器读取器(例如，光学存储器读取器、磁存储器读取器、固态存储器读取器等)。
[0039]指令能够被处理器资源428执行以识别用于应用的用户完成的任务并记录用户相对于应用的动作和交互。指令能够被处理器资源428执行以将用户的动作和交互聚合，结果是用于多个用户的可用性测试(例如，存储在存储器资源中)。指令能够被处理器资源428执行以将各种用户的动作和交互(例如，动作和/或交互的流程)与基线流程相比较。还可以执行指令以基于比较将对多于所述多个用户的阈值发生的基线流程的那些的动作和/或交互识别为指示伴随应用的可用性问题。
[0040]图形控制器440能够连接到用户接口 442，其能够基于由系统432执行的活动向用户提供图像。例如，指令能够被处理器资源428执行以促使处理器资源428响应于用户未完成任务或响应于用户请求帮助完成任务而向用户提出问题(例如，经由用户接口 442)，如本文所述。用户对问题的响应能够用来帮助识别伴随应用的可用性问题。指令能够被包括在应用和/或测试工具中(例如，由专家用户)以向请求帮助的用户提供指导(例如，用将完成所识别任务的特定步骤)。
[0041]虽然在本文中已经图示出和描述了特定示例，但本领域的技术人员将认识到的是可以用实现相同结果计算的装置来代替所示的特定示例。本公开意图覆盖本公开的一个或多个示例的修改或变更。应理解的是以上描述是以说明性方式而非限制性方式进行的。当仔细阅读以上描述时，本领域的技术人员将清楚在本文中未明确描述的以上示例的组合以及其他示例。本公开的一个或多个示例的范围包括其中使用以上结构和方法的其他应用。因此，应参考所附权利要求以及与主张此类权利要求的范围等价的整个范围来确定本公开的一个或多个示例的范围。
[0042]在【具体实施方式】中，出于使本公开流畅的目的将某些特征集中在单个实施例中。不应将这种公开方法解释为反映本公开的公开示例必须使用比在每个权利要求中明确叙述的更多的特征的意图。相反，如以下权利要求所反映的，本发明的主题在于少于单个公开实施例的所有特征。因此，以下权利要求被由此结合到【具体实施方式】中，每个权利要求作为单独的实施例而独立。
【权利要求】
1.一种用于可用性测试的方法，包括: 经由测试工具来记录应用的用户的动作； 经由测试工具来记录用户与应用的交互； 经由测试工具来将用户的动作和交互与用于应用的动作的基线流程相比较；以及 经由测试工具基于所述比较来识别伴随应用的可用性问题。
2.权利要求1的方法，其中，所述方法包括根据应用的专家用户的动作来定义基线流程。
3.权利要求2的方法，其中，定义基线流程包括经由测试工具来记录应用的专家用户的动作。
4.权利要求1的方法，其中，与基线相比较包括将用户的动作和交互与应用的其他用户的动作和交互相比较。
5.权利要求1的方法，其中，与基线相比较包括将用户的动作和交互与用于应用的先前版本的基线流程相比较以发现可用性回归。
6.权利要求1的方法，其中，所述方法包括经由测试工具向用户识别将由用户在应用中完成的任务。
7.权利要求1的方法，其中动作包括经由输入设备到应用的主动输入，并且其中，交互包括经由输入设备到应用的被动输入。
8.权利要求1的方法， 其中，与基线相比较包括显示用户的动作流程与动作的基线流程之间的差异。
9.权利要求1的方法，其中，识别可用性问题包括将多个用户的所记录动作和交互聚合以识别用于多于多个用户的阈值的导致可用性问题的应用的一部分。
10.权利要求1的方法，其中，识别可用性问题包括将多个用户的所记录动作和交互聚合以识别针对多于所述多个用户的阈值发生的超过动作的基线流程的那些的动作和/或交互。
11.一种具有存储在其上面的机器可读指令的非临时机器可读介质，所述机器可读指令如果被处理器资源执行，则促使处理器资源: 识别用于用户在应用中完成的任务； 记录用户相对于应用的动作和交互； 将用户的动作和交互与针对应用定义的动作的基线流程相比较；以及 基于所述比较来识别伴随应用的可用性问题。
12.权利要求11的介质，其中，所述指令如果被处理器资源执行，则促使处理器资源响应于用户未完成任务或响应于用户请求帮助完成任务而向用户提出问题。
13.权利要求11的介质，其中，可用性问题包括以下各项中的一个: 用以完成任务的用户的动作流程的无效； 用以完成任务的用户的动作流程的低效；以及 用户对用以完成任务的用户动作流程的不满意。
14.权利要求11的介质，其中，所述指令如果被处理器资源执行，则促使处理器资源通过识别用于用户完成任务所花费的时间来识别可用性问题，所述时间超过用于动作的基线流程的阈值时间。
15.一种用于可用性测试的系统，包括: 机器，包括处理器资源； 机器可读指令，当被处理器资源执行时，促使处理器资源: 识别用于应用的用户完成的任务； 记录用户相对于应用的动作和交互； 将用户的动作和交互聚合，结果是用于多个用户的可用性测试； 将所述多个用户的动作和交互与基线流程相比较；以及 基于所述比较将对超过对于多于所述多个用户的阈值发生的基线流程的那些的动作和/或交互识别为指示 伴随应用的可用性问题。
【文档编号】G06F11/30GK103430156SQ201180069285
【公开日】2013年12月4日 申请日期:2011年3月15日 优先权日:2011年3月15日
【发明者】Y.霍罗维茨, N.阿米蔡 申请人:惠普发展公司，有限责任合伙企业