求。解决方案请求可包括模式以及某些情况下的可用作对服务的输入的参数，该模式进而可定义可被输出的数据字段或参数。
[0054]在某些情况下，做市者可组合多个服务以提供单个解决方案。单个解决方案可以通过匹配各种解决方案的输入和输出模式并将这些解决方案配置成与各种模式协作来以流水线或并行配置将两个或更多服务链接在一起。
[0055]做市者可生成对解决方案的建议或出价，且出价可包括解决方案提供者的定价或收入划分。在某些情况下，出价过程可涉及多个解决方案提供者为了提供由做市者定义的服务而出价。服务市场可具有清算所，该清算所可收取来自各个支付者的支付，并且在交易已经完成时支付给受款者。
[0056]做市者可使用模式来将服务匹配到解决方案请求。每一解决方案提供者都可具有可定义该解决方案提供者接收以及发出的数据类型的模式。做市者可将各个解决方案提供者匹配在一起以递送所请求的解决方案，并且可配置各种服务以满足所请求的解决方案。
[0057]做市者可通过定义可联结两个或更多不同的解决方案提供者的中间模式来匹配服务。例如，解决方案请求可定义包括将被收集的参数的传入模式以及包括所需输出参数的传出模式。做市者可尝试找到能够生成将要收集的参数的一个服务以及可生成所需输出参数的第二服务。做市者还可定义中间模式，该中间模式可定义第一服务可如何连接到第二服务。一旦服务可针对模式来配置，解决方案就可被完全定义。
[0058]贯穿本说明书和权利要求书，术语“探查器”(profiler)、“跟踪器”和“检测工具(instrumentat1n) ”被可互换地使用。这些术语指代可在应用被执行时采集数据的任何机制。在经典定义中，“检测工具”可指代可被插入可执行代码并从而改变该可执行代码的生成方法存根(stub)、挂钩(hook)或其他数据采集机制，而“探查器”或“跟踪器”可经典地指代不可改变可执行代码的数据采集机制。对这些术语及其派生词中的任一者的使用都可蕴含或暗示彼此。例如，使用“跟踪器”的数据采集可使用“跟踪器”的经典意义中的非接触式数据采集以及用其中可执行代码可被改变的“检测机制”的经典意义的数据采集来执行。类似地，通过“检测工具”采集的数据可包括使用非接触式数据采集机制的数据采集。
[0059]此外，通过“探查”、“跟踪”和“检测机制”采集的数据可包括可被采集的任何类型的数据，包括诸如处理时间、吞吐量、性能计数器等等之类的与性能有关的数据。采集到的数据可包括函数名、传递的参数、存储器对象名和内容、传递的消息、消息内容、寄存器设置、寄存器内容、差错标志、中断、或与正被跟踪的应用有关的任何其他参数或其他可采集的数据。
[0060]贯穿本说明书和权利要求书，术语“执行环境”可被用于指代用于执行应用的任何类型的支持软件。执行环境的一示例是操作系统。在一些举例说明中，“执行环境”可被示为与操作系统分开。这可能是为了例示出为应用提供各支持功能的虚拟机，诸如过程虚拟机。在其他实施例中，虚拟机可以是可包括其自己的内部操作系统并可模拟整个计算机系统的系统虚拟机。贯穿本说明书和权利要求书，术语“执行环境”包括操作系统和可具有或可不具有可容易标识的“虚拟机”或其他支持软件的其他系统。
[0061 ] 贯穿本说明书，贯穿对附图的描述，相同的附图标记表示相同的元素。
[0062]在本说明书和权利要求书中，对“处理器”的引用包括多个处理器。在某些情况中，可由“一处理器”执行的过程可实际上由同一设备上或不同设备上的多个处理器执行。出于本说明书和权利要求书的目的，对“处理器”的任何引用应包括可能位于同一设备上或不同设备上的多个处理器，除非另外明确指定。
[0063]当元素被称为被“相连接”或“相耦合”时，这些元素可被直接连接或耦合在一起，或者也可存在一个或多个中间元素。相反，当元素被称为被“直接连接”或“直接耦合”时，不存在中间元素。
[0064]本主题可被体现为设备、系统、方法、和/或计算机程序产品。因此，本主题的部分或全部可以用硬件和/或软件(包括固件、常驻软件、微码、状态机、门阵列等)来具体化。此外，本主题可以采用计算机可使用或计算机可读存储介质上的计算机程序产品的形式，介质中收录了供指令执行系统使用或结合指令执行系统一起使用的计算机可使用或计算机可读的程序代码。在本文档的上下文中，计算机可使用或计算机可读介质可以是可包含、储存、通信、传播、或传输程序以供指令执行系统、装置或设备使用或结合指令执行系统、装置或设备一起使用的任何介质。
[0065]计算机可使用或计算机可读介质可以是，例如但不限于，电、磁、光、电磁、红外、或半导体系统、装置、设备或传播介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。
[0066]计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPR0M、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁带盒、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由指令执行系统访问的任何其他介质。注意，计算机可使用或计算机可读介质可以是其上打印有程序的纸张或另一合适的介质，因为程序可以经由例如对纸张或其他介质的光学扫描而电子地捕获，随后如有必要被编译、解释，或以其他合适的方式处理，并随后存储在计算机存储器中。
[0067]当本主题在计算机可执行指令的一般上下文中具体化时，该实施例可包括由一个或多个系统、计算机、或其他设备执行的程序模块。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。通常，程序模块的功能可在各个实施例中按需进行组合或分布。
[0068]图1是示出具有各种组件之间的交互的解决方案市场的实施例100的图示。实施例100仅仅是市场可以如何与不同类型的计算机服务提供者一起运作以及这些服务提供者可被如何配置成与测试中的应用一起操作的一个示例。
[0069]实施例100示出了市场中的各种组件之间的高级交互。在实施例100的示例中，客户102可以与各个解决方案提供者112、监视提供者120以及分析器提供者150交互以监视和分析应用104。
[0070]解决方案提供者112可担当做市者，并且可将多个监视和分析组件组合成单个解决方案。监视和分析组件可由不同的公司提供并且可具有不同的能力。在某些情况下，市场可通过使客户102在不使用解决方案提供者112的情况下通过市场与监视提供者120和分析器提供者150交互来运作。
[0071]解决方案市场可具有客户门户108，用户可通过该客户门户来参与各个提供者的服务。在一典型使用场景中，客户可建立帐户并输入各种信息，诸如支付机制。通过客户门户108，客户102可以能够输入规范106形式的关于应用104的信息。规范可以是包括要收集的参数、所需输出和其他信息在内的解决方案定义。
[0072]客户门户108可具有用户可用于浏览不同的服务提供者的用户接口。在某些情况下，服务提供者可以在客户门户108中提供对服务的招揽或广告。
[0073]在一个使用场景中，客户102可提供关于应用104的一些细节。细节可包括关于应用104的元数据以及可能已经在先前测试期间收集到的一些性能相关数据。这些细节可以是各个服务提供者可以分析以确定这些服务是否可以适用的规范106的一部分。在某些情况下，服务提供者可分析规范106并为客户生成自定义的定制建议。
[0074]在一些实施例中，各个服务提供者可以为在客户门户中显示的机会出价。出价可以是为了用户接口中的布置的财务出价，并且成功的出价可以在用户接口上的显著位置显示给用户。出价系统可以是其中每一服务提供者在不知道任何其他出价者的价格的情况下报价的盲出价系统。其他出价系统可以是开放式的，其中每一出价者可以能够看到最高出价者。
[0075]此类出价系统对于服务提供者通过花费金钱来使其服务被客户至少查看且可能购买来获得市场份额可以是有用的。在特定服务提供者可具有非常彻底地专注于客户的规范的服务供应的情况下，该服务提供者可以报出高金额价格。在同一服务提供者可具有供应但该供应可能并非如同前一种情况那样紧密匹配的情况下，该服务提供者可报出较低的金额。
[0076]当服务提供者被呈现在客户门户108中时，客户102可以能够获悉该服务提供者并做出是否使用该服务提供者的决定。当服务提供者被客户选中时，该服务提供者可被自动配置并在某些情况下被启动以开始提供所请求的服务。
[0077]客户门户108可以是任何类型的用户接口。在某些情况下，客户门户108可以是网页或其他接口。在其他情况下，客户门户108可以是开发环境的一部分，如将在本说明书中稍后描述的。
[0078]解决方案数据库110可包含可使用多个服务提供者的各种解决方案。解决方案提供者112可以是可以创建针对各种特殊领域(niche)状况的解决方案的解决方案提供者或者可创建使用来自多个提供者的能力的解决方案的做市者。在某些情况下，这些解决方案可由宏、可执行代码或其他定义以及到各个服务提供者的连接信息来定义。
[0079]在某些情况下，客户102可以不选择特定服务提供者，但可转而定义所需服务。在这种情况下，服务提供者可以为了提供该服务的机会而彼此竞价。
[0080]例如，客户102可请求使用负载生成器来监视应用。客户可定义要在监视期间测量的参数，但不指定监视服务。在这一示例中，市场可具有用于选择满足监视准则的出价最低的服务提供者的设施，或者可将规范发送到每一服务提供者并接收为提供服务的出价。在这一示例中，市场可确定针对特定客户情形的实际服务提供者并且客户可以知道或不知道实际提供者。在某些情况下，客户机可以能够在不同的提供者之间进行选择，或者指定要使用或避免的各组提供者。
[0081]选择器116可尝试通过分析监视系统数据库118来将客户的规范106与监视者进行匹配。选择器116可将来自规范106的模式和其他元数据与监视提供者120提供的类似信息进行比较。
[0082]监视提供者120可具有作为到市场中的接口的监视系统门户122。监视提供者120可创建帐户，描述可用监视服务，并指定可被存储在监视系统数据库118中的其他信息。监视提供者可建立可用于支付出价或者接收对所呈现的服务的付费的财务帐户。
[0083]在许多实施例中，监视系统门户122可以是用户接口，监视服务提供者可通过该用户接口查看所提供的服务的数量、所提供的服务的类型以及关于所呈现的服务的各种统计数据，以及查看关于曾错过的机会的规范和统计数据。
[0084]监视系统门户122可使得监视服务提供者120能够建立用于在客户门户108中显示建议的出价和出价算法以及用于提供可由选择器116选择的服务的出价和出价算法。
[0085]配置器124可基于选择器116的输出来配置监视系统126。监视系统126可以连接到其中可执行应用132的执行环境128.在执行期间，监视系统130可以与负载生成器134 一起操作。
[0086]在实施例100的示例中，负载生成器134被示为是监视系统130的一部分。在其他实施例中，负载生成器可由可专长于负载生成器的不同的服务提供者来提供。
[0087]监视系统130可以与可定义由监视系统130收集的数据的配置138 —起操作。配置138可定义要收集什么数据以及可在其下进行收集的条件。在许多情况下，配置138可由配置器124响应于客户102提供的规范106来定义。
[0088]在一些实施例中，密钥管理器136可创建诸如密钥140等可用于跟踪各种系统的使用的各种访