量化数据质量的探试的制作方法
【专利说明】
【背景技术】
[0001]开发和维护产品有时可能是进行中的过程。作为示例，当产品被部署给用户时，与产品相关联的使用信息可以被收集作为用于反馈产品如何很好地工作、产品是否满足预期目标等的措施。取决于从使用信息确定的结果，可以针对产品特征、产品如何被部署给用户等做出调整。传统上，产品开发者预先确定要收集与使用信息相关联的什么数据以及利用哪些静态数据分析例程来生成量化产品如何工作的度量(metric)。在一些情形中，这些度量和/或数据分析例程可以基于预先确定的模型以作为预测未来行为的措施。假定所收集的使用信息数据适于预先确定的模型，则静态数据分析例程生成与产品相关联的某种现实度量，并且可以基于所预测的将来行为做出有利决策。然而，落在预先确定的模型之外的数据得到较不现实的并且甚至潜在地错误结果。在这些情况下，基于错误预期对产品所做出的任何调整可以产生非期望和/或不利的结果。为了进一步复杂化该问题，一些产品取决于其用户数目可生成大量数据，从而使得更难以做出对度量的分析。
【发明内容】
[0002]提供该
【发明内容】
以便以简化形式引入在下文【具体实施方式】中进一步描述的概念的选择。该
【发明内容】
不旨在标识所要求保护的主题的关键特征或必要特征。
[0003]各个实施例针对历史数据集生成至少一个探试(heuristics)。在一些情形中，历史数据集可以被分割为多个区段。响应于针对历史数据集生成(多个)探试，一些实施例至少部分基于与历史数据集相关联的(多个)探试来生成至少一个预报。可替换地或附加地，(多个)探试可以针对到来的数据集生成并且与(多个)预报相比较以用于确定一个或多个预报质量度量。可替换地或附加地，一些实施例可以使用(多个)预报质量度量来促进附加处理。
【附图说明】
[0004]参照附图描述【具体实施方式】。在附图中，参考标号最左边的数字标识该参考标号第一次出现的图。相同参考标号在说明书和附图中的不同实例中的使用可以指示相同或类似项目。
[0005]图1是依照一个或多个实施例的示例实现方式中的环境的图示。
[0006]图2是更详细地示出图1的示例实现方式中的系统的图示。
[0007]图3是依照一个或多个实施例的数据探试引擎的示例图的图示。
[0008]图4是依照一个或多个实施例的示例实现方式的各方面的图示。
[0009]图5a和5b是依照一个或多个实施例的示例实现方式的各方面的图示。
[0010]图6图示了依照一个或多个实施例的流程图。
[0011]图7图示了可以用来实现本文所描述的各个实施例的示例计算设备。
【具体实施方式】
[0012]概沭
各个实施例针对历史数据集生成至少一个探试。例如，与系统和/或产品的过往的性能相关联的数据可以被收集和/或存储在贮藏室中。在一些情形中，历史数据集可以被分割为多个区段，并且可以针对每一个区段生成(多个)探试。每一个区段的大小可以在长度方面是相对于彼此可变的和/或固定的。可替换地或附加地，区段的大小可以至少部分基于与所分析的历史数据相关联的特性和/或属性。响应于从历史数据生成(多个)探试，一些实施例至少部分基于(多个)探试生成一个或多个预报。例如，可以从(多个)探试生成预报以计划和/或预料系统和/或产品的(多个)未来行为。一些实施例将(多个)预报存储在贮藏室中以用于未来使用，如以下进一步讨论的。响应于接收新的和/或到来的数据，一些实施例可以在新的/到来的数据上生成(多个)探试。如在历史数据的情形中，新的/到来的数据可以被划分，并且可以针对每一个新的或附加的区段生成多个探试。在一些情形中，新的/到来的数据可以基于所生成的探试被划分若干次(例如相同数据集可以被重新划分若干次，每一个区段与具体探试相关联)。(多个)新的探试可以与(多个)预报相比较以用来使得能够生成(多个)预报质量度量。在一些情形中，预报质量度量可以指示相关联的预报在(多个)预测行为中是否具有高质量和/或精确度、低质量和/或精确度等。响应于确定高质量和/或精确度，一些实施例将新到来的数据存储在贮藏室中。可替换地或附加地，一些实施例基于(多个)低质量精确度量来触发告知，并且在一些情形中可以在将新到来的数据存储在贮藏室中之前和/或代替其而隔离新到来的数据以用于进一步的分析。
[0013]在紧接着的讨论中，提供标题为“示例操作环境”的部分并且该部分描述其中可以采用一个或多个实施例的一个环境。紧接此，标题为“量化数据质量”的部分描述依照一个或多个实施例的可以如何利用与预报模型耦合的探试方法来测量数据质量。最后，标题为“示例设备”的部分描述可以用来实现一个或多个实施例的示例设备。
[0014]在已经提供以下要描述的各个实施例的概述的情况下，现在考虑其中可以实现一个或多个实施例的示例操作环境。
[0015]示例操作环培
图1是在基于分组的网络之上实现的通信系统100的示意性图示，此处由互联网形式的通信云110表示，其包括多个互连的元件。要理解的是，尽管参照通信系统100描述当前发明的各方面，但是这些讨论仅仅用于说明性目的，并不意图限制所要求保护的主题的范围。每一个网络元件连接到互联网的其余部分，并且被配置为通过发射和接收互联网协议(IP)分组形式的数据来在互联网之上与其它这样的元件传送数据。每一个元件还具有在互联网内对其定位的相关联的IP地址，并且每一个分组在其头部包括源和目的地IP地址。图1中所示的元件包括多个最终用户终端102 (a)-102 (c)(诸如桌上型或膝上型PC或者启用互联网的移动电话)、一个或多个服务器104 (诸如基于互联网的通信系统的对等服务器、数据中心服务器等)以及到另一类型的网络108 (诸如到传统公共切换电话网络(PSTN)或其它电路交换网络，和/或到移动蜂窝网络)的网关106。然而，当然将理解的是，除那些明确示出之外的更多的元件组成互联网。这在图1中由通信云110示例性地表示，其典型地包括许多其它最终用户终端、服务器和网关、以及互联网服务提供商(ISP)的路由器和互联网骨干路由器。
[0016]在所图示和描述的实施例中，最终用户终端102 (a)-102 (c)可以通过通信云的方式使用任何适当技术与彼此，以及与其它实体通信。因而，最终用户终端可以通过通信云110和/或通过通信云110、网关106和网络108使用例如互联网协议电话(VoIP)与一个或多个实体通信。为了与另一最终用户终端通信，在发起最终用户终端上执行的客户端询问在其上安装另一客户端的终端的IP地址。这典型地使用地址查询来完成。
[0017]一些基于互联网的通信系统由操作员管理，因为它们依赖于一个或多个集中式、操作员运行的服务器来进行地址查询(未示出)。在该情形中，当一个客户端要与另一个通信时，发起客户端随后联系由系统操作员运行的集中式服务器来获得被召者的IP地址。
[0018]相比于这些操作员管理的系统，另一类型的基于互联网的通信系统已知为“对等”(P2P)系统。对等(P2P)系统典型地将责任从集中式操作员服务器转移开并且转移到最终用户自身的终端。这意味着进行地址查询的责任被转移到最终用户终端，比如标记为102(a)-102 (c)的那些。每一个最终用户终端可以运行P2P客户端应用，并且每一个这样的终端形成P2P系统的节点。P2P地址查询通过在一些最终用户节点之中分发IP地址的数据库来工作。数据库是将所有在线或最近在线的用户的用户名映射到相关IP地址的列表，使得可以在给定用户名的情况下确定IP地址。
[0019]一旦已知，地址就允许用户建立语音或视频呼叫，或者发送頂聊天消息或文件传输等。然而附加地，还可以在客户端本身需要与另一客户端匿名地传送信息的时候使用地址。
[0020](多个)服务器104表示连接到通信系统100的一个或多个服务器，其示例在下文以及上文提供。例如，服务器104可以包括一致地工作以实现相同功能性的服务器库。可替换地或附加地，服务器104可以包括被配置为提供专门来自其它服务器的功能性的多个独立服务器。在一些实施例中，(多个)服务器104包括一个或多个数据探试引擎模块112。(多个)数据探试引擎模块112表示被配置为分析历史数据并且基于历史数据生成(多个)探试的功能性。此处，历史数据包括被收集为描述和/或文档化与项目(例如产品、系统、月艮务、客户端应用等)相关联的过去事件、行为、特性等的任何数据。可以分析任何适当类型的数据，如下文进一步描述的。在一些情形中，针对历史数据的整个集合生成探试，而在其它情形中，针对历史数据的较小部分和/或区段生成探试。当生成(多个)探试时，(多个)数据探试引擎模块112可以附加地生成与(多个)探试相关联的(多个)预报。例如，一些实施例可以使用各种预报模型，诸如Holt-Winters、线性回归、高斯等来生成预报。(多个)数据探试引擎模块112可以附加地将(多个)预报存储在贮藏室中以用于未来使用。尽管此处并