建模数据生成过程的制作方法
【专利说明】建模数据生成过程
[0001] 背景
[0002] 概率编程语言系统提供机器学习算法的自动生成。用户可写通常嵌入在更大的常 规程序中的短的概率程序，并且系统可产生用于学习由概率程序给予的分布的算法。因此， 概率编程与手动写推断算法的替换方案相比节约了开发成本。此外，概率编程比依赖于特 定任务的固定算法的替换方案更灵活，因为具有略微不同结构的模型变体可被容易地写。
[0003] 然而，概率编程的当前实践是低级别的、不规则的，且非结构化的。概率程序可表 示贝叶斯模型，但是它们通常缺乏用于定义参数、预测输出和观察数据的结构。这样的结构 的缺失阻止了用于执行标准任务（诸如训练、参数学习，和预测）的代码的重用。此外，缺 乏用于构建混合模型、执行模型选择或实现其它重复的概率模式的结构。因此，可能希望以 包括已定义结构的通用格式写贝叶斯模型。
[0004] 概述
[0005] 下面呈现了本发明的简化概述，以便提供此处所描述的某些方面的基本概念。此 概述不是所要求保护的主题的详尽的概述。既不是要标识所要求保护的主题的要点或关键 性元素，也不是要详细描述本发明的范围。唯一的目的是以简化形式呈现所要求保护的主 题的某些概念，作为稍后呈现的比较详细的描述的前奏。
[0006] 一实施例提供了一种用于建模数据生成过程的方法。该方法包括生成包括表示先 验分布和采样分布的一对概率函数的二元贝叶斯模型，以及基于该二元贝叶斯模型使用观 察到的数据来建模数据生成过程。
[0007] 另一实施例提供了一种用于建模数据生成过程的系统。该系统包括适于执行所存 储的指令的处理器和系统存储器。该系统存储器包括被配置成生成包括表示先验分布和采 样分布的一对概率函数、采样器对象和学习器对象的二元贝叶斯模型的代码。该系统存储 器还包括被配置成用于基于观察到的数据用学习器对象训练二元贝叶斯模型以产生经训 练的二元贝叶斯模型的代码。该系统存储器还包括被配置成用于基于经训练的二元贝叶斯 模型生成诸参数之上的后验分布、基于该后验分布生成后验预测分布，并使用后验预测分 布来预测可观察的变量的分布的代码。
[0008] 此外，另一个实施例提供包括指令的一个或多个计算机可读存储介质，当指令被 处理器执行时致使该处理器生成包括一对概率函数的二元贝叶斯模型，概率函数表示来自 一个或多个先前使用模型组合符生成的二元贝叶斯模型的先验分布和采样分布。指令还使 得该处理器根据该二元贝叶斯模型通过变换数据来建模数据生成过程。
[0009] 下面的描述和附图详细地阐述了所要求保护的主题的某些说明性方面。然而，这 些方面只是表示可以使用本发明的原理的各种方式中的一些方式，并且所要求保护的主题 旨在包括所有这些方面和等效内容。通过与附图一起阅读下面的本发明的详细描述，所要 求保护的主题的其他优点和新颖的特点将变得显而易见。
【附图说明】
[0010] 图1是用于建模数据生成过程的系统和方法可以在其中实现的联网环境的框图；
[0011] 图2是可以被用来实现用于建模数据生成过程的系统和方法的计算环境的框图；
[0012] 图3是用于建模数据生成过程的方法的过程流程图；以及
[0013] 图4是用于建模数据生成过程的系统的框图。
[0014] 详细描述
[0015] 概述
[0016] 贝叶斯模型包括一对概率分布，被称为先验分布和采样分布。对于通用贝叶斯模 型，项y可表示模型的输出，它可以是要被预测或观察的对象，而项X可以表示模型以其为 条件的任何输入信息，诸如分类或回归中的特征向量。项W可表示模型的参数，而项h可表 示模型的超参数。
[0017] 贝叶斯模型可包括两个条件概率分布。具体而言，贝叶斯模型可包括参数上的先 验分布即口(》|11)，和输出上的采样分布即口(7|1，￥)。给定一组练习数据(1=(1，7)，贝叶 斯的规则表达可被获取，用于计算后验分布P(wId，h)和后验预测分布p(y'Ix'，d，h)，假 设（x'，y'）独立于（x，y)并且和（x，y) -样分布。这个贝叶斯模型表示各种各样的机器 学习任务。还有许多用于概率推断的机器学习算法，即用于近似计算后验分布P(w|d，h)并 用于使用后验预测分布P(y'Ix'，d，h)来进行预测。
[0018] 在此描述的各实施例涉及新的概率编程抽象，称为"二元贝叶斯模型"，它是用于 先验分布和采样分布的一对概率函数。模型的采样器对象，即采样器，是用于从模型计算综 合数据的算法，而模型的学习器对象，即学习器，是用于模型上的概率推断的算法。模型、采 样器和学习器支持常见任务的统一表达，诸如模型测试、混合模型创建，和基于证据的模型 选择。
[0019] 根据在此描述的各实施例，贝叶斯模型由通用类型即ModeKTH，TW，TX，TY>表示， 以提供针对概率编程应用的添加的结构和代码重用。这样的二元贝叶斯模型包括用于先验 和米样分布的一对概率函数。在一些实施例中，默认的超参数可与先验和米样分布一起打 包作为模型的一部分。类型参数，即TH,TW，TX，TY，对应于贝叶斯模型的构成。具体而言，类 型参数TH对应于超参数h，而类型参数TW对应于参
[0020] 数w。此外，类型参数TX对应于输入X，而类型参数TY对应于输出y。
[0021] 构建贝叶斯模型的常见模式可被写为在这样的二元贝叶斯模型上的函数。例如， 给定任何贝叶斯模型，采样器对象和学习器对象可被获取。采样器对象可包括用于为测试 目的从先验和采样分布中抽取样本的通用技术。学习器对象可包括用于在给定数据上进行 训练的通用技术以及用于计算模型的后验分布和后验预测分布的通用技术。
[0022] 作为预备事项，一些附图在一个或多个结构组件（被称为功能、模块、特征、元素 等）的上下文中来描述概念。附图中示出的各种组件能够以任何方式来实现，例如，通过软 件、硬件（例如，分立的逻辑组件等等）、固件等等，或这些实现的任何组合。在一个实施例 中，各个组件可以反映对应的组件在实际实现中的使用。在其他实施例中，附图中所示出的 任何单个组件可由多个实际组件来实现。对附图中的任何两个或更多单独的组件的描绘可 以反映由单个实际组件所执行的不同的功能。以下讨论的图1提供了关于可用于实现附图 中所示的各功能的一个系统的细节。
[0023] 其他附图以流程图形式描述了概念。以此形式，某些操作被描述为构成以某一顺 序执行的不同的框。这样的实现是示例性的而非限制性的。此处描述的某些框可被分组在 一起并在单个操作中执行，某些框可被分成多个组成框，并且某些框可以按与此处所示出 的不同的次序来执行（包括以并行方式执行这些框）。流程图中示出的框可以通过软件、硬 件、固件、手动处理等等或这些实现的任何组合来实现。如此处所使用的，硬件可以包括计 算机系统、诸如专用集成电路（ASIC)之类的分立逻辑组件等以及它们的任意组合。
[0024] 关于术语，短语"被配置成"涵盖可以构造任何类型的结构组件来执行所标识的操 作的任何方式。结构组件可以被配置成使用软件、硬件、固件等或其任意组合来执行操作。
[0025] 术语"逻辑"涵盖用于执行任务的任何功能。例如，流程图中所示出的每一操作对 应于用于执行该操作的逻辑。操作可以使用软件、硬件、固件等或其任意组合来执行。
[0026] 如在此使用的，术语"组件"、"系统