以反馈回路设计模型的系统和方法

以反馈回路设计模型的系统和方法
【专利摘要】公开了一种用于设计模型的方法和系统。所述方法包括选择用于对关注的一般事件建模的多个模型。所述方法进一步包括聚集模型的结果并且与聚集结果相比，分析每个模型，以获得比较信息。所述方法还包括将信息提供回多个模型，以通过反馈回路设计更精确的模型。
【专利说明】以反馈回路设计模型的系统和方法
[0001]交叉引用相关申请
[0002]本申请要求于2012年5月I日提交的题为“以反馈回路设计模型的系统和方法”的序号61/640，938的美国临时申请以及于2013年4月24日提交的题为“以反馈回路设计模型的系统和方法”的序号13/869，290的美国申请的优先权。
[0003]关于联邦赞助的研宄或开发的声明
[0004]由美国能源部颁发的合同DE-AC05-76RL01830，通过政府的支持，来作出本发明。政府在本发明中具有某些权利。

【技术领域】
[0005]本发明涉及模型设计。更具体地，本发明涉及利用贝叶斯分析来统计地分析多个模型输出并且然后经由反馈回路将输出的信息提供回模型的方法和系统。

【背景技术】
[0006]在科学学科上，大部分领域受到与模型概念化相关的不确定性的影响。在技术上称为模型选择不确定性，该不确定性与正确地选择一组特定领域的解释、处理以及数学系统相关，以将性能精确地对行为进行建模或者将关注的事件(例如，蛋白质结构、天气系统、图像识别任务等)分类。这种不确定性是与建模和预测相关的误差和风险的最大来源。
[0007]解决模型选择不确定性的一种最有效的方法是通过模型集合(ensemble)的聚集预测。这些集合由单独的模型(这里，模型可为算法、数学模型以及专家意见等)构成，其中，每个模型通过唯一地限定可描述关注的事件的一组处理、系统以及关系，来唯一地探索假设空间的一部分。从模型集合--通过诸如引导聚集(bootstrap aggregate)、推进
(boosting)以及贝叶斯模型平均的技术一一获得的聚集比提供了更好的总体预测性能，并且表现出比任何集合的单独组分更少的偏差，这是因为聚集源自所有集合元素的加权组入口 ο
[0008]虽然聚集提供了更精确的预测和预报估计，但是这些聚集并不能有助于建模人员精修和改善最初形成集合的单独模型。并不存在已知的方法来利用聚集技术的优点，将反馈提供给建模人员，以便他们能够更好地理解他们试图建模、表征或分类的事件。


【发明内容】

[0009]本发明涉及一种以反馈回路设计模型的方法。在一个实施方式中，该方法包括:选择用于对关注的一般事件建模的多个模型；聚集所述模型的结果；与聚集结果相比，分析每个模型，以获得可靠的或比较的信息；以及将信息提供回所述多个模型，以通过反馈回路设计更精确的模型。
[0010]在一个实施方式中，聚集模型的结果包括输入模型的结果和测量数据，以利用贝叶斯模型聚集(BMA)产生聚集结果。
[0011]关注的事件包括但不限于以下:co2烟流、电力系统动态、蛋白质结构、天气系统、图像识别任务以及核安全。
[0012]在一个实施方式中，所述模型是概念模型。所述模型可为统计模型。
[0013]在一个实施方式中，与聚集结果相比分析每个模型包括比较BMA与每个模型之间的差值和/或基于信息准则，分析在聚集中BMA如何利用每个模型。比较BMA与每个模型之间的差值可进一步包括使用各种统计方法，所述各种统计方法包括但不限于用于选择某些模型的方差分析。而且，基于信息准则分析在聚集中BMA如何利用每个模型还可包括使用各种统计方法，所述各种统计方法包括但不限于用于选择某些模型的方差分析。
[0014]在一个实施方式中，对于聚集最重要的模型一一例如，基于方差分析和信息准则一一被识别并被保持恒定。信息准则包括统计模型具有多少信息的统计测量。
[0015]在一个实施方式中，将关于估计差值的信息和每个模型的信息准则反馈给所述多个模型。
[0016]在本发明的另一个实施方式中，公开了一种用于设计模型的系统。该系统包括:多个模型，预测或估计关注的事件；工作站，用于聚集结果；用于与聚集结果相比分析每个模型以获得可靠的或比较的信息的装置；以及反馈回路，用于将信息提供回多个模型，以设计更精确的模型。
[0017]在一个实施方式中，用于聚集的工作站包括贝叶斯模型聚集(BMA)软件，所述软件将模型的结果和测量数据作为输入，以产生聚集结果。
[0018]该系统可包括各种统计方法，所述统计方法包括但不限于用于选择某些模型的方差分析软件。具有与BMA密切匹配的估计值，±5% BMA估计值，的所选择的模型被识别并被保持恒定。通过软件反馈回路，将关于估计差值的信息和每个模型的信息准则反馈给多个模型。
[0019]在本发明的另一个实施方式中，公开了一种以反馈回路设计模型的方法。该方法包括:选择用于对关注的一般事件建模的多个模型；并且通过输入模型的结果和测量数据，以利用贝叶斯模型聚集(BMA)产生聚集，来聚集所述模型的结果。测量数据包括从测量关注的事件的仪器，诸如，传感器和卫星，提取的一系列测量。该方法进一步包括与聚集结果相比，分析每个模型，以获得可靠的或比较的信息。该分析进一步包括比较BMA与每个模型之间的差值和/或基于信息准则，分析在聚集中BMA如何利用每个模型。该方法还包括将信息提供回所述多个模型，以通过反馈回路设计更精确的模型。将关于差值的信息和信息准则反馈给多个模型。
[0020]在本发明的另一个实施方式中，公开了一种设计模型的方法。该方法包括选择多个模型，用于对电力系统的净交换调度(NIS)建模。该方法进一步包括将NIS模型的结果聚集到聚集预测中。该方法还包括与聚集结果相比，分析每个NIS模型，以获得比较信息。比较信息是每个模型与聚集的比较。该方法还包括将信息提供回多个NIS模型，以通过反馈回路设计更精确的模型。

【专利附图】

【附图说明】
[0021]图1为描述根据本发明的一个实施方式的集合聚集的信息反馈回路驱动模型设计的工作流程；
[0022]图2为根据本发明的一个实施方式的以反馈回路设计模型的方法的流程图。

【具体实施方式】
[0023]本发明用于以反馈回路设计模型的方法和系统。
[0024]在一个实施方式中，本发明描述了一种诊断模型设计系统，由统计聚集方法、集合分析技术以及模型规格策略的组合驱动该系统。该系统将大量不同的信息和/或模型(例如，预测机械装置、数值模型、概念模型和/或专家意见)作为输入，其中，信息和模型试图对一般的处理、事件或结果建模或进行估计。可选地，该系统还可采用真实世界观察数据。通过该系统，可识别信息和模型的优势和劣势；通过可靠性和性能，将信息源和模型分级；并且，提供用于设计和验证新型、更可靠的以及精确的信息源和模型的基础。
[0025]在一个实施方式中，本发明将于聚集不同的信息源的贝叶斯方法与用于分析聚集结构处理本身的统计方法相结合。这种第二层分析可由聚类分析(clustering analysis)、可能性评估以及其他方法构成，以识别和量化通过聚集处理获得的特定益处。该分析识别为什么信息的某些组合比其他组合更好，在那些地方比其他组合更好以及如何比其他组合更好。而且，该系统将通过聚集识别的信息流和模型的有效部分链接至设计假设并选择在信息流和模型之后。通过该链接提供的信息支持反馈回路，该反馈回路帮助设计人员和建模人员为模型(例如，用于进行检测、分类、预测建模等)构建新型的、更精确的设计。在图1中显示了该反馈回路的一个实施方式。
[0026]图1示出了描述根据本发明的一个实施方式的信息反馈回路驱动模型设计(informat1n feedback loop driving model design)的系统 100 工作流程。该系统 100包括至少一个关注的事件110。传感器(未示出)通常捕获关注的事件110的地面真实数据，所述数据用于设计预测或估计关注的事件110的。模型的输出或集合130提供了地面真实数据的预测。聚集集合(aggregate ensemble) 140来自聚集模型130的集合的结果。进行集成分析160，该分析比较聚集140和多个模型中的每个单独模型。诊断分析170提供证据，用于帮助理解哪些模型更加相关或重要。该信息用于利用反馈回路150来精修模型的设计。
[0027]图2为根据本发明的一个实施方式的以反馈回路设计模型的方法的流程图200。在210中，选择用于对关注的事件进行建模的多个模型。在220中，聚集模型的结果。在230中，所分析的每个模型与聚集结果相比较，以获得可靠的或比较的信息。在240中，通过反馈回路，将信息提供回多个模型，以设计更精确的模型。
[0028]实验部分
[0029]以下实例用于说明本发明的某些实施方式和方面，并且不要理解为限制其范围。
[0030]实验
[0031]在以下实验中，关注的一般事件是电力系统的净交换调度(net interchangeschedule, NIS)。NIS的建模是将电力系统动态建模的一个实例。为了提高电网运行的效率和可靠性，相邻的系统操作员彼此交换电力。NIS是这些操作员与其邻居之间的交易(业务，transact1n)的总和。NIS用在安全约束经济调度中用于以计算接下来几个小时的经济调度。因此，所提交的NIS的有效建模可提高系统操作员的操作效率。该NIS实验的目标在于，设计更精确地预测接下来几个小时的NIS的更好的模型。
[0032]大约280个不同的变量或元素用于预测NIS。为实验产生10个不同的模型，每个模型包括在总共大约280个变量之中的10个不同的变量。任何模型都不包括其他9个模型的相同变量。每个模型用于为接下来的每个小时预测NIS。BMA将所有模型的预测组合成聚集预测，该聚集预测表示为BMAl。与聚集结果相比，分析这10个模型中的每个，以获得可靠的或比较的信息。
[0033]为了使用反馈回路来验证设计模型的系统和方法，进行100X交叉验证研宄。换言之，该实验进行100次，以在100个不同的集合系统上单独地进行检查，其中，每个实验表示一个不同的实验。由唯一的模型一一在这种情况下，10个一一限定集合，这些模型试图预测在接下来的几个小时对电网的电力需求。将本发明的系统被应用于每个实验中，以设计更好的新模型11，该模型用于产生新的BMA、BMA2。比较建模结果和实际的地面真实数据。
[0034]结果
[0035]在80/100(80% )实验中，新模型11比任何原始集合部件——模型1_10)更好。在88/100 (88 % )实验中，与模型1-10相比，新模型11是最好或者次优模型。在91/100 (91 % )实验中，与模型1-10相比，新模型11是第一、第二或第三最好的模型。在95/100(95%)实验中，由于受到模型11的影响，BMA2包括更精确的或更新的模型1-10，所以BMA2是比BMAl更精确的集合。
[0036]如上所述，本发明的系统和方法不限于任何特定的关注的事件。本发明可用于在其他领域，例如但不限于CO2烟流、蛋白质结构、天气系统、图像识别任务以及核安全，中设计更好的模型。
[0037]在为这些关注的事件中任一个设计模型时，可应用以下步骤。产生初始模型，并且提供地面真实数据，以与建模的结果相比较。产生使用集合方法的聚集或BMA。每个单独模型的结果与聚集相比较，提供某些模型可与地面实况更多相关或略微相关的证明。这可包括分析BMA与每个单独模型之间的相似性和差异。从该构造处理中获得的信息用于将相关模型的设计精修成新模型一一在以上实例中是模型11。可将该精修的或新模型加入集合中，并且迭代设计处理继续。
[0038]使用运行HRIPE和HDFS数据库的工作站，可聚集模型的结果。反馈回路可自动化，以直接利用(leverage)聚集的结果，从而设计一种新模型。可选地，反馈回路可通过图表和绘图在视觉上显示聚集结果，以便主题专家可利用这些结果来帮助设计下一组模型。
[0039]工作站可为以下中的至少一个:计算机、膝上型计算机、手持式计算机、台式计算机、工作站、数据终端、服务器、移动通信装置或其任意组合。
[0040]在该说明书中描述的一些或所有功能操作可以数字电子电路或者以计算机软件、固件或硬件(包括在该说明书中公开的结构及其结构等同物)或以其任意组合实施，本发明的实施方式可实施为一个或多个计算机程序产品实现，即，在计算机可读介质，例如，机器可读储存装置、机器可读储存介质、存储装置或机器可读传播信号，上编码的计算机程序指令的一个或多个模块，以由系统或数据处理设备执行或者用于控制该系统或数据处理设备的操作。
[0041]术语“数据处理设备”包括用于处理数据的所有设备、装置以及机器，举例而言，包括可编程处理器、计算机或多个处理器或计算机。除了硬件，该设备还可包括为所述计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或其组合的代码。传播信号是人工生成的信号，例如，机器生成的电、光或电磁信号，生成该信号，以便编码信息，用于传输给合适的接收器设备。
[0042]可通过任何形式的编程语言(包括编译或解释语言)编写计算机程序(也称为程序、软件、应用程序、软件应用程序、脚本或代码)，并且可以任何形式展开(cbploy)，包括用作独立程序或者用作适用于计算环境中的模块、元件、子程序、或其他单元。计算机程序不必与在文件系统中的文件对应。程序可储存在保持其他程序或数据(例如，储存在标记语言文档内的一个或多个脚本)的一部分文件内，储存在专用于所述程序的单个文件内，或者储存在多个协调文件(例如，储存一个或多个模块、子程序或部分代码的文件)内。计算机程序可以被展开，以便在一个计算机上或者在位于一个地点的或者在多个地点上分布并且由通信网络互连的多个计算机上执行。
[0043]在该说明书中描述的处理和逻辑流可由执行一个或多个计算机程序的一个或多个可编程处理器执行，以便通过对输入数据上进行操作并且生成输出来执行功能。处理和逻辑流也可由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行，并且设备也可由该专用逻辑电路实现。
[0044]举例而言，适合于执行计算机程序的处理器包括通用和专用微处理器以及任何类型的数字计算机的任一个或多个处理器。通常，处理器从只读存储器和/或随机存取存储器中接收指令和数据。计算机的基本部件是用于执行指令的处理器以及用于储存指令和数据的一个或多个存储装置。通常，计算机还包括或者操作地耦接至通信接口，以便从用于储存数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)接收数据和/或将数据传输给这种大容量存储设备。
[0045]而且，计算机可嵌入另一个装置内，例如，仅举几例，移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器。适合于具体化计算机程序指令和数据的信息载体包括所有形式的非易失性存储器，举例而言，包括半导体存储装置，例如，EPROM、EEPROM以及闪存装置；磁盘，例如，内置硬盘或可移动磁盘；磁光盘；以及⑶ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或者结合在专用逻辑电路内。
[0046]为了提供与用户的交互，本发明的实施方式可在计算机上实现，该计算机具有用于向用户显示信息的显示装置(例如，CRT (阴极射线管)或LCD (液晶显示器)显示器)、键盘以及定位装置(例如，鼠标或轨迹球)，通过这些装置，用户可将输入提供给计算机。其他类型的装置也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声音、语音或触觉输入。
[0047]本发明的实施方式可在计算系统中实现，该计算系统包括后端元件，(例如，用作数据服务器)，或者包括中间件元件(例如，应用服务器)，或者包括前端元件(例如，具有图形用户界面或网页浏览器的客户端计算机，通过该图形用户界面或网页浏览器，用户可与本发明的实现方式交互)，或者这种后端、中间件或前端元件的任意组合。该系统的元件可由任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的实例包括局域网(“LAN”)和广域网(“WAN”)，例如，互联网。
[0048]计算系统可包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络交互。由于在各个计算机上运行的并且彼此具有客户端-服务器关系的计算机程序，所以客户端和服务器产生关系。
[0049]本发明的系统在几个方面与先前工作不同。例如，本发明的系统不仅可指示哪些信息源更好，而且可识别这些信息源哪些地方比其他信息源更好以及如何(例如，在时空上)比其他信息源更好。
[0050]而且，该系统使用聚集分析来帮助建模人员和/或设计人员通过信息反馈回路形成新设计和模型，以便捕获来自更可靠的、精确的信息源和模型的有效假设，并且这些有效假设紧密地集成在新设计中。通过该迭代处理，建模人员会更好地理解其关注的主题，并且新模型变得越来越精确和可靠。
[0051]就包含细节的特定实施方式中描述了本发明，以有助于理解本发明的构造和操作原理。同样，在本文中参照特定实施方式及其细节，并非旨在限制所附权利要求的范围。对于本领域的技术人员来说显而易见的是，在不背离本发明的精神和范围的情况下，在为了进行说明所选择的实施方式中可进行修改。
【权利要求】
1.一种设计模型的方法，包括: a、选择用于对关注的一般事件建模的多个模型； b、聚集所述模型的结果； c、与聚集结果相比，分析每个模型，以获得比较信息；以及 d、将所述信息提供回所述多个模型，以通过反馈回路设计更精确的模型。
2.根据权利要求1所述的方法，其中，聚集所述模型的结果包括输入所述模型的所述结果和测量数据，以利用贝叶斯模型聚集(BMA)产生聚集结果。
3.根据权利要求1所述的方法，其中，关注的所述事件包括以下中的一个:C02烟流、电力系统动态、蛋白质结构、天气系统、图像识别任务以及核安全。
4.根据权利要求1所述的方法，其中，所述模型是概念模型。
5.根据权利要求1所述的方法，其中，所述模型是统计模型。
6.根据权利要求2所述的方法，其中，所述与聚集结果相比，分析每个模型，包括以下中的至少一个:1)比较BMA与每个模型之间的估计差值；以及2)根据信息准则，分析在所述聚集中所述BMA如何利用每个模型。
7.根据权利要求6所述的方法，其中，比较BMA与每个模型之间的差值以及分析BMA如何利用每个模型进一步包括利用统计方法来选择某些模型。
8.根据权利要求7所述的方法，其中，所述统计方法是方差分析统计方法。
9.根据权利要求6所述的方法，其中，基于方差分析和信息准则中的至少一个的模型被识别并被保持恒定。
10.根据权利要求7所述的方法，其中，将关于估计差值的信息和每个模型的信息准则反馈给所述多个模型。
11.一种用于设计模型的系统，包括: a、多个模型，预测或估计关注的事件； b、工作站，用于聚集结果； c、用于与聚集结果相比分析每个模型以获得比较信息的装置；以及 d、反馈回路，用于将所述信息提供回所述多个模型，以设计更精确的模型。
12.根据权利要求11所述的系统，其中，用于聚集的所述工作站使用贝叶斯模型聚集(BMA)软件，所述软件将模型的所述结果和测量数据作为输入，以产生聚集结果。
13.根据权利要求11所述的系统，其中，所述关注的事件包括但不限于以下:C02烟流、电力系统动态、蛋白质结构、天气系统、图像识别任务以及核安全。
14.根据权利要求11所述的系统，其中，所述模型是概念模型。
15.根据权利要求11所述的系统，其中，所述模型是统计模型。
16.根据权利要求12所述的系统，其中，用于与聚集结果相比分析每个模型的装置包括以下中的至少一个:1)BMA与每个模型之间的估计差值的比较；以及2)根据信息准则的在所述聚集中BMA如何利用每个模型的分析。
17.根据权利要求16所述的系统，其中，BMA与每个模型之间的差值的比较和BMA如何利用每个模型的分析均进一步包括使用统计方法来选择某些模型。
18.根据权利要求17所述的系统，其中，所述统计方法是方差分析统计方法。
19.根据权利要求16所述的系统，其中，基于方差分析和信息准则中的至少一个的模型被识别并被保持恒定。
20.根据权利要求16所述的系统，其中，经由所述反馈回路，将关于估计差值的信息和每个模型的信息准则反馈给所述多个模型。
21.根据权利要求11所述的系统，其中，所述工作站包括计算机、膝上型计算机、手持式计算机、台式计算机、数据终端、服务器、移动通信装置或其任意组合。
22.—种设计模型的方法，包括: ￡1、选择用于对电力系统的净交换调度([3)建模的多个模型； I将所述犯3模型的结果聚集到聚集预测中； 匕与聚集结果相比，分析每个犯3模型，以获得比较信息；以及 己、将信息提供回所述多个犯3模型，以通过反馈回路设计更精确的模型。
23.一种设计模型的方法，包括: ^选择用于对关注的一般事件建模的多个模型； I通过输入所述模型的结果和测量数据利用贝叶斯模型聚集(8嫩)产生聚集，来聚集所述模型的结果； .0、与聚集结果相比，分析每个模型，以获得比较信息，其中，所述分析包括以下中的至少一个:比较8嫩与每个模型之间的差值，以及基于信息准则，分析在聚集中8嫩如何利用每个模型；以及 己、将信息提供回所述多个模型，以通过反馈回路设计更精确的模型， 其中，将关于差值的信息和信息准则反馈给所述多个模型。
【文档编号】G06N99/00GK104508690SQ201380023165
【公开日】2015年4月8日 申请日期:2013年4月25日 优先权日:2012年5月1日
【发明者】卢克·J·戈新克, 特伦通·C·普尔西普赫尔, 兰登·H·塞戈 申请人:巴特尔纪念研究院