用于选择网格动作以改善网格结果的系统和方法与流程

背景技术：

包括电、水和气体分配网络的公用设施网格的智能网格工作的最终目标是实现网格状况的持续、实时、自动化优化以促进目标，诸如提高效率，将可再生源整合到生成、定位和表征故障，围绕故障布线公用设施以减小风险和损失，有效地将有限的维护人员和资源调度到潜在的网格反常，以及其他此类目标。然而，通过当前的数据汇总和分析方案，这些工作可能受到网格智能的约束。这些方案需要时间来产生基于相关性、知识水平的网格智能，所述知识水平可能不足以完全实现追求多个网格目标的自动化、实时优化，并且可能难以确定特定网格动作或事件与这些动作或事件的任何时间和/或空间上的距离效应之间的关系。

当前对网格智能的大数据建模方法也得出结论，鉴于当前现有的网格控制点，所述结论可能并不容易操作，而且所述结论仅基于相关性，所述相关性包括不可精确地计算并且由潜在的第三变量驱动观察到的关系导致的不确定性，以及关于这些关系的方向性的不确定性。这种不确定性频繁地要求人机回圈专家进一步解释观察到的关系以制定行动计划，从而排除实时优化。通过捕获和处理与网格运行的控制分离的数据，当前的方法只能实现对网格控制和最佳网格状况之间的链路的抽象理解。主动机器学习技术缺乏完美的实验对照，仍然容易受到由第三变量和方向性问题引起的不确定性的影响。

实时多目标优化需要关于控制决策的具体效果的当前因果知识，以便允许适当地对公用设施网格运行进行固有的折衷。需要有能力对控制和潜在独立变量影响网格的效果生成以控制为中心的因果知识，并且自动、持续且实时地将该知识应用于驱动所需网格状况并促进检测和减轻网格故障时的安全性和效率。

技术实现要素：

本发明的实施方案涉及通过以下方式生成并利用网格运行决策对网格状况的影响的因果知识，以改善一个或多个网格有效性度量：接收搜索空间，基于时间和空间不确定性计算实验单位，识别主动控制的机会，以至少部分随机的方式为这些机会选择控制状态，在实验单位期间收集关于这些控制决策的影响而收集的数据，以及使用收集的数据更新控制决策对公用设施网格的整体影响的知识数据库。

附图说明

图1为用于确定网格动作的有效性以及选择有效网格动作的方法的流程图。

图2为用于确定网格动作的有效性以及自动选择有效网格动作的示例性系统的系统图。

图3为绘制本发明的示例性系统实施方案的组件中信息流的数据流程图。

图4为用于确定需要人机回圈的网格动作的有效性以及选择有效人机回圈网格动作的方法的流程图。

具体实施方式

公用设施网格运行涉及许多单独的控制和排队决策，这通常在相对宽的运行范围内变化。向这些单独控制决策添加控制和协调使得能够在公用设施网格的当前运行范围内进行实验，这使得能够建立对控制决策的网格响应的因果知识。这允许控制自动地响应网格事件，开发支持未来网格资本规划(包括传感器和组件添加和替换)的数据，以及通过监督网格运行来审核和验证实验和优化系统提供的改进。实验可包括适应性实验方案，以解决当前基于机器学习的公用设施网格管理方法中存在的探索和利用之间的折衷。

图1为本发明的方法实施例的流程图。接收搜索空间100，将时间和空间不确定性用于计算实验单位102，识别主动控制的机会104，以随机的方式为这些机会选择控制状态106，至少在实验单位期间收集关于这些控制决策的影响的数据108，并且将来自实验单位的所收集数据用于在步骤110中更新控制决策对公用设施网格的整体影响的知识数据库。

在步骤100中接收搜索空间。搜索空间是可用于由系统主动控制的网格控制，其可能被约束以确保主动控制不将网格从其正常运行范围中取出，或确保网格控制状态的主动操纵不产生危险条件或条件的组合。优选地，搜索空间是多维空间，其中每个可用控制是维度，其中多个离散点表示该控制的可能状态。搜索空间可通过以下方式来确定：例如，标记可用的网格控制及其状态，将任何连续的控制状态减少到有限的一组离散点，然后使用分析技术(诸如应用于历史网格运行数据的机器学习)以创建搜索空间，该搜索空间代表在所使用的历史运行数据中网格的正常运行期间发生的仅有网格控制状态及其组合。搜索空间表示可能的网格控制状态及其组合，它们可根据该示例性方法来选择和实施以调整网格的运行来进行实验，开发知识和/或追求网格状况和运行的改进。网格控制状态的组合可通过一次操纵单个控制来提供对网格参数比可能更强大或精确的控制。

除了可能的控制状态之外，网格控制还可具有与它们相关联的子特性。这些关联可通过将子特性存储为元数据，或者将这些子特性作为维度添加到特定控制中来进行。这些子特性可包括修改特定控制的频率；这些可以被视为系统内的实验的独立变量，例如在若干识别的机会中使用相同的控制，但是改变控制在被分配用以测试该控制的效果的不同机会中被激活的频率。在该实施例中，选择该控制，但是选择以应用于所识别的机会以改变的变型形式不是不同水平的控制本身，而是不同水平的相关联子特性。连续的子特性可通过以下方式分配到离散水平：将连续变量的特定范围合并到欧几里得空间中的特定点，以及/或者从电力分析确定可被强力测试的水平的数量并使用该数量的水平来创建待在连续范围内测试的离散点。通过选择控制状态和子特性状态，通过使用析因实验设计来将控制和子属性状态的分配的相对频率分配给对于该控制识别的实验机会，子特性也可与控制本身的状态一起包括在实验设计中。

在一些实施方案中，除了直接作用在网格的元件上的自动网格控制之外或取代其，网格控制可包括人机回圈网格动作的安排和/或优先化，诸如维护、调查和修理任务。在一这些情况下，这些控制通过任务的自动安排和资源、以及队列顺序或指令的分配应用于系统，所述指令引导人机回圈网格动作并通过自动化消息(诸如电子邮件、文本消息、或类似的通信)传送给调度员或网格维护人员。控制可在搜索空间内表示为与其他网格控制一样的维度，其中点对应于可用于构建队列的不同优先化值，或者在其中进行人机回圈网格动作的时间段，并且在一些情况下，点表示“不做任何事情”选项，其中资源不涉及进行人机回圈动作。

在步骤102中时间和空间不确定性数据用于构建实验单位。时间和空间不确定性是网格控制中的变化附近的时间和空间区域，这种变化的效果可在其上明显地发生。电网上的时间不确定性周期的示例是网格控制的滞后影响所需的时间，该滞后影响驱动电力线路中的电流增加以改变温度，并且因此使电力线路的经历该电流增加的水平下降。电力网上的空间不确定性区域的示例是控制增加线路中的电流流动，并且该线路上方的区域将表现出其温度的变化，从而基于到控制的接近程度和通过网格的增加的电流的流动使行为消沉。这些不确定性值对于网格可为一般性的，或者可特定于某些控制的操纵以更精确地与跟不同控制相关联的不确定性的差值匹配，所述不同控制可在这些控制的合理或可能的滞后或广域效应方面具有显著差异。该不确定性可通过使用机器学习技术挖掘过去的数据以识别网格控制和相关响应之间的连接，并且识别观察响应的周期和区域来确定；或者可通过使用组件模型对网格响应进行建模来确定；或者本身可通过实验来确定，通过驱动特定的网格动作并观察测量的网格响应来识别尽可能小的时间周期和空间区域，同时捕获足够量的网格对网格控制的响应。在空间和/或时间不确定性周期捕获的响应量可被表示为时间和/或空间包括响应的置信区间；例如，用以确定不确定性的机器学习方法可识别时间量或空间区域，在该时间量或空间区域内存在将在时间/空间内将发生滞后/广域效应的95％或99％置信度。根据该不确定性数据，可以构建实验单位以确保当控制变化时，可以收集数据而不会由在相邻时间和空间中执行的控制中的其他变型形式混淆数据，从而产生滞后和/或广域效应，这干扰了与网格控制的所选变型形式相关联的数据的收集。实验单位围绕网格控制限定空间区域和时间周期，使得当网格控制作为网格控制对网格参数和状况的影响的试验的一部分进行改变时，如果其他试验的实验单位与实验单位重叠，并因此潜在地混淆了在试验期间收集的数据，则可以防止其他试验发生。实验单位可覆盖小于网格本身的整个空间范围。实验单位的时间组件还通过以下方式确保一次试验将不会混淆后续试验：确保在数据收集周期期间捕获效应，从而允许在可进行另一次试验之前清除潜在的残留效应。

涉及控制的组合的试验可通过例如获得与组合试验中的控制中的任一者相关联的最大区域和最长时间周期来确定其实验单位，或者可以针对搜索空间中的每个点单独计算实验单位，其中搜索空间中的点表示网格控制状态的特定组合。可用应用于历史数据的机器学习类似地计算不确定性值和实验单位以发现与控制的特定组合(而不是仅一个控制)相关联的结果，并且确定可以观察效应的时间和区域，或者对控制对网格模型的组合效应进行建模，或者进行实验，其中在改变收集相关联的数据的时间和/或空间的同时实现控制的组合，并且使用该信息来设置观察控制的所选择组合对网格的影响的周期，并且排除可能混淆控制的该组合的特定试验的其他控制选择。

空间和时间不确定性数据本身可以通过实验通过以下方式而发现：改变网格控制状态并观察该差异在不同时间周期内的效应，将不同水平的空间和/或时间不确定性视为实验中的独立变量。在这些实验中，改变的控制是其特定时间和空间不确定性需要被更好地理解的控制。在这些实验中，因变量是网格中变化的程度，与基线变化值相比，由具有较大的空间和时间不确定性值的试验确定，所述不确定性值被选择为确保对由网格动作产生的整个变化值的观察，所述网格动作的不确定性被测试，以用作基线。当观察到的实验空间和/或时间不确定性的变化偏离基线值超过显著性阈值的量时，这表明效应被错过，或者数据收集的较大部分受到混淆的影响。显著性阈值可使用通过被控制和监测的特定变量的标准或公差建立的置信区间来计算。空间和/或时间不确定性可在其中与基线的偏离跨过显著性阈值的点处进行选择，以提供最小的不确定性周期和区域，并且因此使实验机会的数量最大化，同时仍然提供捕获滞后效应并避免显著混淆问题的有效样本。

用以发现空间和时间不确定性的试验设计的一个实施例通过以下方式进行：在相同位置处或者在该控制动作的已知或可能的空间不确定性内使第一控制动作紧密地遵循第二控制动作，并且缓慢地增加两个控制状态变化之间的延迟直到发现持续时间，其中第一动作对系统对第二动作的响应的影响不超过特定显著性阈值，以确定第一控制动作的时间不确定性。可通过切换最近的控制来类似地发现空间不确定性，然后相反递增地选择控制来更进一步地切换，直到发现空间距离，其中空间上邻近的动作不会影响超出显著性阈值的系统对彼此的响应。

任选地，不确定性的初始值可从对先前收集的关于网格动作和响应的历史数据的分析中得出，例如通过将随时间推移的主要组件分析应用为组件来产生对与网格控制相关联的时间和空间不确定性的估计。作为另外一种选择，可使用纯粹经验性方法，仅基于从实验中收集的数据，而不使用先前的数据。初始不确定性值也可以通过人机回圈输入获得，其可采取人对不确定性值的预测的形式，或者可为这样的实验提供外部边界，例如最大可能的时间不确定性，以约束该时间不确定性值的实验性发现，以限制将被探索的搜索空间。任选地，可以由基于系统组件及其运行的物理学的计算来计算不确定性值。

任选地，时间和空间不确定性可具有多个值，其对应于不同的外部条件(诸如一天中的时间、环境温度)或内部条件(诸如其他网格元件的状态及其组合)，或者存在或不存在附近的故障，可影响受特定网格动作影响的空间和/或时间区域的条件。这些条件可以例如被存储为不确定性值的元数据，所述不确定性值将不确定性的特定值与特定条件相关联，以及用于通过将所选择的不确定性值与应用这些值的条件相匹配来在不同的可能值中进行选择的元数据。当确定机会或构建实验单位时可通过以下方式参考条件：例如在条件是时段的情况下使用系统时钟来确定时段，或者在另一实施例中使用来自指示相关条件值的网格传感器的数据，以及将这些条件值与不确定性的元数据进行比较，以选择时间和/或条件的适当的不确定性值。

任选地，除了时间和空间不确定性之外，可使用附加变量来构建和协调实验单位。可通过观察哪些参数受或不受控制的先前试验的影响，并且与网格控制的特定变型形式(例如作为元数据)相关联来表征属性，诸如受控制影响的网格参数。这些属性可与时间和空间不确定性结合，以通过使用空间和时间不确定性中的重叠以及一些或所有附加变量中的重叠来协调跨网格的实验，以确定网格控制在何处可以改变，同时防止变化混淆正在进行的或并发的实验也影响了与实验共享时间和空间区域的那些附加变量。例如，与网格控制变化相关联的附加变量可包括哪些网格参数受到该特定控制变化的影响，诸如网格上的可用电力、电力质量和线路温度。影响电力质量和可用电力的控制变化可从与同样影响电力质量的控制变化相关联的时间和空间不确定性中排除，以防止对电力质量的影响彼此混淆，而仅影响线路温度、或线路温度和电力质量而不影响可用电力的控制变化可允许其空间和时间不确定性与仅影响可用电力的控制变化的空间和时间不确定性重叠，因为只有不相关的度量受到控制变化中的每一者的影响，尽管共享它们的时间和空间不确定性区域中一些或全部。

实验单位也可具有与它们相关联的潜在变量。在一些实施例中，它们可作为描述实验单位的元数据而相关联。潜在变量是表示影响实验单位的特定检测条件的数据，并且对网格具有可能或预期的影响，例如实验单位内的当前条件，诸如在该时间和位置中的环境温度。潜在变量可由沿着网格放置的传感器检测，并且随着实验单位的条件变化而动态地更新，并且将在将控制分配给实验单位时的潜在变量与该特定实验单位相关联。

这种方法可用于检测网格上发生的谐振和周期效应，以及滞后效应或空间不确定性并确定不确定性区域，并且通过改变给定控制变化的时间不确定性并观察不同时间段对所观察数据的影响来考虑实验单位中的此类效应并认识到引入差异的机会。随着时间不确定性相对于这些周期或谐振效应的频率增加，通过显示差值，改变时间不确定性周期的持续时间可允许出现周期或谐振效应。可使用在实验单位的不同时间不确定性和长度之间观察到的差值的傅里叶或小波分析来确定谐波或周期效应的存在。

在步骤104中识别对控制状态进行改变的机会。存在对控制状态进行改变的机会，其中在搜索空间内存在多个可行的替代方案，基于该搜索空间，当前的网格条件、和来自其他试验的实验单位的存在以及它们如何与实验单位啮合都用于潜在的机会。直接就网格参数而言，或者就组合多个网格参数的目标函数的输出而言，不同的控制提供了机会以向关于网格控制或网格控制的组合对网格响应的影响的实验添加试验。目标函数可以是非线性的、有界限的和/或不连续的以反映必须保持在特定范围内的网格参数，或者该网格参数对整体网格性能的影响受特定临界点或非线性影响的地方。对网格控制进行改变的机会的存在可通过以下方式确定：接收网格条件，接收各种控制状态的已经进行的试验的任何实验单位数据，测量搜索空间以识别搜索空间的成员，其中对控制状态作出的改变不与空间和时间中的任何现有实验单位以及检测到的当前网格条件的实验单位重叠，可以选择的控制状态在网格的正常运行范围内。防止在时间和空间上与其他实验单位重叠确保这些正在进行的试验不会被新的试验所混淆，并且新的试验不经受正在进行的试验的残留效应。

控制状态也可通过关于它们的效应的当前知识水平以及对这些效应驱动当前网格状况的目标函数输出的程度的计算进行过滤，以消除选择严格地讲差的控制状态的可能性。例如在控制有效性的知识被存储为平均值和置信区间的情况下，这可通过以下方式进行：计算每个可能控制状态的置信区间的范围的目标函数，以及仅识别具有预测的目标函数输出的范围的可能的控制状态，该范围与可能的控制状态的范围重叠，其范围包括预测的目标函数输出的最高范围。

可使用目标函数来组合和加权期望的网格状况和结果以通过为一组测量的网格参数生成值来产生控制有效性分数，例如在电网上，目标函数可具有与以下各项相关的术语：可用电力，由诸如太阳能或风能的可再生源提供的电力的量，以及电压正弦波对理想的60hz的保真度。目标函数允许同时追求不同的网格目标，并管理网格目标间的折衷，诸如电力质量下降，因为更多的可再生源用于示例性电网。目标函数可用于预测所选择的网格控制将促进网格目标的程度，或者当应用于与一个或多个网格控制状态中的特定变化相关联的收集的网格参数数据时确定这些网格控制的整体有效性。

在步骤106中将控制状态分配给改变的机会。控制状态的分配是可能的控制状态之一或控制状态的组合的选择，其可被分配给在步骤104中识别的机会，并且可任选地包括与所选择的控制状态或控制状态的组合相关联的子变量的分配，包括用于为所选择的控制状态或组合创建实验单位的空间和时间不确定性的差异。该分配遵循实验设计的原理，从而将在步骤104中识别的每个机会视为比较在该步骤中识别的可能的网格控制状态的有效性的实验的试验。选择可以是随机化的；对于给定的机会，随机化在可能的控制状态间可为完全随机的，或者随机化可被约束以实现其他实验设计原理和/或影响适应性实验或平衡探索，同时利用随着时间推移跨越网格的许多试验出现的网格控制效应的知识。

可以在步骤106的控制状态分配过程中实现的实验设计原理的示例包括平衡、反向平衡和模块化。平衡确保所检查的所有控制状态组合具有相同数量的观察，这意味着它们被选择相同次数。这可以例如通过以下方式来进行：根据步骤104识别一组机会，以及与等量的每个控制状态变化同时对该组机会进行选择。反向平衡是调整网格控制状态的连续变化的顺序，以确保表示应用控制状态的每个可能的顺序，以考虑将这些控制状态应用于网格的顺序改变的潜在影响。还可通过以下方式来进行反向平衡：在步骤104中识别多个机会并且构成跨越该组机会来应用的反向平衡组的网格控制状态。还可通过以下方式来部分地实现反向平衡：基于过去选择的顺序和已经运行的试验中各种可能的顺序的实例的数量来动态加权控制状态选择的频率。模块化是实验组的相似性排列；可基于给定机会的位置和网格状况将该相似性识别为机会识别步骤104的一部分，并为这些机会计算相似性以形成块或子组，或者为已经存在的相似机会的块或子组分配机会。然后，这些试验可以在这些子组内进行平衡、反向平衡和/或随机化，以确保块或子组内的网格控制选择的适当范围。

可通过以下方式对机会的控制状态的选择进行加权或控制以简化实验过程：应用适应性实验原理来快速降低不太有希望的可能控制状态，并且集中于更有可能改进网格运行的测试控制状态。除了简化实验之外，还可对分配进行加权或控制以平衡搜索空间的探索和试验，以利用这些网格控制状态的效应的当前知识水平来发现特定网格控制状态的有效性。可在机会识别步骤104处通过仅基于控制状态的影响的平均值和置信区间来考虑重叠预测目标输出的变化来进行对机会的控制状态的加权或控制，或者可在选择阶段处通过以下方式来进行对机会的控制状态的加权或控制：预测目标输出并在选择阶段中使用这些目标输出，例如通过概率匹配或通过具有最小阈值可能性以用于产生最高目标输出，以及仅在高于该阈值的可能控制状态间随机选择。

对将控制状态分配给机会的随机化进行加权的方法可以是持续有效的，或者仅当知识超过某些阈值时可以是有效的。这些阈值可由用户设置，并且可基于以下因素，诸如置信区间的宽度，或特定控制状态根据目标函数对于给定网格状况为最佳的可能性。

在步骤106中针对在步骤104中识别的机会来调整对网格控制状态的选择的随机化的一个具体实施例中，使用概率匹配来确定各种控制状态被选择用于该机会的可能性。在该实施例中，首先通过使用控制状态的影响的点估计值和置信区间连同当前网格状况和目标函数来确定概率匹配的应用，以计算在该实施例中3个潜在控制状态中的每个可能在目标函数上产生最高输出的可能性。每个潜在控制状态的点估计值周围的置信区间的重叠表示这些控制状态可优于其他控制状态的范围，以产生最高目标函数输出，以及因此实现控制时网格上最优选的状况。将此处计算的概率与用于确定何时进行概率匹配的阈值进行比较，而不是在潜在控制状态中使用纯粹随机的随机化，阈值是概率的差值。在该实施例中，潜在控制状态a具有65％的可能性最佳地促进目标输出，潜在控制状态b具有25％的可能性最佳地促进目标输出，并且潜在控制状态c具有10％的可能性最佳地促进目标输出。由于与其他控制状态相比，潜在控制状态a的优势非常可观，因此这超过进行概率匹配所需的阈值。然后使用首先用于测试阈值的概率来确定将在机会的时间和位置中为该机会选择每个控制状态并在网格上实现的可能性。对于该实施例，这意味着选择过程具有65％的可能性将潜在控制状态a分配给机会，25％的可能性将潜在控制状态b分配给机会，以及10％的可能性将潜在控制状态c分配给机会。这确保了每个潜在控制状态都有可能在网格上实现，并且提供该潜在控制状态的附加试验以优化控制状态效应的知识，同时对选择进行加权以增加做出以下决定的可能性，该决定最好地促进目标函数的输出，并且因此当在网格上实现控制状态时驱动网格的最理想状况和结果。

通过选择用于识别的实验机会的网格控制状态或延迟周期来实现的实验设计可包括复杂的设计，诸如用以测试可调变量(诸如特定控制状态的组合)和/或子变量(诸如切换频率)的组合的析因实验，以及用以测试由采取网格动作的特定顺序产生的效应的拉丁方和部分拉丁方设计。这些实验设计可通过例如具有多阶段选择过程来实现，其中确定该机会的一个独立变量，并且在析因设计中选择其他变量或子变量的可能性，以及在部分和完全的拉丁方设计中的后续选择被动态地更新以增加在析因设计中针对特定组合进行选择的可能性，或者增加根据部分拉丁方设计来测试特定顺序以提供样本的可能性。

内容向机会的分配也可受到与实验单位相关联的潜在变量的影响，该实验单位中存在机会并且将网格控制分配给该实验单位。潜在变量数据可用于将机会分配给特定组的选择标准，例如用于在同样条件下存在的聚类机会，或者用以测试由相关联的潜在变量指示的不同条件下的特定响应的效应。特定于给定实验单位中存在的潜在变量的有效性数据也可用于特别确定特定控制决策可能优越的概率，并且特定于潜在变量条件的平均值和置信区间可用于影响选择。

在步骤108中测量所选择的控制状态的影响。通过沿着网格放置的传感器进行测量，从而测量各种网格参数，诸如气体网上的压力，水网上的流量或电力网上的电压波形的质量。测量可由传感器以校准的传感器上的这些网格参数报告，或者可作为原始传感器输出波形报告，以用于通过自动化实验校准和解释系统进行分析。数据在实验单位内收集以用于分配给实验机会的控制状态，因为其为可在没有混淆的情况下观察分配的控制状态的效应的周期和区域。任选地，传感器监测可以是连续的和/或网格范围的，其中将在实验单位期间记录的数据点合并到那些特定的实验单位。

在步骤110中测量用于更新对控制动作的网格响应的知识。对控制动作的网格响应的知识是对特定控制状态或一组控制状态如何影响网格参数的测量，在控制状态改变时，该网格参数可由沿着网格收集网格参数数据的传感器来测量。网格响应的知识可被存储为表示一组可能的网格控制状态的搜索空间中的点中的每个的点估计值和置信区间的数据库。知识可以网格参数本身保持，或者任选地可以目标函数的输出来保持，该目标函数表示由多个范围或测量的网格参数的优选值组成的网格目标。对于存储为平均值和置信区间的网格响应的知识，可通过将在当前试验中观察到的结果(在用于该分配的控制状态或一组状态的实验单位内收集的数据)作为样本添加到用于计算平均值的观察组并用附加的新数据点计算新平均值来更新平均值，可通过基于添加到数据集的试验次数使样本量递增，并且使用包括添加到数据集中的一个或多个新试验的更新样本量计算更新的置信区间来更新置信区间。可以迭代地更新平均值和置信区间，从而在取样之后添加样本以构建知识数据库。

在一些实施例中，本发明的系统和方法可将特定网格动作的效应与其他网格动作和响应的复杂背景隔离，包括隔离网格动作的空间和/或时间不确定性，其对网格参数的影响，或其通过应用减法方法的子属性。可通过以下方式应用减法方法：基于通常正在进行的其他网格动作和响应来确定网格的正在进行的行为的基线网格参数，从针对特定选择的网格动作的实验单位期间发生的网格参数测量中减去这些基线网格参数以隔离该网格动作对正在测量的网格参数的影响。该基线可由测量在某个周期内并且存储在存储器中的网格参数的传感器随时间推移的传感器数据的聚集来确定，并且可由也在系统的控制或知识内的特定控制进一步解析，或者可通过基线周期来定期更新，其中控制被随机地分配给机会。

在潜在变量与实验单位相关联的情况下，这些潜在变量也可用于解析输入数据，并将数据从实验单位分配给特定数据集，例如用于在计算平均值和置信区间时使用聚类，或用以构建并更新数据集，该数据集特定于实现存在特定潜在变量值的控制。

控制动作的网格响应的知识可用于连续并实时地改进网格控制决策以驱动目标值。这可在适应性实验或加权随机化的上下文中进行，以平衡网格控制的搜索空间的探索和利用，以选择其响应驱动网格目标的网格控制，或者可以通过单独的利用例程来使用这些网格控制，该利用例程力图通过基于网格控制对网格状况的影响的计算选择控制来使目标函数最大化；这可直接使用以目标函数输出存储在数据库中的知识来进行，或者当前网格状况以及网格控制对网格参数的影响可用于估计网格参数，该网格参数将通过应用控制并且从这些估计的参数、计算的目标函数输出产生，并且该控制提升了选择和应用于网格的最佳(在大多数实施例中，最高)目标值。

任选地，网格元件性能的因果知识可用于资本规划并且将新元件整合到网格中。对于根据本发明的示例性实施方案来改变网格参数并提供可被自动控制的新控制的网格元件，可以基于在过去的安装和整合期间开发的网格运行数据通过应用本发明的方法和/或系统来计算网格元件性能的预期影响。该数据可以通过以下方式来开发：使用已经安装在电网上的光伏逆变器的不同控制状态的试验来确定所安装的逆变器对网格参数的影响，诸如逆变器对电力质量和需求满意度的影响，然后将该知识与在提议位置处检测到的网格状况组合以用于可被安装在提议位置处的类似逆变器，以预测在提议位置安装逆变器的影响。

从这些实验得到的信息可应用于通过以下方式来减少网格随时间推移的故障数量：发现可通过例如应用于来自围绕故障发生的周期的聚集网格传感器和控制数据的模式匹配、贝叶斯因果网络、马尔可夫链建模和/或主要组件分析得到的故障前度量，并将这些故障前度量结合到用于在改变机会期间选择特定网格控制动作的目标函数。这些目标函数可例如包括将值分配成剩余在识别的故障前度量之外的术语，例如当控制状态的后一种组合可在与故障的较高发生率相关联的网格上产生应力时，可能导致在控制状态的通常更佳的组合中选择控制状态的通常不是最佳的组合。故障前度量可以是网格参数，诸如电网上的线路温度、线路垂度或电力质量，气体网上的压力，或水网上的流量。

通过本发明的该方法或其他实施例得到的知识可应用于对公用设施网格的事故响应，以自动地尝试减轻事件(诸如风暴损害)对网格的影响。控制状态和/或这些控制状态的组合的已知效应可包括特定的局部网格状况效应，诸如减小通过某些区域的电力、水或气体流量。虽然这通常可损害公用事业服务质量度量，诸如满足需求或达到消耗目标，但是系统可切换为在目标函数中响应于诸如水或气体线路上的泄漏或电网上的故障或断落线路之类的情况的检测来应用替代目标函数或术语，并且调整网格参数的值以评估受影响区域的隔离，并从完成该替代目标的搜索空间中选择网格控制和网格控制的组合。受影响的区域和时间可由人类网格运营商的输入指示，或者由传感器和网格智能系统根据分类器自动检测，从而指出特定传感器响应指示需要隔离的网格故障、泄漏或损坏。任选地，分类器可通过机器学习或实验数据收集来开发。在一些实施例中，网格元件间预期行为的关系和偏差的变化指示沿着网格存在故障以及故障的可能的性质和位置。对于使用预期响应行为的偏离来识别和分类故障的实施例，在电网上，在过去彼此独立的网格的区段现在显示出对相互影响的控制变化的相关响应的情况下，该相关性的出现可指示网格的这些区段之间的短路。

图2为本发明的示例性实施方案的系统图。存储器可为已知的计算机存储装置诸如快闪存储器、使用磁介质的硬盘驱动器或用于可存储数据且被频繁和定期访问的数据存储的其他方法。处理器可被构造成通过软件指令进行计算。组件之间的连接部可为硬连接的、使用用于多个步骤的公共处理器或通过有线装置或无线装置诸如各种802.11协议、zigbee或蓝牙标准、以太网或其它已知的用于在分开的传感器、处理器、存储器和模块之间传输数据的装置联网的。传感器、存储器、处理器和模块可被分布在包括传感器自身处的位置上或共同位于中间或中央位置处。

网格控制200是网格的可控元件，其作用于网格上以产生网格中的变化并且可被系统自动控制。这些可在电网上包括例如开关、可控电力存储装置、逆变器和电力调节器，在水网上它们可包括例如阀、开关、泵和处理设备，并且在气体网上它们可包括例如源、阀和开关。这些控制与系统的其余部分联络，这指导这些控制的特定状态来探索和利用其对受这些控制影响的各种网格参数的影响，诸如电网上的可用电力、电力质量、电流、电压和/或线路垂度，气体网上的压力、泄漏和需求满意度，或水网上的泄漏、需求服务和水纯度。

实验单位处理器202是被构造成计算清除的持续时间和数据记录周期以及对于网格控制的改变的观察和缓冲的区域的处理器。处理器可被构造成通过若干方法中的一种或多种来计算这些持续时间和区域。用于计算持续时间和区域的一种示例性方法是通过将接收到的数据转换成网格控制的先前观察到的滞后效应并将其转化为持续时间和区域，通过分析该数据来确定在其操纵之后观察到网格控制的效应的区域和时间内的置信区间(诸如95％或99％置信区间)。计算持续时间和区域的另一种示例性方法是通过使用网格响应的模型来模拟并预测可能的滞后效应。用于计算持续时间和区域的另一种示例性方法是通过以下步骤进行的：生成数据，其中在关于网格控制的变化对网格参数的影响的实验期间，周期和区域本身被用作独立变量，例如，对于同一组网格控制决策，以40分钟和1小时清除周期运行试验，其中观察到的效应中的差异表明从干净数据到混淆数据的阈值已被越过；并将这些阈值用作可与网格控制的特定变化相关联的清除和数据记录的区域和持续时间。

实验单位存储器204是被构造成接收和存储由实验单位处理器202计算的实验单位数据的存储器，该实验单位数据然后用于识别对网格控制进行改变的机会，并确定收集与特定网格控制决策相关联的数据的区域和时间。实验单位数据是对网格控制的特定变化的清除和观察的持续时间和区域，计算为考虑到由对网格控制状态的许多变化导致的滞后效应，并确保观察到对网格参数的此类滞后效应，以及在确定网格控制对网格参数的效应时，需要防止此类效应混淆不同网格控制状态的后续试验。

机会识别处理器206是被构造成基于已下各项在特定位置和时间处计算对网格控制200进行改变的可能性的处理器：来自实验单位存储器204的实验单位数据，由网格传感器212检测的各种网格参数的状况，以及存储在搜索空间存储器218中的搜索空间。计算搜索空间的实施例可为识别在特定时间处可能可用的网格的部分，因为对于存储在控制分配存储器210中的其他网格控制选择决策，这些区域当时不在由存储于实验单位存储器204中的实验单位定义限定的记录或清除周期内，然后对于那些可用时间和位置，获取由网格传感器212检测到的网格的当前状态，识别存储在搜索空间存储器218中的搜索空间内的可用网格控制状态，并且基于网格参数确定搜索空间当前有多少可能的成员具有与促进目标的这些控制状态的有效性有关的重叠置信区间。在存在不止一个具有重叠置信区间的潜在控制状态的情况下，控制分配处理器208用于选择要在网格控制200上实现的控制状态。

控制分配处理器208确定由机会识别处理器206识别的机会的可能的替代组的控制状态间的选择。控制分配处理器被构造成以下方式中的一种或多种进行选择：纯随机的，其中控制状态的选择在可分配给检测到的机会的搜索空间的成员间被随机化，或者选择可以被约束或加权，以平衡探索和利用或实现适应性实验。这样的实施例是概率匹配，其中使用与搜索空间中的特定点的目标函数的输出值相关的点估计值和置信区间来计算搜索空间中的该点将产生目标的最高输出的可能性，并且选择被随机化以匹配那些计算的可能性，例如，其中可将搜索空间的三个成员分配给机会，并且控制状态分别具有65％、25％和10％的可能性提供最高目标输出，这些状态将分别被分配65％、25％和10％的可能性被选择用于该特定机会，从而允许这些控制状态中的任一者的潜力通过进行该控制状态的另一次试验来优化其点估计值和置信区间，而加权使得更有可能分配可能为目标函数提供最佳结果的控制状态。处理器可被构造成可能应用多种方法，并且基于知识水平来选择方法，例如需要置信区间的阈值紧密度或使目标最大化的可能性的最小差异，以从应用纯粹随机模式切换到应用用以为特定的识别机会选择网格控制状态的受约束或加权方法。

控制分配存储器210存储选择用于在网格上实现的控制状态的集合，并且任选地存储将实现这些控制状态的时间，以及该变化到网格控制的位置(如果它尚未固有地包括在控制状态信息中)。该数据由控制分配处理器208计算，并且用于指导网格控制200，并且还由知识更新处理器216用于识别在数据记录区域内发生的数据的区段，并且周期可与特定的网格控制状态相关联来更新知识数据库214，以将围绕该控制状态对网格参数的影响的点估计值和置信区间进行优化。

网格传感器212是连接到公用设施网格的传感器以测量所关注的网格参数度量，例如在电力网上为电流、电压、线路温度和/或线路垂度，例如在水网上为传感器监测流量和/或水纯度，例如在气体网上为压力、流速、和/或泄露的存在及强度以及线路之外的气体。

知识数据库214存储关于网格响应的数据，该网格响应针对于由系统选择和实现的控制状态。基于进行的试验次数的电力分析，数据可作为这些点估计值的控制影响和置信区间的点估计值存储，对于表示网格控制200的状态的组合的每个点保持点估计值和置信区间。点估计值和置信区间基于来自网格传感器212的读数，所述读数在特定网格控制状态被分配给识别的机会时在记录期间发生，并且在进行新的读数时被更新，该更新由知识更新处理器216进行。

知识更新处理器216接收来自网格传感器212的数据、来自实验单位存储器204的实验单位定义，以及由控制分配存储器210在网格控制200上实现的控制分配，加上来自知识数据库218的控制效应的当前知识。知识更新处理器被构造成使用该信息基于来自网格传感器212的与这些网格控制相关联的数据来计算关于网格控制的效应的更新数据。例如，在网格知识作为具有周围置信区间的点估计值保持的情况下，点估计值通过以下方式来更新：将在由实验单位处理器202确定的收集周期期间在网格传感器处在收集周期期间收集的数据作为样本添加到现有组的样本，以及基于将该新试验添加到先前试验的数据库来计算平均值。计算更新点估计值的置信区间，并更新与点估计值相关联的置信区间值，以反映新试验的添加。

搜索空间存储器218是被构造成接收并存储搜索空间信息的存储器。搜索空间是可用于系统的网格控制的潜在变化，以用于对从试验得到的知识的试验和探索，以改进网格参数和基于网格参数的目标函数。例如，搜索空间信息可存储为限定多维空间的矩阵，其中存在对应于每个控制的维度，该维度具有表示该控制的不同可能状态或状态范围的有限的一组点。在该实施例中，维度也可被组合或塌缩以减小维度和复杂性，其中维度可被组合，或者可放置在系统的控制之外。

图3是示出本发明的实施方案的部件间的信息交换的数据流程图。在该实施例例中使用的关键数据类型是搜索空间300、空间和时间不确定性因素302、实验单位304、网格状况306、控制决策308、相关联的传感器数据310和控制效应知识312。

搜索空间300是在本发明的实施例中可在网格上选择和实现的控制状态和/或控制状态的组合的定义。搜索空间可以是多维空间，其中维度表示可用于通过本发明的实施例进行控制的网格控制，并且其中每个维度内的有限数量的点表示该控制的可能状态，或者其中控制是连续的控制的状态的范围。搜索空间300被存储在搜索空间存储器314中，并被转移到机会识别处理器316和控制选择处理器318。

空间和时间不确定性因素302是表示对于网格控制状态的特定变化可预期网格响应的时间和空间的数据。基于将不确定性周期和区域作为实验性试验中的独立变量而改变，空间和时间不确定性因素可从输入数据计算，从历史运行数据中得出，或者通过观察数据变化的实验来确定。空间和时间不确定性因素302由实验单位处理器320接收并且用于确定实验单位304，该实验单位确定数据收集以及清除周期和区域以用于网格控制决策308的各种选择。

基于空间和时间不确定性因素302由实验单位处理器320确定实验单位304。实验单位是可以观察到网格控制的效应的持续时间和空间区域，并且其中这些效应可混淆网格控制的有效性的其他试验。实验单位304从实验单位处理器320转移到机会识别处理器316，以用于通过确定特定时间和位置是否可被其他试验所混淆来计算对网格控制322进行改变的机会的存在，并且通过知识更新处理器324将在特定时间和位置处收集的数据与所选择和实现的特定网格控制状态相关联。

网格状况306是由网格传感器326确定的所关注的网格参数的当前状态。将它们转移到知识更新处理器324，以用于通过将数据与特定网格控制相关联并且使用相关联的传感器数据310更新知识数据库326来更新网格知识，它们可由机会识别处理器316使用以确定是否有机会在多个潜在目标最大化的可能控制状态间进行选择，并且可由控制选择处理器318使用以确定影响特定控制状态或控制状态的组合被选择作为控制决策308的可能性的约束或加权。

控制决策308通过以下方式由控制选择处理器318针对每个识别的机会进行选择：在搜索空间300内存在的可能的控制状态间对该机会进行选择。控制决策308可随机地在潜在控制间进行，或者它们可利用加权或约束来进行，以在提供随机化的同时驱动目标，或者进行适应性实验。由控制选择处理器318作出的控制决策308被提供给网格控制322，以将这些控制驱动到由控制决策308指导并且影响网格的运行的状态。

相关联的传感器数据310通过以下方式在知识更新处理器324中由网格状况306计算：使用实验单位304和控制决策308基于特定网格状况306数据点的时间和位置来将这些数据点分配给影响该特定时间和位置的特定控制状态，并且确保来自该时间和位置的数据不被在接近数据记录的空间和时间上发生的其他控制状态变化所混淆，允许知识更新处理器324以关于产生该数据点的控制状态的特殊性来更新知识数据库330。

将控制效应312的知识存储在知识数据库330中，并且转移到知识更新处理器324并且从该知识更新处理器被迭代更新，因为通过选择控制状态并在受所选择的控制状态影响的时间和位置期间收集网格状况306来创建相关联传感器数据310的新数据点。对于受特定控制状态或控制状态的组合影响的每个网格参数，控制效应的知识可被存储为点估计值和周围的置信区间。点估计值可以是收集的数据点的平均值，其中基于用于计算平均值的样本数量通过实验电力分析来建立这些平均值的置信区间。任选地，控制效应的知识可就网格参数本身而言，或者它们可基于全部通过目标函数加权和组合的多个网格参数的组合以目标度量来保持；这可包括关于所包括的网格参数中的一些或所有的非线性或有界函数，例如在特定网格参数(诸如压力或电力质量)的效应中存在尖锐的非线性的情况下，其在一定范围内是可接受的，但是一旦它们跨越特定阈值则是不可接受的。

除了对网格动作的直接的自动控制之外，本发明的一些示例性系统和方法可被构造成在诸如网格维护和修理之类的人机回圈过程中进行实验和优化，从而将资产调度到特定检测到的网格状况并建立优先级和关键周期来解决特定的网格状况，诸如泄漏、故障或老化设备。在这些实施例中，网格操作不是对网格资产的直接自动控制，而是自动控制调度或资源分配工具，该资源分配工具传送队列顺序和优先级，其指导网格资源(包括人员和特定工具)、替换部件和/或沿着网格对点的维护和修复能力。

在涉及人机回圈动作的实施例中，通过创建与所检测的潜在反常相对应的空间来标记响应，其可通过表征和/或分类网格传感器数据来识别以对应于某些故障、泄漏或需要分配网格维护资源的其他事件的可能性，其中这些维度包括特定响应周期的点，在该周期期间，检测到的事件应响应于各种维护资源，并且在一些实施例中，表示“不做任何事情”选项的点不响应于检测到的事件。

图4是详细示出用于通过自动化实验通过以下方式确定人机回圈网格动作的排队规则的步骤的流程图：标记可能的动作，生成可测试不同延迟周期的实验单位，确定对与这些可能的动作相关联的延迟时间进行改变的机会，测量结果，将结果与特定延迟相关联，以及使用与特定延迟相关的结果来创建和/或更新排队规则。

在步骤400中生成网格动作的索引和对应的变量。在该实施方案中，网格动作是人机回圈动作，该动作可被自动安排或协调，并且通过自动地将机器生成的队列或顺序分配给人员来进行，从而指示何时和/或以什么顺序沿着网格在点处进行特定动作。这些网格动作可与特定的网格事件相关联，诸如指示故障、组件磨损或失效、和/或泄漏或达到特定寿命或使用阈值的网格组件的特定网格参数。每个网格动作具有与其相关联的多个对应变量，其可被表示为索引中的维度以及任选子维度。维度包括从事件的检测到对该事件应用动作的离散数量的时间范围，并且还可包括“不做任何事情”选项，其中可不应用动作。可存在与动作对应的子维度，诸如对网格事件的严重性的响应，进行动作所涉及的特定资源，或动作最终通过自动排队的资源应用于网格的时段，或者可能被控制并影响网格动作的有效性的其他此类子变量。

基于围绕动作的空间和时间不确定性，在步骤402中构建实验单位。接收时间和空间不确定性以及任选其他变量(例如与这些网格动作相关联的特定网格事件类型或在应用此类网格动作期间受影响的与标记的网格动作相关联的网格参数)，并且将其用于确定时间周期和空间区域，在此期间网格动作将相对于彼此对网格的效应而混淆接收到的数据。对于诸如设备更换或修理之类的人机回圈动作，可能需要长时间的不确定性来收集与特定决策相关联的长期结果有关的数据。

与自动化直接控制网格动作一样，时间和空间不确定性本身可通过实验通过以下方式得到：对识别的机会保持动作恒定，但是改变不确定性，该不确定性用于指导排除可能的混淆并且/或者确定数据与特定网格动作相关联的边界，以确定其对网格行为的效应。

在步骤404中识别对人机回圈网格动作进行改变的机会。可通过以下方式来限定选择人机回圈网格动作的机会：接收网格参数的传感器测量，并将分类器应用于这些测量或分析这些测量以识别网格事件，或者从网格元件接收与其寿命或磨损状况有关的通知，或指示存在网格事件(诸如人类操作者的输入)的其他通信。用于从网格参数测量确定网格事件的分类器可对传感器数据指示的特定网格事件的严重性以及存在进行分类。响应于该事件的网格动作，例如调度维护工作人员检查电网上的故障局部变压器，或将维护工作人员调度到特定严重性分类的泄漏。当前实验单位也用于识别对人机回圈网格动作进行改变的机会。正在进行的实验单位创建了空间区域和时间周期，在该空间区域和时间周期内机会可能不存在或者可能受限于可进行的试验以消除新试验和正在进行的试验彼此混淆的可能性。正在进行的实验单位可防止将检测到的事件分类为对人机回圈网格动作进行改变的机会，或者可将网格动作的后续分配以及相关联的变量和子变量约束于所识别的机会。由实验单位围绕检测到的事件创建的约束可与所识别的机会相关联，例如作为附属于机会识别的元数据，其影响在步骤406中的分配的可能性。

在步骤406中人机回圈网格动作被分配给识别的机会。该分配可包括网格动作的选择，要执行网格动作的时间周期，以及特定相关联的子变量具有该动作的机会。选择根据实验设计创建试验。实验设计可包括例如随机试验、拉丁方和部分拉丁方设计、适应性设计或匹配对照研究。单独机会的选择是通过随机化进行的，可基于关于网格动作、相关联的变量和/或子变量的结果的当前实验数据基于实验设计的需要、过去的样本和/或结果的预测来约束该随机化。

与机会相关联的约束可用于限制可能为机会选择的可能变化。约束例如作为与识别的机会相关联的元数据来接收。该约束可通过例如消除对事件的一组潜在响应来限制可能的变化，其中该组潜在响应将混淆其空间和时间不确定性与机会的空间和时间不确定性重叠的正在进行的实验单位的试验；或者可通过排除影响在可能重叠的正在进行的实验单位中测试的相关联的变量或子变量的选择网格动作来限制特定相关联变量或子变量间的混淆。

选择可基于事件的严重性以及事件的类型，并且在选择过程期间可能会非常不同地处理类型相似但严重性不同的事件。用于从传感器数据识别事件的分类器可包括用于特定类型的事件(例如气体或水网上的泄漏)的多个或分层分类器，其具有确定事件的严重性水平的能力。严重性水平可就现有的人类开发的风险分类结构而言，诸如气体网上的1类、2类和3类泄漏。每个严重性水平分类可被视为具有其自身测试响应时间范围的不同网格动作，并且可对其中解决特定类别或严重性的网格事件的响应时间的可允许范围具有其自身的约束。

实验设计可以是适应性设计，并且/或者可平衡对不同变量的有效性的探索，其中通过基于每个可能的选择的可能结果约束随机化来利用关于这些变量的有效性的当前数据。这可例如通过概率匹配来进行，其中将对于机会的特定可能选择的网格参数或目标函数输出的当前评价值和置信区间进行比较。在网格参数是所使用的数据的情况下，将这些平均值和置信区间输入到目标函数中，以确定对于网格动作的该特定选择以及任选相关联变量和子变量可预期的值的范围。用于每个选择的置信区间和平均值的重叠用于计算每个选择产生最高目标函数输出值的可能性，并且将每个潜在选择的可能性用作特定选择是为机会选择并分配给其的选择的可能性。

所选择的人机回圈网格动作被分配给队列顺序并分发给网格维护资源和人员。根据所选择的网格动作及其必须实现的时间周期构建队列顺序，按顺序分配每个选择的动作。每个动作的时间和位置都用于计算在队列中进行该动作及其后续动作的时间周期，并且用于创建有时指导完成所选择的网格动作的队列顺序的这些时间与所选择的时间周期一致。从所选择的网格动作、时间周期以及任选相关联的变量和子变量创建队列顺序也可受到事件的人为定义的风险等价阶层的约束，该事件可为人类产生的(例如通过人与专家系统的接口)，并且存储在数据库中。例如，在气体网上，可存在四个阶层，1类泄漏、2类泄漏、3类泄漏、以及调查异常压力变化。在这些情况下，1类泄漏阶层可比其他阶层更为优先，从而确保将分类为1类泄漏的任何动作处理事件先于处理所有其他阶层的所选择动作放置在队列顺序中，确保根据阶层将资源调度到排队的事件和网格动作，这可减轻动作排队变化以及改变响应时间和顺序的风险。

该队列顺序通过自动电子通信手段(诸如电子邮件或文本消息、或调度应用程序或工具的消息)分发给网格维护人员。分发可能是连续的，因为按照定期的间隔发生事件，分发当前版本的队列顺序。

在步骤408中收集关于所选择的人机回圈网格动作的有效性的数据。数据由测量一个或多个网格参数的网格传感器收集。这些传感器至少在针对特定网格动作限定的实验单位内收集数据，并且该数据与该网格动作及其伴随的变量相关联，诸如从事件检测到实际应用人机回圈网格动作的时间，以及子变量诸如检测到的事件的严重性，或者用以进行动作的调度到事件的特定资源。结果数据可以是收集的网格参数数据本身，例如来自网格的电力质量数据，或者使用网格参数数据输出目标函数以计算人机回圈网格动作的结果的有效性度量，例如在电网上通过基于多个网格参数来计算加权目标值的函数，所述网格参数例如电力质量的改进、可用电力的水平，以及电网上检测到的故障之间的时间。

在步骤410中更新干预有效性数据的数据库。数据通过收集数据的实验单位与特定的单独网格动作相关联。基于网格动作，并且所选择的变量水平以及从该人机回圈网格动作的应用到所识别的机会的任何子变量的知识是已知的，并且与特定网格动作相关联的收集的数据可作为样本添加到变量的结果数据集中，并且任选地被添加到该特定网格动作的子变量中，包括例如对于基于分类器和指示事件的数据的事件的特定严重性分类，响应于所检测到的网格事件实现动作的时间帧。这些更新通过以下方式进行：更新每个对应变量和子变量的数据集的平均值和置信区间，将新样本添加到每个变量的数据集中并基于该数据重新计算平均值，以及在添加该新样本后，根据数据的样本量重新计算这些平均值周围的置信区间。通过选择步骤406，可通过该示例性方法的附加迭代来进一步改进和利用该数据库。