储层开发计划的基于markov决策过程的决策支持工具的制作方法

专利名称：储层开发计划的基于markov决策过程的决策支持工具的制作方法
技术领域：
本发明通常涉及油气生产，并且具体涉及考虑不确定性的储层开发计划。
背景技术：
开发和管理石油资源通常需要多年的大量经济投资，同时期待收到对应的大量财 政回报。石油储层是产生利润还是亏损主要取决于为储层开发和管理实施的策略和战略。 储层开发计划包括策划和/或选择长期产生有利经济结果的强有力的策略和战略。储层开发计划可包括做出涉及例如生产平台的规模、计时(timing)和位置以及 后来的扩展和连接的决策。关键决策可包括平台数量、位置、分配，以及在每个油田中的钻 井和完井的计时。钻后决策可以包括确定多井的产出率分配。任何一个决策或行为可能具 有系统范围的影响，例如通过石油操作或储层传播积极或消极影响。考虑到仅仅是面对石 油资源管理人员的许多决策中有代表性的一小部分的储层开发计划的上述方面，人们可以 认识到计划的价值和影响。基于计算机的建模对储层开发计划具有显著潜力，特别是与先进数学技术结合 时。基于计算机的计划工具支持做出优良的决策。一类计划工具包括基于处理各种信息输 入识别针对一组决策的最优解决方案的方法。例如，示例性优化模型可以朝着找到从具有 定义的一组约束的已知可能中产生最佳产出的解决方案的方向运转。因此，石油操作可以 通过适当应用用于优化石油资源开发计划和管理的优化模型实现大的经济利益，特别是那 些涉及针对多年的多个油或气田做出决策的模型。在此使用的术语“最优的”、“进行优化”、“使优化”、“最优性”、“优化”(以及派生词
和这些术语的其它形式，以及语言学上相关的单词和短语)并非要在要求本发明寻找最佳 解决方案或做出最佳决策方面起限制性的作用。尽管数学上最优的解决方案事实上可以获 得所有数学上可获得的可能性中的最佳可能性，但优化例程、方法、模型和过程的真实世界 实施例可能朝着这样的目标运转而不曾真实地实现完美。因此，本领域技术人员在受益于 本公开的情况下将理解这些术语在本发明范围的背景下是是更通用的。这些术语可描述朝 着一个解决方案运转，该解决方案可能是最佳可获得的解决方案、优选解决方案或在约束 范围内提供特定益处的解决方案；或持续改善的解决方案；或细化的解决方案；或搜索目 标的高点或最大值的解决方案；或处理从而减少罚函数(penalty function)的解决方案；等等。在某些示例性实施例中，优化模型可以是函数和方程的代数系统，包含(1)可能 限于具体域范围的连续变化或整数变化的决策变量，(2)基于输入数据(参数)和决策变量的约束方程，其限制变量在指定条件集内的活动，所述条件集限定解决的优化问题的可 行性，和/或(3)基于输入数据(参数)和决策变量的目标函数，通过最大化目标函数或最 小化目标函数来优化目标函数。在某些变化中，优化模型可包括不可微分、黑盒与其它非代 数函数或方程。典型的(确定性的)数学优化问题包括受到关于问题变量的一组约束的某个目 标函数的最小化或最大化。这些问题可经常公式化为动态(Dynamic)规划(DP)问题。在 DP问题中，决策时间范围(timehorizon)被划分成一组“阶段”，并且系统处于若干“状态” 中的一个。它可有助于使DP问题可视化为X-Y坐标系，其中x轴用“阶段”表示，而y轴用 “状态”表示。在每个“阶段”，决策者采取导致系统从一个阶段的一个状态转为在下个阶段 的不同状态的“行动”或决策。在一类DP问题中，目标函数可以最小化以确定总成本，或者 可以最大化以确定遍及整个计划范围内的总收入。在系统转换前，在每个阶段基于选择的 决策和当前状态获得成本/收入。假设成本函数在整个阶段内可分离，而且系统是马尔可 夫模型(Markovian)；即，系统转换至阶段n+1的状态仅取决于它在阶段n的状态和在阶段 n采取的行为。动态规划可表示为(S，A，R)，其中S是状态空间，A(s)是在状态s可采取的行为 的集合，R(s，a)是在状态s选择行为a的收益。动态规划作被公式化为如下所示的递归优 化问题1.对于 n = 1，2，3， ，N， 「ooi 21 a = min[c(s,a) +
LJ 扈
a,2 其中3. fi (s)=在阶段n中给定状态s的最优花费成本 (cost-to-go)函数4.c(s, a)=在状态s中选择行为a的成本5. f(s,a)=转换函数，其在给定系统处于阶段n中的状态s中并选择行为a的情 况下确定在阶段n+1中的状态。假设最终收益位(s)已知。动态规划的目标是找到总(S0)，其中sQ是系统初始 状态。当时间范围有限时，可以使用后向递归求解动态规划。然而，当时间范围无限时，可 使用例如值/策略迭代等算法求解动态规划。求解数学优化问题可包含寻找决策变量的值，以满足全部约束，其中通过改变变 量值而仍旧保持关于全部约束的可行性来改善目标函数的值在数学上基本不可能。在问题 的“已知”固定参数中的一些实际上不确定时，做出决策的一种通用方法是忽略不确定性并 将问题作为确定性优化问题建模。然而，确定性优化问题的解决方案可以是次优化的，或可 能甚至是不可行的，尤其是在问题参数的取值最终不同于被选择用作求解的优化模型的输 入的那些值的情况下。储层开发计划的优化处理可能是挑战性的，即使假设储层和地面设施的经济情况 和动态完全已知。通常，大量软硬约束适用于甚至更大数量的决策变量。实际上，然而，储 层动态、经济情况和/或决策过程的其他组成部分中存在使优化处理复杂化的不确定性。

发明内容
传统储层开发计划技术通常无法适当考虑这样的不确定性。在与开发计划有关 的信息和因素中，不确定性通常是固有的。即，优化问题的输入(和或许问题的数学建模) 含有不确定性。不确定性可视作非确定性的或经过推理(a priori)保持未知的特征或方 面。应用计算机编程以对石油资源的开发和管理作决策支持的常规途径不对这种不确定性 作充分全面的了解。当前，对储层动态、经济或决策过程的其它部分中的不确定性的考虑通常降至数 量非常有限的情形，例如由“高边”情形、“最可能”情形以及“低边”情形所表示的不确定 性。例如，储层动态中的不确定性对于上述三种情形中的每种情形通常通过在不确定性空 间内对随机点采样而降到已知值。在此使用的术语“不确定性空间”通常指与求解中的问 题有关的不确定性的表示，例如针对输入到优化例程的数据的集体不确定性。基于不确定性空间的有限采样，一个值被分配给“高边”情形、“最可能”情形和“低 边”情形。通常针对具体情形优化决策通常针对“最可能”情形，并随后针对剩余的两种情 形评估决策以提供可接受的风险等级。然而，此途径完全低估了不确定性的复杂性，并且会 导致次优化的或与某些其它尚未确认的解决方案相比更不利的解决方案。基于前面的讨论，本领域显然需要有助于储层开发计划和/或可提供与储层开发 和资源管理有关的决策支持的改善型工具。进一步存在对可以针对计划或决策支持考虑宽 范围不确定性的工具的需求。进一步存在对在用来产生计划或决策支持的模型内系统地处 理不确定数据的工具的需求。进一步存在对可以操纵与产生储层开发计划或决策支持有关 的全部不确定性空间的工具的需要。进一步存在对一种工具的需求，其中数据中的固有不 确定性直接并入决策优化模型中，由此获得与不确定性的各种实现中的决策有关的权衡， 并因此在做出关于石油和/或天然气储层开发计划的决策时可获得更好的信息。本领域需 求的上述讨论意指代表性的而非详尽。满足一个或更多这种需要或者克服该领域中某些其 它相关缺点的技术将有益于储层开发计划，例如提供用于更有效且更有利地开发和管理储 层的决策或计划。本发明支持做出决策、计划、策略和/或战略用于开发和管理石油资源，例如石油 储层。在本发明的一方面，基于计算机或基于软件的方法可提供与开发一个或更多石油 储层有关的决策支持。例如，该方法可基于与储层和/或操作有关的输入数据产生储层开 发计划。这种输入数据可包含未知或不确定的流体动力学、储层尺寸、当前开发状态、当前 和预计油价、钻探成本、钻井(rig time)时间的每小时成本、地质数据、资本成本、当前和预 计可用资源(人力、财政、设备等等)以及规章环境，以列出少量有代表性的可能数据。输 入数据可具有不确定性。更具体地，输入数据的每个元素可具有不确定性的相关级别、量或 表示。输入数据中的一些可以是具有高级不确定性的已知数据(例如钻井时间的当前成 本)，而其它输入数据可具有各种程度的不确定性。例如，未来钻井时间成本的不确定性可 随着投入未来的时间量的增加而增加。即，开发计划第五年的钻井时间成本的不确定性将 可能比第二年的钻井时间成本的不确定性更高。输入数据的集合不确定性可定义不确定性 空间。软件例程可通过处理输入数据和考虑不确定性空间产生储层开发计划，例如通过应用基于Markov决策过程的例程。例如，产生储层开发计划可包含输出计划的某方面、做出 与生成或改变计划有关的确定或做出关于一个或更多决策的推荐，该决策与储层开发计划
或管理有关。在一个通常方面，储层开发计划的方法包括接收与储层开发有关的数据。通过计 算机实现的基于Markov决策过程的模型处理接收的数据。储层开发计划响应通过计算机 实施的基于Markov决策过程的模型处理接收的数据而生成。该方面的实施可包括一个或更多以下特性。例如，储层开发计划可以根据与接收 的数据关联的不确定性空间生成。计算机实施的基于Markov决策过程的模型可以包括基 于接收的数据和不确定性空间优化储层开发计划的至少某个方面。接收数据可包括接收已 知数据参数和不确定的数据参数。通过计算机实施的基于Markov决策过程的模型处理接 收的数据可包括利用并入不确定数据参数的基于Markov决策过程的模型处理所述数据。 不确定性空间可能与接收的数据有关。通过计算机实施的基于Markov决策过程的模型处 理接收的数据可包括整体考虑不确定性空间。基于Markov决策过程的模型可包括多个阶 段、每个阶段中的多个状态和/或包括多个转换概率，每个阶段都代表时间上不连续的步 幅，每个状态代表储层开发计划的潜在状态。每个转换概率都代表数据中的不确定性，并且 每个转换概率由储层开发计划的当前状态和要采取的决策来确定。未来状态根据转换概率 确定。在基于Markov决策过程的模型内的多个阶段中的每个阶段，允许决策者采取一个或 更多纠正决策。在另一通常方面中，储层开发计划的方法包括接收与储层开发计划有关的数据， 其中不确定性与数据有关。响应利用并入不确定性的基于计算机的优化模型处理接收的数 据，产生储层开发计划的至少某部分。在不确定性随时间逐渐显露时，采取一个或更多纠正 决策。该方面的实施可包括一个或更多以下特性。例如，基于计算机的优化模型可以是 基于Markov决策过程的模型。不确定性可通过获得不确定性的多种实现之间的权衡并入 基于Markov决策过程的模型中。响应使用并入不确定性的基于计算机的优化模型处理接 收的数据，产生储层开发计划的至少某部分可包括实现整个不确定性空间中的优化问题的 可行性。响应使用并入不确定性的基于计算机的优化模型处理接收的数据，产生储层开发 计划的至少某部分可包括系统地处理基于Markov决策过程的模型内的不确定性数据。在另一通常方面，关于石油资源开发的决策支持的方法包括接收与开发石油储层 的决策有关的多个数据元素，其中不确定性的相应特征与数据元素中的每个数据元素有 关。响应使用基于计算机的基于Markov决策过程的模型处理每个数据元素和不确定性的 相应特征中的每个，输出对决策的建议。基于Markov决策过程的模型包含不确定性的相应 特征中的每个。使用基于计算机的基于Markov决策过程的模型处理数据元素中的每个和 不确定性的相应特征中的每个可包括覆盖不确定性空间。在另一通常方面，基于计算机优化储层开发计划的方法包括提供包含不确定性的 输入数据。储层的第一模拟采用储层或地面设施动态的高保真度模型利用输入数据生成， 其中第一模拟生成第一高保真度输出数据。储层或地面设施动态的低保真度模型使用输入 数据和第一高保真度输出数据生成，其中低保真度模型生成预测。储层开发计划模型利用 输入数据和储层或地面设施动态的低保真度模型进行优化，其中储层开发计划模型生成储
8层开发计划输出数据。储层开发计划模型包括基于Markov决策过程的模型。储层的第二模 拟采用储层或地面设施动态的高保真度模型利用输入数据和储层开发计划输出数据执行， 其中第二模拟生成第二高保真度输出数据。第二高保真度输出数据与低保真度模型的预测 比较。重复生成储层或地面设施动态的低保真度模型、优化储层开发计划模型、使用储层或 地面设施动态的高保真度模型执行储层的第二模拟以及比较第二高保真度输出数据与低 保真度模型的预测的步骤，直到第二高保真度输出数据与低保真度模型的预测基本一致。该方面的实施可包括一个或更多以下特性。例如，可响应第二高保真度输出数据 与低保真度模型的预测基本一致，生成开发计划。与基于Markov决策过程的模型接口的求 解例程可帮助基于Markov决策过程的模型优化储层开发计划。基于Markov决策过程的模 型可包括有助于优化储层开发计划的求解例程。在另一通常方面中，从地下储层生产碳氢化合物的方法包括基于输入数据生成储 层开发计划系统。储层开发计划系统根据不确定性空间被优化，其中储层开发计划系统利 用基于Markov决策过程的模型被优化。根据被优化的储层开发计划系统的输出，从储层产 生碳氢化合物。输入数据可包括确定性分量和非确定性分量。根据不确定性空间优化储层 开发计划系统可包括使用基于Markov决策过程的模型考虑非确定性分量中的每个。基于 Markov决策过程的模型可并入输入数据的不确定性。不确定性空间可指定输入数据的固 有不确定性。储层开发计划系统可包括具有低保真度储层模型和高保真度储层模型的基于 Markov决策过程的模型。高保真度模型可从基于Markov决策过程的模型接受一个或更多 参数输入数据，并向基于Markov决策过程的模型提供一个或更多储层或地面设施性质输 入数据。储层开发计划系统可使用高保真度模型模拟储层的操作；以及使用低保真度模型 模拟储层的操作而被优化。该发明内容中的储层开发的决策支持工具的讨论仅用于说明的目的。可以从公 开实施例的以下详细描述并参考下面附图和权利要求更清楚理解和认识本发明的各方面。 此外，对于本领域技术人员来说，查看以下附图和详细描述后，本发明的其它方面、系统、方 法、特性、优点和目标将是显而易见的。所有这样的方面、系统、方法、特性、优点和目标都将 包含在此说明书中、将属于本发明的范围，并由所附权利要求来保护。


图1是根据本发明某些示例性实施例的基于Markov决策过程的模型的图解，该模 型代表与在若干步骤中求解的储层模型的数据有关的不确定性和不确定性随时间的求解。图2是根据本发明某些示例性实施例的包括定义多个节点的网格的三维储层模 型的图解。图3是根据本发明某些示例性实施例模拟图2的储层模型的操作的储层模拟器的 流程图解。图4是根据示例性实施例表示储层区域的不确定生产剖面的离散概率分布的图表。图5是根据示例性实施例代表储层的三种可能状况的生产剖面的图表。图6是根据本发明某些示例性实施例的基于Markov决策过程的储层开发计划系 统的示意图解。
图7是根据本发明某些示例性实施例的操作图6的基于Markov决策过程的储层 开发计划系统的方法的流程图解。可参照上述附图更好地理解本发明的许多方面。附图中示出的元素和特性未必成 比例绘制，相反重点是要清楚地说明本发明示例性实施例的原理。在附图中，参考标记指代 所有图形中相似或对应的元素，但不必需相同。
具体实施例方式本发明示范实施例支持在不确定参数的详情仍未知时做出关于储层开发计划的 决策。不确定参数随时间逐渐显露，并且决策可能需要在将可用信息并入到决策过程的同 时每隔一段时间做出。这些不确定性及其随时间的演变可直接在作为基于Markov决策过 程模型的优化模型内考虑，该模型另称为随机动态规划模型(“SDP”)。在示例性实施例中， 基于Markov决策过程的模型系统地处理所有不确定数据。不确定性由将进一步讨论的控 制阶段之间转换的转换概率来表示。这样的范例允许产生覆盖不确定性空间、仍旧可行的、 灵活且鲁棒的解决方案，并允许在输入数据中的不确定性的最优性和随机性之间做出权衡 以反映决策者的风险态度。基于Markov决策过程的模型不仅将不确定性表示并入到优化模型中并针对所有 情形明确评估解决方案的表现，还并入决策者在真实世界中的灵活性以基于随时间推移获 得的新信息来调节决策。决策者将能够基于此新信息做出纠正的决策/行为。此特性允许 生成更灵活且实际的解决方案。另外，此模型易于并入状态方程的黑盒函数，并允许使用复 杂的条件转换概率。在某些示例性实施例中，基于Markov决策过程的建模提供储层开发计划的途径， 并有效处理不确定性。基于Markov决策过程的建模的一个示例性实施例利用已知或可估 计支配储层开发计划数据的概率分布的事实。在一些实施例中，基于Markov决策过程的建 模可用来寻找对全部或接近全部的可能数据实例可行的策略，并且最大化决策和随机变量 的某一函数的期望值。本发明可以以多种形式实施，并且不应解释为限于本文阐述的实施例；相反，提供 这些实施例是为了使本公开是详尽且完整的，并向本领域技术人员全面地告知本发明的范 畴。此外，除了受到本发明的表述支持以外，本文给出的全部“示例”或“示例性实施例”意 指不受限的。将参照图1-6详细描述本发明的示例性实施例。图1是根据本发明的某些示例性 实施例的基于Markov决策过程的模型的图示说明，该模型代表与若干步骤中求解的储层 模型的数据有关的不确定性和不确定性随着时间的解。基于Markov决策过程的模型100 图示说明具有三个阶段110 (112、114和116)和每个阶段110的四个状态(122、124、126和 128)的模型。阶段110代表时间范围，状态120用来代表约束条件，行为(未示出)代表 决策变量，并且转换概率150是基于数据概率分布。这些转换概率代表数据中的不确定性。 尽管在此基于Markov决策过程的模型中图示说明三个阶段和四个状态，但是不偏离该示 例性实施例精神和范畴的任意数量的阶段和状态都是可能的。根据图1，在阶段T = 1112，系统可处于第一状态122、第二状态124、第三状态126 或第四状态128。在阶段T = 2114，系统可处于第五状态130、第六状态132、第七状态134
10或第八状态136。在阶段T = 3116，系统可处于第九状态138、第十状态140、第i^一状态 142或第十二状态144。图1示出当初始状态处于第一状态122时不确定性随着时间推移 的解。当系统初始状态处于阶段T = 1112和第一状态122时，系统可基于第一转换概 率152转换到第五状态130、基于第二转换概率154转换到第六状态132、基于第三转换概 率156转换到第七状态134，或基于第四转换概率158转换到第八状态136。转换概率150 基于将采取的计划的行为。另外，转换概率的数量等于阶段T = 2114的未来状态的数量。 转换概率范围可以从0%到100%。根据实施例中的某些实施例，转换概率大于零，但小于 一百。当系统的状态处于阶段T = 2114和第五状态130时，系统可基于第五转换概率 160转换到第九状态138、基于第六转换概率162转换到第十状态140、基于第七转换概率 164转换到第十一状态142，或基于第八转换概率166转换到第十二状态144。转换概率150 基于要采取的计划的行为。另外，转换概率的数量等于阶段T = 3116的未来状态的数量。 转换概率范围可以从0%到100%。根据实施例中的某些实施例，转换概率大于零，但小于 一百。然而，如果系统处于阶段T = 2114和第六状态132，则系统可基于第九转换概率 168转换到第九状态138、基于第十转换概率170转换到第十状态140、基于第十一转换概率 172转换到第十一状态142，或基于第十二转换概率174转换到第十二状态144。转换概率 150基于将采取的计划的行为。另外，转换概率的数量等于阶段T = 3116的未来状态的数 量。转换概率范围可以从0%到100%。根据实施例中的某些实施例，转换概率大于零，但 小于一百。因此，根据一个实施例，决策者的最终收益将处于阶段T = 3116和第九状态138。 如果决策者在阶段T= 1112和第一状态122开始，则决策者可以要求从阶段T= 1112的 第一状态122开始经阶段T = 2114的第五状态130行进至阶段T = 3116的第九状态138。 决策者认为某些行为将促进含有不确定性的基于转换概率150的进程。然而，由于不确定 性，决策者可以更改为从阶段T = 1112的第一状态122开始行进至阶段T = 2114的第六状 态132。在阶段T = 2114第六状态132，决策者可采取纠正行为，从而决策者可以尝试行进 到T = 3116的第九状态138。尽管提供了到达阶段T = 3116的第九状态138的两个示例， 但是可以获得到达T = 3116的第九状态138的最终收益的许多路径，而不背离示例性实施 例的范围和精神。另外，尽管最终收益被描述为阶段T = 3116的第九状态138，但是最终收 益可以是在任何未来阶段的任何其它状态，而不背离该示例性实施例的范围和精神。此外， 尽管已经示出第一状态122可前进到第九状态138，但是阶段T = 1122的任何初始状态都 可以基于采取的行为和转换概率前进到阶段T = 3116的任何最终状态。受不确定性影响的、基于Markov决策过程的模型的应用可包括投资、生产或开发 的长期计划，其中固定决策随着时间发生在各阶段中。因此，随着时间的推移，创建考虑更 多明确信息的机会。模型中的决策也可以包括与行为对应的决策，该行为可以恢复与不确 定性有关的信息。嵌入在基于Markov决策过程的模型中的追偿(recourse)允许决策者基 于获得的信息调节其决策或采取纠正的行为。在此使用的术语“追偿”指代在随机事件发 生后采取纠正行为的能力。通过导致鲁棒的、灵活的、更高价值的决策和真实世界中作出决策的真实模型的追偿，基于Markov决策过程的模型可提供更为优化的解决方案。图2是根据本发明某些示例性实施例的三维储层模型200的图示说明，该模型包 括定义多个节点204的网格206。储层模型200可用于模拟具有一个或更多垂直井202的 油和/或气储层的操作。如所示，储层模型200可由网格206分为多个节点204。网格206 代表单元格式的地质构造，从而支持根据网格206的对储层和地质信息的基于计算机的处 理。储层模型200的节点204可具有不一致的尺寸。该三维储层模型200可提供协同储层 模拟器使用的附加数据。图3是根据本发明某些示例性实施例模拟图2的储层模型200的操作的储层模拟 器300的流程图示说明。在示例性实施例中，模拟器300包含在计算机系统上执行的一组 指令。即，模拟器300包含在一台或一台以上计算机上运行的一个或更多软件程序。另外， 计算机可具有执行该模拟的一个或更多处理器。参考图2和图3，储层模拟器300模拟储层模型的操作，其中井管理302针对储层 模型200的井202和地面设施网络执行。井管理302在储层200中所有井202上执行，并 包括迭代过程304，其中雅可比构造(Jacobian construction)和流量计算306被执行，接 着执行线性求解308和一个或更多性质计算310。线性求解308和/或一个或更多性质计 算310在代表诸如网格206中的网点的压力和构成的大型数据阵列上执行。一旦针对储层模型200中的井202的迭代过程304完成且收敛，之后井202的数 据在结果/检查点I/O 312中生成。一旦井202的井管理302完成，可以针对整个储层模 型200的剩余井202执行井管理302，其中每个井202的结果在结果/检查点I/O 312中生 成。储层模拟器300可例如使用一台或一台以上通用计算机、专用计算机、模拟处理 器、数字处理器、中央处理器和/或分布式计算系统来实施。即，储层模拟器300可包含计 算机可执行指令或代码。储层模拟器300的输出可包含在图形用户界面(⑶I)上显示的结果、数据文件、在 介质例如光盘或磁盘上的数据、纸报告或传输给另一计算机或另一软件例程的信号(不是 详尽的清单)。储层模型200和储层模拟器300可用来模拟储层操作，由此允许对碳氢化合物储 层、井和相关地面设施中的流体、能量和/或气体流动的建模。储层模拟器300是储层优化 的一部分，此优化还包括构建准确表示储层的数据。示例性的模拟目标包含理解地层流动 模式，以优化自井202和地面设施的某个组合生产碳氢化合物的某些策略。模拟通常是费 时的迭代过程的部分，以在优化生产策略的同时降低关于特定储层模型描述的不确定性。 例如，储层模拟，是计算流体动力学模拟的一种。储层模型200和储层模拟器300可进一步用来优化对应储层、井和相关地面设施 的设计和操作。参考图4和5，图4是根据示例性实施例表示储层区域的不确定产出剖面 (production profile)的离散概率分布的图表，而图5是根据示例性实施例表示储层的三 种可能状况的产出剖面的图表。在概率分布连续的情况下，某种形式的采样技术包括但不 限于采样平均近似值，该采样技术用于将模型的不确定性离散化。根据图4中的不确定产 出剖面表400，低状况(L)410的概率是0.30，或30%，440。另外，中等或基础状况(M)420
12的概率是0. 40，或40%，450。此外，高状况(H) 430的概率是0. 30，或30%，460。图5图示 说明储层的三种可能的产油状况，低状况出油率(oil rate) 510、基础状况出油率520和高 状况出油率530。产出剖面表500中示出的数据利用储层模拟器中的任何储层模拟器生成。图6是根据本发明某些示例性实施例的基于Markov决策过程的储层开发计划系 统600的示意性图示说明。在示例性实施例中，储层开发计划系统600是计算机程序、基于 软件的引擎或计算模块。此外，图6的图形中每个图解的方块都可包含计算机程序、基于软 件的引擎或计算模块。因此，例如，可以使用一台或一台以上通用计算机、专用计算机、模拟 处理器、数字处理器、中央处理器单元和/或分布式计算系统来实施基于Markov决策过程 的储层开发计划系统600。基于Markov决策过程的储层开发计划系统600包括储层开发计划的一个或更多 基于Markov决策过程的模型602。储层开发计划的基于Markov决策过程的模型602是基 于Markov决策过程的模型，用于优化给定某种目标客观且受系统约束的情况下的开发计 划。另外，基于Markov决策过程的储层开发计划系统600可进一步包括输入数据的至 少一个源604、储层和/或地面设施动态的高保真度模型606，以及求解例程608。储层和 /或地面设施动态的高保真度模型606是高保真度模型，或储层模拟模型，或储层模拟模型 的集合，其中集合中的每个元素代表不确定性空间的一种可能的实现。高保真度模型也可 以仅是包含不确定性的一个储层模拟模型。高保真度模型用来在随后迭代中更新并调节储 层开发计划的基于Markov决策过程的模型602。当储层开发计划的基于Markov决策过程 的模型602可能在其约束方程的系统内含有储层和/或地面设施动态的高保真度模型606 的近似时，这种更新和调节提供改进(refinement)。包括在储层开发计划的基于Markov决 策过程的模型602内的低保真度模型提供储层和/或地面设施动态的高保真度模型606的 该近似。与高保真度模型的情况类似，低保真度模型可以是各低保真度模型的集合，以使每 个元素是高保真度模型的集合中元素的简化。可替换地，低保真度模型可作为包含不确定 性的单独模型存在。尽管在示例性实施例中针对高保真度模型和低保真度模型中的每种保 真度模型列举了两种形式，但是可针对这些模型中的每个设想其他形式与组合，而不背离 示例性实施例的范围和精神。储层开发计划的基于Markov决策过程的模型602可以自输入数据的源604接收 输入数据。输入数据可包括在一个或更多数据表、一个或更多数据库、通过计算机网络或互 联网提供的信息、人工录入、来自GUI的用户输入等中的数据项。在处理输入数据后，储层开发计划的基于Markov决策过程的模型602可提供输出 至研究中的储层的储层和/或地面设施动态的高保真度模型606。储层和/或地面设施动 态的高保真度模型606可进而提供返回储层开发计划的基于Markov决策过程的模型602 的输出数据。最终，储层开发计划的基于Markov决策过程的模型602可以与求解例程608 接口(interface) ο本示例性实施例提供基于Markov决策过程的储层开发计划系统600，其中与储 层有关的数据中的固有不确定性直接并入到储层开发计划的基于Markov决策过程的模型 602内。通过将数据中的不确定性并入到储层开发计划的基于Markov决策过程的模型602 内，可以获得与不确定性的各种实现中的决策有关的权衡，并且由此可以在做出关于石油和/或天然气储层开发计划的决策时利用更好的信息。通常，基于Markov决策过程的模型可以以解析或数字的方式被公式化、求解，并 经分析以向决策者提供有用信息。基于Markov决策过程的模型的诸多目标之一是在整 个计划范围内最小化预期成本或最大化预期收益，其中不确定性被并入到模型内。基于 Markov决策过程的模型或随机动态规划是动态规划的延伸，其中不确定性并入到优化模型 中。基于Markov决策过程的模型与动态规划模型类似，除了决定性转换函数由代表系统中 的不确定性的转换概率矩阵替代。因此，对于阶段η中的给定状态和行为，系统在阶段n+1 中的状态被概率性地建模。基于Markov决策过程的模型可表示为(S，A，P，R)，其中S是状 态空间，A(S)是状态s中可采取的行为的集合，P(s，s’，a)是给定行为a下系统将从状态s 转换为状态S’的概率，而R(s，a)是在状态s中选择行为a的收益。下面示出基于Markov 决策过程的模型的一般公式
权利要求
1.一种储层开发计划的方法，包含以下步骤 接收与储层开发相关的数据；通过计算机实现的基于Markov决策过程的模型处理接收的数据；以及 响应通过所述计算机实施的基于Markov决策过程的模型处理所述接收的数据而生成 储层开发计划。
2.根据权利要求1所述的方法，其中生成储层开发计划的步骤包含根据与所述接收的 数据关联的不确定性空间生成所述储层开发计划。
3.根据权利要求1所述的方法，其中所述计算机实施的基于Markov决策过程的模型包 含基于所述接收的数据和不确定性空间优化所述储层开发计划的至少某方面。
4.根据权利要求1所述的方法，其中接收数据的步骤包含接收已知的数据参数和不确 定的数据参数，并且其中通过所述计算机实施的基于Markov决策过程的模型处理所述接收的数据包括使 用并入所述不确定数据参数的基于Markov决策过程的模型处理所述数据。
5.根据权利要求1所述的方法，其中不确定性空间与所述接收的数据有关，并且 其中通过所述计算机实施的基于Markov决策过程的模型处理所述接收的数据包含整体考虑所述不确定性空间。
6.根据权利要求1所述的方法，其中所述基于Markov决策过程的模型包含 多个阶段，每个阶段表示时间上的不连续步幅；每个阶段中的多个状态，每个状态表示所述储层开发计划的潜在状态；以及 多个转换概率，每个转换概率表示所述数据中的不确定性，每个转换概率都由所述储 层开发计划的当前状态和将采取的决策来确定； 其中未来状态根据所述转换概率确定。
7.根据权利要求1所述的方法，其中允许决策者在所述基于Markov决策过程的模型内 的多个阶段中的每个阶段采取一个或更多纠正决策。
8.一种储层开发计划的方法，包含以下步骤接收与储层开发计划相关的数据，其中不确定性与所述数据有关； 使用并入不确定性的基于计算机的优化模型处理接收的数据； 响应使用并入不确定性的基于计算机的优化模型处理接收的数据而产生储层开发计 划的至少某部分；以及当所述不确定性随时间逐渐显露时，采取一个或更多纠正决策。
9.根据权利要求8所述的方法，其中所述基于计算机的优化模型是基于Markov决策过 程的模型。
10.根据权利要求9所述的方法，其中在所述基于Markov决策过程的模型中并入所述 不确定性包括在所述不确定性的多个实现中获得权衡。
11.根据权利要求8所述的方法，其中响应使用并入不确定性的基于计算机的优化模 型处理接收的数据而产生所述储层开发计划的至少某部分的步骤包括在整个不确定性空间实现优化问题的可行性。
12.根据权利要求8所述的方法，其中响应使用并入不确定性的基于计算机的优化模 型处理接收的数据而产生所述储层开发计划的至少某部分的步骤包括系统地处理所述基于Markov决策过程的模型内的不确定性数据。
13.一种关于石油资源开发的决策支持的方法，包含以下步骤接收关于决策的多个数据元素，所述决策与开发石油储层有关，其中不确定性的相应 特征与所述数据元素中的每个有关；以及响应使用基于计算机的基于Markov决策过程的模型处理所述数据元素中的每个和不 确定性的所述相应特征中的每个，输出对所述决策的建议。
14.根据权利要求13所述的方法，其中所述基于Markov决策过程的模型并入不确定性 的所述相应特征中的每个。
15.根据权利要求13所述的方法，其中使用所述基于计算机的基于Markov决策过程的 模型处理所述数据元素中的每个和不确定性的所述相应特征中的每个包含覆盖不确定性 空间。
16.一种优化储层开发计划的基于计算机的方法，其包含 提供并入不确定性的输入数据；使用储层或地面设施动态的高保真度模型利用所述输入数据生成所述储层的第一模 拟，其中所述第一模拟生成第一高保真度输出数据；使用所述输入数据和所述第一高保真度输出数据，生成储层或地面设施动态的低保真 度模型，其中所述低保真度模型生成预测；利用所述输入数据和储层或地面设施动态的所述低保真度模型优化储层开发计划模 型，其中所述储层开发计划模型生成储层开发计划输出数据，其中所述储层开发计划模型 包含基于Markov决策过程的模型；使用储层或地面设施动态的所述高保真度模型利用所述输入数据和所述储层开发计 划输出数据执行所述储层的第二模拟，其中所述第二模拟生成第二高保真度输出数据； 比较所述第二高保真度输出数据与所述低保真度模型的预测； 重复包含生成储层或地面设施动态的低保真度模型、优化储层开发计划模型、使用储 层或地面设施动态的所述高保真度模型执行所述储层的第二模拟以及比较所述第二高保 真度输出数据与所述低保真度模型的预测的步骤，直到所述第二高保真度输出数据与所述 低保真度模型的预测基本一致。
17.根据权利要求16所述的方法，进一步包含响应所述第二高保真度输出数据与所述低保真度模型的预测基本一致而生成开发计划。
18.根据权利要求16所述的方法，其中与所述基于Markov决策过程的模型接口的求解 例程帮助所述基于Markov决策过程的模型优化所述储层的开发计划。
19.根据权利要求16所述的方法，其中所述基于Markov决策过程的模型包含帮助优化 所述储层的开发计划的求解例程。
20.一种从地下储层生产碳氢化合物的方法，包含 基于输入数据生成储层开发计划系统；根据不确定性空间优化所述储层开发计划系统，其中所述储层开发计划系统使用基于 Markov决策过程的模型进行优化；以及根据来自优化的储层开发计划系统的输出从所述储层生产碳氢化合物。
21.根据权利要求20所述的方法，其中所述输入数据包含确定性分量和非确定性分量，并且其中根据所述不确定性空间优化所述储层开发计划系统的步骤包括 使用所述基于Markov决策过程的模型考虑每个所述非确定性分量。
22.根据权利要求20所述的方法，其中所述基于Markov决策过程的模型并入所述输入 数据的不确定性。
23.根据权利要求20所述的方法，其中所述不确定性空间指定所述输入数据的固有的 不确定性。
24.根据权利要求20所述的方法，其中所述储层开发计划系统包括 包含低保真度储层模型的基于Markov决策过程的模型；以及 高保真度储层模型，其中所述高保真度模型从所述基于Markov决策过程的模型接受一个或更多参数输入 数据，并向所述基于Markov决策过程的模型提供一个或更多储层或地面设施性质输入数 据。
25.根据权利要求20所述的方法，其中优化所述储层开发计划系统包括 使用高保真度模型模拟所述储层的操作；以及使用低保真度模型模拟所述储层的操作。
全文摘要
本发明涉及一种储层开发计划的基于Markov决策过程的支持工具，该工具可包含输入数据源、优化模型、模拟储层的高保真度模型，以及与优化模型接口的一个或更多求解例程。优化模型可考虑直接在优化模型内具有不确定性的未知参数。模型包含决策者在真实世界中具有的灵活性，并允许决策者基于新信息调节决策。模型可以系统地处理不确定数据，例如全面地或甚至考虑所有不确定数据。因此，优化模型可提供灵活或鲁棒的解决方案，该解决方案在不确定性空间内仍可行。一旦储层模型被优化，则可生成最终的开发计划。
文档编号G06F15/18GK102007485SQ200980113555
公开日2011年4月6日 申请日期2009年1月30日 优先权日2008年4月18日
发明者K·C·弗尔曼, V·戈尔 申请人:埃克森美孚上游研究公司