用于技术系统的计算机辅助控制和/或调节的方法
【技术领域】
[0001] 本发明涉及用于技术系统的计算机辅助控制和/或调节的方法以及相应的计算 机程序产品。
【背景技术】
[0002] 为了控制或调节技术系统从现有技术中已知不同的计算机辅助方法。这些方法针 对技术系统的当前状态说明：应在技术系统上实施哪种动作。状态在此通过多个状态变量 来描述并且动作通过多个动作变量来描述。除了简单的基于表格的调节器一一这些调节器 通过表格给技术系统的状态分配相应的动作一一也存在以下调节器，这些调节器的动作选 择规则利用机器学习方法、例如基于递归神经网络来学习。这种调节器的应用情况是燃气 涡轮机，以便优化涡轮机的参数，诸如效率、燃烧室动力学、有害物质排放。该调节器的另一 应用情况是控制风力涡轮机，其中在该情况下优化例如磨损和效率。
[0003] 为了实现机器学习的动作选择规则需要训练数据，所述训练数据针对多个状态和 在这些状态中执行的动作指定相应的后续状态。为了生成新的训练数据需要技术系统在仍 未知的状态中运行。但是在此应确保：这些新状态不干扰或强烈恶化技术系统的运行并且 尤其不导致技术系统的故障。
【发明内容】
[0004] 因此本发明的任务是提供用于控制和/或调节技术系统的方法，利用该方法可以 探索技术系统的新状态，而不妨碍技术系统的运行。
[0005] 该任务通过独立权利要求来解决。本发明的改进方案在从属权利要求中限定。
[0006] 根据本发明的方法用于控制和/或调节技术系统，其中控制和/或调节在相应时 间点在技术系统处根据技术系统的分别包括一个或多个状态变量的一个或多个状态来实 施包括一个或多个动作变量的动作。
[0007] 在根据本发明的方法的范围中，在步骤a)中预先给定的调节方法在相应时间点根 据至少技术系统在该相应时间点的状态（即必要时也根据在更早时间点的状态）确定要在 技术系统处实施的第一动作。
[0008] 根据步骤b)，至少一种探索规则根据至少技术系统在该相应时间点的状态来确定 一个或多个要在技术系统处实施的第二动作。在多个探索规则的情况下每个探索规则单独 地确定第二动作。这些探索规则可以是任意被规定的并且下面提供这样的规则的示例。根 据该探索规则，按照确定的标准来规定第二动作，利用这些第二动作来达到技术系统的状 ??τ O
[0009] 在步骤c)中，基于技术系统的仿真模型针对每个第二动作预测技术系统的由此产 生的后续状态的集合。这种仿真模型本身从现有技术中已知。后续状态的集合的概念应 宽泛地来理解并且必要时也可以仅包括在如下时间点的后续状态，该时间点直接跟随相应 (当前）时间点。但是，后续状态的集合优选地包括多个未来的后续状态。这些后续状态例 如可以针对预先确定的未来的时间间隔利用仿真模型来预测。
[0010] 在步骤d)中针对在步骤C)中预测的后续状态的每个集合来检验：后续状态的相 应集合是否满足预先给定的阈值标准，该阈值标准针对后续状态的相应集合的状态变量的 至少一部分规定要遵守的阈值。
[0011] 如果在步骤e)中后续状态的一个或多个集合满足该阈值标准，则给预先给定的调 节方法输送第二动作，对于该第二动作来说后续状态的所预测的集合满足该阈值标准。只 要存在多个这种第二动作，则又可以规定相应的标准，利用这些标准指定这些第二动作中 的哪些被输送给调节方法。如果状态空间的探索处于中心地位，则优选地给调节方法输送 以下第二动作，这些第二动作的后续状态位于相应阈值的附近。如果技术系统的运行的安 全性处于中心地位，则更合适地给调节方法输送如下第二动作，这些第二动作的后续状态 远离阈值标准的相应阈值。最终，预先给定的调节方法作为动作在技术系统处实施所输送 的第二动作而不是第一动作或者与第二动作组合地实施在步骤a)中确定的第一动作。
[0012] 根据本发明的方法使得能够在技术系统的所调节或所控制的运行中实现探索规 贝1J，其中同时通过规定经由仿真模型预测的后续状态的状态变量的相应阈值来确保：不负 面地影响技术系统的运行并且因此在技术系统的运行的范围内不可察觉地达到新状态。由 此基于新状态利用在这些状态中实施的动作以及后续状态来生成新训练数据，这些训练数 据可以在稍后的时间点被用于仿真方法或调节方法的机器学习。在技术系统的运行中在步 骤e)中实施的动作因此与相应状态和实际得出的后续状态相组合地被存储或输出。
[0013] 根据设计方案，可以在后续状态的集合中没有一个在步骤e)中满足阈值标准的情 况下引入确定的措施。在一种情况下预先给定的调节方法实施在步骤a)中确定的第一动 作。同样可以确定一个或多个所修改的动作，针对这些动作执行上述步骤c)至e)。如何 确定所修改的第二动作的标准可以是任意规定的。例如可以指定百分比，利用该百分比来 更改在步骤b)中原始确定的第二动作。在另一变型方案中再次执行方法的步骤b)至e)。 这例如当探索规则是随机的并且针对相同的状态并不总是确定相同的第二动作时或者当 在再次实施步骤b)至e)的情况下使用其它的探索规则时是有意义的。
[0014] 在一种特别优选的实施方式中，在步骤b)中确定的第二动作是在步骤a)中确定 的第一动作的变化。在此，在步骤e)中在技术系统处作为动作实施借助于所输送的第二动 作的变化来变更的第一动作。状态空间的探索因此根据偏移调节的类型来实现，该偏移调 节必要时改变相应的第一动作。然而也存在以下可能性，即第二动作被定义，使得第二动作 在使用时代替第一动作。
[0015] 在根据本发明的方法的另一设计方案中，阈值标准针对后续状态的状态变量的至 少一部分来说明相应值范围，这些状态变量的值必须位于所述值范围内。值范围在此可以 绝对地规定，但是必要时也可以取决于后续状态的状态变量的值并且尤其定义与这些值的 百分比偏差。
[0016] 如上面已经提到的，至少一种探索规则可以根据所述方法的设计方案不同地来规 定。所述至少一种探索规则尤其可以包括下列规则中的一种或多种： -随机选择第二动作的规则； -基于专家知识的规则； -ε贪心规则。
[0017] 同样可以使用在出版物[1]和[3]中描述的探索规则。
[0018] 在根据本发明的方法的另一设计方案中，仿真模型利用机器学习方法来学习并且 尤其基于所学习的神经网络、优选地递归神经网络。这种仿真模型从现有技术中充分已知 (参见例如出版物[4])。
[0019] 在本发明的范围中使用的预先给定的调节方法可以任意地来设计。在这种情况下 尤其使用本身已知的调节方法。预先给定的调节方法优选地是下列方法之一： -基于表格的调节方法，在该方法中借助于表格将技术系统的相应状态分配给第一动 作； -利用机器学习方法学习的动作选择规则，例如基于出版物[4]的方法； -由基于表格的调节方法和利用机器学习方法所学习的动作选择规则组成的组合，其 中动作选择规则优选地说明利用基于表格的调节方法来确定的动作的变化并且第一动作 优选地是基于表格的调节方法的借助于该变化来变更的动作。
[0020] 根据本发明的方法尤其适于控制或调节燃气涡轮机和/或风力涡轮机。在此，燃 气涡轮机的状态优选地包括下列状态变量中的一个或多个： -燃气涡轮机处的一个或多个部位处的温度和/或压力，尤其环境温度和/或环境压 力和/或压缩机温度和/或压缩机压力和/或燃烧室中的温度和/或燃烧室中的压力； -燃气涡轮机处的一个或多个部位处的空气湿度； -燃气涡轮机中的燃烧室加速度； -燃气涡轮机的有害物质排放，尤其氮氧化物排放； -通过燃气涡轮机产生的功率。
[0021] 在燃气涡轮机的情况下，要在燃气涡轮机处实施的第一动作和/或第二动作的一 个动作变量或多个动作变量优选地包括一个或多个燃料喷嘴的设定的改变和/或一个或 多