第一动作与动作a0相对应，该动作被提供给探索模块EM 并且在那里类似于先前所述的那样被处理。
[0037] 根据本发明的方法的先前所述的实施方式具有一系列优点。尤其在技术系统的被 调节的运行的范围中不可察觉地也实现技术系统的状态空间到新状态的探索。这些新状态 连同在其中所实施的动作以及后续状态因此扩展关于技术系统的数据的集合，这些数据可 以作为训练数据在相应方法中被用于技术系统的仿真模型或动作选择规则的学习。在探索 的范围中在此确保所述探索不导致技术系统的可能触发警告或警报的不期望的运行状态。 更确切地说，所述探索通过规定相应阈值被设计，使得该探索不可察觉地进行并且不负面 地影响技术系统的运行。
[0038] 文献目录：
【主权项】
1. 用于技术系统（T)的计算机辅助控制和/或调节的方法，其中所述控制和/或调节 在相应时间点在所述技术系统（T)处根据所述技术系统（T)的分别包括一个或多个状态变 量的一个或多个状态（X)来实施包括一个或多个动作变量的动作（a)，其中： a) 预先给定的调节方法（C01、C02)在相应时间点根据至少所述技术系统（T)在该相应 时间点的状态（X)确定要在所述技术系统（T)处实施的第一动作（al); b) 至少一种探索规则（EP)根据至少所述技术系统（T)在该相应时间点的状态（X)来 确定一个或多个要在所述技术系统（T)处实施的第二动作（a2); c )基于所述技术系统（T)的仿真模型（SM)针对每个第二动作（a2 )预测所述技术系统 (T)的由此产生的后续状态（X'）的集合； d) 针对后续状态（X'）的每个集合检验：后续状态（X'）的相应集合是否满足预先给定 的阈值标准，该阈值标准针对后续状态（X'）的相应集合的状态变量的至少一部分来规定要 遵守的阈值； e) 如果后续状态（X'）的一个或多个集合满足该阈值标准，则给所述预先给定的调节方 法（C01、C02)输送第二动作（a2)，对于该第二动作来说后续状态（X'）的所预测的集合满足 该阈值标准，紧接着所述预先给定的调节方法（C01、C02)作为动作在所述技术系统（T)处 实施所输送的第二动作（a2 )而不是所述第一动作（al)或者与所述第二动作（a2 )组合地实 施在步骤a)中确定的第一动作（al)。2. 根据权利要求1所述的方法，其中在后续状态（x'）的集合中没有一个在步骤e)中 满足所述阈值标准的情况下所述预先给定的调节方法（C01、C02)实施在步骤a)中确定的 第一动作（al)和/或确定一个或多个所修改的第二动作（a2)，针对所述所修改的第二动作 执行所述步骤c)至e)，和/或再次执行所述步骤b)至e)。3. 根据权利要求1或2所述的方法，其中在步骤b)中确定的第二动作（a2)分别是在 步骤a)中确定的第一动作（al)的变化并且在步骤e)中在所述技术系统（T)处作为动作 (a)实施借助于所输送的第二动作（a2)的变化来变更的第一动作（al)。4. 根据前述权利要求之一所述的方法，其中所述阈值标准针对所述后续状态（x'）的 状态变量的至少一部分说明相应值范围，这些状态变量的值必须位于所述值范围内。5. 根据权利要求4所述的方法，其特征在于，所述值范围取决于所述后续状态（X'）的 状态变量的值并且尤其定义与这些值的百分比偏差。6. 根据前述权利要求之一所述的方法，其中所述至少一种探索规则（EP)包括下列规 则中的一种或多种： -随机选择所述第二动作（a2)的规则； -基于专家知识的规则； -e贪心规则。7. 根据前述权利要求之一所述的方法，其中所述仿真模型（SM)利用机器学习方法来 学习并且尤其基于所学习的神经网络、优选地递归神经网络。8. 根据前述权利要求之一所述的方法，其中所述预先给定的调节方法是下列方法之 -基于表格的调节方法（C01)，在该调节方法中借助于表格将所述技术系统（T)的相 应状态（X)分配给第一动作（al); -利用机器学习方法所学习的动作选择规则（C02); -由基于表格的调节方法（COl)和利用机器学习方法所学习的动作选择规则（C02)组 成的组合，其中所述动作选择规则优选地说明利用所述基于表格的调节方法（COl)来确定 的动作（a0)的变化并且所述第一动作（al)优选地是所述基于表格的调节方法（COl)的借 助于该变化来变更的动作。9. 根据前述权利要求之一所述的方法，其中所述技术系统（T)是燃气涡轮机和/或风 力涡轮机。10. 根据权利要求9所述的方法，其中所述燃气涡轮机的状态（X)包括下列状态变量中 的一个或多个： -所述燃气涡轮机处的一个或多个部位处的温度和/或压力，尤其环境温度和/或环 境压力和/或压缩机温度和/或压缩机压力和/或燃烧室中的温度和/或燃烧室中的压 力； -所述燃气涡轮机处的一个或多个部位处的空气湿度； -所述燃气涡轮机中的燃烧室加速度； _所述燃气涡轮机的有害物质排放，尤其氮氧化物排放； -通过所述燃气涡轮机产生的功率。11. 根据权利要求9或10所述的方法，其中要在所述燃气涡轮机处实施的第一和/或 第二动作（a)的一个动作变量或多个动作变量包括一个或多个燃料喷嘴的设定的改变和/ 或一个或多个叶片的位置的改变和/或所述燃气涡轮机中的一个或多个冷却气流的改变。12. 根据权利要求10或11所述的方法，其中步骤d)中的一个状态变量或多个状态变 量包括所述燃气涡轮机中的燃烧室加速度和/或所述燃气涡轮机的有害物质排放，针对所 述一个状态变量或多个状态变量规定了要遵守的阈值。13. 根据权利要求9至12之一所述的方法，其中所述风力涡轮机的状态（X)包括下列 状态变量中的一个或多个： -所述风力涡轮机处的一个或多个部位处的温度和/或压力和/或空气湿度，尤其环 境温度和/或环境压力和/或环境空气湿度； -所述风力涡轮机处的风力强度； -所述风力涡轮机的塔振荡的幅度； -所述风力涡轮机的转子叶片的机械负载； -通过所述风力涡轮机产生的功率。14. 根据权利要求9至13之一所述的方法，其中，要在所述风力涡轮机处实施的第一和 /或第二动作（a)的一个动作变量或多个动作变量包括所述风力涡轮机的转子的转子叶片 的攻角的改变和/或所述风力涡轮机的转子相对风的定向的改变。15. 根据权利要求13或14所述的方法，其中步骤d)中的一个状态变量或多个状态变 量包括所述风力涡轮机的塔振荡的幅度和/或所述风力涡轮机的转子叶片的机械负载，针 对所述一个状态变量或多个状态变量规定了要遵守的阈值。16. 计算机程序产品，具有存储在机器可读载体上的程序，用于当该程序在计算机上运 行时执行根据前述权利要求之一所述的方法。
【专利摘要】本发明涉及用于技术系统（T）的计算机辅助控制和/或调节的方法。在根据本发明的方法的范围中在预先给定的调节方法（CO1、CO2）中实现探索规则（EP），利用该探索规则达到技术系统（T）的新的、仍未知的状态（x）。在此借助于技术系统（T）的仿真模型（SM）来检验：探索规则（EP）的动作（a2）是否导致位于预先确定的阈值内的后续状态（xˊ）。仅在该情况下在技术系统处根据探索规则（EP）实施相应的动作（a2）。根据本发明的方法使得能够在技术系统的运行的范围中探索新状态，其中通过检验相应的阈值来确保所述探索不可察觉地进行并且不导致技术系统的错误运行。根据本发明的方法尤其适于控制或调节燃气涡轮机或风力涡轮机。
【IPC分类】G05B13/02
【公开号】CN105051625
【申请号】CN201480018192
【发明人】S.迪尔, S.乌德卢夫特, H-G.布鲁梅尔, J.P.辛格, V.施特青格
【申请人】西门子公司
【公开日】2015年11月11日
【申请日】2014年1月22日
【公告号】DE102013205356A1, EP2941675A1, WO2014154374A1