本发明涉及到波浪发电系统逆变器控制技术领域，具体涉及强化学习算法、终端滑模控制算法。
背景技术：
波浪能是海洋能的重要组成部分，其储量十分巨大，开发利用前景广阔。我国是海洋大国，可利用的波浪能资源极为丰富，这些波浪能资源的开发利用是我国海洋可再生能源开发利用的重要内容之一。波浪能开发的主要手段是波浪发电，波浪发电装置建造于海上，通过海底复合缆将电能输送上岸。由于波长、波高以及波浪周期都在变化，波浪的能量是不稳定、不连续的，通过控制逆变器输出电压和电网电压幅值、相位同步显得尤为重要。传统的波浪发电并网逆变器大多采用pi控制算法，pi控制算法实现简单，但是pi参数需要离线调整，且pi控制算法鲁棒性较差，在小规模波浪发电单相并网逆变器中应用效果不佳。
滑模变结构控制方法是一种非线性控制方法，其滑动模态可以进行设计且与对象参数及扰动无关，这就使得滑模变结构控制具有快速响应、对应参数变化及扰动不灵敏、无需系统在线辨识、物理实现简单等优点。常规滑模面为线性函数，在到达滑模面后，不能使系统误差在有限时间内收敛。终端滑模控制策略通过在滑模面引入非线性函数，使滑模控制器具有全局快速性。但是在到达滑模面后，开关增益ε大小固定不变，不能避免“抖振”现象。
技术实现要素：
技术问题：本发明提供一种用于波浪发电系统的并网逆变器控制方法，将全局终端滑模控制器用于逆变器开关管占空比的控制，并采用强化学习算法来在线动态调整滑模控制器的开关增益ε，大大削弱了“抖振”现象，增强了系统的鲁棒性和稳定性。
技术方案：本发明的用于波浪发电系统的并网逆变器控制方法，包括以下步骤：
步骤1：初始化强化学习算法的评价网络学习率与折扣因子，根据系统误差，设计强化学习信号；
步骤2：计算评价网络误差，通过计算出的评价网络误差对评价网络的权值进行在线调整；
步骤3：求解最优性能指标函数，得到基于强化学习原理的全局快速终端滑模自适应控制率；
步骤4：根据所述自适应控制率，产生基于强化学习原理的全局快速终端滑模控制算法控制信号，控制逆变器开关管导通时间。
进一步的，本发明方法中，所述步骤1中按照下式设计强化学习信号r(t)：
其中，uac(t)为t时刻逆变器交流输出电压；
进一步的，本发明方法中，所述步骤2中根据下式进行计算评价网络误差：
ec(t)＝γj(t)-[j(t-1)-r(t)]
其中，ec(t)为t时刻的评价网络误差；j(t)为t时刻评价网络输出；j(t-1)为t-1时刻评价网络输出；γ为折扣因子；r(t)为强化学习信号。
进一步的，本发明方法中，所述步骤2中按照以下规则对评价网络的权值进行在线调整：
其中，wc(t)为t时刻评价网络权值矩阵；wc(t+1)为t+1时刻评价网络权值矩阵；δwc(t)为t时刻评价网络权值矩阵变化量；lc为评价网络学习率；ec(t)为评价网络误差的平方。
进一步的，本发明方法中，所述步骤3中根据下式得到基于强化学习原理的全局快速终端滑模自适应控制率：
其中，la为自适应学习率；uac(t)为t时刻逆变器交流输出电压；ec(t)为评价网络误差；ec(t)为评价网络误差的平方，δε(t)为t时刻的全局快速终端滑模自适应控制率；ε(t)为t时刻滑模开关增益。
进一步的，本发明方法中，所述步骤4中，根据下式产生控制信号：
其中，udc为逆变器直流侧电压；l为逆变器交流电感；c为逆变器交流电容；r为逆变器交流电阻；u(t+1)为t+1时刻开关管占空比；
有益效果：本发明与现有技术相比，具有以下优点：
传统的波浪发电并网逆变器大多采用pi控制算法，pi控制算法实现简单，运用广泛，但是pi控制算法参数需要离线调整，且存在经典控制理论的固有缺陷，对系统参数变化和外界扰动过于敏感，鲁棒性较差，在小规模波浪发电单相并网逆变器中应用效果不佳。
滑模变结构控制方法是一种非线性控制方法，其滑动模态可以进行设计且与对象参数及扰动无关，这就使得滑模变结构控制具有快速响应、对应参数变化及扰动不灵敏、无需系统在线辨识、物理实现简单等优点。常规滑模面为线性函数，在到达滑模面后，不能使系统误差在有限时间内收敛。终端滑模控制策略通过在滑模面引入非线性函数，使滑模控制器具有全局快速性。但是在到达滑模面后，开关增益ε大小固定不变，不能避免“抖振”现象。
本发明将全局终端滑模控制策略作为主控制器，采用强化学习算法来在线动态调整滑模控制器的开关增益ε，可以使逆变器得控制策略根据环境特征不断地自调整，大大削弱了“抖振”现象，增强了系统的鲁棒性和稳定性。
附图说明
图1为基于强化学习原理的全局快速终端滑模控制算法结构示意图。
图2为硬件实施主电路结构示意图。
具体实施方式
为了更加详细地理解本发明，现结合附图对本发明的具体实施步骤作详细的描述。
一种用于波浪发电系统的并网逆变器控制方法，整个算法结构如图1所示，具体实施包括以下步骤：
步骤1：初始化强化学习算法的评价网络学习率与折扣因子，根据系统误差，设计强化学习信号；
按照下式设计强化学习信号r(t)：
其中，uac(t)为t时刻逆变器交流输出电压；
步骤2：计算评价网络误差，通过计算出的评价网络误差对评价网络的权值进行在线调整；
评价网络误差为：ec(t)＝γj(t)-[j(t-1)-r(t)]
其中，ec(t)为t时刻的评价网络误差；j(t)为t时刻评价网络输出；j(t-1)为t-1时刻评价网络输出；γ为折扣因子；r(t)为强化学习信号。
按照以下规则对评价网络的权值进行在线调整：wc(t+1)＝wc(t)+δwc(t)，
其中，wc(t)为t时刻评价网络权值矩阵；wc(t+1)为t+1时刻评价网络权值矩阵；δwc(t)为t时刻评价网络权值矩阵变化量；lc为评价网络学习率；ec(t)为评价网络误差的平方。
步骤3：求解最优性能指标函数，得到基于强化学习原理的全局快速终端滑模自适应控制率；
最优性能指标函数求解过程为：
其中，la为自适应学习率；uac(t)为t时刻逆变器交流输出电压；ec(t)为评价网络误差；ec(t)为评价网络误差的平方，δε(t)为t时刻的全局快速终端滑模自适应控制率；ε(t)为t时刻滑模开关增益。
步骤4：根据所述自适应控制率，产生基于强化学习原理的全局快速终端滑模控制算法控制信号，控制逆变器开关管导通时间。
波浪发电系统并网逆变器数学模型为：
其中，udc为逆变器直流侧电压；l为逆变器交流电感；c为逆变器交流电容；r为逆变器交流电阻；u(t)为t时刻开关管占空比，为系统控制量；uac(t)为t时刻逆变器交流输出电压；uac(t-1)为t-1时刻逆变器交流输出电压；ts为采样时间；uac(t-2)为t-2时刻逆变器交流输出电压。
终端滑模控制面为：
其中，
李亚普诺夫函数为：
对李雅普诺夫函数求导数，得到
其中，
为了使李雅普诺夫函数满足稳定性条件
其中，udc为逆变器直流侧电压；l为逆变器交流电感；c为逆变器交流电容；r为逆变器交流电阻；u(t+1)为t+1时刻开关管占空比；
算法硬件实施，如图2所示，波浪发电机发出的交流电，通过整流电路变成直流电压udc，基于强化学习原理的全局快速终端滑模控制算法在dsp28335上编程实现，通过ad采样电路，采集电网电压
上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。