基于强化学习与对抗生成网络的智能抽油机参数调整方法与流程

本发明涉及深度学习领域，具体涉及到一种基于强化学习和对抗式生成网络的智能抽油机设计。

背景技术：

一种基于强化学习与对抗生成网络的智能抽油机参数调整方法，其特征在于，专家经验处理模块、对抗式网络生成专家经验模块、专家动作判别模块和智能抽油机参数调整模块。最接近本发明的技术有：

(1)、基于遗传算法的抽油机优化设计算法：遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。该算法利用复合形法在可行域内构造遗传算法的初始种群,对抽油机杆件尺寸采用浮点数编码方案,采用简单的排序选择算子,对个体进行杂交、变异操作。但该与油田实际最优参数调整方案仍有差距。

(2)、支持向量机建模及游梁式抽油机抽汲参数优化：该方法由长庆油田分公司提出，提出了采用支持向量回归机在线预测油井产量及调整抽汲参数的方法。根据游梁式抽油机的工作原理，建立了支持向量回归机抽油机在线抽汲参数优化模型，主要包括以kkt条件为新增样本条件，根据样本的信息熵调整新增样本的数量，用粒子群算法调整、优化了支持向量机参数。但该方法在油田实际应用效果难以保证。

基于强化学习与对抗生成网络的智能抽油机参数调整方法不完全照搬专家的行为,而是学习专家为什么要那样做，学习的不是一个专家镜像,而是一个专家的行为分布，这使得该方法能准确描述开采方案。

技术实现要素：

为解决现有技术中的缺点和不足，本发明提出了基于强化学习与对抗生成网络的智能抽油机参数调整方法，根据数据生成最优方案。

本发明的技术方案为：

一种基于强化学习与对抗生成网络的智能抽油机参数调整方法，其特征在于，专家经验处理模块、对抗式网络生成专家经验模块、专家动作判别模块和智能抽油机参数调整模块，包括以下步骤：

步骤(1)、根据收集各种油井参数和抽油机参数，以现场专家对抽油机参数调整作为输入，进行数据处理；

步骤(2)、根据现场专家经验，对抗式生成网络通过对专家经验分布的学习，通过网络参数的调整生成与专家经验分布相同的数据；

步骤(3)、将步骤(1)、(2)产生的数据随机放入专家动作判别模块中，判别网络通过网络参数的调整，分辨生成的专家经验数据和真实的专家经验数据；

步骤(4)、对步骤(2)、(3)交替式的博弈训练，直到判别网路和生成网络同时收敛；

步骤(5)、返回网络参数，当抽油机开采过程中遇到新的地质情况时，生成网络可以根据学习得到的专家行为的分布，实时的对采油机各项指标进行调整以应对各种生产情况；

本发明的有益效果：

(1)通过对抗式网络生成专家经验模块，不完全照搬专家的行为，而是学习专家行为产生的原因，学习到一个专家的行为；

(2)解决了有监督专家经验学习中微小误差累积效应导致的最终结果偏差较大的问题。

(3)同时该算法能够通过从专家经验中学习行为分布，解决了传统强化学习收敛慢、状态动作探索空间巨大，耗费计算资源、内存、电量的问题；

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于强化学习与对抗生成网络的智能抽油机参数调整方法结构图；

图2为基于强化学习与对抗生成网络的智能抽油机参数调整方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的于强化学习与对抗生成网络的智能抽油机参数调整方法结构包含三个模块：对抗式网络生成专家经验模块、专家经验数据处理模块、专家经验动作判别模块。

下面结合图1与图2，对基于强化学习与对抗生成网络的智能抽油机参数调整方法的具体流程进行详细说明：

步骤(1)、根据收集各种油井参数和抽油机参数，以现场专家对抽油机参数调整作为输入，进行数据处理；

步骤(2)、根据现场专家经验，对抗式生成网络通过对专家经验分布的学习，通过网络参数的调整生成与专家经验分布相同的数据；

步骤(3)、将步骤(1)、(2)产生的数据随机放入专家动作判别模块中，判别网络通过网络参数的调整，分辨生成的专家经验数据和真实的专家经验数据；

步骤(4)、对步骤(2)、(3)交替式的博弈训练，直到判别网路和生成网络同时收敛；

步骤(5)、返回网络参数，当抽油机开采过程中遇到新的地质情况时，生成网络可以根据学习得到的专家行为的分布，实时的对采油机各项指标进行调整以应对各种生产情况；

本发明的基于强化学习与对抗生成网络的智能抽油机参数调整方法，通过对抗式网络生成专家经验模块，不完全照搬专家的行为，而是学习专家行为产生的原因，学习到一个专家的行为。解决了有监督专家经验学习中微小误差累积效应导致的最终结果偏差较大的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

技术总结
本发明提出了一种基于强化学习与对抗生成网络的智能抽油机参数调整方法，采用深度学习以及强化学习相结合的方式。该算法根据采集到的采集各种油井参数(如三相电流、电压、示功图、冲程、冲次、油压、套压、温度、回压等数据)，以现有的对抽油机电参数的调整作为专家经验，通过对抗模仿学习，实现抽油机电参数的调整，实现一种实时的、动态的、无人值守的智能抽油机。

技术研发人员：张卫山;徐龙;刘威;王新哲;曾星杰;赵宏伟;李兆桐;袁晓晨;房凯
受保护的技术使用者：中国石油大学（华东）
技术研发日：2018.10.29
技术公布日：2019.04.02